6.1 Selenium环境搭建

1.简介 Selenium WebDriver主要应用于程序与浏览器之间的交互，其可以用来实现数据的采集。Selenium不自带浏览器，需要与第三方浏览器结合使用，如本章与Selenium结合使用的浏览器为谷歌浏览器，相比Jsoup和HttpClient等工具，Selenium有其特有优势，如自动加载页面、执行JavaScript脚本、模拟真实的浏览器操作等。

2.引入依赖 在Idea或者Eclipse中创建Maven工程，并在Maven工程的pom.xml文件中添加Selenium的dependency，本专栏采用的版本是3.141.59。

<dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>3.141.59</version> </dependency>

基于pom.xml文件的配置信息，可以下载Selenium的jar包。在Selenium项目中，共包含如下图所示的若干个依赖包。

3.驱动下载 在相关的jar包配置完成后，需要下载Selenium WebDriver连接谷歌浏览器的工具chromedriver。在谷歌浏览器地址栏输入“chrome://version/”查看版本信息，然后在 “http://chromedriver.storage.googleapis.com/index.html”上寻找与谷歌浏览器版本相匹配的驱动版本。下载完成后，将文件解压到本地的自定义目录chrome文件夹下。

4.获取WebDriver 程序6-1中，使用setProperty(String key,String value)配置chromedriver，然后实例化WebDriver(声明使用的是谷歌浏览器)。

//程序6-1 public class WebDriverUtils { public static WebDriver getWebDriver(){ System.setProperty("webdriver.chrome.driver","/Users/steven/Documents/chrome/chromedriver"); //声明使用的是谷歌浏览器 ChromeOptions chromeOptions=new ChromeOptions(); //实例化一个Chrome浏览器的实例 WebDriver driver = new ChromeDriver(); //设置打开的浏览器窗口最大化 driver.manage().window().maximize(); //设置隐性的等待时间 driver.manage().timeouts().pageLoadTimeout(30, TimeUnit.SECONDS); return driver; } }

使用Selenium采集数据，有时并不希望程序在终端打开浏览器，此时，可通过设置参数来隐藏浏览器，添加参数实现无界面状态。

//程序6-1 public class WebDriverUtils { public static WebDriver getWebDriver(){ System.setProperty("webdriver.chrome.driver","/Users/steven/Documents/chrome/chromedriver"); //声明使用的是谷歌浏览器 ChromeOptions chromeOptions=new ChromeOptions(); //设置无头模式参数 chromeOptions.addArguments("--no-sandbox"); chromeOptions.addArguments("-headless"); chromeOptions.addArguments("--disable-gpu"); //实例化一个Chrome浏览器的实例 WebDriver driver = new ChromeDriver(chromeOptions); //设置打开的浏览器窗口最大化 driver.manage().window().maximize(); //设置隐性的等待时间 driver.manage().timeouts().pageLoadTimeout(30, TimeUnit.SECONDS); return driver; } }

5.设置代理 使用代理服务器访问网页内容，能够高度隐藏爬虫的真实IP地址，从而防止网络爬虫被服务器封锁， Selenium设置代理IP的方法如程序6-2所示。

//程序6-2 public class WebDriverProxyUtils { public static WebDriver getWebDriver() { System.setProperty("webdriver.chrome.driver", PathConstant.CHROME_DRIVER_PATH); ChromeOptions chromeOptions = new ChromeOptions(); //设置代理 Proxy proxy = new Proxy(); proxy.setAutodetect(false); proxy.setHttpProxy("58.218.200.223:12781"); proxy.setSslProxy("58.218.200.223:12781"); chromeOptions.setCapability("proxy", proxy); chromeOptions.setExperimentalOption("excludeSwitches", Collections.singletonList("enable-automation")); //实例化一个Chrome浏览器的实例 WebDriver driver = new ChromeDriver(chromeOptions); //设置打开的浏览器窗口最大化 driver.manage().window().maximize(); //设置隐性的等待时间 driver.manage().timeouts().pageLoadTimeout(120, TimeUnit.SECONDS); return driver; } }