selenium+ChromeDriver+java爬虫初探

seleniumChromeDriver简单的demo

selenium

自动化测试工具，可以完全模拟人的行为。我们可以用它来打开浏览器，访问指定URL，并且定位到具体的按钮，点击触发事件等等。

ChromeDriver

selenium和谷歌浏览器交互，需要这个驱动。下载地址（http://npm.taobao.org/mirrors/chromedriver/）。版本和谷歌浏览器的版本要一致，或者相差不多也行。

简单的demo

//设置谷歌驱动的位置，这就是我们刚才下载下来的驱动，可以放到任意位置，只要有访问权限就行 System.setProperty("webdriver.chrome.driver","D:\\chromedriver.exe"); ChromeDriver webDriver=new ChromeDriver(); webDriver.get("https://www.baidu.com");//打开谷歌浏览器，并且访问百度 //定位到百度搜索框 WebElement elementByCssSelector = webDriver.findElementByCssSelector("#kw"); //输入搜索关键字 【java语言】 elementByCssSelector.sendKeys("java语言"); //定位按钮并且点击按钮进行搜索 webDriver.findElementById("su").click(); //循环点击下一页，获取百度10也数据。 for (int i = 0; i <10 ; i++) { //等待5秒，等页面渲染完毕，不然获取不到元素 TimeUnit.SECONDS.sleep(5); //定位下一页按钮 List<WebElement> elements = webDriver.findElementById("page").findElement(By.className("page-inner")).findElements(By.className("n")); //如果找到两个元素，说明不是第一页，会多一个上一页按钮 if(elements.size()>1){ //点击下一页 elements.get(1).click(); }else{ //点击下一页 elements.get(0).click(); } }