selenium-java web自动化测试工具抓取百度搜索结果实例

selenium-java web自动化测试工具抓取百度搜索结果实例

这种方式抓百度的搜索关键字结果非常容易
抓长尾关键词,根据热门关键词去抓更多内容可以用
抓google,百度的这种内容容易给屏蔽,用这种就不会了

1.新建maven项目,引入selenium-java

selenium-java web自动化测试工具抓取百度搜索结果实例

<!-- https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java -->
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.8.1</version>
</dependency>

selenium-java web自动化测试工具抓取百度搜索结果实例

2.写代码(因为自动化测试速度极快,每个步骤后都稍微停顿了下方便看效果)

package com.testselenium;

import java.util.concurrent.TimeUnit;

import org.openqa.selenium.By;
import org.openqa.selenium.JavascriptExecutor;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver; public class AutoTest { public static void main(String[] args) throws Exception {
// 谷歌浏览器的驱动下载地址:https://chromedriver.storage.googleapis.com/index.html
// 最新稳定版下载地址:https://chromedriver.storage.googleapis.com/index.html?path=2.40/
System.setProperty("webdriver.chrome.driver", "D://selenium/chromedriver.exe");
WebDriver webDriver = new ChromeDriver();
// 火狐浏览器的驱动下载地址:https://github.com/mozilla/geckodriver/releases
// System.setProperty("webdriver.gecko.driver", "D://selenium/geckodriver.exe");
// WebDriver webDriver = new FirefoxFilter(); // webDriver.manage().window().maximize();
// webDriver.manage().deleteAllCookies();
// 与浏览器同步非常重要,必须等待浏览器加载完毕
webDriver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS); //打开目标地址
webDriver.get("https://www.baidu.com"); Thread.sleep(1000);
/*
// webDriver.findElement(By.xpath("/html/body/div/div[1]/a")).click();
// webDriver.findElement(By.cssSelector("html body div#app div.loginPage form.el-form.fromBox button.el-button.loginBtn")).click();
webDriver.findElement(By.cssSelector(".head_wrapper > div#u1 > a:nth-child(1)")).click();
Thread.sleep(1000);
webDriver.findElements(By.className("a3")).forEach(x -> {
System.out.println(x.getText());
});
*/
//输入关键字搜索
webDriver.findElement(By.cssSelector("input#kw")).sendKeys("java");
webDriver.findElement(By.cssSelector("input#su")).click();
Thread.sleep(1000);
webDriver.findElements(By.className("t")).forEach(x -> {
System.out.println(x.getText());
}); //暂停5秒钟后关闭
Thread.sleep(5000);
// webDriver.quit(); //跳转到我的博客
Thread.sleep(3000);
webDriver.get("https://www.cnblogs.com/zdz807"); Thread.sleep(1000);
//打开标题为 下一页
webDriver.findElement(By.partialLinkText("下一页")).click(); Thread.sleep(1000);
//移动到底部
//((JavascriptExecutor) webDriver).executeScript("window.scrollTo(0, document.body.scrollHeight)");
//移动到指定的坐标(相对当前的坐标移动)
((JavascriptExecutor) webDriver).executeScript("window.scrollBy(0, 700)");
Thread.sleep(1000);
//移动到窗口绝对位置坐标,如下移动到纵坐标1600像素位置
((JavascriptExecutor) webDriver).executeScript("window.scrollTo(0, 1600)");
Thread.sleep(1000);
//移动到指定元素,且元素底部和窗口底部对齐
((JavascriptExecutor) webDriver).executeScript("arguments[0].scrollIntoView(false);", webDriver.findElement(By.cssSelector("#ftCon"))); //暂停5秒钟后关闭
Thread.sleep(5000);
webDriver.quit(); }
}

selenium-java web自动化测试工具抓取百度搜索结果实例

selenium-java web自动化测试工具抓取百度搜索结果实例

selenium-java web自动化测试工具抓取百度搜索结果实例

selenium-java web自动化测试工具抓取百度搜索结果实例

Starting ChromeDriver 2.40.565498 (ea082db3280dd6843ebfb08a625e3eb905c4f5ab) on port 38505
Only local connections are allowed.
七月 27, 2018 7:42:47 下午 org.openqa.selenium.remote.ProtocolHandshake createSession
信息: Detected dialect: OSS
java.com: Java 与您官网
Java_百度百科
Java SE Development Kit 8 - Downloads
Java 教程 | 菜鸟教程
java吧_百度贴吧
Oracle Technology Network for Java Developers | Oracle ...
Java - ImportNew
Java 运算符 | 菜鸟教程
ImportNew - 专注Java & Android 技术分享
Java SE - Downloads | Oracle Technology Network | Oracle
深圳java学习难吗_java培训多久能学会?
java 菜鸟也能学的Java 4个月挑战月薪上万
java-中国数万程序员的选择-官方首页
java深圳菜鸟也能学的java 4个月挑战月薪上万

上一篇:Genymotion Unable to create Virtual Device:Connection timeout


下一篇:Linux 小知识翻译 - 「SCP和SFTP」