网络http代理可以在很多地方使用,很多时候ip会出问题,我们可以重新选择亿牛云http代理。
亿牛云http代理是自主研发的的代理ip,它在网络上的应用是最多的,市场上也有许多提供代理ip服务的网站。
在使用HTTP代理IP爬虫时,有很多因素会导致IP被封,如cookie、UserAgent等不会被清除,在到达目标网站设置的阈值时,IP就会被封。
由于普通用户的访问频率较低,如果目标站点的访问频率过快,则反爬虫策略会识别出该站点的IP地址。
买亿牛云的的API优质代理ip,将提供API链接界面,用户使用这些API链接来获取HTTP地阿里IP。由于提取间隔。有些用户需要无间隔地调用API提取代理ip,但服务提供商用户数量众多,如果没有间隔时间,服务器就会过度紧张,甚至自己建立ip池供用户使用都不成问题。
数据爬虫必须使用隧道转发的爬虫代理加强版,但使用量大的话需要大量的测试。高品质ip效率高,ip资源也很丰富,专注于完全隐藏自己的真实ip。
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class Demo {
public static void main(String[] args) {
try{
// 代理服务器(产品官网 www.16yun.cn)
final static String ProxyHost = "t.16yun.cn";
final static String ProxyPort = "31111";
System.setProperty("http.proxyHost", ProxyHost);
System.setProperty("https.proxyHost", ProxyHost);
System.setProperty("http.proxyPort", ProxyPort);
System.setProperty("https.proxyPort", ProxyPort);
// 代理验证信息
final static String ProxyUser = "username";
final static String ProxyPass = "password";
System.setProperty("http.proxyUser", ProxyUser);
System.setProperty("http.proxyPassword", ProxyPass);
System.setProperty("https.proxyUser", ProxyUser);
System.setProperty("https.proxyPassword", ProxyPass);
// 设置IP切换头
final static String ProxyHeadKey = "Proxy-Tunnel";
// 设置Proxy-Tunnel
Random random = new Random();
int tunnel = random.nextInt(10000);
String ProxyHeadVal = String.valueOf(tunnel);
// 处理异常、其他参数
Document doc = Jsoup.connect(url).timeout(3000).header(ProxyHeadKey, ProxyHeadVal).get();
if(doc != null) {
System.out.println(doc.body().html());
}
}catch (IOException e)
{
e.printStackTrace();
}
}
}