Java爬虫（HttpURLConnection）详解

一、引言

在Java编程中，网络爬虫是一种自动获取网页内容的程序。HttpURLConnection作为Java标准库中的一个类，提供了一种简单的方式来发送HTTP请求并接收响应。本文将详细介绍如何使用HttpURLConnection来实现基本的网络爬虫功能，包括发送GET和POST请求、设置请求头、处理超时以及使用代理和HTTPS，同时也会涉及到如何处理返回的数据。

二、准备工作

1、环境配置

在开始之前，确保你的Java开发环境已经搭建好。对于HttpURLConnection，不需要额外的依赖，因为它是Java标准库的一部分。如果你使用的是IDE（如IntelliJ IDEA或Eclipse），确保你的项目已经正确配置。

2、理解HttpURLConnection

HttpURLConnection继承自URLConnection，专门用于处理HTTP协议的连接。它提供了设置请求方法、管理请求头和读取响应等功能。

三、发送GET请求

1、创建URL对象

首先，我们需要创建一个URL对象，它代表了我们想要请求的网页地址。

URL url = new URL("http://www.example.com");

2、打开连接

通过URL对象的openConnection方法，我们可以打开一个到指定URL的连接。

HttpURLConnection connection = (HttpURLConnection) url.openConnection();

3、设置请求方法

对于GET请求，我们通常不需要设置请求体，但需要设置DoInput为true以允许读取响应。

connection.setDoInput(true);
connection.setRequestMethod("GET");

4、连接并读取响应

连接到服务器并读取响应体。

connection.connect();
if (HttpURLConnection.HTTP_OK == connection.getResponseCode()) {
    BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8));
    StringBuilder response = new StringBuilder();
    String readLine;
    while (null != (readLine = bufferedReader.readLine())) {
        response.append(readLine);
    }
    bufferedReader.close();
    // 处理返回的数据
    handleResponse(response.toString());
}

5、处理返回的数据

private static void handleResponse(String response) {
    // 这里可以根据需要对返回的数据进行处理
    // 例如，解析HTML、JSON等
    System.out.println("Response from server: " + response);
}

四、发送POST请求

1、设置输出

对于POST请求，我们需要设置DoOutput为true以允许发送请求体。

connection.setDoOutput(true);

2、发送请求体

将请求参数编码为字节流并发送。

String params = "param1=value1&param2=value2";
byte[] bytes = params.getBytes(StandardCharsets.UTF_8);
connection.getOutputStream().write(bytes);

3、读取响应

与GET请求类似，我们读取服务器的响应。

BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8));
StringBuilder response = new StringBuilder();
String line;
while ((line = bufferedReader.readLine()) != null) {
    response.append(line);
}
System.out.println(response.toString());
bufferedReader.close();
// 处理返回的数据
handleResponse(response.toString());

五、设置请求头

在发送请求之前，我们可以通过setRequestProperty方法设置请求头。

connection.setRequestProperty("User-Agent", "Mozilla/5.0");

六、处理超时

HttpURLConnection允许我们设置连接超时和读取超时。

connection.setConnectTimeout(10000); // 10秒
connection.setReadTimeout(10000);   // 10秒

七、使用代理

如果需要通过代理服务器发送请求，可以创建一个Proxy对象并将其传递给openConnection方法。

Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("proxy.example.com", 8080));
HttpURLConnection connection = (HttpURLConnection) url.openConnection(proxy);

八、HTTPS请求

对于HTTPS请求，我们可能需要处理SSL证书问题。以下是一个示例，展示如何信任所有证书。

TrustManager[] trustAllCerts = new TrustManager[]{new X509TrustManager() {
    public X509Certificate[] getAcceptedIssuers() { return null; }
    public void checkClientTrusted(X509Certificate[] certs, String authType) { }
    public void checkServerTrusted(X509Certificate[] certs, String authType) { }
}};
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCerts, new java.security.SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());

九、总结

通过本文，我们学习了如何使用HttpURLConnection来实现基本的网络爬虫功能。这包括了发送GET和POST请求、设置请求头、处理超时以及使用代理和HTTPS，同时也会涉及到如何处理返回的数据。这些技能对于任何需要与Web服务交互的Java开发者来说都是基础且重要的。

---

版权声明：本博客内容为原创，转载请保留原文链接及作者信息。

参考文章：

• Java爬虫 - URLConnection与HttpURLConnection