爬取网页内容java

下面介绍的这个方法只是作为抛砖引玉:根据网页URL就可以抓取其中的内容

/**
* @title getHtmlResourceByUrl
* @param url 网址
* @param encoding 编码
* @return String 返回类型
*/
public static String getHtmlResourceByUrl(String url, String encoding) {
StringBuffer buffer = new StringBuffer();
try {
//建立网络连接 异常捕获
URL urlObj = new URL(url);
//打开网络连接
URLConnection urlconn = urlObj.openConnection();
//IO流
InputStreamReader in = new InputStreamReader(urlconn.getInputStream(), encoding);
//建立缓存
BufferedReader bfr = new BufferedReader(in);
//临时文件
String line = null;
//读取
while((line = bfr.readLine()) != null) {
buffer.append(line);
} } catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally { } return buffer.toString();
} public static void main(String[] args) {
String info = getHtmlResourceByUrl("http://www.qq.com", "gbk");
System.out.println(info);
}

大家可以直接拿过去运行即可看到效果!

上一篇:关于ligerui 中 grid 表格的扩展搜索功能在远程数据加载时无法使用的解决办法


下一篇:【SQL】Update中使用表别名、如何用表中一列值替换另一列的所有值