java网页抓取

  网页抓取就是,我们想要从别人的网站上得到我们想要的,也算是窃取了,有的网站就对这个网页抓取就做了限制,比如百度

  直接进入正题

  

 //要抓取的网页地址
String urlStr = "http://**************/center";
URL url = new URL(urlStr);
URLConnection connection = url.openConnection();
//得到网页的编码方式
System.out.println(connection.getContentType()); //读取网页的的内容
BufferedReader read = new BufferedReader(new InputStreamReader(url.openStream(), "utf-8"));
File file = new File("d:/test.html");
BufferedWriter write = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file)));
if(read != null){
String s = null;
while((s = read.readLine()) != null){
System.out.println(s);
write.write(s);
write.flush();
}
read.close();
write.close();

  很简单,大家不用死记硬背,我的这个思想是,

    1.通过一个url打开一个连接

    2.通过这个连接来得到网页的编码方式

    3.通过这个连接打开一个写入流,我这里把这个网页写到我的本地了,大家在练习的时候随意。

    4.进行标准的写入

    5.最重要一步,关闭连接

  就这么简单的一个小网页抓取。

    防止你的网页被别人抓取试用robots.txt,具体怎么还没研究过,http://www.robotstxt.org/ 这个是官网

    测试你的网站是否生效了,直接http://网站名/robots.txt如果显示,则证明成功。

上一篇:bat——批量删除文件文件夹


下一篇:AFNetWorking出现code=-1016错误解决办法