spark学习第1天

1.切换目录到/data/目录下,创建名为edu1的目录

  1. cd /data/  
  2. mkdir /data/edu1  

2.切换目录到/data/edu1目录下,使用wget命令,下载webmagic爬虫项目所依赖的lib包

  1. cd /data/edu1  
  2. wget http://192.168.1.100:60000/allfiles/second/edu1/webmagic-0.7-libs.tar.gz 

spark学习第1天

 

将webmagic-0.7-libs.tar.gz压缩包,解压缩。

  1. tar -xzvf webmagic-0.7-libs.tar.gz  

3.打开eclipse开发工具

 

新建Java Project,命名为pachong1

 

 

点击项目名pachong1,新建一个目录,命名为libs,并将/data/edu1/webmagic-0.7-libs下的所有的jar包,拷贝到libs目录下。并选中所有jar包,右键点击“Build Path” => “Add to Build Path”

 

 spark学习第1天

 

切换目录到/data/edu1/rexian.beijing.gov.cn下,查看数据情况

spark学习第1天

 

 

 

上一篇:webmagic之Redis调度器


下一篇:java – 为什么ArrayDeque类在pollFirst方法中使用按位运算?