(2.1)windows下Nutch1.7的安装

酒店评论情感分析系统(二)——Nutch安装

一、需求部分

  1. Nutch是Java开发的所以需要下载Java JDK。

下载地址http://java.sun.com/javase/downloads/index.jsp

2. Nutch的演示搜索页面是Jsp的,需要Tomcat做服务器。                                                

下载地址:http://jakarta.apache.org/tomcat/

3. Nutch的脚本都是用Linux的Shell写的,所以在Windows平台需要一个Shell解释程序。Cygwin是一个在Windows下的模拟Linux系统程序。(注Linux下不需要下载此程序)

下载地址:http://www.cygwin.com/

4. Nutch下载地址:http://lucene.apache.org/nutch/

二、环境

  1. 操作系统:windows7,X86,32位
  2. Java JDK1.6
  3. Tomcat 7.0
  4. Cygwin2.850
  5. Nutch1.7

三、安装步骤

1.  Java JDK安装

注意:路径名称不要带中文,建议所选择的路径不要有空格,我第一次选择的路径带有空格C:\Program Files,执行crawl命令的时候产生了错误:

(2.1)windows下Nutch1.7的安装

提示找不到C:\Program目录,出现这个问题的原因是因为:C:\Program Files\ 中间有一个空格,这样导致进入不到Program Files ,而只能进入Program中,但是C盘中没有Program文件夹。

安装完成后设置环境变量,win7下设置环境变量和XP不同,在系统变量或者用户变量都行。假定你的jdk安装在c:\jdk1.6,则做如下配置:

JAVA_HOME=c:\jdk1.6

classpath=. ;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(.;一定不能少,因为它代表当前路径)

path=%JAVA_HOME%\bin

变量安装完成后,在运行里输入“cmd”打开命令行,分别输入“java”,“java –version”若显示具体信息而没有报错,则安装成功,如下图:
(2.1)windows下Nutch1.7的安装(2.1)windows下Nutch1.7的安装如果没有打印出这句话,你需要仔细检查一下你的配置情况。

2.  Tomcat免安装

这里需要注意一个问题:

你需要下载与JDK相配的Tomcat的版本,如下图:

(2.1)windows下Nutch1.7的安装

我的jdk版本是1.6,然后之前装Tomcat8.0的时候,配置完路径,点startup.bat的时候出现闪退现象。

将Tomcat解压缩在没有中文的目录下,设置环境变量:

(1)  变量名: TOMCAT_HOME   变量值:

H:\tomcat7.0(Tomcat解压到的目录)

(2)  变量名: CATALINA_HOME   变量值:

H:\tomcat7.0

(3)修改变量: Path          变量值:

在末尾添加如下内容 ;%CATALINA_HOME%\bin;%CATALINA_HOME%\lib

运行Tomcat7.0,“开始”->“运行”->输入cmd,进入如下路径

(2.1)windows下Nutch1.7的安装

在命令提示符中输入 startup.bat,之后会弹出tomcat命令框,输出启动日志;

(2.1)windows下Nutch1.7的安装

然后打开浏览器输入http://localhost:8080/ ,如果进入tomcat欢迎界面,那么恭喜你,配置成功。

(2.1)windows下Nutch1.7的安装

Tomcat的运行和停止的文件分别是startup.bat和shutdown.bat。

3.  Cygwin安装

运行安装程序后出现如下图:

(2.1)windows下Nutch1.7的安装

(2.1)windows下Nutch1.7的安装

(2.1)windows下Nutch1.7的安装

(2.1)windows下Nutch1.7的安装

可以随便选择一个网址:

(2.1)windows下Nutch1.7的安装

这一步,我们选择需要下载安装的组件包,为了使我们安装的Cygwin能够编译程序,我们需要安装gcc编译器,默认情况下,gcc并不会被安装,我们需要选中它来安装。为了安装gcc,我们用鼠标点开 组件列表中的“Devel”分支,在该分支下,有很多组件,我们必须的是:

binutils gcc 、gcc-mingw  、gdb

(2.1)windows下Nutch1.7的安装

Binutils组件:

(2.1)windows下Nutch1.7的安装

Gcc组件:

(2.1)windows下Nutch1.7的安装

Gdb组件:

(2.1)windows下Nutch1.7的安装

Gcc-mingw组件:

(2.1)windows下Nutch1.7的安装

选完之后,选择下一步:

(2.1)windows下Nutch1.7的安装

安装的时间依据你选择的组件以及网络情况而定。

(2.1)windows下Nutch1.7的安装

(2.1)windows下Nutch1.7的安装

4.  Nutch安装

Nutch是一个Java实现的web爬虫,爬取的结果存储到database(指定文件路径下的一系列文件及目录)供Solr或Lucene索引和检索。

常见搜索相关的框架的基本功能列表:

爬取

索引

检索

Nutch

Solr

Lucene

下载安装apache-nutch-1.7-bin.zip并设置。下载地址:http://archive.apache.org/dist/nutch/

下载完成后解压缩Nutch二进制分发包,(我解压缩在:H:\nutch\nutch1.7)目录如下:

(2.1)windows下Nutch1.7的安装

l  bin目录,只包含一个可执行文件nutch

l  conf目录,nutch命令执行的配置参数

l  docs目录,JavaDoc帮助

l  lib目录,相关Jar类库

l  plugins目录,相关插件库

设置环境变量:

变量名 NUTCH_JAVA_HOME

变量值 %JAVA_HOME% 【其值设为JDK的安装目录】

运行Cygwin,进入到nutch1.7所在的解压缩路径下,在输入bin/nutch,如图:

(2.1)windows下Nutch1.7的安装

Nutch安装成功。

上一篇:thinkphp5微信公众号推送模板消息


下一篇:使用burp进行暴力破解