standard mode(标准模式)
下载
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.7.2.tar.gz
解压到/usr/local/hadoop目录下(先创建此目录)
用root身份新建hadoop用户,并设定密码
useradd hadoop
passwd hadoop
加入到root组
useradd -a -G root hadoop
设定 /usr/local/hadoop的owner
chown -R hadoop: /usr/local/hadoop
切换到hadoop用户,并编辑~/.bashrc文件,添加以下指令(/etc/profile更好)
alias hadoop="/usr/local/hadoop/bin/hadoop"
通过source ~/.bashrc使得以上修改立即生效。
体验下单词计数
mkdir input
echo "aaa bbb ccc aaa" >> input/words
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount input output
(ps , 可能碰到主机名报错,无法识别的主机名等等,编辑/etc/hosts文件,添加记录 "127.0.0.1 主机名")
伪分布模式
修改/usr/local/hadoop文件夹所有者
sudo chown -R hadoop:root /usr/local/hadoop
修改.bashrc文件(/etc/profile更好),添加内容如下:
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
配置hadoop:
所有操作之前,设置hadoop的JAVA_HOME(/etc/profile更好, 需要单独设定hadoop/etc/hadoop/hadoop-env.sh的JAVA_HOME,很奇怪),
export JAVA_HOME=/usr/lib/jvm/jre
1. 核心配置(core-site.xml):在这里配置hadoop实例的端口号,文件系统的内存分配,存储数据的内存大小限制,读写缓存区的大小。
vi /usr/local/hadoop/etc/hadoop/core-site.xml
在configuration节点下添加以下内容
<property>
<name>fs.default.name </name>
<value>hdfs://localhost:9000</value>
</property>
2. hdfs配置:是否多备(replication), 命名节点(namenode)的路径, 数据节点(datanode)的本地路径。
vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml
在configuration节点下添加以下内容
<property>
<name>dfs.replication</name>
<value>1</value>
</property> <property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
</property> <property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value>
</property>
hadoopinfra即其下面的目录不用手工建立,格式化时会自动建立。
3. yarn配置
vi /usr/local/hadoop/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
4. mapreduce框架配置
vi /usr/local/hadoop/etc/hadoop/mapred-site.xml
在configuration节点下添加以下内容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
这里配置了默认的yarn作为mapreduce算法的处理对象。
应该也可配置spark。
5. 启动
a), 切换到hadoop用户,进行hdfs格式化,如下:
cd ~
hdfs namenode -format
b), 启动dfs和yarn
start-dfs.sh
...
start-yarn.sh
...
c). 查看hadoop运行情况,用浏览器打开http://localhost:50070/
d). 查看集群(cluster)的应用(applications) 用浏览器打开http://localhost:8088/
如果觉得英文阅读毫无问题,建议看这里:http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm