这里只是涉及了hadoop的一些思路,所以完全分布式配置文件并没有哦!以后会把详细的配置过程和使用环境补充在另外一篇博客中
hadoop的安装:
———————————————————————————————————————————————|
下载hadoop软件 |
解压安装:tar -zvxf hadoop软件 -C /basesoft |
设置环境:/etc/profile |
[HADOOP_HOME=/basesoft/hadoop/PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin] |
记住source /etc/profile |
查询是否安装成功:hadoop version |
———————————————————————————————————————————————-|
好了,是不是很简单呢!
接下来说一下hadoop的单机模式:上面配置完就是了,不要客气哈!(注意配置Java环境哦)
hadoop的伪分布模式:
—————————————————————————————————————|
进入/basesoft/hadoop/etc/hadoop |
修改以下文件配置:core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml |
格式化:hadoop namenode -format |
启动守护进程:start_all.sh(cd /basesoft/hadoop/bin) 关闭:stop_all.sh |
jps查询NameNode/DataNode/JobTracker/TaskTracker是否存在 |
—————————————————————————————————————|
注意:ssh免密登陆要配置好哦!
下面是伪分布模式的配置详情:
core-site.xml修改
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost</value>
</property>
</configuration>
hdfs-site.xml修改
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml修改
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:端口号</value>
</property>
</configuration>
yarn-site.sml修改
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
hadoop完全分布式:
——————————————————————————|
和伪分布式模式一样(只需要修改配置文件的配置内容) |
【注意:需要修改slaves文件】 |
——————————————————————————|
今天学会了插入代码:以后就能复制了\(^o^)/~