hadoop安装和配置

这里只是涉及了hadoop的一些思路,所以完全分布式配置文件并没有哦!以后会把详细的配置过程和使用环境补充在另外一篇博客中

hadoop的安装:

———————————————————————————————————————————————|

下载hadoop软件                                         |  

解压安装:tar -zvxf hadoop软件 -C /basesoft                           |

设置环境:/etc/profile                                         |

[HADOOP_HOME=/basesoft/hadoop/PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin]       |

记住source /etc/profile                                        |

查询是否安装成功:hadoop version                                |

———————————————————————————————————————————————-|

好了,是不是很简单呢!

接下来说一下hadoop的单机模式:上面配置完就是了,不要客气哈!(注意配置Java环境哦)

hadoop的伪分布模式:

—————————————————————————————————————|

进入/basesoft/hadoop/etc/hadoop                        |

修改以下文件配置:core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml    |

格式化:hadoop namenode -format                     |

启动守护进程:start_all.sh(cd /basesoft/hadoop/bin)  关闭:stop_all.sh     |

jps查询NameNode/DataNode/JobTracker/TaskTracker是否存在           |

—————————————————————————————————————|

注意:ssh免密登陆要配置好哦!

下面是伪分布模式的配置详情:

core-site.xml修改

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost</value>
</property>
</configuration>

hdfs-site.xml修改

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml修改

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:端口号</value>
</property>
</configuration>

yarn-site.sml修改

<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

  

hadoop完全分布式:

——————————————————————————|

和伪分布式模式一样(只需要修改配置文件的配置内容) |

【注意:需要修改slaves文件】             |

——————————————————————————|

今天学会了插入代码:以后就能复制了\(^o^)/~

上一篇:Android layout_weight的用法


下一篇:android layout_weight讲解