从0开始学习Hadoop(2)安装JDK以及设置SSH

  • 安装JDK

使用ppa/源方式安装

1.添加ppa

sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update

2.安装oracle-java-installer

 jdk7

sudo apt-get install oracle-java7-installer

 jdk8

sudo apt-get install oracle-java8-installer

修改环境变量

c查看JDK安装位置
 update-alternatives - -config java 
cd /
cd /etc
suto gedit prifile

#JAVA VARIABLES
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=$JAVA_HOME/jre 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar 
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP VARIABLES

#export HADOOP_INSTALL=/usr/local/hadoop
#export PATH=$PATH:$HADOOP_INSTALL/bin
#export PATH=$PATH:$HADOOP_INSTALL/sbin
#export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_HOME=$HADOOP_INSTALL
#export HADOOP_HDFS_HOME=$HADOOP_INSTALL
#export YARN_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

  • 创建hadoop用户组

从0开始学习Hadoop(2)安装JDK以及设置SSH

创建hadoop用户

sudo addgroup hadoop

sudo adduser -ingroup hadoop hadoop

回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。

如果不输入密码,回车后会重新提示输入密码,即密码不能为空。

最后确认信息是否正确,如果没问题,输入 Y,回车即可。

从0开始学习Hadoop(2)安装JDK以及设置SSH

为hadoop用户添加权限

输入:sudo gedit /etc/sudoers

回车,打开sudoers文件

给hadoop用户赋予和root用户同样的权限

从0开始学习Hadoop(2)安装JDK以及设置SSH

切换账号

su hadoop
  • 设置 HOST
SUDO gedit /etc/hosts
 
#ADD 这里IP地址重启VB之后有可能变化,需要重新查看桥接网卡IP,在设置
192.168.56.101 master
192.168.56.102 node1
192.168.56.103 node2
从0开始学习Hadoop(2)安装JDK以及设置SSH

验证

ping master 
ping node1
ping node2
 
 
  • 设置SSH
1)生产公私秘钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 
从0开始学习Hadoop(2)安装JDK以及设置SSH
2)复制公私秘钥KEY 
cd /.ssh
cat id_dsa.pub >> autohrized_keys
 从0开始学习Hadoop(2)安装JDK以及设置SSH
 
 
3)单机会还SSH免密码登录测试
 
ssh localhost
从0开始学习Hadoop(2)安装JDK以及设置SSH
 
发现问题,链接拒绝,怀疑是防火墙问题或者SSH安装问题。
解决:
#关闭防火墙
service iptables stop
#查看防火墙状态
service iptables status
安装ssh
sudo

apt-get install openssh-server

从0开始学习Hadoop(2)安装JDK以及设置SSH
 
 
4)     让主结点(master)能通过SSH免密码登录两个子结点(slave)
操作:node1 node2
cd .ssh/
scp hadoop@master:/home/hadoop/.ssh/id_dsa.pub ./master_das.pub
5)
复制aster.dsa-pub到认证KEY文件
cat id_dsa.pub >> autohrized_keys
 
验证登录 
操作:master
ssh node1  
ssh node2
免密码登录即可
 
#回收权限,防止成为肉鸡
chmod 600 authorized_keys
 
 
以上,环境配置成功:
参考文档:
上一篇:线程同步——lock锁


下一篇:论文阅读之:Deep Meta Learning for Real-Time Visual Tracking based on Target-Specific Feature Space