创建文件夹

hadoop fs -mkdir -p /user/input

命令的形式查看文件

上传文件

hadoop fs -put wcinput/wc.input /user/input

查看上传的文件

hadoop fs -cat /user/input/wc.input

上传大文件

hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-1923374166-192.168.18.50-1541198386661/current/finalized/subdir0/subdir0

集群存放datanode的数据的最终位置

之前的信息,并且存储的文件名是按照一定的规则定义的

集群的基本启动方式

各个服务组件逐一启动:

启动hdfs组件

hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode

启动yarn

yarn-daemon.sh  start|stop  resourcemanager|nodemanager

各个模块分开启动（配置ssh是前提）常用

整体启动/停止hdfs

start-dfs.sh
stop-dfs.sh

整体启动/停止yarn

start-yarn.sh
stop-yarn.sh

全部启动（不建议使用）

start-all.sh
stop-all.sh

时间同步的方式

1. 时间服务器配置（必须root用户）
   （1）检查ntp是否安装
   [root@hadoop102 桌面]# rpm -qa|grep ntp
   ntp-4.2.6p5-10.el6.centos.x86_64
   fontpackages-filesystem-1.41-1.1.el6.noarch
   ntpdate-4.2.6p5-10.el6.centos.x86_64
   （2）修改ntp配置文件
   [root@hadoop102 桌面]# vi /etc/ntp.conf
   修改内容如下

a）修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改2（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10
（3）修改/etc/sysconfig/ntpd 文件
[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd
增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes
（4）重新启动ntpd服务
[root@hadoop102 桌面]# service ntpd status
ntpd 已停
[root@hadoop102 桌面]# service ntpd start
正在启动 ntpd： [确定]
（5）设置ntpd服务开机启动
[root@hadoop102 桌面]# chkconfig ntpd on
2. 其他机器配置（必须root用户）
（1）在其他机器配置10分钟与时间服务器同步一次
[root@hadoop103桌面]# crontab -e
编写定时任务如下：
*/10 * * * * /usr/sbin/ntpdate hadoop102
（2）修改任意机器时间
[root@hadoop103桌面]# date -s “2017-9-11 11:11:11”
（3）十分钟后查看机器是否与时间服务器同步
[root@hadoop103桌面]# date
说明：测试的时候可以将10分钟调整为1分钟，节省时间。