hadoop,spark,linux上常用命令

记下常用命令,慢慢补充

1.hadoop

查看hdfs上的目录:         hadoop fs -ls /
给hdfs上目录授予权限:   hadoop fs -chmod 777 /tmp/hive
在hdfs上创建一个目录: hadoop fs -mkdir /jiatest
把文件上传到hdfs指定目录: hadoop fs -put test.txt /jiatest
上传jar包到hadoop上跑: hadoop jar maven_test-1.0-SNAPSHOT.jar org.jiahong.test.WordCount /jiatest /jiatest/output
查看结果: hadoop fs -cat /jiatest/output/part-r-00000
提交hadoop jar包运行:bin/hadoop jar /home/hadoop/hjh/jar/hadoopTest.jar com.jia.WordCount /test/input /test/output

2.linux

把本地文件上传到集群:scp maven_test-1.0-SNAPSHOT.jar root@121.8.228.23:/home/hadoop/jia/
上一篇:linux查看硬件信息及驱动设备相关整理


下一篇:Java Redis系列2 (redis的安装与使用+redis持久化的实现))