HDFS是进行存储的,VARN是进行词度的。
1.切换到hadoop下面的etc(配置文件都在etc下面)2.在hadoop中配置core-site.xmlVicare-ste.xm维定HDFS中narmenode的地址,将命令到confguration标签中econligurat cnsl指定HDFS中NameNoce的地址→sproperty?snamesfs.defsutFSs/nameoevalueshdfs.//hadoop100:9820</vslbes/property<t指定Hadoop运行时产生文件的存博门录-→spropertysscnameshadoop.tmp.dire/nameseyal.ev/apt/modu/e/hadoop 3.1.3/data/tmpe/valbe/praperty?3.在hadoop中配置hdfs-site.xml合令:yihcfs-site.xml在configuration中指定HDF5的时量econficuratcned.指定HOFS副本的数量-→propertynamesdfs replication/name=syalse1syalugs 1</craperlyss/confiqurations4.格式化NameNode(第一次启动时格式化,以后就不要总格式化)格式化命令;hdfs namencde-format5. 启动namenode你令:hdls -daemon start nomenode6.启动datanode命令:hots daemon star datanoce7.配置yarn-site.xml作令:viyarmsite.xoelscpnfiguratia-Site specific YARN oon fgurstion properties eL Reducer获取数据的方式spropertys 2wnamg-yan.nodemanaqor.sux-sarvicese/naeswaluretranteiurs shisivaliee/poperlys指定YARN的RescurceManager的地址sprcpertywnomg-yam.resourcemanager.hostnames/namesevalueshadoop100k/values/poperty?spraperty?snamesvarr.nodemananer.cnv-whitelists/names cyalue:JAVA_HOME HADOOP_COMMONHOME,HADOOP HDES HOMEHACOCP CON DIR.CLASSPATH_PREPEND_DISTCACHEHADOOP_YARN_HOMEHADOOP_MAPREDHOMEvaluees/prapcrty></configurationa8.配置mapred-site.xml命令:[root@hpdocp100 hadcop)aii mapred-site.xmlsconfigurations也 指ZMR运行在YARN上-epropertysnaresmanreduce frameaork namesnamesevaluesyams/valusc/configurations39.启动resourcemanager命令:[roat@hadoop100 hadcop/ yam -damon start rescuroermanager10. 启动nodemanager作令:[rootghadocp100 hadoop a yam-daemon start nodemanage11. Jsp查看java进程介令:j3p12. 在HDFS中创建文件夹/user/input命令:hots dfs-mkdr-p /user/lnput13. 将文件上传到HDFS命学:hcls dfs -PUI爱上牌的文件名 上传的地址案例:hdfs dts put wcinputwc inout fuser/ nputr14. 查看hdfs的文件目录饰令:Hdfsdfs-ls 文件路径注高,这里面的根目录不是linux的很目录案例:hcfs dfs-s /user/input/15. 查看hdfs中文件内容命令:hllsdfs -cat 文件名案例:hofs dfs-cat/usetfinput/we input 316. 执行文件命令:hadoop jsr share/hadoup/mapreduce/hacoop-rapreduce-examples-3.1.3.jsrwordeount 执行的文件位置 锁出的文信位置案例:hadocp jar share/hadanp/mapraduce/hacoop mapreduce cxamplos 3.1.3.jarwordcount /user/ nput fuser/output17.查看执行后的结果命令:hcts dfs-cat 输出文件路径/“案例:hcfs dfs-cat /usen/output/18. 停止进程 hdfs -daemon stop namenodeHdfs维护了一个抽象的目录
相关文章
- 11-19Zookeeper(二):环境搭建和Shell使用
- 11-19MSF搭建socks5代理
- 11-19利用ssh搭建socks5代理
- 11-19nginx搭建遇到的配置问题(持续更新)
- 11-19Go环境搭建
- 11-19Django搭建个人博客系列: 环境准备及简单的博客系统搭建
- 11-19安装python3.6.1 pip安装 虚拟环境的搭建
- 11-19cent os7搭建vsftp服务器配置
- 11-19【记录】cent OS 7.6 搭建ftp
- 11-19VGG网络结构详解与模型的搭建