Hadoop基础-HDFS数据清理过程之校验过程代码分析

2022-11-15 16:38:20

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

　　想称为一名高级大数据开发工程师，不但需要了解hadoop内部的运行机制，还需要掌握hadoop在写入过程中的报文分析。当然代码的调试步骤是一个开发必须得会的技能！想要掌握这三个技能，我们就可以拿HDFS写入过程来练练手，了解一下平时就几行的代码在它的内部是如何帮我们实现数据传输的。

一.Idea代码调试简介

1>.编写测试代码

 /*

 @author :yinzhengjie

 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/

 EMAIL:y1053419035@qq.com

 */

 package cn.org.yinzhengjie.hdfs;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.FSDataOutputStream;

 import org.apache.hadoop.fs.FileSystem;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IOUtils;

 import java.io.FileInputStream;

 import java.io.IOException;

 public class WriterToHdfs {

     public static void main(String[] args) throws IOException {

         //设置访问hdfs的用户名为“yinzhengjie”

         System.setProperty("HADOOP_USER_NAME","yinzhengjie");

         Configuration conf = new Configuration();

         FileSystem fs = FileSystem.get(conf);

         //定义需要在hdfs中写入的路径,别忘记把core-site.xml文件放在resources目录下哟！并fs.defaultFS的值设置为"hdfs://s101:8020"

         Path p = new Path("/yinzhengjie.sql");

         //通过fs对象create方法创建一个输出流，第一个参数是hdfs路径，第二个参数表示当hdfs中存在时是否覆盖

         FSDataOutputStream fos = fs.create(p,true);

         FileInputStream fis = new FileInputStream("D:\\10.Java\\IDE\\yhinzhengjieData\\MyHadoop\\yinzhengjie.sql");

         //通过hadoop提供的IOUtils工具类对拷数据

         IOUtils.copyBytes(fis,fos,1024);

         fis.close();

         fos.close();

     }

 }