[Hadoop] - Win7下提交job到集群上去

2022-06-17 23:51:16

一般我们采用win开发+linux hadoop集群的方式进行开发，使用插件：hadoop-***-eclipse-plugin。

运行程序的时候，我们一般采用run as application或者选择run as hadoop。按照这个字面理解，我们可以认为第一种是运行在本地，第二种是运行在hadoop集群上。但是实际情况是一般如果不进行配置的话，全部是在本地进行运行的。如果需要将job提交到集群上，那么需要进行必要的设置和添加部分代码。

1、copy mapred-site.xml && yarn-site.xml文件，并修改必要的信息，将yarn指向集群。

2、给mapred-site.xml文件中添加参数mapreduce.app-submission.cross-platform，参数值为true。

3、打包本地代码提交到集群上，如果不进行该操作，会出现ClassNotFoundException。打包代码如下：

 import java.io.File;

 import java.io.FileInputStream;

 import java.io.FileOutputStream;

 import java.io.IOException;

 import java.util.jar.JarEntry;

 import java.util.jar.JarOutputStream;

 public class EJob {

     public static File createTempJar(String root) throws IOException {

         if (!new File(root).exists()) {

             return null;

         }

         final File jarFile = File.createTempFile("EJob-", ".jar", new File(System

                 .getProperty("java.io.tmpdir")));

         Runtime.getRuntime().addShutdownHook(new Thread() {

             @Override

             public void run() {

                 jarFile.delete();

             }

         });

         JarOutputStream out = new JarOutputStream(new FileOutputStream(jarFile));

         createTempJarInner(out, new File(root), "");

         out.flush();

         out.close();

         return jarFile;

     }

     private static void createTempJarInner(JarOutputStream out, File f,

             String base) throws IOException {

         if (f.isDirectory()) {

             File[] fl = f.listFiles();

             if (base.length() > 0) {

                 base = base + "/";

             }

             for (int i = 0; i < fl.length; i++) {

                 createTempJarInner(out, fl[i], base + fl[i].getName());

             }

         } else {

             out.putNextEntry(new JarEntry(base));

             FileInputStream in = new FileInputStream(f);

             byte[] buffer = new byte[1024];

             int n = in.read(buffer);

             while (n != -1) {

                 out.write(buffer, 0, n);

                 n = in.read(buffer);

             }

             in.close();

         }

     }

  }

EJob 打包代码工具类

 File jarFile = EJob.createTempJar("target/classes");

((JobConf) job.getConfiguration()).setJar(jarFile.toString());

// 其他创建job的代码不进行任何的修改

至此，就可以将job提交到集群上去了。

对应任何在非hadoop集群中提交的mr任务来讲，均需要注意一下几点：

1. 参数mapreduce.app-submission.cross-platform必须设置为true，表示是跨集群提交job

2. 如果参数mapreduce.framework.name值为yarn，那么必须将类YarnClientProtocolProvider引入到项目的classpath路径中，maven依赖如下：

// 其他正常的hadoop-mapreduce-client依赖还是需要的， 只是这个在跨平台提交的过程中是一定需要的

<dependency>

    <groupId>org.apache.hadoop</groupId>

    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>

    <version>${hadoop.version}</version>

</dependency>

3. 如果集群是HA设置，那么必须给定HA配置或者采用明确指定active节点的方式。必须给定的参数有yarn.resourcemanager.address和fs.defaultFS之类的定位参数

当HDFS和Yarn均使用HA的时候，跨集群提交最少配置(依赖集群的具体搭建方法，比如如果在搭建过程中执行了yarn的classpath，那么yarn-site.xml中的参数yarn.application.classpath可以不要，其他参数不可以少，必须存在!!!)

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hdfs-cluster</value>

    </property>

</configuration>

core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>dfs.nameservices</name>

        <value>hdfs-cluster</value>

    </property>

    <property>

        <name>dfs.ha.namenodes.hdfs-cluster</name>

        <value>hdfs-cluster-1,hdfs-cluster-2</value>

    </property>

    <property>

        <name>dfs.namenode.rpc-address.hdfs-cluster.hdfs-cluster-1</name>

        <value>hdfs-cluster-1:8020</value>

    </property>

    <property>

        <name>dfs.namenode.rpc-address.hdfs-cluster.hdfs-cluster-2</name>

        <value>hdfs-cluster-2:8020</value>

    </property>

    <property>

        <name>dfs.client.failover.proxy.provider.hdfs-cluster</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

</configuration>

hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.app-submission.cross-platform</name>

        <value>true</value>

    </property>

</configuration>

mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- RM Manager Configd -->

    <property>

        <name>yarn.resourcemanager.ha.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.resourcemanager.cluster-id</name>

        <value>yarn-cluster</value>

    </property>

    <property>

        <name>yarn.resourcemanager.ha.rm-ids</name>

        <value>yarn-cluster-1,yarn-cluster-2</value>

    </property>

    <!-- RM1 Configs-->

    <property>

        <name>yarn.resourcemanager.address.yarn-cluster-1</name>

        <value>yarn-cluster-1:8032</value>

    </property>

    <!-- RM2 Configs -->

    <property>

        <name>yarn.resourcemanager.address.yarn-cluster-2</name>

        <value>yarn-cluster-2:8032</value>

    </property>

    <property>

        <name>yarn.application.classpath</name>

        <value>

                $HADOOP_CONF_DIR,

                $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,

                $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,

                $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,

                $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*

        </value>

    </property>

</configuration>

yarn-site.xml

码农公寓

相关文章