sqoop安装与使用

https://blog.csdn.net/Gamer_gyt/article/details/55225700  sqoop1.0 与sqoop2.0的比较(两者差别比较大)。


参考文档:https://blog.csdn.net/weixin_43241054/article/details/89036669

下载软件
版本 sqoop-1.99.7-bin-hadoop200

编辑环境变量

hadoop namenode 节点上编辑(112)
vi /etc/profile

export SQOOP_HOME=/home/hadoop/sqoop-1.99.7-bin-hadoop200
export CATALINA_HOME=$SQOOP_HOME/server
export PATH=$SQOOP_HOME/bin:$PATH

修改Hadoop下的core-site.xml文件
<property>
  <name>hadoop.proxyuser.hadoop.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hadoop.groups</name>
  <value>*</value>
</property>

/home/hadoop/sqoop-1.99.7-bin-hadoop200/server/lib/guava-27.0-jre.jar jar 包也要替换 ,否则会无法启动 报错 【java.lang.NoSuchMethodError com.google.common.base.Preconditions.checkArgument】

=============================================
参考二
https://www.cnblogs.com/mowei/articles/6760333.html

需要在Hadoop的yarn-site.xml 这个配置文件中增加以下属性
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
修改了yarn-site.xml后重启HDFS即可。
如果,不加上面的属性,会产生什么问题呢?
可能在数据迁移的过程中出现“Aggregation is not enabled”的问题.

 

set server --host master --port 12000 --webapp sqoop


create job -f sqooplinkbgdmysqldb -t sqooplinkhdfs

hdfs dfs -mkdir /sqphdfsdata/dh_call_info2/datajob1001

status job -n sqpjob1001

start job -name sqpjob1001 -s

 

上一篇:sqoop 数据导入hive


下一篇:Sqoop -- 用于Hadoop与关系数据库间数据导入导出工作的工具