SQOOP安装部署

1.环境准备

1.1软件版本

sqoop-1.4.5 下载地址

2.配置

sqoop的配置比较简单,下面给出需要配置的文件

2.1环境变量

sudo vi /etc/profile
SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5
PATH=$SQOOP_HOME/bin
export SQOOP_HOME

2.2sqoop-env.sh

SQOOP安装部署
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/source/hadoop-2.5.1

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/source/hadoop-2.5.1

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/source/hive-0.14.0

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=
SQOOP安装部署

注:目前我是木有配置HBase和Zookeeper的,若有需要的人可以将路径直接指定到HBase和Zookeeper的安装路径下。

2.3异常

Streaming result set com.mysql.jdbc.RowDataDynamic@12e9d40f is still active

执行sqoop脚本时,出现这个异常是因为mysql的驱动的原因,使用最新的mysql驱动包。

解决方案:

wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz

然后解压到sqoop目录的lib目录下,重新执行脚本正常。

至此,sqoop的安装配置以及使用到此完成。

联系方式: 
邮箱:smartloli.org@gmail.com 
Twitter:https://twitter.com/smartloli 
QQ群(Hadoop - 交流社区1):424769183 
温馨提示:请大家加群的时候写上加群理由(姓名+公司/学校),方便管理员审核,谢谢! 

热爱生活,享受编程,与君共勉!



本文转自哥不是小萝莉博客园博客,原文链接:http://www.cnblogs.com/smartloli/,如需转载请自行联系原作者

上一篇:人工智能成 2017 年手机行业主旋律,未来将是体验至上时代?


下一篇:AR 眼镜、VR 鞋子、概念游戏本...今年 CES 有哪些值得关注的黑科技?