赞
踩
目录
在sqoop中配置环境(例如在/opt/sqoop-1.4.7.bin__hadoop-2.6.0/conf)
这里的地址要找出你对应的zookeeper,hadoop,hive地址
sqoop list-databases --connect jdbc:mysql://192.168.10.102:3306/ --username root --password 1111
上面的地址是虚拟机地址,端口号默认为3306(也可以查一下此端口是否有mysqld,如下面),后面的是用户名(root)和密码(1111),都是根据自己的填
- [root@hadoop102 ~]# sudo lsof -i :3306
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- mysqld 2428 mysql 53u IPv6 93577 0t0 TCP *:mysql (LISTEN)
正常情况下,可以显示所有数据库
- sqoop import
- --connect jdbc:mysql://192.168.10.102:3306/kk
- --username root
- --password 1111
- --table student
- --fields-terminated-by ','
- --delete-target-dir
- --num-mappers 1
- --hive-import
- --hive-database db_msg
- --hive-table student
这个命令是,将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表(hive中的表可不存在,会自动创建)
问题:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE CONF DIR is set correctly.
分析:hive的HiveConf无法正确加载("错误: 找不到或无法加载主类"报这个错的都可以试一试)
解决:
1:去到hive的lib目录下
2:这个命令的输出结果将显示hive-common-3.1.3.jar
中包含的所有类文件,其中包含HiveConf
类的行将被高亮显示出来。(在我这里,HiveConf类存在,说明环境没配好)
jar tf hive-common-3.1.3.jar Igrep HiveConf.class
3: vi .bash_profile(编辑环境变量)
4:加入下面这两句
5:更新系统环境变量(source 一下)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。