hive从mysql导入数据量变多的解决方案
原始导数命令：
bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
原因分析：可能是mysql中字段里面有'\n'等分隔符，导入hive时默认以'n'作换行符，导致hive中的记录数变多。
解决方法：
导入数据时加上--hive-drop-import-delims选项，会删除字段中的\n,\r,\01。
最终导数命令：
bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --hive-drop-import-delims --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
参考官方文档：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
补充：Sqoop导入MySQL数据到Hive遇到的坑
1.sqoop导入到HDFS
1.1执行sqoop job，会自动更新last value
# sqoop 增量导入脚本 bin/sqoop job --create sqoop_hdfs_test02 -- import \ --connect jdbc:mysql://localhost:3306/pactera_test \ --username root \ --password 123456 \ --table student \ --target-dir /user/sqoop/test002/ \ --fields-terminated-by "\t" \ --check-column last_modified \ --incremental lastmodified \ --last-value "2018-12-12 00:03:00" \ --append
说明：--append 参数是必须的，要不然第二次运行job 会报错，如下：
至此，sqoop job 已建设完毕！
2.Hive创建表，并读取sqoop导入的数据
create external table if not exists student_hive (SId int,Sname string ,Sage string,Ssex string , last_modified Timestamp) row format delimited fields terminated by '\t' location 'hdfs://node01:8020/user/sqoop/test002/';
注意：此处hive中时间的格式为timestamp，设置为date DB数据无法正常加载。
第一次全量加载，整条路线完全OK，hive表可以查询到数据。
-----------------------重点分割线-----------------------
* sqoop lastmodified格式的增量加载，会将last-value 保存为job执行的系统时间，若测试数据库的check-column 小于当前系统时间（即上一个job的last-value），则数据将不被加载。
如SId=6 就没有被加载，遂改为今日时间（2018-12-26 17:05）进行数据测试，数据成功被加载！哟呵！！
总结：
使用lastmodified格式，进行sqoop增量导入时，
1.注意--append的使用；
2.last-value为job运行的系统时间，在数据测试时，要保证数据的准确，数据的自增长。
3.一切皆有定数，查看资料，准确定位自己系统遇到的问题
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
数据库之所以要加锁，因为数据库是一个多用户使用的共享资源。当多个用户并发地存取数据时，在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性2022-08-08
这篇文章主要介绍了InnoDB隔离模式的使用对MySQL性能造成的影响,作为基于MySQL的最出名的数据库,InnoDB相关的性能问题一直是DBA关注的热点,需要的朋友可以参考下2015-06-06
本文主要介绍了MySQL指令进行分页显示的使用示例,主要使用LIMIT命令来实现,具有一定的参考价值,感兴趣的可以了解一下2023-11-11
这篇文章主要介绍了Mysql百万级分页优化技巧，包括普通分页和优化分页两种，在数据量比较大的时候，我们尽量去利用索引来优化语句。下面通过本文给大家详细讲解，一起看看吧2016-12-12
这篇文章主要介绍了Mysql如何设置表主键id从1开始递增问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-07-07
linux下改良版本mysqldump来备份MYSQL数据库
我的备份脚本都是在凌晨执行的，经常在慢查询日志里面看到这样的信息：select * from table1; 之前一直很纳闷，最后才了解到原来是MYSQLDUMP搞的鬼。2008-07-07
这篇文章主要介绍了Mysql数据库中数据表的优化、外键与三范式用法,结合实例形式较为详细的分析了Mysql数据库中数据表的优化、外键与三范式相关概念、原理、用法及操作注意事项,需要的朋友可以参考下2019-11-11
mysql 创建数据库时指定编码很重要，很多开发者都使用了默认编码，乱码问题可是防不胜防，下面与大家分享下通过修改数据库默认编码方式为UTF8来减少数据库创建时的设置,避免因粗心造成的乱码问题2013-06-06
mysql中获取一天、一周、一月时间数据的各种sql语句写法
今天抽时间整理了一篇mysql中与天、周、月有关的时间数据的sql语句的各种写法，部分是收集资料，全部手工整理，自己学习的同时，分享给大家，并首先默认创建一个表、插入2条数据，便于部分数据的测试，其中部分名词或函数进行了解释说明。直入主题2014-05-05
这篇文章主要介绍了MySQL基本命令、常用命令总结,需要的朋友可以参考下2014-03-03
最新评论