通过Sqoop将关系型数据库数据到Hive有两种方式,缬方焱蜱一种是SqoopAPI,一种是使用HCat锾攒揉敫alogAPI。Sqoopapi支持的数据格式少,HCatalogapi支持的格式多,比如Sqoop方式不支持ORC格式的表,但是HCatalog支持。下面小编为大家分享两种导入方式的步骤代码。
工具/原料
演示程序:sqoophive
应用:分布式计算/hadoop
方法/步骤
1、首先演示HCatalogapi,导入代码如下。
2、或者如下图所示代码写法,源表和目标表字段名需要相同。
3、字段名不同,会产生报错NullPointerException。
4、没有sqoop的可以先下载sqoop安装包,安装方法见第二小节。
5、Sqoop方式参考命令,如下图命令。
6、用–query实现简单的数据抽取的方式。
7、要带where$CONDITIONS,否则会报错。
8、用上诉方法导入完成。完成后可用下图命令查看数据文件。
sqoop安装方法:
1、解压sqoop安装包到指定的目录。
2、进入sqoop的conf目录,复制sqoop-env-template.sh。
3、编辑sqoop-env.sh文件,路径要根据具体位置填写。
4、输入bin命令验证一下,显示下图为安装配置成功。