sqoop如何导入数据到hive

 时间:2024-11-02 22:33:25

通过Sqoop将关系型数据库数据到Hive有两种方式,缬方焱蜱一种是SqoopAPI,一种是使用HCat锾攒揉敫alogAPI。Sqoopapi支持的数据格式少,HCatalogapi支持的格式多,比如Sqoop方式不支持ORC格式的表,但是HCatalog支持。下面小编为大家分享两种导入方式的步骤代码。

sqoop如何导入数据到hive

工具/原料

演示程序:sqoophive

应用:分布式计算/hadoop

方法/步骤

1、首先演示HCatalogapi,导入代码如下。

sqoop如何导入数据到hive

2、或者如下图所示代码写法,源表和目标表字段名需要相同。

sqoop如何导入数据到hive

3、字段名不同,会产生报错NullPointerException。

sqoop如何导入数据到hive

4、没有sqoop的可以先下载sqoop安装包,安装方法见第二小节。

sqoop如何导入数据到hive

5、Sqoop方式参考命令,如下图命令。

sqoop如何导入数据到hive

6、用–query实现简单的数据抽取的方式。

sqoop如何导入数据到hive

7、要带where$CONDITIONS,否则会报错。

sqoop如何导入数据到hive

8、用上诉方法导入完成。完成后可用下图命令查看数据文件。

sqoop如何导入数据到hive

sqoop安装方法:

1、解压sqoop安装包到指定的目录。

sqoop如何导入数据到hive

2、进入sqoop的conf目录,复制sqoop-env-template.sh。

sqoop如何导入数据到hive

3、编辑sqoop-env.sh文件,路径要根据具体位置填写。

sqoop如何导入数据到hive

4、输入bin命令验证一下,显示下图为安装配置成功。

sqoop如何导入数据到hive

我的世界通用机械怎么制作流体装填器 我的世界热力便携储罐怎么切换模式 我的世界工业2系列教程(3) 我的世界铜块怎么防止生锈 我的世界能量水晶怎么做
热门搜索
苹果3图片 七大罪漫画 兰陵王图片 撸管动态图片 宠物猫图片