hive主要内容（Hive常用知识点汇总01）

创建表

#1. 通过select数据集创建表 create table table_name [stored as orc] as select ...... #2. --只复制表结构，不复制表数据 CREATE TABLE empty_key_value_store LIKE key_value_store;

向表里加载数据

有local 是linux 本地 无local 是dhfs

LOAD DATA LOCAL INPATH '路径/文件名' OVERWRITE INTO TABLE 表名; LOAD DATA LOCAL INPATH '路径/文件名' OVERWRITE INTO TABLE 表名 PARTITION(ds='2021-07-04');

insert into table ext_task1 partition(taskname='wordcount05') select word, num from ext_task1 where taskname='wordcount0

导出数据到HDFS

有local 是linux 本地 无local 是hdfs

insert overwrite local directory '/home/user/' select NAME FROM USER;

注意：如果是分区表，导出数据时，导出的格式是avro、orc文件格式，如果不加分区导出时，会报错。

如何把分区表中所有数据都导出来avro、orc文件格式

需要通过临时表，作为中间表，先导出到中间表，再从中间表导出avro、orc文件格式的数据。

常规修改操作

--改表名 ALTER TABLE table_name RENAME TO new_table_name; --修改表属性 ALTER TABLE table_name SET TBLPROPERTIES table_properties; -- 增加表字段 alter table table_name add columns (test_col string); --修改表字段 alter table ext_test_c CHANGE COLUMN col_new col_new2 string;

对新增字段插入数据再查询发现是NULL

hive比较特殊的地方，在于它的表结构和数据其实是分开的。这个会导致，对hive分区表新增字段后，在执行插入分区的动作，会发现其实数据文件中已经有新字段值了，但是在查询的时候新字段的值还是显示为null。

例如我执行了下面的方法新增了一列col3：

alter table my.test_table add columns(col3 int comment '第三列')

然后想插入一些数据：

insert overwrite table my.test_table partition(pt=1) select 1 as col1, 2 as col2 ,3 as col3 from my.online_table;

结果查询col1,col2,col3发现结果其实是：

1 2 NULL 1 2 NULL ...1

这是因为你对表结构进行了改变，但是历史分区的数据却没有做改变(新增分区不会出现这个情况)。

为了解决上面的问题，可以采用两种方式：

如果已经执行添加操作，并且没有带cascade，可以尝试下面的方法：

使用replace 恢复表结构，这样历史的分区数据都不会消失

使用replace 恢复表结构，这样历史的分区数据都不会消失 alter table industry_db.product replace columns(product_name string comment ‘产品名’);

• 在新增的时候加上cascade关键词

alter table my.test_table add columns(col3 int comment '第三列') cascade

Hive视图

• 只有逻辑视图，没有物化视图；
• 视图只能查询，不能Load/Insert/Update/Delete数据； alter view 和重建效果一致。
• 视图在创建时候，只是保存了一份元数据，在hdfs中没有体现，当查询视图的时候，才开始执行视图对应的那些子查询，如果子查询比较简单，不会生成MapReduce任务；

结论： 无论 使用视图还是不使用视图，执行的任务数不变。主要是为了简化SQL的编写；

动态分区

在select最后一个字段必须跟你的分区字段，这样就会自行根据deptno的value来分区。

Hive默认是静态分区，我们在插入数据的时候要手动设置分区，如果源数据量很大的时候，那么针对一个分区就要写一个insert，比如说，有很多我们日志数据，我们要按日期作为分区字段，在插入数据的时候手动去添加分区，那样太麻烦。因此，Hive提供了动态分区，动态分区简化了我们插入数据时的繁琐操作。

--设置参数动态分区

--开启动态分区

set hive.exec.dynamic.partition=true;

--这个属性默认是strict，即限制模式，strict是避免全分区字段是动态的，必须至少一个分区字段是指定有值即静态的，且必

--须放在最前面。设置为nonstrict之后所有的分区都可以是动态的了。

set hive.exec.dynamic.partition.mode=nonstrict;

--表示每个节点生成动态分区的最大个数，默认是100 set hive.exec.max.dynamic.partitions.pernode=10000; --表示一个DML操作可以创建的最大动态分区数，默认是1000 set hive.exec.max.dynamic.partitions=100000; --表示一个DML操作可以创建的最大文件数，默认是100000 set hive.exec.max.created.files=150000 --将select数据，覆盖到表的动态分区 insert overwrite table table1 partition (ds, hr) select key, value, ds, hr FROM table2 WHERE ds is not null;

读到最后，希望对小伙伴有所帮助，希望多多点赞，多多转发。