静态分区和动态分区在Hive中的主要区别是什么?使用单独插入表示静态分区,而对分区表进行单个插入则表示动态分区。是否还有其他优点?
在静态分区中,我们需要在每个LOAD语句中指定分区列的值。
例如,如果我们在表t1(userid,name,occupation,country)的列country上进行了分区,那么每次都需要提供country值。
hive>LOAD DATA INPATH '/hdfs path of the file' INTO TABLE t1 PARTITION(country="US")
hive>LOAD DATA INPATH '/hdfs path of the file' INTO TABLE t1 PARTITION(country="UK")
动态分区允许我们不用每次指定分区列的值。我们遵循的方法如下:
从t2中按如下方式加载数据到t1中:
hive> INSERT INTO TABLE t2 PARTITION(country) SELECT * from T1;
确保分区列始终是非分区表中的最后一列(因为我们在t2中有country列)
Hive中的分区对于在查询过程中修剪数据以减少查询时间非常有用。
当插入数据到表中时,就会创建分区。根据数据的加载方式,您需要使用不同类型的分区。通常,在将文件(大文件)加载到Hive表中时,建议使用静态分区。这样可以节省加载数据的时间,与动态分区相比。您可以"静态地"添加表中的分区,然后将文件移动到表的分区中。由于文件通常很大,它们通常在HDFS中生成。您可以从文件名、日期等获取分区列值,而无需读取整个大文件。
当使用动态分区时,整个大文件即每一行数据都会被读取,并通过MR任务将数据分区到目标表中,具体取决于文件中的某些字段。因此,通常在数据管道中进行ETL流程时,动态分区非常有用。例如,您可以通过移动命令将一个巨大的文件加载到Table X中,然后运行一个插入查询到Table Y,并基于Table X中的字段(例如日期、国家)对数据进行分区。您可能还想进一步运行ETL步骤,将Table Y中的国家分区的数据分区到Table Z中,其中数据仅基于特定国家的城市进行了分区等。
因此,根据您的最终表或数据要求以及源数据的形式,您可能会选择使用静态或动态分区。
Hive中的静态分区
将输入数据文件逐个插入到分区表中称为静态分区。 通常在将文件(大文件)加载到Hive表中时,首选静态分区。
与动态分区相比,静态分区可节省加载数据的时间。 您可以在表中“静态”添加分区并将文件移动到表的分区中。
我们可以更改静态分区中的分区。
您可以从文件名、日期的天数等获取分区列值,而无需读取整个大文件。 如果要在Hive中使用静态分区,则应设置属性
set hive.mapred.mode = strict
此属性在hive-site.xml中默认设置
静态分区处于严格模式
您应该使用where子句以在静态分区中使用限制
您可以在Hive管理表或外部表上执行静态分区。
Hive中的动态分区
向分区表中单独插入数据称为动态分区。
通常情况下,动态分区从未分区的表中加载数据。
与静态分区相比,动态分区加载数据需要更多时间。
当您在表中存储大量数据时,动态分区是合适的。
如果要对列数进行分区,但不知道有多少列,则动态分区也是合适的。
在动态分区中,不需要使用where子句来使用限制。 我们无法对动态分区执行更改。
您可以在Hive外部表和管理表上执行动态分区。 如果要在Hive中使用动态分区,则模式处于非严格模式 以下是Hive动态分区属性应允许
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
HIVE中的动态分区:
CREATE TABLE temps_orc_partition_date
(statecode STRING, countrycode STRING, sitenum STRING, paramcode STRING, poc STRING, latitude STRING, longitude STRING, datum STRING, param STRING, timelocal STRING, dategmt STRING, timegmt STRING, degrees double, uom STRING, mdl STRING, uncert STRING, qual STRING, method STRING, methodname STRING, state STRING, county STRING, dateoflastchange STRING)
PARTITIONED BY (datelocal STRING)
STORED AS ORC;
INSERT INTO TABLE temps_orc_partition_date
PARTITION (datelocal)
SELECT statecode, countrycode, sitenum, paramcode, poc, latitude, longitude, datum, param, timelocal, dategmt, timegmt, degrees, uom, mdl, uncert, qual, method, methodname, state, county, dateoflastchange, datelocal
FROM temps_txt;
name, salary(分区),designation
。当从非分区表加载到分区表时,尽管将列指定为Salary
,但并未得到遵守。数据被按职称拆分,最糟糕的是HDFS中的分区文件结构为/user/hive/warehouse/test.db/employee/salary=Technical/000000_0
。 - Kishore Bandi