我有一个原始的输入JSON片段('/home/user/testsample.json') -
{"key": "somehashvalue","columns": [["Event:2014-03-26 00\\:29\\:13+0200:json","{\"user\":{\"credType\":\"ADDRESS\",\"credValue\":\"01:AA:A4:G1:HH:UU\",\"cAgent\":null,\"cType\":\"ACE\"},\"timestamp\":1395786553,\"sessionId\":1395785353,\"className\":\"Event\",\"subtype\":\"CURRENTLYACTIVE\",\"vType\":\"TEST\",\"vId\":1235080,\"eType\":\"CURRENTLYACTIVE\",\"eData\":\"1\"}",1395786553381001],["Event:2014-03-26 00\\:29\\:13+0200:","",1395786553381001]]}
我尝试使用Json SerDe解析上述json到我的Hive列。但是,1395786553381001不以SerDe可以映射到Hive列的格式呈现,即此值存在于没有Key的情况下(因为Hive理解在:之后呈现的Json列/值)。
因此,我采用了Array类型方法并创建了一个表 -
CREATE TABLE mytesttable (
key string,
columns array < array< string > >
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe';
LOAD DATA LOCAL INPATH '/home/user/testsample.json'
OVERWRITE INTO TABLE mytesttable;
从 mytesttable 选择列 [0] [1];得到 -
{"user":{"credType":"ADDRESS","credValue":"01:AA:A4:G1:HH:UU","cAgent":null,"cType":"ACE"},"timestamp":1395786553,"sessionId":1395785353,"className":"Event","subtype":"CURRENTLYACTIVE","vType":"TEST","vId":1235080,"eType":"CURRENTLYACTIVE","eData":"1"}
上述内容看起来很清晰,但是我还需要[*][2]列,即在Json hive列中进行进一步转换。
我编写了一个正则表达式hive查询,以清理位于'/home/user/testsample.json'
中的原始Json(假设它位于tablewithinputjson表中)
SELECT
REGEXP_REPLACE(REGEXP_REPLACE(REGEXP_REPLACE(ij.columna, '["][{]', '{'),'[}]["]', '}'), '\\\\', '') AS columna
FROM tablewithinputjson ij;
上面的查询返回 -
{"key": "somehashvalue","columns": [["Event:2014-03-26 00:29:13+0200:json",{"user":{"credType":"ADDRESS","credValue":"01:AA:A4:G1:HH:UU","cAgent":null,"cType":"ACE"},"timestamp":1395786553,"sessionId":1395785353,"className":"Event","subtype":"CURRENTLYACTIVE","vType":"TEST","vId":1235080,"eType":"CURRENTLYACTIVE","eData":"1"},1395786553381001],["Event:2014-03-26 00:29:13+0200:","",1395786553381001]]}
但是,1395786553381001不能映射到一个hive列,因为它出现在逗号之后,而不是冒号之后,更具体地说,这个值出现在没有键的情况下。(我可以在1395786553381001之前添加“test”:,但我不想定制输入数据 - 因为a)过多的定制是我不舒服的事情,b)看起来不是一个好的解决方案,c)这将不必要地浪费我的hadoop集群空间和时间)
为了避免进一步混淆,我无法提供一个完全解析并映射原始Json片段中所有字段的Hive表格式。欢迎任何建议。如果看起来太令人困惑,请让我知道。