我正在将pandas数据帧中的数据编入elasticsearch索引。
我已经为一些es字段设置了null_value,但并非所有字段都是这样。
如何删除那些没有null_value的列,同时保留那些有null_value的列(将其值设置为None)?
es映射:
"properties": {
"sa_start_date": {"type": "date", "null_value": "1970-01-01T00:00:00+00:00"},
"location_name": {"type": "text"},
代码:
cols_with_null_value = ['sa_start_date']
orig = [{
'meter_id': 'M1',
'sa_start_date': '',
'location_name': ''
},{
'meter_id': 'M1',
'sa_start_date': '',
'location_name': 'a'
}]
df = pd.DataFrame.from_dict(orig)
df['sa_start_date'] = df['sa_start_date'].apply(pd.to_datetime, utc=True, errors='coerce')
df.replace({'': np.nan}, inplace=True)
df:
meter_id sa_start_date location_name
0 M1 NaT NaN
1 M1 NaT a
Elasticsearch索引所需的字典:
{"meter_id": M1, "sa_start_date": None}
{"meter_id": M1, "sa_start_date": None, "location_name": "a"}
请注意,带有NaN的location_name单元格未被索引,但带有NaT的sa_start_date单元格是被索引的。
我尝试了许多方法,每个方法都比上一个更荒谬;没有值得展示的东西。
欢迎各位提出任何想法!
我尝试了这个方法,但Nones和NaNs一起被删除了...
df[null_value_cols] = df[null_value_cols].replace({np.nan: None})
df:
meter_id sa_start_date location_name
0 M1 None NaN
1 M1 None a
for row in df.iterrows():
ser = row[1]
ser.dropna(inplace=True)
lc = {k: v for k, v in dict(row[1]).items()}
lc: {'meter_id': 'M1'}
lc: {'meter_id': 'M1', 'location_name': 'a'}