如果你的CSV文件有成千上万行，那么使用下面的
using_string_methods可能比使用
using_iterrows或
using_repeat更快：
使用
csv = 'id|name|fields'+("""
1|abc|[qq,ww,rr]
2|efg|[zz,xx,rr]"""*10000)
In [210]: %timeit using_string_methods(csv)
10 loops, best of 3: 100 ms per loop
In [211]: %timeit using_itertuples(csv)
10 loops, best of 3: 119 ms per loop
In [212]: %timeit using_repeat(csv)
10 loops, best of 3: 126 ms per loop
In [213]: %timeit using_iterrows(csv)
1 loop, best of 3: 1min 7s per loop
因此，对于一份有10000行的CSV文件，using_string_methods比using_iterrows快600倍以上，并且比using_repeat稍微快一些。
import pandas as pd
try: from cStringIO import StringIO
except ImportError: from io import StringIO
def using_string_methods(csv):
df = pd.read_csv(StringIO(csv), sep='|', dtype=None)
other_columns = df.columns.difference(['fields']).tolist()
fields = (df['fields'].str.extract(r'\[(.*)\]', expand=False)
.str.split(r',', expand=True))
df = pd.concat([df.drop('fields', axis=1), fields], axis=1)
result = (pd.melt(df, id_vars=other_columns, value_name='field')
.drop('variable', axis=1))
result = result.dropna(subset=['field'])
return result
def using_iterrows(csv):
df = pd.read_csv(StringIO(csv), sep='|')
df.fields = df.fields.apply(lambda s: s[1:-1].split(','))
new_df = pd.DataFrame(index=[], columns=df.columns)
for _, i in df.iterrows():
flattened_d = [dict(i.to_dict(), fields=c) for c in i.fields]
new_df = new_df.append(flattened_d )
return new_df
def using_repeat(csv):
df = pd.read_csv(StringIO(csv), sep='|')
df.fields = df.fields.apply(lambda s: s[1:-1].split(','))
cols = df.columns[df.columns != 'fields'].tolist()
df1 = pd.DataFrame(np.column_stack(
(df[cols].values.repeat(list(map(len,df.fields)),axis=0),
np.hstack(df.fields))), columns=cols + ['fields'])
return df1
def using_itertuples(csv):
df = pd.read_csv(StringIO(csv), sep='|')
df.fields = df.fields.apply(lambda s: s[1:-1].split(','))
other_columns = df.columns.difference(['fields']).tolist()
data = []
for tup in df.itertuples():
data.extend([[getattr(tup, col) for col in other_columns]+[field]
for field in tup.fields])
return pd.DataFrame(data, columns=other_columns+['field'])
csv = 'id|name|fields'+("""
1|abc|[qq,ww,rr]
2|efg|[zz,xx,rr]"""*10000)
通常情况下，只有在数据采用本地的NumPy dtype格式（例如int64或float64，或字符串）时，才能实现快速的NumPy/Pandas操作。一旦将列表（非本地NumPy dtype格式）放入DataFrame中，结果就不尽如人意 - 您将被迫使用Python速度很慢的循环来处理列表。
因此，为了提高性能，您需要避免将列表放入DataFrame。
using_string_methods 将fields数据加载为字符串：
df = pd.read_csv(StringIO(csv), sep='|', dtype=None)
尽量避免使用apply方法（通常与普通的Python循环一样慢）：
df.fields = df.fields.apply(lambda s: s[1:-1].split(','))
相反，它使用更快的向量化字符串方法将字符串分成单独的列：
fields = (df['fields'].str.extract(r'\[(.*)\]', expand=False)
.str.split(r',', expand=True))
一旦您将字段分列，您可以使用pd.melt将DataFrame重塑为所需格式。
pd.melt(df, id_vars=['id', 'name'], value_name='field')
顺便说一下，你可能会想知道，通过轻微修改 using_iterrows 可以和 using_repeat 一样快。我在 using_itertuples 中展示了这些变化。
df.itertuples 往往比 df.iterrows 稍微快一点，但差别不大。绝大部分的速度提升是通过避免在 for 循环中调用 df.append，因为那会导致二次复制。
