如何读取多个文件并将它们合并成一个 Pandas 数据框？

Question

我希望能够读取同一目录下的多个文件，并将它们合并成一个 pandas 数据框。

如果按照以下方法进行操作，它会起作用：

import pandas as pd

df1 = pd.read_csv("data/12015.csv")
df2 = pd.read_csv("data/22015.csv")
df3 = pd.read_csv("data/32015.csv")

df = pd.concat([df1, df2, df3])

然而，我希望使用更加优雅的解决方案，尤其是当文件数量大于3时。

我尝试了这种方法，但我不知道如何在for循环中应用concat。

import pandas as pd
import os
from os import path

files = [x for x in os.listdir("data") if path.isfile("data"+os.sep+x)]

for f in files:
    df = pd.read_csv("data/"+f)

- Klausos Klausos

Answer 1

您可以使用列表推导式创建DataFrame列表进行连接，然后在该列表上调用pd.concat()。例如 -

import pandas as pd
import os
from os import path
dfs = [pd.read_csv(path.join('data',x)) for x in os.listdir("data") if path.isfile(path.join("data",x))]
df = pd.concat(dfs)

你应该考虑使用 os.path.join() 来创建路径，而不是手动拼接字符串。

- Anand S Kumar

Answer 2

一个简单的列表推导应该就足够了：

dfs = pd.concat([pd.read_csv("data/" + f) for f in files])

更具容错性的方法如下所示：

df_list = []
bad_files = []
for f in files:
    try:
        df_list.append(pd.read_csv("data/" + f))
    except:
        bad_files.append(f)
dfs = pd.concat(df_list)

- Alexander