DataFrame.to_json() 出现“分段错误”

Question

我有一段Python代码，它可以正常处理20行的文件，但当我试图发送同一个拥有60,000条记录的文件时，会显示"108936分段错误"。

有没有什么方法可以避免这个错误？是我的机器的问题吗？还是有更好的方法来解决这个问题？我使用Pandas，因为有时需要对DataFrame进行合并(pd.merge())。

以下是我的代码：

import pandas as pd
import json

columns = [u'SalesOrderID', u'OrderDate', u'DueDate', u'ShipDate', u'SalesOrderNumber', u'Title', u'FirstName', u'MiddleName', u'LastName', u'Suffix', u'PhoneNumber', u'PhoneNumberType', u'EmailAddress', u'EmailPromotion', u'AddressType', u'AddressLine1', u'AddressLine2', u'City', u'StateProvinceName', u'PostalCode', u'CountryRegionName', u'SubTotal', u'TaxAmt', u'Freight', u'TotalDue', u'UnitPrice', u'ProductName', u'ProductSubcategory', u'ProductCategory']
data = pd.read_csv('../Uploads/TxtData.txt', header=0, names=columns, sep='\t')
data.to_json(orient='records')

所使用的文件：

小文件

大文件

- Rednaxel

Answer 1

我注意到Panda Series（2022年6月）也有同样的问题。与DataFrame相同的修复方法也适用于Series：

#crash
df2 = df.groupby(['creationDate'])['creationDate'].count()
resp = df2.to_json()

#works
df2 = df.groupby(['creationDate'])['creationDate'].count()
resp = df2.to_json(orient='records', default_handler=str)

- rustyMagnet

Answer 2

在 DataFrame.to_json 中存在已知问题。

https://github.com/pandas-dev/pandas/issues/14256#issuecomment-249583941

目前唯一的解决方法是使用default_handler将您的对象转换为标准的json数据类型。我不知道txt.data中有什么，也不知道可能在csv文件中出现多么奇特的内容，但您需要一个default_handler。

- Michael David Watson