我有多个CSV文件(小于10G),需要以内存高效的方式逐个验证文件。我的验证包括:
1->文件是否正确分割
2->验证某些列,如整数/小数
3->验证某些列的日期格式(例如yyyy/MM/dd)。
目前我正在使用
1->文件是否正确分割
2->验证某些列,如整数/小数
3->验证某些列的日期格式(例如yyyy/MM/dd)。
目前我正在使用
with open(file_name, 'r') as myCSV:
CSVreader = csv.reader(myCSV)
for row in CSVreader:
my_logic
循环每一行并验证每行的条件。是否有更好的库/方法可用?我听说过pandas,但不确定它是否具有内存效率。