处理CsvHelper中的错误CSV记录

Question

处理CsvHelper中的错误CSV记录

19

我希望能够遍历CSV文件中的所有记录，并将所有好的记录添加到一个集合中，将所有“坏”的记录分别处理。但我似乎无法做到这一点，我想我一定是漏掉了什么。

如果我尝试捕获BadDataException，那么后续的读取将会失败，这意味着我不能继续读取文件的剩余部分。

while (true)
{
    try
    {
        if (!reader.Read())
            break;

        var record = reader.GetRecord<Record>();
        goodList.Add(record);
    }
    catch (BadDataException ex)
    {
        // Exception is caught but I won't be able to read further rows in file
        // (all further reader.Read() result in same exception thrown)
        Console.WriteLine(ex.Message);
    }
}

另一个讨论的选择是将BadDataFound回调操作设置为处理它 -

reader.Configuration.BadDataFound = x =>
{
    Console.WriteLine($"Bad data: <{x.RawRecord}>");
};

然而，尽管回调被调用，但坏记录仍然出现在我的“好列表”中。

我能否查询读取器以查看记录是否良好，然后再将其添加到列表中？

对于此示例，我的记录定义为 -

class Record
{
    public string FirstName { get; set; }
    public string LastName { get; set; }
    public int Age { get; set; }
}

而数据（第一行有误，第二行正确）-

"Jo"hn","Doe",43
"Jane","Doe",21

有趣的是，使用MissingFieldException处理缺少字段似乎正好符合我的要求——抛出异常，但后续行仍然可以正常读取。

- Zak

好的，文件格式并没有规定什么是“错误行”。你遇到的是一个已损坏的文件。在读取文件时猜测其余部分可能性是毫无意义的，因为它不是有效的CSV文件。 - nvoigt

我不理解你上一条评论的意思，如果 MissingFieldException 是你想要的并且它能够满足你的需求，为什么它不能正常工作呢？ - Tim Schmelter

为什么不在 while 块中的 try { } 之前放置指令 if (!reader.Read()) break;？ - Jean-Claude Colette

@nvoigt 我同意文件格式并没有说明什么是坏行，不幸的是我无法控制源代码，但是如果你设置了BadDataFound回调函数，CsvHelper就能够完美地找出坏行并继续处理下一行。 - Zak

@Zak 在这种情况下，最好的方法是将CSV文件作为普通文本文件逐行读取，并解析每个字符串。如果字符串中没有逗号，您可以使用Split（'，'）。 - Jean-Claude Colette

显示剩余3条评论

2个回答

0

可以一次性加载整个列表来完成。这是通用的实现。请参阅内联注释

public static List<TOut>? CsvLoad<TMap, TOut>(string path) where TMap : ClassMap<TOut> where TOut : class, 
{
    List<TOut>? modelList = null;

    if (File.Exists(path))
    {
        var config = new CsvConfiguration(CultureInfo.InvariantCulture);
        config.ReadingExceptionOccurred = re =>
        {
            // HERE YOU CAN DO ANYTHING YOU WANT WITH A BAD ROW
            Debug.WriteLine($"Bad Row in file '{path}'; CSV ERROR: {re.Exception}");
            return false; // <-- tells process to continue
        };      


        try
        {

            using (var stream = new StreamReader(path))
            using (var csv = new CsvReader(stream, config))
            {
                csv.Context.RegisterClassMap<TMap>();
                modelList = csv.GetRecords<TOut>().ToList(); // <-- get all records
            }
        }
        catch (Exception ex)
        {
            // This must be some bad exception
        }
    }
    else
    {
        // LOG, THROW EXCEPTION, whatever
    }
    return modelList;

}

请注意：可以根据需要添加更多的配置。可以向方法添加options参数。

- T.S.

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Josh Close · Accepted Answer

这是我提供的示例。

void Main()
{
    using (var stream = new MemoryStream())
    using (var writer = new StreamWriter(stream))
    using (var reader = new StreamReader(stream))
    using (var csv = new CsvReader(reader))
    {
        writer.WriteLine("FirstName,LastName");
        writer.WriteLine("\"Jon\"hn\"\",\"Doe\"");
        writer.WriteLine("\"Jane\",\"Doe\"");
        writer.Flush();
        stream.Position = 0;

        var good = new List<Test>();
        var bad = new List<string>();
        var isRecordBad = false;
        csv.Configuration.BadDataFound = context =>
        {
            isRecordBad = true;
            bad.Add(context.RawRecord);
        };
        while (csv.Read())
        {
            var record = csv.GetRecord<Test>();
            if (!isRecordBad)
            {
                good.Add(record);
            }

            isRecordBad = false;
        }

        good.Dump();
        bad.Dump();
    }
}

public class Test
{
    public string FirstName { get; set; }
    public string LastName { get; set; }
}