我正在尝试从CSV文件中读取数据,并将每一行拆分成相应的列。
但是当某个列内包含逗号时,我的正则表达式会出错。
例如:a,b,c,"d,e,g,",f
我希望得到的结果如下:
a b c "d,e, g," f
这里有一列,共5列。
我使用以下正则表达式通过逗号分隔字符串:
,(?=(?:"[^"]?(?:[^"])*))|,(?=[^"]+(?:,)|,+|$)
但它对某些字符串无效,而对其他字符串有效。
我的目标是,当我使用pyspark从csv读取数据并将其加载到数据框/ RDD中时,我希望能够加载/保留所有列,而不会出现任何错误。
谢谢