logo标签列表

使用Pyspark读取包含CSV文件的7z压缩文件

apache-sparkpyspark
3
如何在Pyspark中读取7z压缩文件？
我尝试像下面这样创建数据框：
```python ```
df = spark.read.csv("s3a://test-bucket/dev/test.7z", sep='|')

df.show() 显示的数据如下 -


注：该代码用于显示数据。
+--------------------+
|                 _c0|
+--------------------+
|        7z��'��Ȥ�|
|$��...|
|Ӹ�<�Y[�0�O���!g���|
| jMi�,�K\T�@�ّ���...|
|o\�*l��vg'BS�s�...|
|I�N�t  ���Ni��?ޣ�...|
|V�!�?g`�]�%ޚ�i�V...|
|�����p �Bj*���mv...|
|              �>d�UH|
|�,i��e�k�z�)�Pj...|
|�����Mn���Eo�,...|
|�ux D���)6��^6�j...|
|�쥲���o�}�~S#N��...|
|6*�(au���9��Lq'2�...|
|]�R��J!6 a�m�c�i...|
|�H�_Ae1�P��} JZ��...|
|�z~O�@SG   �̬H��@...|
|+V`(/���D��Z� ...|
|ز����[�6�z��<:��...|
|                 NH�|
+--------------------+

7z被支持吗？有没有办法读取7z文件？

sc.textFile("s3a://test-bucket/dev/test.7z").toDF() 这段代码能够正常工作吗？ - pault
No @pault Thanks - Spark user
1个回答
0

你可能需要解压缩 .7z 文件，然后将解压缩的底层数据文件读入 Spark df 中。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接