我正在尝试将Pandas数据框转换为极坐标数据框。
我只是使用了函数result_polars = pl.from_pandas(result)
。 转换进行得很顺利,但是当我检查两个数据框的形状时,我发现Polars数据框的大小只有原始Pandas数据框的一半。
我相信4172903059的长度几乎是Polars数据框允许的最大维度。
有人有建议吗?
这里是一个最小工作示例。
import polars as pl
import pandas as pd
import numpy as np
df = pd.DataFrame(np.zeros((4292903069,1), dtype=np.uint8))
df_polars = pl.from_pandas(df)
使用这些维度,两个数据框的大小相同。如果我改为使用以下内容:
import polars as pl
import pandas as pd
import numpy as np
df = pd.DataFrame(np.zeros((4392903069,1), dtype=np.uint8))
df_polars = pl.from_pandas(df)
Polars dataframe 具有较小的维度(97935773)。
polars-u64-idx
- 请参见:https://github.com/pola-rs/polars#going-big - jqurious