Seaborn与大数据的直方图

Question

Seaborn与大数据的直方图

3

我正在尝试绘制一个包含三百万行数据的漂亮直方图（我有2个CPU/16GB RAM）。即使我提供了bin，也无法得到绘图。有没有更有效的方法来绘制直方图？请查看下面的代码。

df0 = dd.read_csv(filename, sep="|", header=None, dtype=np.str, error_bad_lines=False, usecols=col0, quoting=3, encoding='ISO-8859-1')
dfs = df0[df0['DocumentTypeStndCode']=='D'].compute()
dfs['Price'] = dfs[pd.to_numeric(dfs['Price'], errors='coerce').notnull()]

sns.distplot(dfs['Price'], bins=[0, 10000, 200000, 400000, 2000000], kde=False)
plt.show()

- Anna Ignashkina

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- James Natale · Accepted Answer

这对你来说不应该是一个问题。根据5000万行数据生成图表只需要几秒钟时间。我先尝试使用pandas hist。

import pandas as pd
import numpy as np
%matplotlib inline
df = pd.DataFrame({
  'values': np.random.beta(0.5, 0.1, size=50000000)
})
hist = df.hist(bins=10)

同样适用于seaborn

import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

sns.distplot(df['values'], bins=[0, .10000, .200000, .400000, 2.000000], kde=False)
plt.show()