当我尝试在 Pandas 中重新索引 dataframe 时,出现了一种非常奇怪的行为。我的 Pandas 版本是 0.10.0,我使用的是 Python 2.7。
基本上,当我载入一个 dataframe 时:
eurusd = pd.DataFrame.load('EUR_USD_30Min.df').drop_duplicates().dropna()
eurusd
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 119710 entries, 2003-02-02 17:30:00 to 2012-12-28 17:00:00
Data columns:
open 119710 non-null values
high 119710 non-null values
low 119710 non-null values
close 119710 non-null values
dtypes: float64(4)
然后我尝试在更大的日期范围内重新索引:
newindex = pd.DateRange(datetime.datetime(2002,1,1), datetime.datetime(2012,12,31), offset=pd.datetools.Minute(30))
newindex
<class 'pandas.tseries.index.DatetimeIndex'>
[2002-01-01 00:00:00, ..., 2012-12-31 00:00:00]
Length: 192817, Freq: 30T, Timezone: None
我在尝试重新索引数据框时遇到了奇怪的行为。如果我重建数据集的其中一个大部分,我会得到以下错误:
eurusd[29558:29560].reindex(index=newindex)
Exception: Reindexing only valid with uniquely valued Index objects
但是,如果我对上述数据的两个子集执行相同的操作,就不会出现错误:
这是第一个子集,没有问题:
eurusd[29558:29559].reindex(index=newindex)
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 192817 entries, 2002-01-01 00:00:00 to 2012-12-31 00:00:00
Freq: 30T
Data columns:
open 1 non-null values
high 1 non-null values
low 1 non-null values
close 1 non-null values
dtypes: float64(4)
这里是第二个子集,仍然没有问题。
eurusd[29559:29560].reindex(index=newindex)
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 192817 entries, 2002-01-01 00:00:00 to 2012-12-31 00:00:00
Freq: 30T
Data columns:
open 1 non-null values
high 1 non-null values
low 1 non-null values
close 1 non-null values
dtypes: float64(4)
我真的为此疯狂,无法理解这样的原因。看起来这个数据帧没有重复项和重复索引......如果您需要,我可以提供数据帧的pickle文件。
eurusd.index.is_unique
的输出是什么?(也许当时钟改变时,时间会重复出现,除非您在日期时间的时区信息中包含它) - Andy Haydeneurusd[35700:35800].index.is_unique
它会返回True但是如果我运行eurusd[35700:].index.is_unique
却返回False... - mspadaccino