如何重新排列Python Pandas数据框？

Question

我已经从一个 .csv 文件中读取了下面这个数据框，其中“Date”列为索引。行表示日期，列显示当天每小时的值。

> Date           h1 h2  h3  h4 ... h24
> 14.03.2013    60  50  52  49 ... 73

我希望安排成这样，有一个包含日期/时间的索引列和一个按顺序排列的值的列。

>Date/Time            Value
>14.03.2013 00:00:00  60
>14.03.2013 01:00:00  50
>14.03.2013 02:00:00  52
>14.03.2013 03:00:00  49
>.
>.
>.
>14.03.2013 23:00:00  73

我尝试使用两个循环遍历数据帧。在pandas中有更简单的方法吗？

- Markus W

Answer 1

我不太擅长日期计算，但也许可以像这样：

import pandas as pd
from datetime import timedelta

df = pd.read_csv("hourmelt.csv", sep=r"\s+")

df = pd.melt(df, id_vars=["Date"])
df = df.rename(columns={'variable': 'hour'})
df['hour'] = df['hour'].apply(lambda x: int(x.lstrip('h'))-1)

combined = df.apply(lambda x: 
                    pd.to_datetime(x['Date'], dayfirst=True) + 
                    timedelta(hours=int(x['hour'])), axis=1)

df['Date'] = combined
del df['hour']

df = df.sort("Date")

---

一些解释将会跟随。

从这里开始

>>> import pandas as pd
>>> from datetime import datetime, timedelta
>>> 
>>> df = pd.read_csv("hourmelt.csv", sep=r"\s+")
>>> df
         Date  h1  h2  h3  h4  h24
0  14.03.2013  60  50  52  49   73
1  14.04.2013   5   6   7   8    9

我们可以使用 pd.melt 将小时列合并为一个带有该值的列：

>>> df = pd.melt(df, id_vars=["Date"])
>>> df = df.rename(columns={'variable': 'hour'})
>>> df
         Date hour  value
0  14.03.2013   h1     60
1  14.04.2013   h1      5
2  14.03.2013   h2     50
3  14.04.2013   h2      6
4  14.03.2013   h3     52
5  14.04.2013   h3      7
6  14.03.2013   h4     49
7  14.04.2013   h4      8
8  14.03.2013  h24     73
9  14.04.2013  h24      9

摆脱那些h标签：

>>> df['hour'] = df['hour'].apply(lambda x: int(x.lstrip('h'))-1)
>>> df
         Date  hour  value
0  14.03.2013     0     60
1  14.04.2013     0      5
2  14.03.2013     1     50
3  14.04.2013     1      6
4  14.03.2013     2     52
5  14.04.2013     2      7
6  14.03.2013     3     49
7  14.04.2013     3      8
8  14.03.2013    23     73
9  14.04.2013    23      9

将这两列合并为一个日期：

>>> combined = df.apply(lambda x: pd.to_datetime(x['Date'], dayfirst=True) + timedelta(hours=int(x['hour'])), axis=1)
>>> combined
0    2013-03-14 00:00:00
1    2013-04-14 00:00:00
2    2013-03-14 01:00:00
3    2013-04-14 01:00:00
4    2013-03-14 02:00:00
5    2013-04-14 02:00:00
6    2013-03-14 03:00:00
7    2013-04-14 03:00:00
8    2013-03-14 23:00:00
9    2013-04-14 23:00:00

重新组装并清理：

>>> df['Date'] = combined
>>> del df['hour']
>>> df = df.sort("Date")
>>> df
                 Date  value
0 2013-03-14 00:00:00     60
2 2013-03-14 01:00:00     50
4 2013-03-14 02:00:00     52
6 2013-03-14 03:00:00     49
8 2013-03-14 23:00:00     73
1 2013-04-14 00:00:00      5
3 2013-04-14 01:00:00      6
5 2013-04-14 02:00:00      7
7 2013-04-14 03:00:00      8
9 2013-04-14 23:00:00      9

- DSM

---

不错的解决方案！您可以将 df['hour'].apply(...) 和 combined = ... 行合并为 df['Date'] += df['hour'].apply(lambda x: timedelta(hours=int(x.lstrip('h'))-1))。 - unutbu

非常好的解决方案。非常感谢。我刚刚将日期设置为索引，它完美地工作了。> df = df.set_index（'日期'） - Markus W

Answer 2

你可以随时获取 hourly data_array 并将其展平。你可以生成一个新的每小时频率 DatetimeIndex。

df = df.asfreq('D')
hourly_data = df.values[:, :]
new_ind = pd.date_range(start=df.index[0], freq="H", periods=len(df) * 24)
# create Series.
s = pd.Series(hourly_data.flatten(), index=new_ind)

我假设read_csv正在解析“日期”列并将其作为索引。我们更改“D”的频率，以便new_ind正确对齐，如果有缺失的天数，则会填充np.nan，您可以使用s.dropna()删除它们。

笔记本链接

- Dale