如何基于开始时间和结束时间，在Pandas数据框中将多个列值连接成单个列？

Question

如何基于开始时间和结束时间，在Pandas数据框中将多个列值连接成单个列？

pythonpandasdataframetime-seriesconcatenation

3

我是Python的新手，想要使用pandas创建一个类似于这个的数据库。

以下是我df的简化版本：

    Timestamp   A   B   C
0   2013-02-01  1   0   0
1   2013-02-02  2   10  18
2   2013-02-03  3   0   19
3   2013-02-04  4   12  20
4   2013-02-05  0   13  21
5   2013-02-06  6   14  22
6   2013-02-07  7   15  23
7   2013-02-08  0   0   0

我首先做的事情是使用以下代码创建一个新的空数据框来存储数据：

# Create frequent pattern source database
df_frequent_pattern = pd.DataFrame(columns = ["Start Time", "End Time", "Active Appliances"])

# Create start_time and end_time series using pd.date_range
df_frequent_pattern["Start Time"] = pd.date_range("2013-02-1", "2013-02-08", freq = "D")
df_frequent_pattern["End Time"] = pd.date_range("2013-02-2", "2013-02-09", freq = "D")

这将产生以下输出：

    Start Time  End Time    Active Appliances
0   2013-02-01  2013-02-02  NaN
1   2013-02-02  2013-02-03  NaN
2   2013-02-03  2013-02-04  NaN
3   2013-02-04  2013-02-05  NaN
4   2013-02-05  2013-02-06  NaN
5   2013-02-06  2013-02-07  NaN
6   2013-02-07  2013-02-08  NaN
7   2013-02-08  2013-02-09  NaN

基于这个和这个 Stack Overflow post，我编写了以下代码将电器分配到正确的时间分辨率：

# Add the data to the correct 'active' period based on interval and merge the active appliances in the "active appliances column"
# Row counter for the loop
rows = 8

for row in range(rows):
  # Check if appliance is active during time resoltuion
  if df_frequent_pattern["Start Time"] <= df["Timestamp"] | df["Timestamp" <= df_frequent_pattern["End Time"]:
    # Add all the appliance active during the time resolution to the column as a string value (e.g. "A, B, C")
     df_frequent_pattern["Active Appliances"] = df["A", "B", "C"].apply(lambda row: '_'.join(row.values.astype(str)), axis = 1)

很不幸，代码不能运行，我得到了以下错误

df_frequent_pattern["Active Appliances"] = df["A", "B", "C"].apply(lambda row: '_'.join(row.values.astype(str)), axis = 1)
                                         ^
SyntaxError: invalid syntax

然而，根据第二篇帖子，'='似乎被放置得正确。您有什么想法可以使用df来获得如上所示的预期结果吗？

应该像这样：

   Start Time   End Time    Active Appliances
0   2013-02-01  2013-02-02  "A"
1   2013-02-02  2013-02-03  "A,B,C"
2   2013-02-03  2013-02-04  "A,C"
3   2013-02-04  2013-02-05  "A,B,C"
4   2013-02-05  2013-02-06  "A,B,C"
5   2013-02-06  2013-02-07  "A,B,C"
6   2013-02-07  2013-02-08  "A,B,C"
7   2013-02-08  2013-02-09  ""

- MxGr20

1

使用 df[["A", "B", "C"]] - jezrael

1

你的第一篇帖子做了充分的研究，几乎是一个完美的问题，只需要添加你的样本输出即可。但我认为你需要使用 df[["A", "B", "C"]].astype(str).agg('_'.join,1)。 - Umar.H

@jezrael 我添加了额外的括号，但我仍然得到相同的语法错误。 - MxGr20

1

@ShubhamSharma 我不确定是因为缺乏预期输出，从我所看到的来看，任何大于1的值都是活动设备，但对于3-4。 - Umar.H

1

@Manakin 如果值不为0，则设备处于活动状态。在我的数据集中，这些值对应于某个时间点上该设备的总能量消耗。我试图创建一个数据库，以便我可以看到哪些设备在特定时间分辨率下处于活动状态（具有能量消耗）。 - MxGr20

显示剩余3条评论

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Umar.H · Accepted Answer

让我们分几步来完成。

首先，让我们确保你的Timestamp是一个日期时间。

df['Timestamp'] = pd.to_datetime(df['Timestamp'])

接下来我们可以根据你的时间戳的最小和最大值创建一个新的数据帧。

df1 = pd.DataFrame({'start_time' : pd.date_range(df['Timestamp'].min(), df['Timestamp'].max())})

df1['end_time'] = df1['start_time'] + pd.DateOffset(days=1)

 start_time   end_time
0 2013-02-01 2013-02-02
1 2013-02-02 2013-02-03
2 2013-02-03 2013-02-04
3 2013-02-04 2013-02-05
4 2013-02-05 2013-02-06
5 2013-02-06 2013-02-07
6 2013-02-07 2013-02-08
7 2013-02-08 2013-02-09

现在我们需要创建一个数据帧，以合并到您的 start_time 列上。

让我们过滤掉任何小于0的值，并创建一个活动电器清单：

df = df.set_index('Timestamp')
# the remaining columns MUST be integers for this to work. 
# or you'll need to subselect them. 
df2 = df.mask(df.le(0)).stack().reset_index(1).groupby(level=0)\
                 .agg(active_appliances=('level_1',list)).reset_index(0)

# change .agg(active_appliances=('level_1',list) > 
# to .agg(active_appliances=('level_1',','.join)
# if you prefer strings.



    Timestamp active_appliances
0 2013-02-01               [A]
1 2013-02-02         [A, B, C]
2 2013-02-03            [A, C]
3 2013-02-04         [A, B, C]
4 2013-02-05            [B, C]
5 2013-02-06         [A, B, C]
6 2013-02-07         [A, B, C]

然后我们可以合并：

final = pd.merge(df1,df2,left_on='start_time',right_on='Timestamp',how='left').drop('Timestamp',1)


  start_time   end_time active_appliances
0 2013-02-01 2013-02-02               [A]
1 2013-02-02 2013-02-03         [A, B, C]
2 2013-02-03 2013-02-04            [A, C]
3 2013-02-04 2013-02-05         [A, B, C]
4 2013-02-05 2013-02-06            [B, C]
5 2013-02-06 2013-02-07         [A, B, C]
6 2013-02-07 2013-02-08         [A, B, C]
7 2013-02-08 2013-02-09               NaN