在Pandas_Python中合并求和和排除的操作

Question

我正在尝试使用这个Python脚本合并重复的行。我将一个列用逗号分隔，然后对其余部分求和，最后使用pandas删除重复项，但是我需要排除一些行不被求和。例如，我不想对poly_area和total_area进行求和。我该怎么做？

import pandas as pd

output = r'C:dummy'

    fieldlist = ["FID","total_area","POLY_AREA", "PERCENTAGE","C5_3","M1_4","M1_4_R6A","M1_4_R6B", "M1_4_R7A", "M1_5_R10",
                 "M1_5_R7_3","M1_5_R9","M1_6_R10","PARK","R6A", "R6B", "R7A"]

    #Create dataframe from cursor
    df = pd.DataFrame.from_records(data=arcpy.da.SearchCursor('calculations', fieldlist), columns = fieldlist)

    #Create a new dataframe of FIDS and comma-separated percentages
    df1 = df.groupby("FID")["PERCENTAGE"].apply(lambda x: ", ".join(x.astype(str))).reset_index()

    #Create a new dataframe of sums per FID
    df2 = df.groupby("FID").sum()
    df2.drop("PERCENTAGE", axis=1, inplace=True)

    #Merge/join them together and export as csv
    df1.merge(df2, left_on="FID", right_index=True).to_csv(path_or_buf=output, index=False)

- Jose Vasquez

Answer 1

这将完成工作，只需用此替换您所拥有的内容即可。

 #Create a new dataframe of FIDS and comma-separated percentages
df1 = df.groupby(["FID","total_area","POLY_AREA"])["PERCENTAGE"].apply(lambda x: ", ".join(x.astype(str))).reset_index()

#Create a new dataframe of sums per FID
df2 = df.groupby("FID").sum()
df2.drop(["total_area","POLY_AREA","PERCENTAGE"], axis=1, inplace=True)

- Zesima29

Answer 2

在创建df2时，您可以尝试仅选择子集列，以排除不需要的内容。具体而言，请尝试按以下方式创建df2：

df2_cols = [col for col in fieldlist if col not in ['FID', 'total_area', 'POLY_AREA']]
df2 = df.groupby("FID")[df2_cols].sum()

在创建合并的数据框后，您也可以删除不需要的列。

- Leo

---

我试图避免使用循环，但是我尝试将其用于df2时出现错误。df2 = df.groupby(["FID","total_area","POLY_AREA"]).sum() ValueError: len(left_on)必须等于“right”索引中的级别数。 - Jose Vasquez

我想你可以像这样做：df2_cols = list(set(fieldlist) - set(['FID', 'total_area', 'POLY_AREA']))，以避免循环，但它可能会重新排序你的列，因为集合不保留顺序。请参考此答案，了解如何获取不在另一个列表中的子列表。 - Leo

此外，这有点超出了你的问题范围，但在我的回答中使用循环和在我的评论中使用集合差异之间的性能差异大约为0.08微秒。保持顺序所需付出的代价很小 :) - Leo