Pandas Apply - 返回多行

Question

Pandas Apply - 返回多行

3

我有两个数据框，需要比较所有行的组合并返回符合条件的组合。使用 Spark（使用交叉连接）会对我们的小集群造成过多负担，因此我正在尝试这种方法，并希望最终看看 Dask 是否可以改进。

如果表格 A 和 B 是

a=pd.DataFrame(np.array([[1,2,3],[4,5,6]]), columns=['a','b','c'])

b=pd.DataFrame(np.array([[4,7,4],[6,5,1],[8,6,0]]), columns=['d','e','f'])

然后所有组合看起来像这样，其中A-D是计算出来的。假设我只想保留A-D >= -3的行。

A   B   C   D   E   F   A-D
1   2   3   4   7   4   -3
1   2   3   6   5   1   -5
1   2   3   8   6   0   -7
4   5   6   4   7   4   0
4   5   6   6   5   1   -2
4   5   6   8   6   0   -4

我尝试使用apply函数实现此操作，但是似乎无法从函数中返回多行的 dataframe（该函数创建单个'A'行和整个'B'表的所有组合，并返回符合条件的行。

以下是我正在测试的函数：

def return_prox_branches(a, B, cutthresh):

    aa=a['a']-B['d']

    keep_B = B.copy().loc[(aa.values >= cutthresh),:]

    keep_B['A']=a['a']

    keep_B['B']=a['b']

    keep_B['C']=a['c']

    keep_B['A-D']=a['a']-keep_B['d']

    print(keep_B)

    return(keep_B)



a.apply(return_prox_branches, axis=1, args=(b,-3))





ValueError: cannot copy sequence with size 7 to array axis with dimension 1

实际上，这两个表格的行数在百万级别。

有没有一种方法可以在pandas中高效地完成这项工作？

- B_Miner

这个回答解决了你的问题吗？将函数应用于可以返回多行的pandas DataFrame - Union find

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- piRSquared · Accepted Answer

有趣的方式！

这种解包方式在Python 3.5中变得可行。
https://www.python.org/dev/peps/pep-0448/#rationale

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
pd.DataFrame({**a.iloc[i].to_dict('l'), **b.iloc[j].to_dict('l')})

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

类似但不那么令人困惑

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
a_ = a.values[i]
b_ = b.values[j]

d = pd.DataFrame(
    np.column_stack([a_, b_]),
    columns=a.columns.append(b.columns)
)

d

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

在这两种情况下，我们都依赖于从 a.a 中减去 b.d 的外部差。这会创建一个 2D 数组，其中包含每个可能的值 a.a 减去值 b.d 的结果。使用 np.where 找到此差异大于等于 -3 的坐标。我可以使用这些结果来切片原始数据框并将它们放在一起。

纯（或近似纯）的 Pandas

我怀疑你不能在 Dask 中使用这个。

def gen_pseudo(d_):
    def pseudo(d):
        cols = d.columns.append(d_.columns)
        return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]
    return pseudo

a.groupby(level=0).apply(gen_pseudo(b))

     a  b  c  d  e  f
0 0  1  2  3  4  7  4
1 0  4  5  6  4  7  4
  1  4  5  6  6  5  1

非闭包替代方案

def pseudo(d, d_):
    cols = d.columns.append(d_.columns)
    return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]

a.groupby(level=0).apply(pseudo, d_=b)

理解

ja = a.columns.get_loc('a')
jb = b.columns.get_loc('d')

pd.DataFrame([
    np.append(ra, rb)
    for ra in a.values
    for rb in b.values
    if ra[ja] - rb[jb] >= -3
], columns=a.columns.append(b.columns))

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1