在pandas数据框中，将多个包含分隔符的列拆分成行

Question

我有一个Pandas数据框，如下所示：

：

id    pos      value                sent
1     a/b/c    test/test2/test3     21
2     d/a      test/test5           21

我希望将df ['pos']和df ['token']拆分(=explode)，使数据框看起来像这样：

id      pos          value         sent
1       a            test          21
1       b            test2         21 
1       c            test3         21 
2       d            test          21
2       a            test5         21

如果我将每一列分割并连接起来，它就无法工作，如下所示：

pos = df.token.str.split('/', expand=True).stack().str.strip().reset_index(level=1, drop=True)

df1 = pd.concat([pos,value], axis=1, keys=['pos','value'])

有什么想法吗？非常感谢。

编辑：

我尝试使用这个解决方案：https://dev59.com/cGcs5IYBdhLWcg3wp1pW#40449726

但是我收到以下错误：

TypeError: Cannot cast array data from dtype('int64') to dtype('int32') according to the rule 'safe'

我想这是一个numpy相关的问题，虽然我不确定为什么会这样。我正在使用Python 2.7.14。

- Mi.

---

请查看以下页面：@piRSquared的解决方案可以轻松地扩展到许多类似于您手头的情况：https://stackoverflow.com/questions/49923145/pandas-records-with-lists-to-separate-rows/49923384#49923384 - jxc

同意。这个解决方案很容易扩展，也解决了我的问题。 - Mi.

Answer 1

我倾向于避免使用stack的魔法，而是选择从头开始构建一个新的数据框。通常这也更加高效。以下是一种方法。

import numpy as np
from itertools import chain

lens = list(map(len, df['pos'].str.split('/')))

res = pd.DataFrame({'id': np.repeat(df['id'], lens),
                    'pos': list(chain.from_iterable(df['pos'].str.split('/'))),
                    'value': list(chain.from_iterable(df['value'].str.split('/'))),
                    'sent': np.repeat(df['sent'], lens)})

print(res)

   id pos  sent  value
0   1   a    21   test
0   1   b    21  test2
0   1   c    21  test3
1   2   d    21   test
1   2   a    21  test5

- jpp