Sklearn管道抛出ValueError：拆包的值过多（期望2个）

Question

我正在尝试创建一个sklearn管道，该管道首先提取文本中的平均词长度，然后使用StandardScaler进行标准化。

自定义转换器

class AverageWordLengthExtractor(BaseEstimator, TransformerMixin):

    def __init__(self):
        pass
    def average_word_length(self, text):
        return np.mean([len(word) for word in text.split( )])
    def fit(self, x, y=None):
        return self
    def transform(self, x , y=None):
        return pd.DataFrame(pd.Series(x).apply(self.average_word_length))

我的目标是实现这一点。X 是一个带有文本值的 pandas 系列。这是可行的。

    extractor=AverageWordLengthExtractor()
    print(extractor.transform(X[:10]))
    sc=StandardScaler()
    print(sc.fit_transform(extractor.transform(X[:10])))

我为此创建的管道是。

pipeline = Pipeline([('text_length', AverageWordLengthExtractor(), 'scale', StandardScaler())])

但是 pipeline.fit_transform() 产生以下错误。

Traceback (most recent call last):
  File "custom_transformer.py", line 48, in <module>
    main()
  File "custom_transformer.py", line 43, in main
    'scale', StandardScaler())])
  File "/opt/conda/lib/python3.6/site-packages/sklearn/pipeline.py", line 114, in __init__
    self._validate_steps()
  File "/opt/conda/lib/python3.6/site-packages/sklearn/pipeline.py", line 146, in _validate_steps
    names, estimators = zip(*self.steps)
ValueError: too many values to unpack (expected 2)

- anidev711

---

创建管道时，您的括号放错了位置，应该是 pipeline = Pipeline（[（'text_length'，AverageWordLengthExtractor（）），（'scale'，StandardScaler（））]）。 - Ken Syme

但是如果在管道中没有估计器，它无法工作。我只想转换数据。 - anidev711

你是否遇到了相同的错误？你所说的“不起作用”是什么意思？ - Ken Syme

你的回答确实解决了一个问题 :). 我会将其标记为已回答，但你没有将其发布为答案。编辑：已标记。 - anidev711

Answer 1

您的括号位置不正确/在创建Pipeline时缺少括号，应该是一个元组列表：

pipeline = Pipeline([
   ('text_length', AverageWordLengthExtractor()), 
   ('scale', StandardScaler())
])

- Ken Syme

---

我在我的管道中遇到了相同的错误，但我的括号使用是正确的。我还定义了一些自定义估算器，并像上面的示例一样在我的管道中使用它们，唯一的区别是我的估算器是带参数的。 - Thabo Ketlhaetse

我只能想象你的自定义估计器或者参数化方式存在问题。我建议你提出一个新的问题寻求帮助！ - Ken Syme

Answer 2

我认为您需要在您的类AverageWordLengthExtractor中添加fit_transform方法。

- CezarySzulc

---

谢谢你的回答，我在括号方面遇到了问题。 - anidev711