实际上，有两个相互矛盾的事实可以回答这个问题：
传统答案是在数据分割后进行特征选择，因为如果先进行特征选择会从测试集中泄露信息。
另一方面，如果仅使用从整个数据集中选出的训练集进行特征选择，则特征选择或特征重要性排序可能会随着Train_Test_Split的random_state变化而动态改变。如果任何特定工作的特征选择发生变化，则无法进行特征重要性的概括，这是不可取的。其次，如果仅针对训练集进行特征选择，则测试集可能包含某些与仅在训练集上进行特征选择相矛盾的实例，因为没有分析整体历史数据。此外，只有在给定一组实例而不是单个测试/未知实例时才能评估特征重要性分数。
证明在选择特征时使用整个数据集（即在拆分为训练集/测试集之前）可能会导致错误并不是真正困难的事情。以下是使用Python和scikit-learn进行随机虚拟数据的一个示例：
import numpy as np
from sklearn.feature_selection import SelectKBest
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
# random data:
X = np.random.randn(500, 10000)
y = np.random.choice(2, size=500)
由于我们的数据X是随机的（500个样本，10,000个特征），而我们的标签y是二进制的，因此我们预计在这种情况下我们永远不应该能够超过基线准确率，即约为0.5或50％。让我们看看当我们在分割之前使用整个数据集进行特征选择的错误过程时会发生什么：
selector = SelectKBest(k=25)
# first select features
X_selected = selector.fit_transform(X,y)
# then split
X_selected_train, X_selected_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.25, random_state=42)
# fit a simple logistic regression
lr = LogisticRegression()
lr.fit(X_selected_train,y_train)
# predict on the test set and get the test accuracy:
y_pred = lr.predict(X_selected_test)
accuracy_score(y_test, y_pred)
# 0.76000000000000001
哇！我们在一个二元问题上获得了76％的测试准确率，根据统计学的基本定律，我们应该得到非常接近50％的结果！有人要打电话给诺贝尔奖委员会，快点...
...当然，事实是我们能够获得如此高的测试准确率只是因为我们犯了一个非常基本的错误：我们错误地认为我们的测试数据是未知的，但实际上，在特征选择期间，模型构建过程已经看到了测试数据，尤其是在这里：
X_selected = selector.fit_transform(X,y)
我们实际上可以处于多么糟糕的状态？嗯，很容易看出来：假设在我们完成模型并部署它（期望新的未见数据在实践中与76%的准确性相似）后，我们获得了一些真正新的数据：
X_new = np.random.randn(500, 10000)
当然，在这里没有任何质的变化，即新趋势或其他内容 - 这些新数据是由完全相同的基础程序生成的。假设我们恰好知道真实标签y，并按上述方式生成：
y_new = np.random.choice(2, size=500)
我们的模型在面对这些真正未曾涉及的数据时，将会表现如何？检查起来并不困难：
# select the same features in the new data
X_new_selected = selector.transform(X_new)
# predict and get the accuracy:
y_new_pred = lr.predict(X_new_selected)
accuracy_score(y_new, y_new_pred)
# 0.45200000000000001
好的，事实如此：我们把我们的模型送去参加比赛，认为它能够获得约76%的准确率，但实际上它只像随机猜测一样表现...
因此，现在让我们看看正确的程序（即首先进行拆分，并仅基于训练集选择特征）：
# split first
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)
# then select features using the training set only
selector = SelectKBest(k=25)
X_train_selected = selector.fit_transform(X_train,y_train)
# fit again a simple logistic regression
lr.fit(X_train_selected,y_train)
# select the same features on the test set, predict, and get the test accuracy:
X_test_selected = selector.transform(X_test)
y_pred = lr.predict(X_test_selected)
accuracy_score(y_test, y_pred)
# 0.52800000000000002
在这种情况下（即实际上是随机猜测），测试准确度为0.528，接近理论预测值0.5。
向Jacob Schreiber致敬，他提供了一个简单的想法（查看所有的线程，其中包含其他有用的示例），尽管在一个略微不同的上下文中（交叉验证）：
然而，这是为了拥有独立的测试集进行性能评估所必须付出的代价，否则，按照同样的逻辑，我们也应该使用测试集进行训练，不是吗？整体历史数据没有被分析