如何将一个numpy数组归一化为单位向量

Question

我想将一个NumPy数组转换为单位向量。更具体地说，我正在寻找与这个归一化函数等效的版本：

def normalize(v):
    norm = np.linalg.norm(v)
    if norm == 0: 
       return v
    return v / norm

这个函数处理向量 v 的范数值为0的情况。 sklearn 或者 numpy 中有类似的函数吗？

- Donbeo

---

你所写的有什么问题？ - ali_m

如果这是真正的问题，你应该检查范数 < epsilon，其中epsilon是一个小公差。此外，我不会默默地返回一个零向量，我会 raise（抛出）一个异常！ - Hooked

我的函数能够正常工作，但我想知道Python的常用库中是否有类似的功能。我正在编写不同的机器学习函数，并希望避免定义过多的新函数，以使代码更加清晰易读。 - Donbeo

我进行了几个快速测试，发现在CPU上，numpy 1.15.1中x/np.linalg.norm(x)比x/np.sqrt((x**2).sum())慢不了多少（大约15-20%）。 - Bill

Answer 1

如果您正在使用scikit-learn，您可以使用sklearn.preprocessing.normalize：

import numpy as np
from sklearn.preprocessing import normalize

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True

- ali_m

---

谢谢您的提问，但是您确定sklearn.preprocessing.normalize函数可以处理形状为（n，）或（n，1）的向量吗？我在使用这个库时遇到了一些问题。 - Donbeo

“normalize”需要一个二维输入。您可以传递“axis =”参数来指定您想要在输入数组的行或列上应用归一化。 - ali_m

请注意，normalize函数的“norm”参数可以是“l1”或“l2”，默认值为“l2”。如果您希望向量的总和为1（例如概率分布），则应在normalize函数中使用norm ='l1'。 - Ash

请注意，np.linalg.norm(x)默认计算的是'L2'范数。如果您要使向量的和为1，则应使用np.linalg.norm(x, ord=1)。 - Omid

注意：x必须是ndarray才能与normalize()函数配合使用。否则可以是一个列表。 - Ramin Melikov

注意：norm1的计算速度要快得多。使用%%timeit计算norm1时得到结果为：4.74 µs ± 24.6 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)，而对于norm2，则是：34.2 µs ± 473 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)。 - hafiz031

Answer 2

我认为如果这样的功能能够成为包含库的一部分，那将是很好的。但据我所知它并不是。因此，这里提供了一个适用于任意轴的版本，可实现最佳性能。

import numpy as np

def normalized(a, axis=-1, order=2):
    l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
    l2[l2==0] = 1
    return a / np.expand_dims(l2, axis)

A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))

print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))

- Eelco Hoogendoorn

---

我不知道，但它可以在任意轴上工作，并且我们可以明确控制长度为0的向量发生的情况。 - Eelco Hoogendoorn

非常好！这应该是在numpy中的，虽然我认为在轴之前应该放置顺序。 - Neil G

因为欧几里得/勾股范数恰好是最常用的范数，你同意吗？ - Eelco Hoogendoorn

有点晚了，但我认为值得一提的是，这正是为什么不鼓励使用小写字母“L”作为变量名的原因...在我的字体中，“l2”和“12”无法区分。 - bendl

@bendl 我认为这正是鼓励使用更好的字体的原因。 - anon01

Answer 3

这对你可能也有效果

import numpy as np
normalized_v = v / np.sqrt(np.sum(v**2))

但当v的长度为0时失效。

在这种情况下，引入一个小常数以防止零除解决此问题。

如评论中提出的，也可以使用

v/np.linalg.norm(v)

- mrk

---

或者 v/np.linalg.norm(v) - testing_22

感谢@testing_22的建议，已将其添加到答案中。 - mrk

Answer 4

为避免零除错误，我使用eps，但这可能不是最佳选择。

def normalize(v):
    norm=np.linalg.norm(v)
    if norm==0:
        norm=np.finfo(v.dtype).eps
    return v/norm

- Eduard Feicho

---

将 [inf, 1, 2] 进行归一化处理应该得到 [1, 0, 0]，但实际上得到的是 [nan, 0, 0]，这是否正常？ - pasbi

一些时间过去了，但答案是否定的，因为范数是inf，而[nan, 0, 0]是正确的。inf/inf是一个不定形式，因为<everything>/inf是0，但也是真实的，inf/<everything>是inf，所以inf/inf不能被确定。 - Alessandro Muzzi

你使用L1范数有什么原因吗？OP似乎要求L2归一化。 - NerdOnTour

嗯，应该是L2范数。 - Eduard Feicho

Answer 5

如果您有多维数据，并希望将每个轴归一化为其最大值或总和：

def normalize(_d, to_sum=True, copy=True):
    # d is a (n x dimension) np array
    d = _d if not copy else np.copy(_d)
    d -= np.min(d, axis=0)
    d /= (np.sum(d, axis=0) if to_sum else np.ptp(d, axis=0))
    return d

使用 NumPy 的 peak to peak 函数。

a = np.random.random((5, 3))

b = normalize(a, copy=False)
b.sum(axis=0) # array([1., 1., 1.]), the rows sum to 1

c = normalize(a, to_sum=False, copy=False)
c.max(axis=0) # array([1., 1., 1.]), the max of each row is 1

- Jaden Travnik

---

注意，如果原始矩阵中所有值都相同，则ptp将为0。除以0会返回nan。 - Mcmil

Answer 6

如果您不需要极高的精度，您的函数可以简化为：

v_norm = v / (np.linalg.norm(v) + 1e-16)

- sergio verduzco

Answer 7

还有一个函数unit_vector()可用于将向量规范化为Christoph Gohlke的流行transformations模块中的单位向量：

import transformations as trafo
import numpy as np

data = np.array([[1.0, 1.0, 0.0],
                 [1.0, 1.0, 1.0],
                 [1.0, 2.0, 3.0]])

print(trafo.unit_vector(data, axis=1))

- Joe

Answer 8

你提到了sci-kit learn，所以我想分享另一个解决方案。

sci-kit learn MinMaxScaler

在sci-kit learn中，有一个名为MinMaxScaler的API，可以将值范围按您的要求进行定制。

它还可以帮助我们处理NaN问题。

NaN被视为缺失值：在拟合过程中被忽略，在转换过程中保留。...请参见参考文献[1]

代码示例

代码很简单，只需输入：

# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)

参考资料

• [1] sklearn.preprocessing.MinMaxScaler

- WY Hsu

---

这里执行的是一种不同类型的转换。原始发布者想要调整向量的幅度，使得每个向量的长度都为1；而MinMaxScaler会单独对每列进行缩放，使其在特定的范围内。 - crypdick

Answer 9

如果您想将存储在3D张量中的n维特征向量标准化，您也可以使用PyTorch：

import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize

vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()

- max0r

Answer 10

如果你使用多维数组，可以采取以下快速解决方案。假设我们有一个二维数组，想要将其沿着最后一个轴归一化，而某些行的范数为零。

import numpy as np
arr = np.array([
    [1, 2, 3], 
    [0, 0, 0],
    [5, 6, 7]
], dtype=np.float)

lengths = np.linalg.norm(arr, axis=-1)
print(lengths)  # [ 3.74165739  0.         10.48808848]
arr[lengths > 0] = arr[lengths > 0] / lengths[lengths > 0][:, np.newaxis]
print(arr)
# [[0.26726124 0.53452248 0.80178373]
# [0.         0.         0.        ]
# [0.47673129 0.57207755 0.66742381]]

- Stanislav Tsepa