哪个 SSIM 是正确的：skimage.metrics.structural_similarity()？

Question

哪个 SSIM 是正确的：skimage.metrics.structural_similarity()？

pythonimageimage-processingscikit-imagessim

10

Stackoverflow社区，

我正在尝试计算Python中两个图像之间的SSIM（结构相似性）。我已经在skimage Python库中找到了实现structural_similarity()函数的代码以及原始MatLab实现的等效代码，该代码托管在这里。实现如下：

def structuralSimilarityIndex(ref_image, impaired_image, cs_map=False):

    window = Metric.fSpecialGauss(constant.SSIM_FILTER_SIZE,
                                  constant.SSIM_FILTER_SIGMA)
    C1 = (constant.SSIM_Constant_1 * constant.PIXEL_MAX) ** 2
    C2 = (constant.SSIM_Constant_2 * constant.PIXEL_MAX) ** 2

    mu1 = signal.fftconvolve(window, ref_image, mode='valid')
    mu2 = signal.fftconvolve(window, impaired_image, mode='valid')

    mu1_sq = mu1 * mu1
    mu2_sq = mu2 * mu2
    mu1_mu2 = mu1 * mu2

    sigma1_sq = signal.fftconvolve(
        window, ref_image*ref_image, mode='valid') - mu1_sq
    sigma2_sq = signal.fftconvolve(
        window, impaired_image*impaired_image, mode='valid') - mu2_sq
    sigma12 = signal.fftconvolve(
        window, ref_image*impaired_image, mode='valid') - mu1_mu2

    if cs_map:
        return (((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)), (2.0 * sigma12 + C2) / (sigma1_sq + sigma2_sq + C2))
    else:
        return np.mean(((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)))

我正在使用以下代码读取图像：

：

ref_image = np.asfarray(Image.open('ref_image.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('impaired_image.bmp').covert('L)

输入图像的形状和ref_image和impaired_image的dtype分别为：

(512, 512) float64

(512, 512) float64

我已经使用相同的条件和相同的输入图像对两者进行了测试。

# Using the above code
structuralSimilarityIndex(ref_image, impaired_image, cs_map=False)

# Using the function imported from skimage.metrics
structural_similarity(ref_image, impaired_image, gaussian_weights=False, use_sample_covariance=False)

结果差异很大，下面是结果：

来自Python库Skimage的SSIM：

SSIM : 0.38135154028457885

来自上述代码的SSIM：

SSIM : 0.8208087737160036

编辑:

我添加了读取和调用代码

以上Python代码来自信号处理库，根据作者所说，该函数试图精确模拟SSIM作者提供的Matlab ssim.m功能。

更新：

我在相同的图像上测试了使用MatLab编写的原始代码，结果如下：

SSIM : 0.8424

与上面给出的Python实现的结果相差不远。

- asendjasni

你找到了SSIM论文作者的实现，不确定它是否正确？那肯定是参考实现。为什么不直接向skimage项目提交错误报告呢？ - Cris Luengo

你检查过使用的常量是否相同了吗？ - Cris Luengo

Python的实现是由作者本人提供的。 - asendjasni

@CrisLuengo，由于变量和命令非常混乱，我无法理解skimage实现中的许多内容。 - asendjasni

@PaulBrodersen 我在MatLab环境中测试了原始代码，使用了相同的输入图像，并据此更新了帖子。之后，我在skimage库的GitHub存储库上开了一个问题。 - asendjasni

显示剩余8条评论

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- asendjasni · Accepted Answer

我在scikit-image Github存储库上开了一个问题，并得到了回答。下面是回答，我没有对它进行任何更改，你可以在这里找到：

我认为主要问题在于您从PIL计算图像导致浮点图像，但值在[0, 255.0]范围内。当输入是浮点数时，skimage会假定数据范围为[-1.0, 1.0]，因此您需要手动指定data_range=255。

另外，请参阅docstring的注释部分，建议设置gaussian_weights=True，sigma=1.5，以更接近Wang等人的Matlab脚本。（我认为最近的Matlab也有自己内置的SSIM实现，但是我没有尝试过与该情况进行比较，也不知道它是否完全相同）。

ref_image = np.asfarray(Image.open('avion.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('avion_jpeg_r5.bmp').convert('L'))
structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=255)

我在尝试时得到的结果是0.8292。

另外，您可以使用skimage.io.imread和rgb2gray来读取数据并将其转换为灰度图像。在这种情况下，值已经被缩放在[0，1.0]内，data_range应设置为1.0。

from skimage.io import imread
from skimage.color import rgb2gray
ref_image = imread('avion.bmp')
ref_image = rgb2gray(ref_image)
impaired_image = imread('avion_jpeg_r5.bmp')
impaired_image = rgb2gray(impaired_image)

structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=1.0)

给出 0.8265

我认为上述两种情况之间的微小差异可能是由于rgb2gray使用了不同于PIL的convert方法的亮度转换。