logo标签列表

为什么通过字符串进行来回转换对于双精度浮点数不安全？

c#doubletostringprecision
195

最近我需要将一个double类型序列化为文本，然后再将其转换回来。但是结果似乎不等价：

double d1 = 0.84551240822557006;
string s = d1.ToString("R");
double d2 = double.Parse(s);
bool s1 = d1 == d2;
// -> s1 is False

根据MSDN:标准数字格式字符串，"R"选项应该保证往返安全。

往返（"R"）格式说明符用于确保转换为字符串的数字值将被解析回相同的数字值。

为什么会发生这种情况？

6
我在我的 VS 中进行调试，这里返回 true。 - Neel
19
我已经复现了它，返回了false。非常有趣的问题。 - Jon Skeet
43
.net 4.0 x86 - 真，.net 4.0 x64 - 假 - Ulugbek Umirov
27
恭喜您在 .net 中发现了如此显著的漏洞。 - Aron
14
往返行程的目的是特别为了避免浮点数不一致性。 - Gusdor
显示剩余11条评论
3个回答
182
I found the bug.
.NET在clr\src\vm\comnumber.cpp中执行以下操作：
DoubleToNumber(value, DOUBLE_PRECISION, &number);

if (number.scale == (int) SCALE_NAN) {
    gc.refRetVal = gc.numfmt->sNaN;
    goto lExit;
}

if (number.scale == SCALE_INF) {
    gc.refRetVal = (number.sign? gc.numfmt->sNegativeInfinity: gc.numfmt->sPositiveInfinity);
    goto lExit;
}

NumberToDouble(&number, &dTest);

if (dTest == value) {
    gc.refRetVal = NumberToString(&number, 'G', DOUBLE_PRECISION, gc.numfmt);
    goto lExit;
}

DoubleToNumber(value, 17, &number);

DoubleToNumber很简单--它只是调用C运行时中的_ecvt：

void DoubleToNumber(double value, int precision, NUMBER* number)
{
    WRAPPER_CONTRACT
    _ASSERTE(number != NULL);

    number->precision = precision;
    if (((FPDOUBLE*)&value)->exp == 0x7FF) {
        number->scale = (((FPDOUBLE*)&value)->mantLo || ((FPDOUBLE*)&value)->mantHi) ? SCALE_NAN: SCALE_INF;
        number->sign = ((FPDOUBLE*)&value)->sign;
        number->digits[0] = 0;
    }
    else {
        char* src = _ecvt(value, precision, &number->scale, &number->sign);
        wchar* dst = number->digits;
        if (*src != '0') {
            while (*src) *dst++ = *src++;
        }
        *dst = 0;
    }
}

原来_ecvt返回字符串845512408225570。
请注意末尾的零。这一点非常重要！当有零存在时，结果实际上会解析回0.84551240822557006，这是您的原始数字，因此相等，因此只返回15个数字。
但是，如果我在那个零处截断字符串到84551240822557，那么我得到的结果是0.84551240822556994，这不是您的原始数字，因此它将返回17个数字。
证明：在调试器中运行以下64位代码（其中大部分代码摘自Microsoft Shared Source CLI 2.0），并检查main结束时的v。
#include <stdlib.h>
#include <string.h>
#include <math.h>

#define min(a, b) (((a) < (b)) ? (a) : (b))

struct NUMBER {
    int precision;
    int scale;
    int sign;
    wchar_t digits[20 + 1];
    NUMBER() : precision(0), scale(0), sign(0) {}
};


#define I64(x) x##LL
static const unsigned long long rgval64Power10[] = {
    // powers of 10
    /*1*/ I64(0xa000000000000000),
    /*2*/ I64(0xc800000000000000),
    /*3*/ I64(0xfa00000000000000),
    /*4*/ I64(0x9c40000000000000),
    /*5*/ I64(0xc350000000000000),
    /*6*/ I64(0xf424000000000000),
    /*7*/ I64(0x9896800000000000),
    /*8*/ I64(0xbebc200000000000),
    /*9*/ I64(0xee6b280000000000),
    /*10*/ I64(0x9502f90000000000),
    /*11*/ I64(0xba43b74000000000),
    /*12*/ I64(0xe8d4a51000000000),
    /*13*/ I64(0x9184e72a00000000),
    /*14*/ I64(0xb5e620f480000000),
    /*15*/ I64(0xe35fa931a0000000),

    // powers of 0.1
    /*1*/ I64(0xcccccccccccccccd),
    /*2*/ I64(0xa3d70a3d70a3d70b),
    /*3*/ I64(0x83126e978d4fdf3c),
    /*4*/ I64(0xd1b71758e219652e),
    /*5*/ I64(0xa7c5ac471b478425),
    /*6*/ I64(0x8637bd05af6c69b7),
    /*7*/ I64(0xd6bf94d5e57a42be),
    /*8*/ I64(0xabcc77118461ceff),
    /*9*/ I64(0x89705f4136b4a599),
    /*10*/ I64(0xdbe6fecebdedd5c2),
    /*11*/ I64(0xafebff0bcb24ab02),
    /*12*/ I64(0x8cbccc096f5088cf),
    /*13*/ I64(0xe12e13424bb40e18),
    /*14*/ I64(0xb424dc35095cd813),
    /*15*/ I64(0x901d7cf73ab0acdc),
};

static const signed char rgexp64Power10[] = {
    // exponents for both powers of 10 and 0.1
    /*1*/ 4,
    /*2*/ 7,
    /*3*/ 10,
    /*4*/ 14,
    /*5*/ 17,
    /*6*/ 20,
    /*7*/ 24,
    /*8*/ 27,
    /*9*/ 30,
    /*10*/ 34,
    /*11*/ 37,
    /*12*/ 40,
    /*13*/ 44,
    /*14*/ 47,
    /*15*/ 50,
};

static const unsigned long long rgval64Power10By16[] = {
    // powers of 10^16
    /*1*/ I64(0x8e1bc9bf04000000),
    /*2*/ I64(0x9dc5ada82b70b59e),
    /*3*/ I64(0xaf298d050e4395d6),
    /*4*/ I64(0xc2781f49ffcfa6d4),
    /*5*/ I64(0xd7e77a8f87daf7fa),
    /*6*/ I64(0xefb3ab16c59b14a0),
    /*7*/ I64(0x850fadc09923329c),
    /*8*/ I64(0x93ba47c980e98cde),
    /*9*/ I64(0xa402b9c5a8d3a6e6),
    /*10*/ I64(0xb616a12b7fe617a8),
    /*11*/ I64(0xca28a291859bbf90),
    /*12*/ I64(0xe070f78d39275566),
    /*13*/ I64(0xf92e0c3537826140),
    /*14*/ I64(0x8a5296ffe33cc92c),
    /*15*/ I64(0x9991a6f3d6bf1762),
    /*16*/ I64(0xaa7eebfb9df9de8a),
    /*17*/ I64(0xbd49d14aa79dbc7e),
    /*18*/ I64(0xd226fc195c6a2f88),
    /*19*/ I64(0xe950df20247c83f8),
    /*20*/ I64(0x81842f29f2cce373),
    /*21*/ I64(0x8fcac257558ee4e2),

    // powers of 0.1^16
    /*1*/ I64(0xe69594bec44de160),
    /*2*/ I64(0xcfb11ead453994c3),
    /*3*/ I64(0xbb127c53b17ec165),
    /*4*/ I64(0xa87fea27a539e9b3),
    /*5*/ I64(0x97c560ba6b0919b5),
    /*6*/ I64(0x88b402f7fd7553ab),
    /*7*/ I64(0xf64335bcf065d3a0),
    /*8*/ I64(0xddd0467c64bce4c4),
    /*9*/ I64(0xc7caba6e7c5382ed),
    /*10*/ I64(0xb3f4e093db73a0b7),
    /*11*/ I64(0xa21727db38cb0053),
    /*12*/ I64(0x91ff83775423cc29),
    /*13*/ I64(0x8380dea93da4bc82),
    /*14*/ I64(0xece53cec4a314f00),
    /*15*/ I64(0xd5605fcdcf32e217),
    /*16*/ I64(0xc0314325637a1978),
    /*17*/ I64(0xad1c8eab5ee43ba2),
    /*18*/ I64(0x9becce62836ac5b0),
    /*19*/ I64(0x8c71dcd9ba0b495c),
    /*20*/ I64(0xfd00b89747823938),
    /*21*/ I64(0xe3e27a444d8d991a),
};

static const signed short rgexp64Power10By16[] = {
    // exponents for both powers of 10^16 and 0.1^16
    /*1*/ 54,
    /*2*/ 107,
    /*3*/ 160,
    /*4*/ 213,
    /*5*/ 266,
    /*6*/ 319,
    /*7*/ 373,
    /*8*/ 426,
    /*9*/ 479,
    /*10*/ 532,
    /*11*/ 585,
    /*12*/ 638,
    /*13*/ 691,
    /*14*/ 745,
    /*15*/ 798,
    /*16*/ 851,
    /*17*/ 904,
    /*18*/ 957,
    /*19*/ 1010,
    /*20*/ 1064,
    /*21*/ 1117,
};

static unsigned DigitsToInt(wchar_t* p, int count)
{
    wchar_t* end = p + count;
    unsigned res = *p - '0';
    for ( p = p + 1; p < end; p++) {
        res = 10 * res + *p - '0';
    }
    return res;
}
#define Mul32x32To64(a, b) ((unsigned long long)((unsigned long)(a)) * (unsigned long long)((unsigned long)(b)))

static unsigned long long Mul64Lossy(unsigned long long a, unsigned long long b, int* pexp)
{
    // it's ok to losse some precision here - Mul64 will be called
    // at most twice during the conversion, so the error won't propagate
    // to any of the 53 significant bits of the result
    unsigned long long val = Mul32x32To64(a >> 32, b >> 32) +
        (Mul32x32To64(a >> 32, b) >> 32) +
        (Mul32x32To64(a, b >> 32) >> 32);

    // normalize
    if ((val & I64(0x8000000000000000)) == 0) { val <<= 1; *pexp -= 1; }

    return val;
}

void NumberToDouble(NUMBER* number, double* value)
{
    unsigned long long val;
    int exp;
    wchar_t* src = number->digits;
    int remaining;
    int total;
    int count;
    int scale;
    int absscale;
    int index;

    total = (int)wcslen(src);
    remaining = total;

    // skip the leading zeros
    while (*src == '0') {
        remaining--;
        src++;
    }

    if (remaining == 0) {
        *value = 0;
        goto done;
    }

    count = min(remaining, 9);
    remaining -= count;
    val = DigitsToInt(src, count);

    if (remaining > 0) {
        count = min(remaining, 9);
        remaining -= count;

        // get the denormalized power of 10
        unsigned long mult = (unsigned long)(rgval64Power10[count-1] >> (64 - rgexp64Power10[count-1]));
        val = Mul32x32To64(val, mult) + DigitsToInt(src+9, count);
    }

    scale = number->scale - (total - remaining);
    absscale = abs(scale);
    if (absscale >= 22 * 16) {
        // overflow / underflow
        *(unsigned long long*)value = (scale > 0) ? I64(0x7FF0000000000000) : 0;
        goto done;
    }

    exp = 64;

    // normalize the mantisa
    if ((val & I64(0xFFFFFFFF00000000)) == 0) { val <<= 32; exp -= 32; }
    if ((val & I64(0xFFFF000000000000)) == 0) { val <<= 16; exp -= 16; }
    if ((val & I64(0xFF00000000000000)) == 0) { val <<= 8; exp -= 8; }
    if ((val & I64(0xF000000000000000)) == 0) { val <<= 4; exp -= 4; }
    if ((val & I64(0xC000000000000000)) == 0) { val <<= 2; exp -= 2; }
    if ((val & I64(0x8000000000000000)) == 0) { val <<= 1; exp -= 1; }

    index = absscale & 15;
    if (index) {
        int multexp = rgexp64Power10[index-1];
        // the exponents are shared between the inverted and regular table
        exp += (scale < 0) ? (-multexp + 1) : multexp;

        unsigned long long multval = rgval64Power10[index + ((scale < 0) ? 15 : 0) - 1];
        val = Mul64Lossy(val, multval, &exp);
    }

    index = absscale >> 4;
    if (index) {
        int multexp = rgexp64Power10By16[index-1];
        // the exponents are shared between the inverted and regular table
        exp += (scale < 0) ? (-multexp + 1) : multexp;

        unsigned long long multval = rgval64Power10By16[index + ((scale < 0) ? 21 : 0) - 1];
        val = Mul64Lossy(val, multval, &exp);
    }

    // round & scale down
    if ((unsigned long)val & (1 << 10))
    {
        // IEEE round to even
        unsigned long long tmp = val + ((1 << 10) - 1) + (((unsigned long)val >> 11) & 1);
        if (tmp < val) {
            // overflow
            tmp = (tmp >> 1) | I64(0x8000000000000000);
            exp += 1;
        }
        val = tmp;
    }
    val >>= 11;

    exp += 0x3FE;

    if (exp <= 0) {
        if (exp <= -52) {
            // underflow
            val = 0;
        }
        else {
            // denormalized
            val >>= (-exp+1);
        }
    }
    else
        if (exp >= 0x7FF) {
            // overflow
            val = I64(0x7FF0000000000000);
        }
        else {
            val = ((unsigned long long)exp << 52) + (val & I64(0x000FFFFFFFFFFFFF));
        }

        *(unsigned long long*)value = val;

done:
        if (number->sign) *(unsigned long long*)value |= I64(0x8000000000000000);
}

int main()
{
    NUMBER number;
    number.precision = 15;
    double v = 0.84551240822557006;
    char *src = _ecvt(v, number.precision, &number.scale, &number.sign);
    int truncate = 0;  // change to 1 if you want to truncate
    if (truncate)
    {
        while (*src && src[strlen(src) - 1] == '0')
        {
            src[strlen(src) - 1] = 0;
        }
    }
    wchar_t* dst = number.digits;
    if (*src != '0') {
        while (*src) *dst++ = *src++;
    }
    *dst++ = 0;
    NumberToDouble(&number, &v);
    return 0;
}
4
好的解释 +1。这段代码来自 shared-source-cli-2.0，对吗？这是我找到的唯一信息。 - Soner Gönül
12
我必须说这相当可悲。在数学上相等的字符串（比如末尾带零的字符串，或者说 2.1e-1 和 0.21）应该始终给出相同的结果，而在数学上排列的字符串应该给出与排序一致的结果。 - gnasher729
4
为什么“2.1E-1”不应该与“0.21”完全相同？ - user541686
9
@gnasher729：我有点同意"2.1e-1"和"0.21"的说法......但是带有尾随零的字符串并不完全等于没有尾随零的字符串——在前者中，零是一个有效数字，增加了精度。 - cHao
5
@cHao：嗯...这增加了精度，但只影响你在sigfigs很重要时如何决定舍入最终答案的方式，而不是计算机应该首先如何计算最终答案。计算机的任务是以最高精度计算所有内容，无论数字的实际测量精度如何；如果程序员想要舍入最终结果，那就是他的问题。 - user541686
显示剩余29条评论
108

在我看来，这只是一个bug。您的期望完全合理。我使用.NET 4.5.1（x64）复制了它，运行以下控制台应用程序，该程序使用我的DoubleConverter类。DoubleConverter.ToExactString显示由double表示的精确值：

using System;

class Test
{
    static void Main()
    {
        double d1 = 0.84551240822557006;
        string s = d1.ToString("r");
        double d2 = double.Parse(s);
        Console.WriteLine(s);
        Console.WriteLine(DoubleConverter.ToExactString(d1));
        Console.WriteLine(DoubleConverter.ToExactString(d2));
        Console.WriteLine(d1 == d2);
    }
}

.NET 的结果：

0.84551240822557
0.845512408225570055719799711368978023529052734375
0.84551240822556994469749724885332398116588592529296875
False

在 Mono 3.3.0 中的结果：

0.84551240822557006
0.845512408225570055719799711368978023529052734375
0.845512408225570055719799711368978023529052734375
True
如果您手动从Mono中指定包含结尾的“006”的字符串，.NET将解析回原始值。因此看起来问题出在ToString("R")处理而不是解析中。
正如其他评论中所指出的，这似乎是特定于在x64 CLR下运行的情况。如果您编译并运行以上代码，目标为x86，那么就没问题了：
csc /platform:x86 Test.cs DoubleConverter.cs

...你可以得到与Mono相同的结果。有趣的是要知道这个bug是否会在RyuJIT下出现——我目前自己没有安装它。特别是，我可以想象这可能是一个JIT bug，或者很可能是基于体系结构的double.ToString内部的整个不同实现。

我建议你在http://connect.microsoft.com提出一个错误报告。

1
所以Jon？确认一下，这是JITer内联ToString()的bug吗？因为我尝试用rand.NextDouble()替换硬编码的值，没有出现问题。 - Aron
1
是的，问题肯定出在 ToString("R") 转换上。尝试使用 ToString("G32") 并注意它会打印正确的值。 - user541686
1
@Aron：我无法确定这是JITter的错误还是BCL的x64特定实现的错误。我非常怀疑它像内联那样简单。在我的看法中，使用随机值进行测试并不能帮助太多......我不确定你希望它证明什么。 - Jon Skeet
2
我认为发生的情况是，“往返”格式输出了一个比应该小0.498ulp的值，而解析逻辑有时会错误地将其四舍五入到最后一小部分ulp。我不确定要责怪哪个代码，因为我认为“往返”格式应该输出一个数值，该数值在数值上正确的四分之一ULP内；产生一个与指定值相差0.75ulp的解析逻辑比必须产生一个与指定值相差0.502ulp的结果更容易。 - supercat
1
Jon Skeet的网站挂了？我觉得这太不可能了，我...开始失去信心了。 - Patrick M
显示剩余2条评论
3

最近，我正在试图解决这个问题。正如在代码中指出的那样，double.ToString("R") 具有以下逻辑：

  1. 尝试将 double 转换为 15 位精度的字符串。
  2. 将字符串转换回 double 并与原始 double 进行比较。如果它们相同，则返回精度为 15 的转换后的字符串。
  3. 否则，将 double 转换为 17 位精度的字符串。

在这种情况下，double.ToString("R") 错误地选择了 15 位精度的结果，因此出现了错误。MSDN 文档中有一个官方解决方法：

在某些情况下，使用“R”标准数字格式字符串格式化的Double值，如果使用/platform:x64或/platform:anycpu开关编译并在64位系统上运行，则无法成功地进行往返。为解决此问题，您可以使用“G17”标准数字格式字符串来格式化Double值。以下示例使用“R”格式字符串和不成功往返的Double值，还使用“G17”格式字符串以成功往返原始值。
因此，除非解决此问题，否则必须使用double.ToString("G17")进行往返。
更新：现在有一个特定问题跟踪此错误。
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接