清理格式不正确的UTF-8数据

Question

清理格式不正确的UTF-8数据

5

背景

使用Swift，我正在尝试通过URLSession获取HTML，而不是先将其加载到WKWebView中，因为我只需要HTML而不需要任何子资源。但是，我在处理某些页面时遇到了问题，这些页面在加载到WKWebView中时可以正常工作，但是通过URLSession加载（甚至是简单的NSString(contentsOf: url, encoding String.Encoding.utf8.rawValue)）却失败了。

如何复现

以下代码会失败（打印“nil”）：

print(try? NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan")!, encoding: String.Encoding.utf8.rawValue))

但是，将URL更改为该网站的主页，则成功：

print(try? NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp")!, encoding: String.Encoding.utf8.rawValue))

问题

如何“清理”包含格式不正确的UTF-8的URL返回的数据？我想要删除或替换任何格式不正确的UTF-8序列，以便其余部分可以被查看。 WKWebView可以很好地呈现页面（并声称它是UTF-8内容），您可以通过访问以下URL查看：http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan

- aehlke

我尝试验证该页面，似乎确实存在某些不是UTF-8的内容。https://validator.w3.org/check?uri=http%3A%2F%2Fwww.huffingtonpost.jp%2Ftechcrunch-japan%2Famazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html%3Futm_hp_ref%3Djapan%26ir%3DJapan&charset=%28detect+automatically%29&doctype=Inline&group=0 - Papershine

是的 - 网页浏览器在处理格式不正确的内容方面做得很好；我希望使用URLSession也能做到同样的效果。 - aehlke

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Martin R · Accepted Answer

以下是创建一个（可能）格式不正确的UTF-8数据的字符串的方法：

将网站内容读入Data对象中。
附加一个0字节使其成为“C字符串”
使用String(cString:)进行转换。该初始化程序将替换不良形式的UTF-8代码单元序列为Unicode替换字符（"\u{FFFD}"）。
可选：删除所有替换字符的出现。

以下是“清理”过程的示例：

var data = Data(bytes: [65, 66, 200, 67]) // malformed UTF-8

data.append(0)
let s = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in String(cString: p) }
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")

print(clean) // ABC

Swift 5:

var data = Data([65, 66, 200, 67]) // malformed UTF-8
data.append(0)
let s = data.withUnsafeBytes { p in
    String(cString: p.bindMemory(to: CChar.self).baseAddress!)
}
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")
print(clean) // ABC

当然，这可以被定义为一个自定义的初始化方法：

```python 当然，这可以被定义为一个自定义的初始化方法： ```

extension String {
    init(malformedUTF8 data: Data) {
        var data = data
        data.append(0)
        self = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in
            String(cString: p).replacingOccurrences(of: "\u{FFFD}", with: "")
        }
    }
}

Swift 5:

extension String {
    init(malformedUTF8 data: Data) {
        var data = data
        data.append(0)
        self = data.withUnsafeBytes{ p in
            String(cString: p.bindMemory(to: CChar.self).baseAddress!)
        }.replacingOccurrences(of: "\u{FFFD}", with: "")
    }
}

使用方法：

let data = Data(bytes: [65, 66, 200, 67])
let s = String(malformedUTF8: data) 
print(s) // ABC

清理工作可以通过使用transcode更加“直接”地完成。

extension String {
    init(malformedUTF8 data: Data) {
        var utf16units = [UInt16]()
        utf16units.reserveCapacity(data.count) // A rough estimate

        _ = transcode(data.makeIterator(), from: UTF8.self, to: UTF16.self,
                      stoppingOnError: false) { code in
            if code != 0xFFFD {
                utf16units.append(code)
            }
        }

        self = String(utf16CodeUnits: utf16units, count: utf16units.count)
    }
}

这个函数 String(cString:) 的本质作用是将C字符串转换为Swift字符串，可以参考CString.swift 和 StringCreate.swift 进行比较。

另一个选项是使用 UTF8 编码的 decode() 方法，并忽略错误。

extension String {
    init(malformedUTF8 data: Data) {
        var str = ""
        var iterator = data.makeIterator()
        var utf8codec = UTF8()
        var done = false
        while !done {
            switch utf8codec.decode(&iterator) {
            case .emptyInput:
                done = true
            case let .scalarValue(val):
                str.unicodeScalars.append(val)
            case .error:
                break // ignore errors
            }
        }
        self = str
    }
}