如何在Java中将字符串转换为UTF8字节数组以及如何将UTF8字节数组转换为字符串

Question

在Java中，我有一个字符串，想将其编码为字节数组（UTF8或其他编码）。另外，我有一个字节数组（使用某种已知编码），想将其转换为Java字符串。如何进行这些转换？

以下是示例代码：

将字符串编码为字节数组：

String str = "Hello, world!";
byte[] bytes = str.getBytes("UTF-8");

将字节数组转换为字符串：

byte[] bytes = new byte[]{72, 101, 108, 108, 111, 44, 32, 119, 111, 114, 108, 100, 33};
String str = new String(bytes, "UTF-8");

- mcherm

Answer 1

将String转换为byte[]：

String s = "some text here";
byte[] b = s.getBytes(StandardCharsets.UTF_8);

将 byte[] 转换为 String：

byte[] b = {(byte) 99, (byte)97, (byte)116};
String s = new String(b, StandardCharsets.US_ASCII);

当然，你应该使用正确的编码名称。我的例子使用了US-ASCII和UTF-8这两种常用的编码。

- mcherm

---

然而，这种方法不会报告转换中的任何问题。这可能是您想要的。如果不是，则建议改用CharsetEncoder。 - Michael Piefel

你为什么使用 UTF-8 而不是我一直使用的 utf8？ - Pacerier

因为Charset文档将"UTF-8"列为标准字符集之一，所以我相信你提供的拼写也是可以接受的，但我选择遵循文档上的内容。 - mcherm

使用这两个字符串时存在问题：当您进行比较时，它无法正常工作。 - gal007

自JDK7起，您可以使用StandardCharsets.UTF_8。https://docs.oracle.com/javase/7/docs/api/java/nio/charset/StandardCharsets.html#UTF_8 - Rafael Membrives

Answer 2

下面的解决方案避免了在每次转换时执行字符集查找:

import java.nio.charset.Charset;

private final Charset UTF8_CHARSET = Charset.forName("UTF-8");

String decodeUTF8(byte[] bytes) {
    return new String(bytes, UTF8_CHARSET);
}

byte[] encodeUTF8(String string) {
    return string.getBytes(UTF8_CHARSET);
}

- M. Leonhard

---

即使性能差异很小，我仍然更喜欢在可能的情况下使用对象（Charset、URL等）而不是它们的字符串形式。 - Bart van Heukelom

注意："Since 1.6" public String(byte[] bytes, Charset charset)自1.6版本以来，public String(byte[] bytes, Charset charset)方法可以使用。该方法将字节数组转换为字符串，使用指定的字符集进行编码。 - leo

关于“避免每次转换时都执行字符集查找”的问题...请引用一些来源。Java.nio.charset.Charset不是建立在String.getBytes之上的吗？因此，它比String.getBytes拥有更多的开销吗？ - Pacerier

文档中指出：“当此字符串无法在给定的字符集中编码时，此方法的行为是未指定的。如果需要更多控制编码过程，应使用 CharsetEncoder 类。” - paiego

注意：自Java 1.7以来，您可以使用StandardCharsets.UTF_8来恒定地访问UTF-8字符集。 - Kat

Answer 3

String original = "hello world";
byte[] utf8Bytes = original.getBytes("UTF-8");

- imjorge

---

谢谢！我自己重新编写了它，添加了另一个转换方向。 - mcherm

@smink 破折号不是可选的。应该使用“UTF-8”。 - Mel Nicholson

Answer 4

你可以直接通过String(byte[], String)构造函数和getBytes(String)方法进行转换。Java通过Charset类公开可用的字符集。JDK文档列出支持的编码方式。

90%的情况下，这种转换是在流上执行的，因此您需要使用Reader/Writer类。您不应该在任意字节流上逐步解码使用String方法-您会让自己面临涉及多字节字符的错误。

- McDowell

---

你能详细说明一下吗？如果我的应用程序使用UTF-8编码和解码字符串，那么多字节字符方面有什么问题需要关注吗？ - raffian

如果您不一次性转换所有字符数据，则可能会出现问题。请参见此处的示例。 - McDowell

Answer 5

尽管HTTP请求的内容类型不同，但我的Tomcat7实现仍然接受ISO-8859-1编码的字符串。当我尝试正确解释像 'é' 这样的字符时，以下解决方案对我有效。

byte[] b1 = szP1.getBytes("ISO-8859-1");
System.out.println(b1.toString());

String szUT8 = new String(b1, "UTF-8");
System.out.println(szUT8);

尝试将该字符串解释为US-ASCII时，字节信息没有被正确解释。

b1 = szP1.getBytes("US-ASCII");
System.out.println(b1.toString());

- paiego

---

FYI，从Java 7开始，您可以使用常量来表示字符集名称，例如StandardCharSets.UTF_8和StandardCharSets.ISO_8859_1。 - Basil Bourque

第一种解决方案完全有效，为我解决了问题。 - Hassan Jamil

更正：应该是StandardCharsets.UTF_8和StandardCharsets.ISO_8859_1（小写的's'）。 - Thomas Mueller

Answer 6

作为替代方案，可以使用来自Apache Commons的StringUtils。

 byte[] bytes = {(byte) 1};
 String convertedString = StringUtils.newStringUtf8(bytes);

或者

 String myString = "example";
 byte[] convertedBytes = StringUtils.getBytesUtf8(myString);

如果您使用的是非标准字符集，您可以相应地使用getBytesUnchecked()或newString()。

- vtor

---

请注意，这个StringUtils来自于 Commons Codec，而不是 Commons Lang。 - Arend v. Reinersdorff

是的，有点小陷阱！对于Gradle、Maven用户来说：在撰写本文时，使用的是"commons-codec:commons-codec:1.10"。这也作为Apache POI的一个依赖项捆绑在一起。除此之外，像往常一样，Apache Commons来拯救我们了！ - mike rodent

Answer 7

我不能评论，但不想开始一个新的线程。但是这个并没有起作用。一个简单的往返：

byte[] b = new byte[]{ 0, 0, 0, -127 };  // 0x00000081
String s = new String(b,StandardCharsets.UTF_8); // UTF8 = 0x0000, 0x0000,  0x0000, 0xfffd
b = s.getBytes(StandardCharsets.UTF_8); // [0, 0, 0, -17, -65, -67] 0x000000efbfbd != 0x00000081

我需要的是在编码之前和之后使用相同的数组b[]，但目前并不是这样的（这是指第一个答案）。

- jschober

Answer 8

为了将一系列字节解码为普通字符串消息，我最终使用UTF-8编码使其工作，并使用以下代码：

/* Convert a list of UTF-8 numbers to a normal String
 * Usefull for decoding a jms message that is delivered as a sequence of bytes instead of plain text
 */
public String convertUtf8NumbersToString(String[] numbers){
    int length = numbers.length;
    byte[] data = new byte[length];

    for(int i = 0; i< length; i++){
        data[i] = Byte.parseByte(numbers[i]);
    }
    return new String(data, Charset.forName("UTF-8"));
}

- Bouke Woudstra

Answer 9

Charset UTF8_CHARSET = Charset.forName("UTF-8");
String strISO = "{\"name\":\"א\"}";
System.out.println(strISO);
byte[] b = strISO.getBytes();
for (byte c: b) {
    System.out.print("[" + c + "]");
}
String str = new String(b, UTF8_CHARSET);
System.out.println(str);

- Nitish Raj

Answer 10

如果您使用的是7位ASCII或ISO-8859-1（一种非常常见的格式），那么您根本不需要创建一个新的java.lang.String。将字节直接转换为字符会更加高效：

完整的工作示例：

for (byte b : new byte[] { 43, 45, (byte) 215, (byte) 247 }) {
    char c = (char) b;
    System.out.print(c);
}

如果您不使用像Ä、Æ、Å、Ç、Ï、Ê这样的扩展字符，并且可以确保仅传输的值是前128个Unicode字符，则此代码也适用于UTF-8和扩展ASCII（如cp-1252）。

- Pacerier