Unicode 转 UTF-8 在线编码转换

Unicode
二进制
UTF-8

UTF-8 小解

UTF-8（8-bit Unicode Transformation Format）是一种针对 Unicode 的可变长度字符编码，也是一种前缀码。见 UTF-8。

它可以用一至四个字节对 Unicode 字符集中的所有有效编码点进行编码，属于 Unicode 标准的一部分。由于较小值的编码点一般使用频率较高，直接使用 Unicode 编码效率低下，大量浪费内存空间。

UTF-8 为了解决向后兼容 ASCII 而设计，Unicode 中前 128 个字符使用与 ASCII 相同的二进制值的单个字节进行编码，且字面与 ASCII 一一对应，使得原来处理 ASCII 字符的软件无须或只须做少部分修改即可继续使用。

UTF8 Code Point Prefix

Number of bytes	Bits for code point	First code point	Last code point	Byte 1	Byte 2	Byte 3	Byte 4
1	7	U+0000	U+007F	0xxxxxxx
2	11	U+0080	U+07FF	110xxxxx	10xxxxxx
3	16	U+0800	U+FFFF	1110xxxx	10xxxxxx	10xxxxxx
4	21	U+10000	U+10FFFF	11110xxx	10xxxxxx	10xxxxxx	10xxxxxx

其中：128 个 ASCII 字符只需一个字节；带附加符号的拉丁文、希腊文等需两个字节；基本平面（BMP）中的大部分常用字（如大部分汉字）使用三个字节；辅助平面的字符（如 emoji）使用四字节。

转化过程

将数据转化为 unicode 的 codePoint（如 str.codePointAt(0)）
根据前缀表确定所占用的字节数
根据字节数确定前缀，将 codePoint 转化为二进制从右填充
将每八个二进制计算得出 UTF-8 编码

例如「山」：codePoint 0x9053，占三字节，前缀 1110xxxx 10xxxxxx 10xxxxxx，填充得 11101001 10000001 10010011，即 E9 81 93。

输入字符查看 UTF-8 编码

在输入框中输入任意字符或文本，工具会显示每个字符的 UTF-8 字节序列。结果以十六进制格式展示，你可以看到每个字符占用了多少字节。

理解变长编码

UTF-8 是一种变长编码，不同范围的字符使用不同数量的字节：

Unicode 范围	字节数	示例
U+0000 – U+007F	1 字节	ASCII 字符：`A` → `41`
U+0080 – U+07FF	2 字节	拉丁扩展、希腊字母：`é` → `C3 A9`
U+0800 – U+FFFF	3 字节	中日韩字符：`中` → `E4 B8 AD`
U+10000 – U+10FFFF	4 字节	Emoji、生僻汉字：`😀` → `F0 9F 98 80`

这种设计的好处是：纯英文内容和 ASCII 完全兼容，每个字符只占 1 字节；而其他语言的字符虽然占用更多空间，但所有 Unicode 字符都能被表示。

中文字符的编码

每个中文字符在 UTF-8 中占 3 个字节。这是估算中文文本文件大小时很实用的知识：

「你好世界」
你 → E4 BD A0（3 字节）
好 → E5 A5 BD（3 字节）
世 → E4 B8 96（3 字节）
界 → E7 95 8C（3 字节）
合计：12 字节

一篇 1000 字的纯中文文章，UTF-8 编码后约占 3KB。如果混有英文和数字，实际大小会小一些。

实际使用场景

文件编码

保存代码或文本文件时，UTF-8 是目前最通用的编码格式。如果文件中的中文出现乱码，通常是因为文件实际使用了 GBK 等其他编码，但被当作 UTF-8 读取了。用工具查看字节序列，能帮你判断文件的真实编码。

HTTP 请求头

Web 开发中经常需要在 Content-Type 中声明编码：

Content-Type: text/html; charset=utf-8

如果服务端返回的字节流和声明的编码不一致，浏览器就会显示乱码。

数据库字段长度

MySQL 的 VARCHAR(255) 在 utf8mb4 编码下，最多存储 255 个字符（不是字节）。但底层存储空间需要考虑每个字符的字节数——中文字符每个 3 字节，Emoji 每个 4 字节。了解这一点能帮你合理设计字段长度。

URL 和 JSON 中的编码

URL 中的中文字符会被转换为 UTF-8 字节后再进行百分号编码。比如「你」的 UTF-8 是 E4 BD A0，URL 编码后就是 %E4%BD%A0。用这个工具可以帮你验证转换是否正确。

API

JS

在 Javascript 中可借助于 TextEncoder API 进行转化：

export function stringToUint8 (s: string): Uint8Array {
  const enc = new TextEncoder()
  return enc.encode(s)
}

export function uint8ToString (uint8: Uint8Array): string {
  const enc = new TextDecoder()
  return enc.decode(uint8)
}

Python

> '山月'.encode()
b'\xe5\xb1\xb1\xe6\x9c\x88'

> b'\xe5\xb1\xb1\xe6\x9c\x88'.decode()
山月

常见问题

Q: 为什么 UTF-8 是互联网上最流行的编码？

UTF-8 有几个关键优势使其成为事实标准。首先，它完全兼容 ASCII——所有 ASCII 字符在 UTF-8 中编码相同，这意味着大量已有的英文内容无需任何转换。其次，UTF-8 采用变长编码（1 到 4 字节），对英文文本非常节省空间，同时又能覆盖所有 Unicode 字符。此外，UTF-8 没有字节序问题，不需要 BOM 标记，简化了跨平台传输。目前超过 98% 的网页使用 UTF-8 编码。

Q: UTF-8 能表示所有 Unicode 字符吗？

可以。UTF-8 能够编码 Unicode 标准中所有的码点（U+0000 至 U+10FFFF），包括基本多语言平面（BMP）内的字符和增补平面中的字符（如 emoji、古文字、生僻汉字等）。BMP 外的字符使用 4 字节编码。随着 Unicode 标准不断扩充新字符，UTF-8 的编码机制可以完全覆盖，不存在「编不了」的情况。

Q: 一个中文字符占多少字节？

在 UTF-8 编码中，一个常见中文字符占 3 个字节。这是因为大部分中文字符位于 Unicode 的 BMP 范围内（U+4E00 至 U+9FFF），对应 UTF-8 的 3 字节编码区间。少数生僻汉字（如扩展 B 区及之后的字符）位于增补平面，需要 4 个字节。相比之下，同一个中文字符在 UTF-16 中只需 2 个字节，在 GBK/GB2312 中也是 2 个字节。这也是为什么在纯中文文本场景下，UTF-8 的存储效率略低于 UTF-16 和 GBK。

Q: UTF-8 有 BOM 吗？

UTF-8 可以有 BOM（EF BB BF），但不推荐使用。BOM（Byte Order Mark）最初是为 UTF-16 设计的，用于标识字节序。UTF-8 没有字节序问题，所以 BOM 对它来说没有实际意义。然而 Windows 下的某些编辑器（如记事本）会默认在 UTF-8 文件开头添加 BOM，这可能导致 shell 脚本无法执行、JSON 解析失败、PHP 输出多余字符等问题。Unix/Linux 环境和现代开发工具普遍使用不带 BOM 的 UTF-8。

Q: 如何判断一个文件的编码是不是 UTF-8？

没有百分之百可靠的方法，但可以从几个角度判断。首先检查文件开头是否有 UTF-8 BOM（EF BB BF），有则确定是 UTF-8。其次可以对文件内容进行 UTF-8 合法性校验——UTF-8 的多字节序列有严格的格式规则（首字节和后续字节的高位模式固定），随机的非 UTF-8 数据通常无法通过校验。在命令行中可以使用 file 命令（如 file --mime-encoding filename）来检测编码。编程中可以尝试用 UTF-8 解码，如果没有报错且内容合理，基本可以确认是 UTF-8。

Unicode 转 UTF-8

快速字符串示例

转化过程解析