See More

>So do not worry about tomorrow, for tomorrow will bring worries of its own. Today's trouble is enough for today. (MATTHEW 6:34) #字符编码 其实，标题前面应该加两个字——“坑爹”。 在实践中，字符编码的确是一个“坑”。因为这个世界上，不都是英文。如果都是英文，就没有这个问题了。可是，还有中文、日文等等。 但是，字符编码的确很重要，它不仅仅是计算机的一个基础，还是一个有历史过程的事情。 要从编码开始谈起。 ##编码 什么是编码？这是一个比较玄乎的问题。也不好下一个普通定义。我看到有的教材中有定义，不敢说他的定义不对，至少可以说不容易理解。 古代打仗，击鼓进攻、鸣金收兵，这就是编码。把要传达给士兵的命令对应为一定的其它形式，比如命令“进攻”，经过如此的信息传递： ![](./1images/11001.png) 1. 长官下达进攻命令，传令员将这个命令编码为鼓声（如果复杂点，是不是有几声鼓响，如何进攻呢？）。 2. 鼓声在空气中传播，比传令员的嗓子吼出来的声音传播的更远，士兵听到后也不会引起歧义，一般不会有士兵把鼓声当做打呼噜的声音。这就是“进攻”命令被编码成鼓声之后的优势所在。 3. 士兵听到鼓声，就是接收到信息之后，如果接受过训练或者有人告诉过他们，他们就知道这是让我进攻。这个过程就是解码。所以，编码方案要有两套。一套在信息发出者那里，另外一套在信息接受者这里。经过解码之后，士兵明白了，才行动。 以上过程比较简单。其实，真实的编码和解码过程，要复杂了。不过，原理都差不多的。 举一个似乎遥远，其实不久前人们都在使用的东西做例子：[电报](http://zh.wikipedia.org/wiki/%E7%94%B5%E6%8A%A5) >电报是通信业务的一种，在19世纪初发明，是最早使用电进行通信的方法。电报大为加快了消息的流通，是工业社会的其中一项重要发明。早期的电报只能在陆地上通讯，后来使用了海底电缆，开展了越洋服务。到了20世纪初，开始使用无线电拨发电报，电报业务基本上已能抵达地球上大部份地区。电报主要是用作传递文字讯息，使用电报技术用作传送图片称为传真。 >中国首条出现电报线路是1871年，由英国、俄国及丹麦敷设，从香港经上海至日本长崎的海底电缆。由于清政府的反对，电缆被禁止在上海登陆。后来丹麦公司不理清政府的禁令，将线路引至上海公共租界，并在6月3日起开始收发电报。至于首条自主敷设的线路，是由福建巡抚丁日昌在台湾所建，1877å¹´10月完工，连接台南及高雄。1879年，北洋大臣李鸿章在天津、大沽及北塘之间架设电报线路，用作军事通讯。1880年，李鸿章奏准开办电报总局，由盛宣怀任总办。并在1881å¹´12月开通天津至上海的电报服务。李鸿章説：“五年来，我国创设沿江沿海各省电线，总计一万多里，国家所费无多，巨款来自民间。当时正值法人挑衅，将帅报告军情，朝廷传达指示，均相机而动，无丝毫阻碍。中国自古用兵，从未如此神速。出使大臣往来问答，朝发夕至，相隔万里好似同居庭院。举设电报一举三得，既防止外敌侵略，又加强国防，亦有利于商务。”天津官电局于庚子遭乱全毁。1887年，台湾巡抚刘铭传敷设了福州至台湾的海底电缆，是中国首条海底电缆。1884年，北京电报开始建设，采用"安设双线，由通州展至京城，以一端引入署中，专递官信，以一端择地安置用便商民"，同年8月5日，电报线路开始建设，所有电线杆一律漆成红色。8月22日，位于北京崇文门外大街西的喜鹊胡同的外城商用电报局开业。同年8月30日，位于崇文门内泡子和以西的吕公堂开局，专门收发官方电报。 >为了传达汉字，电报部门准备由4位数字或3位罗马字构成的代码，即中文电码，采用发送前将汉字改写成电码发出，收电报后再将电码改写成汉字的方法。 注意了，这里出现了电报中用的“[中文电码](http://zh.wikipedia.org/wiki/%E4%B8%AD%E6%96%87%E9%9B%BB%E7%A2%BC)”，这就是一种编码，将汉字对应成阿拉伯数字，从而能够用电报发送汉字。 >1873å¹´,法国驻华人员威基杰参照《康熙字典》的部首排列方法,挑选了常用汉字6800多个,编成了第一部汉字电码本《电报新书》。 电报中的编码被称为[摩尔斯电码，英文是Morse Code](http://zh.wikipedia.org/wiki/%E6%91%A9%E6%96%AF%E7%94%B5%E7%A0%81) >摩尔斯电码（英语：Morse Code）是一种时通时断的信号代码，通过不同的排列顺序来表达不同的英文字母、数字和标点符号。是由美国人萨缪尔·摩尔斯在1836年发明。 >摩尔斯电码是一种早期的数字化通信形式，但是它不同于现代只使用0å’Œ1两种状态的二进制代码，它的代码包括五种：点（.）、划（-）、每个字符间短的停顿（在点和划之间的停顿）、每个词之间中等的停顿、以及句子之间长的停顿 看来电报员是一个技术活，不同长短的停顿都代表了不同意思。哦，对了，有一个老片子《永不消逝的电波》，看完之后保证你才知道，里面根本就没有讲电报是怎么编码的。 >摩尔斯电码在海事通讯中被作为国际标准一直使用到1999年。1997年，当法国海军停止使用摩尔斯电码时，发送的最后一条消息是：“所有人注意，这是我们在永远沉寂之前最后的一声呐喊！” ![](./1images/11002.png) 我瞪着眼看了老长时间，这两行不是一样的吗？ 不管这个了，总之，这就是编码。 ##计算机中的字符编码 先抄一段[维基百科对字符编码](http://zh.wikipedia.org/wiki/%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81)的解释： >字符编码（英语：Character encoding）、字集码是把字符集中的字符编码为指定集合中某一对象（例如：比特模式、自然数串行、8位组或者电脉冲），以便文本在计算机中存储和通过通信网络的传递。常见的例子包括将拉丁字母表编码成摩斯电码和ASCII。其中，ASCII将字母、数字和其它符号编号，并用7比特的二进制来表示这个整数。通常会额外使用一个扩充的比特，以便于以1个字节的方式存储。 但计算机的字符编码，不是一蹴而就，而是有一个发展过程的。 ###ASCII码 计算机里采用二进制，这是毋庸置疑不用解释的了。 20世纪60年代，这是计算机发展的早期，那时候美国是很多领域的老大，计算机上也同样是老大，当然现在也还是老大，未来是不是就要看Chinese People了。老大就要做老大的事情，定规矩肯定是老大的事情，于是美国制定了一套字符编码，解决了英语字符与二进制位之间的对应关系，被称为[ASCII码](http://zh.wikipedia.org/wiki/ASCII)。 >ASCII（pronunciation: 英语发音：/ˈæski/ ASS-kee[1]，American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语，而其扩展版本EASCII则可以部分支持其他西欧语言，并等同于国际标准ISO/IEC 646。由于万维网使得ASCII广为通用，直到2007å¹´12月，逐渐被Unicode取代。 英语用128个符号编码就够了，但计算机不是仅仅用于英语。如果用来表示其他语言，128个符号是不够的。于是很多其它国家，都在ASCII码的基础上，搞了很多别的编码，比如汉语里面有了简体中文编码方式GB2312，使用两个字节表示一个汉字。 ###Unicode 编码方式上，各玩个的，就有点乱，于是就出现了“乱码”。比如电子邮件，发信人和收信人使用的编码方式不一样，收信人就只能看“乱码”了。 网络的发展，让地球都成为一个村了，同一个村里面就不能有很多“方言”，只能有一种，否则“乱了”。 于是[Unicode]((http://zh.wikipedia.org/wiki/Unicode))呼之出来了，看它的名字，你也知道，就是要统一符号的编码。 >Unicode（中文：万国码、国际码、统一码、单一码）是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码，使得电脑可以用更为简单的方式来呈现和处理文字。 >Unicode伴随着通用字符集的标准而发展，同时也以书本的形式对外发表。Unicode至今仍在不断增修，每个新版本都加入更多新的字符。目前最新的版本为7.0.0，已收入超过十万个字符（第十万个字符在2005年获采纳）。Unicode涵盖的数据除了视觉上的字形、编码方法、标准的字符编码外，还包含了字符特性，如大小写字母。 但Unicode也不是完美的，存在一些问题。想了解哪些问题，请具体查阅参考文献：[字符编码笔记：ASCII，Unicodeå’ŒUTF-8](http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html) ###UTF-8 互联网催生了UTF-8。 Unicode的实现方式称为Unicode转换格式（Unicode Transformation Format，简称为UTF）——UTF的含义。 [UTF-8]((http://zh.wikipedia.org/wiki/UTF-8))是在互联网上使用最广的一种Unicode的实现方式。虽然它仅仅是Unicode的实现方式之一，但它真正一统江湖了。 >UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部份修改，即可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或发送文字的应用中，优先采用的编码。 有UTF-8，言外之意还应该有UTF-n，n是一个别的数字。 的确如此，还有UTF-16等等，但UTF-8有很多优点，被广泛接受。 所以，以后，我们在Python的程序开发中，都要使用UTF-8编码。 注：参考文献：[字符编码笔记：ASCII，Unicodeå’ŒUTF-8](http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html) 看完了一些关于编码的基本知识，再来看Python中的编码问题。 ##Python字符编码 Python编码容易让人迷茫，因为Python 2å’ŒPython 3还有区别。 如果你在Python 2中，在交互模式里按照下面的指令执行。 >>> import sys >>> sys.getdefaultencoding() 'ascii' 这说明Python 2的默认是ASCII编码。而Python 3，则不同。 >>> import sys >>> sys.getdefaultencoding() 'utf-8' 所以，要注意是哪个版本。 之所以如此，根源是Python 2横空出世的时候，Unicode还没有来到这个世界。 在Python中，有两个内建函数，能够实现字符和对应数字之间的转换。 >>> ord("Q") 81 >>> chr(81) 'Q' 对于英文字母，不同版本的Python没有区别，但是，对于汉字就有区别了。 先看Python 2。如果你用Python 3，此段可以略过。 >>> ord("齐") Traceback (most recent call last): File "", line 1, in ord("齐") TypeError: ord() expected a character, but string of length 2 found Python 2默认是ASCII编码，`齐`这个字符已经超出了ASCII的范围，所以要报错。并且，从报错信息中可以看出更多信息。 >>> help(ord) Help on built-in function ord in module __builtin__: ord(...) ord(c) -> integer Return the integer ordinal of a one-character string. Python 2中，要求`ord()`的参数所传递的是一个字符，即长度是1，而Python解释器现在认为`齐`这个汉字是两个字符的长度。 的确如此，汉字占据了两个字节。 >>> s = "齐" >>> len(s) 2 >>> s '\xc6\xeb' 再看Python 3，进行上述操作。 >>> ord("齐") 40784 >>> chr(40784) '齐' >>> help(ord) Help on built-in function ord in module builtins: ord(c, /) Return the Unicode code point for a one-character string. 区别已经很明显了。 因此，Python 2做了扩展，使用一种新的方式，来声明那个字符串是Unicode编码。 >>> t = u'齐' >>> len(t) 1 >>> t u'\u9f50' >>> ord(t) 40784 >>> type(t) 所以，使用Python 2的朋友们要注意了，在编程中，将字符串写成状如`u'齐'`是非常必要的，因为这样你使用的就是Unicode编码。 这样，貌似世界就和谐了。 真的吗？ ##encodeå’Œdecode 因为种种原因，不可能世界上所有人都按照同一种模式生活，否则就不是“绚丽多彩”的世界了。 “绚丽多彩”的世界，就必须要encodeå’Œdecode - encode：编码 - decode：解码 字符串也有这样两个方法，分别负责编码和解码工作。 在Python 2中，它们分别是`str.encode()`å’Œ`str.decode()`。 >>> help(str.encode) Help on method_descriptor: encode(...) S.encode([encoding[,errors]]) -> object Encodes S using the codec registered for encoding. encoding defaults to the default encoding. errors may be given to set a different error handling scheme. Default is 'strict' meaning that encoding errors raise a UnicodeEncodeError. Other possible values are 'ignore', 'replace' and 'xmlcharrefreplace' as well as any other name registered with codecs.register_error that is able to handle UnicodeEncodeErrors. >>> help(str.decode) Help on method_descriptor: decode(...) S.decode([encoding[,errors]]) -> object Decodes S using the codec registered for encoding. encoding defaults to the default encoding. errors may be given to set a different error handling scheme. Default is 'strict' meaning that encoding errors raise a UnicodeDecodeError. Other possible values are 'ignore' and 'replace' as well as any other name registered with codecs.register_error that is able to handle UnicodeDecodeErrors. 而在Python 3中，它是`str.encode()`。（细心的读者，有没有看到我叙述上的差别？） >>> help(str.encode) Help on method_descriptor: encode(...) S.encode(encoding='utf-8', errors='strict') -> bytes Encode S using the codec registered for encoding. Default encoding is 'utf-8'. errors may be given to set a different error handling scheme. Default is 'strict' meaning that encoding errors raise a UnicodeEncodeError. Other possible values are 'ignore', 'replace' and 'xmlcharrefreplace' as well as any other name registered with codecs.register_error that can handle UnicodeEncodeErrors. 在两个版本中，是有却别的，恭请认真阅读文档信息。并且，在Python 3中不再提供`str.decode()`方法。想想也是合理的。因为Python 3中默认是UTF-8，就没有必要再解码成别的了吧，那不是要开历史的倒车吗？ 所以，在Python 2中，你可以这么玩。 >>> a = "赵国" >>> type(a) >>> len(a) 4 >>> a '\xd5\xd4\xb9\xfa' 这是一个基于ASCII得到的**字节串**，一个汉字两个字节。 >>> b = u'赵国' >>> type(b) >>> len(b) 2 >>> b u'\u8d75\u56fd' 这是基于Unicodeçš„**字符串**。两个术语：“字节串”和“字符串”，通过这个例子是否有了明晰？ >>> c = b.encode("utf-8") >>> type(c) >>> len(c) 6 >>> c '\xe8\xb5\xb5\xe5\x9b\xbd' 这是其转化为UTF-8编码。请注意，以上三种不同编码下的长度，是不一样的。 >>> d = c.decode("utf-8") >>> type(d) >>> len(d) 2 >>> d u'\u8d75\u56fd' 这样又变回去了。 这就是编码的转换方式。 关于编码问题，先到这里，点到为止吧。在编程实践中，如果有纠缠不清的问题，请尽情google，即可解决。 ##Python 2中如何避免中文是乱码 这个问题是一个具有很强操作性的问题。我这里有一个经验总结，分享一下，供参考： 首先，提倡使用utf-8编码方案，因为它跨平台不错。 经验一：在开头声明： # -*- coding: utf-8 -*- 有朋友问我-*-有什么作用，那个就是为了好看，爱美之心人皆有，更何况程序员？当然，也可以写成： # coding:utf-8 经验二：遇到字符（节）串，立刻转化为unicode，不要用str()，直接使用unicode() unicode_str = unicode('中文', encoding='utf-8') print unicode_str.encode('utf-8') 经验三：如果对文件操作，打开文件的时候，最好用codecs.open，替代open(这个后面会讲到，先放在这里) import codecs codecs.open('filename', encoding='utf8') 经验四：声明字符串直接加u，声明的字符串就是unicode编码的字符串 a = u"中" 我还收集了网上的一片文章，也挺好的，推荐给看官：[Python2.x的中文显示方法](https://github.com/qiwsir/ITArticles/blob/master/Python/Python%E7%9A%84%E4%B8%AD%E6%96%87%E6%98%BE%E7%A4%BA%E6%96%B9%E6%B3%95.md) 至于Python 3，因为天生就是UTF-8，所以对中文友好的。 关于字符串差不多要告一段落了。但是，Python的对象类型，还要继续。接下来“苦力”即将登场。 ------ [总目录](./index.md)   |   [上节：字符串(4)](./109.md)   |   [下节：列表(1)](./111.md) 如果你认为有必要打赏我，请通过支付宝：**[email protected]**,不胜感激。