2017-1-3
【ASCII】一个字节(7位,128个字符,2个16进制) 不包含中文
ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的【单字节】编码系统，并等同于国际标准ISO/IEC 646。
ASCII码是目前计算机中用得最广泛的字符编码。
ASCII码使用指定的7位或8位二进制数组合来表示128或256种可能的字符。标准ASCII码也叫基础ASCII码，使用7位二进制数来表示所有的大写和小写字母，数字0到9、标点符号，以及在美式英语中使用的特殊控制字符。需要特别注意：ASCII码与标准ASCII码的位数上的区分，标准ASCII码是7位二进制表示。ASCII第一次以规范标准的型态发表是在1967年，最后一次更新则是在1986年，至今为止共定义了128个字符，其中33个字符无法显示（这是以现今操作系统为依据，但在DOS模式下可显示出一些诸如笑脸、扑克牌花式等8-bit符号），且这33个字符多数都已是陈废的控制字符，控制字符的用途主要是用来操控已经处理过的文字，在33个字符之外的是95个可显示的字符，包含用键盘敲下空白键所产生的空白字符也算1个可显示字符（显示为空白）。在计算机的存储单元中，一个ASCII码值占一个字节(8个二进制位)，不过字符码一般用十六进制来表示，2^8=16^2，所以可以用2个16进制数表示。十六进制以0x开头，所以字符码一般形式是0x**。ASCII码值二进制位中的第一位(即最高位 b7)为0，目的是用作奇偶校验。所谓奇偶校验，是指在代码传送过程中用来检验是否出现错误的一种方法，一般分奇校验和偶校验两种。奇校验规定：正确的代码一个字节中1的个数必须是奇数，若非奇数，则在最高位b7添1；偶校验规定：正确的代码一个字节中1的个数必须是偶数，若非偶数，则在最高位b7添1。
【Unicode】两个字节(16位,65536,4个16进制) 包含常用中文
Unicode（统一码、万国码、单一码）是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发，1994年正式公布。UCS（Universal Character Set, 通用字符集）是由ISO制定的ISO 10646（或称ISO/IEC 10646）标准所定义的标准字符集。Unicode目前普遍采用的是UCS-2，它用【两个字节】来编码一个字符，两个字节就是16位二进制， 2的16次方等于65536，所以UCS-2最多能编码65536个字符。注意字符码一般用十六进制来表示，2^16=16^4，所以可以用四个16进制数表示。十六进制以0x开头，所以字符码一般形式是0x****。Unicode编码从0到127的字符与ASCII编码的字符一样，比如字母"a"的Unicode 编码是0x0061，十进制是97，而"a"的ASCII编码是0x61，十进制也是97。 对于汉字的编码，事实上Unicode对汉字支持不怎么好，这也是没办法的， 简体和繁体总共有六七万个汉字，而UCS-2最多能表示65536个，才六万多个，所以Unicode只能排除一些几乎不用的汉字，好在常用的简体汉字也不过七千多个。Unicode字符集中，中、日、韩的三种文字占用了Unicode中0x3000到0x9FFF的部分(共28672个)。为了能表示所有汉字，Unicode也有UCS-4规范，就是用 4个字节来编码字符。
【UTF-8】 1-4个字节 可变长度字符编码 基于Unicode
由于对可以用ASCII表示的字符使用UNICODE并不高效，因为UNICODE比ASCII占用大一倍的空间，而对ASCII来说高字节的0对他毫无用处。为了解决这个问题，就出现了一些中间格式的字符集，他们被称为通用转换格式，即UTF（Unicode Transformation Format）。常见的UTF格式有：UTF-7, UTF-7.5, UTF-8,UTF-16, 以及 UTF-32。UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到4个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。
UTF-8与Unicode编码间的转换
UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下：Unicode编码(十六进制) UTF-8 字节流(二进制)00000000 - 0000007F 0xxxxxxx【可以容纳7个二进制位，与ASCII编码完全相同】00000080 - 000007FF 110xxxxx 10xxxxxx【11个x】00000800 - 0000FFFF 1110xxxx 10xxxxxx 10xxxxxx【14个x，汉字都在这个范围】00010000 - 001FFFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx【21个x】00200000 - 03FFFFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx【26个x】注104000000 - 7FFFFFFF 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx【31个x】注1例如"汉"字的Unicode编码是00006C49。6C49在0800-FFFF之间，所以要用3字节模板了。将6C49写成二进制是：0110 110001 001001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。
从上表可以看出，6字节模板有31个x，即可以容纳31位二进制数字。Unicode的最大码位0x7FFFFFFF也只有31位。注1：此非Unicode编码范围，属于UCS-4 编码。早期的规范UTF-8可以到达6字节序列，可以覆盖到31位元（通用字符集原来的极限）。尽管如此，2003年11月UTF-8 被 RFC 3629 重新规范，只能使用原来Unicode定义的区域， U+0000到U+10FFFF。根据规范，这些字节值将无法出现在合法 UTF-8序列中。
中文编码 GB2312/GBK/GB13000/GB18030/BIG5 两个字节
【GB2312】是1980年国家制定的汉字内码规范，GB是"国标"的拼音缩写，2312是国标序号。GB2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个。同时，GB2312收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个全角字符。GB2312的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖*99.75%的使用频率。虽然GB2312包含了绝大部分的常用简体汉字，但是由于中文的复杂性，对于人名、古汉语等方面出现的罕用字，GB2312不能处理，如*的"镕"字，GB2312中就没有包含，这样导致很多混乱。正因为GB2312的这些问题，国家标准化委员会又制定了【GB13000】。GB13000制定的原则与GB2312不同，GB13000以国际化为目标， 该标准编码参照了Unicode 2.0 标准编码。GB13000与GB2312完全不兼容，因早期的计算机中的汉卡采用了GB2312，无法顺利向GB13000过渡，所以GB13000变成了一个纸面上的标准，无法推广。有了以上经验，国家标准化委员会制定了【GBK】标准。GBK全称《汉字内码扩展规范》，GBK即"国标扩展"汉语拼音的第一个字母，英文名称：Chinese Internal Code Specification，于1995 年制定。GBK兼容GB2312标准，GBK标准中收录了21003个汉字及符号，通常把GB2312中的这6763字称为"常用字"，而将包含在GBK而不包含在GB2312字符集内的汉字称为"生僻字"。另外，GBK在GB2312标准的基础上扩展了GB13000包含的字，但编码修改了。该标准一经推出，就被WINDOWS95所采用(另一种说法是微软协助制定了此标准，这也可以印证为什么GBK标准一直没有出现在官方的标准目录中)。因有微软的支持，该标准迅速得到广泛的应用。2000年，国家标准GB18030-2000《信息交换用汉字编码字符集基本集的补充》发布，并且作为一项国家标准在2001年正式强制执行。【GB18030】是以汉字为主并包含多种我国少数民族文字（如藏、蒙古、傣、彝、朝鲜、*文等）的超大型中文编码字符集强制性标准，其中收入汉字70000余个。因为码位不足，GB18030使用了2byte与4byte混合编码方式，这又给软件增加了难题，所以虽然GB18030推出了很多年，仍然没有得到广泛应用。
大五码【Big5】，是通行于*、香港地区的一个繁体字编码方案。大五码是由资策会于1984年策划制定，拥有13053个中文字、408个字符以及33个控制字元的字集，是我国早期中文电脑的业界标准，也是中文社群最常用的电子汉字字集标准。而后随着电脑扩充需要，业界各操作系统开发商推出了不同版本的大五码，为统一标准，经济部标准检验局在2003年委托财团法人中国数位化技术推广基金会修改了大五码编码字元表，重整为Big5-2003版本。VimIM在Vim环境中，可以直接键入十进制或十六进制Big5码。既不需要启动输入法，也不需要码表。
ASCII 中的【33个控制字符】与【95个可显示字符】
编码系统演化
很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为"字节"。再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就把这机器称为"计算机"。 开始计算机只在美国用。八位的字节一共可以组合出2^8=256种不同的状态。 他们把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上0×10, 终端就换行，遇上0×07, 终端就向人们嘟嘟叫，遇上0x1b, 打印机就打印反白的字，或者终端就用彩色显示字母。他们看到这样很好，于是就把这些0×20(2*16^1=32)以下的字节状态称为"控制码"。他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。大家看到这样，都感觉很好，于是大家都把这个方案叫做 ANSI 的【ASCII】编码。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。 后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用 127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128 到255这一页的字符集被称【扩展字符集】。从此之后，再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧！等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉，规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。 中国人民看到这样很不错，于是就把这种汉字方案叫做 【GB2312】。GB2312 是对 ASCII 的中文扩展。 但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家*（如*的"镕"字，GB2312中就没有包含）。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。 后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为【GBK】标准，GBK包括了GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。再后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK扩成了【GB18030】。从此之后，中华民族的文化就可以在计算机时代中传承了。 中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 "DBCS"（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣们都要每天念下面这个咒语数百遍："一个汉字算两个英文字符！一个汉字算两个英文字符……" 因为当时各个国家都像中国这样搞出一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码，连大陆和*这样只相隔了150海里，使用着同一种语言的兄弟地区，也分别采用了不同的 DBCS 编码方案——当时的中国人想让电脑显示汉字，就必须装上一个"汉字系统"，专门用来处理汉字的显示、输入的问题，但是那个*的愚昧封建人士写的算命程序就必须加装另一套支持【BIG5】编码的什么"倚天汉字系统"才可以用，装错了字符系统，显示就会乱了套！这怎么办？而且世界民族之林中还有那些一时用不上电脑的穷苦人民，他们的文字又怎么办？ 真是计算机的巴比伦塔命题啊！正在这时，大天使加百列及时出现了——一个叫 ISO 的国际组织决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码！他们打算叫它"Universal Multiple-Octet Coded Character Set"，简称 UCS, 俗称 【Unicode】。Unicode开始制订时，计算机的存储器容量极大地发展了，空间再也不成为问题了。于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，对于ASCII里的那些"半角"字符，unicode保持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于"半角"英文符号只需要用到低8位，所以其高8位永远是0，因此这种大气的方案在保存英文文本时会多浪费一倍的空间。 这时候，从旧社会里走过来的程序员开始发现一个奇怪的现象：他们的strlen函数靠不住了，一个汉字不再是相当于两个字符了，而是一个！是的，从Unicode开始，无论是半角的英文字母，还是全角的汉字，它们都是统一的"一个字符"，同时，也都是统一的"两个字节"。请注意"字符"和"字节"两个术语的不同，"字节"是一个8位的物理存贮单元，而"字符"则是一个文化相关的符号。在Unicode中，一个字符就是两个字节，一个汉字算两个英文字符的时代已经快过去了。 Unicode同样也不完美，这里就有两个的问题，一个是，如何才能区别Unicode和ASCII？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，而Unicode统一规定，每个符号用2个字节表示，那么每个英文字母前都必然有1个字节是0，这对于存储空间来说是极大的浪费，文本文件的大小会因此大出2倍，这是难以接受的。 Unicode在很长一段时间内无法推广，直到互联网的出现。为解决Unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer传输 Format）标准出现了，顾名思义，【UTF-8】就是每次8个位传输数据，而【UTF-16】就是每次16个位。UTF-8就是在互联网上使用最广的一种Unicode的实现方式，这是为传输而设计的编码，并使编码无国界，这样就可以显示全世界上所有文化的字符了。 UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度，当字符在ASCII码的范围时，就用一个字节表示，保留了ASCII字符一个字节的编码做为它的一部分。需注意的是Unicode一个中文字符占2个字节，而UTF-8一个中文字符占3个字节。