unicode字符集,unicode字符集是unicode联盟开发的一种

Unicode字符集

我们一般通常使用的字符集有：ASCII ISO-8859-1 GB2312 big5 GBK Unicode2.0，另外还有一种基于32位的GB18030字符集是国家新出来的一种字符集，其为一个汉字设计了4个字节，因此可以说是目前为止，对汉字支持无论是简体还是繁体都是支持比较好的一种，当然主要的缺点就是太占空间，不利于在网路上传输。

如果不考虑GB18030字符集的话，最详尽的字符集应该是Unicode了，差不多支持了GBK所支持的所有汉字不敢过总量上还是稍微差一点。GBK尽管不是国家标准，但是已经成为事实上的一个行业标准，同时支持汉字的简体和繁体两种字体。比Gig5和GB2312强大些，为了更加明确的说明各个字符间的差异，先详细说明如下：

ASCII：

7位字符集，包括52个大小写英语字母，10个阿拉伯数字，1个空格，32个符号。

适用于纯英文环境，兼容性最好，在其他各种字符集下都能正确识别；不适用于英语以外的环境。

Latin1（ISO-8859-1）：8位字符集，向下兼容ASCII字符集，并增加了一些西欧语言中的字母和符号。

优点：适用于西欧语种，得到世界广泛的软件支持；

缺点：不能表示拉丁语系以外的语言，不兼容少量只使用7位字符集的古老程序。

GB2312：16位字符集，收录有6763个简体汉字，682个符号；

优点：适用于简体中文环境，属于中国国家标准，在大陆（和新加坡？）得到广泛支持；

缺点：不兼容繁体中文，其汉字集合过少。

big5：16位字符集，收录有13060个繁体汉字，440个符号；

优点：适用于繁体中文环境，属于台湾官方标准，为繁体Windows所使用，在台湾和香港得到广泛支持，而且，由于台湾软件业发展较早，国外软件支持big5的比支持gb2312/gbk的要多；

缺点： 不兼容简体中文环境，和gb2312之间需要转换。

GBK：16位字符集，收录有21003个汉字，883个符号；

优点：适用于简繁中文共存的环境，为简体Windows所使用（代码页cp936），向下完全兼容gb2312；

缺点：不属于官方标准，和big5之间需要转换。

GB18030：32位字符集；收录汉字数不详，应该相当详尽。

优点：可以收录所有你能想到的文字和符号，属于中国最新的国家标准；

缺点：由于空间使用效率低（一个汉字占四个字节），运行速度慢， 目前支持它的软件较少。

Unicode2.0: 16位字符集（ucs2），收录有汉字20902个，符号6811个；

优点：适用于国际化环境，可以做为字符的内部表示和存储形式，来实现软件的国际化、本地化；

缺点：目前支持较少，与其他中文字符集不兼容。

使用哪一种字符集，需要根据使用环境而定。不要盲目的使用最大最全的字符集，这样不仅运行效率差，占用多余空间，而且会降低软件的兼容性，因为不是所有运行环境都安装有所有字符集。

如果只处理英文，则可以使用Latin1字符集，目前绝大多数机子上都可以支持。如果只处理简体中文，使用GB2312，如果同时需要支持简繁体中文，使用 GBK；如果确实需要使用偏僻字，再使用GB18030；GB2312/BIG5/GBK/GB18030都只适用于中文环境，如果需要国际化，当然要使用unicode。

有人说，同时存在和使用这么多字符集，会人为的增加软件的开发难度和不兼容性。我也认同这一点，但是，目前多种字符集的存在，尤其是多种中文字符集并存，有其现实的背景和应用，不能简单的要求使用某一个字符集就完事，否则只是不切实际的空想。GBK的编码位利用率高，汉字覆盖面广，支持简繁体同时显示，并且广泛应用于简体中文Windows环境中，已近乎成为事实上的标准，得到了越来越广泛的国际支持，但它不是国家标准。最新的GB18030是典型的学院派标准，要用一个大而全的字符集来替代现有的GB2312、GBK等，却没有考虑到实际应用的可能性。且不说其在一般应用中造成的双倍的存储空间浪费和传输带宽浪费（虽然目前单位存储价格急遽下降，不需要在象过去那样计较，但也不表示我们可以任意挥霍），更重要的是其实现的高度复杂性和编码查找及转换时的低效率，这在系统软件当中是不可容忍的。

其实，任何一种字符集都不可能适用于所有环境，字符集的设计应该根据不同的需要来分别设计，在尽量避免重复功能的字符集的同时，保持字符集之间尽可能的兼容性。更好的中文字符集的实现应该是实现两种国家标准，一种16位字符集，一种32位字符集。16位字符集用于一般性应用，类似于目前的GBK（或者直接把GBK做为标准）。32位字符集向下兼容16位字符集（或直接采用Unicode 3.0），用于文字处理等场合。操作系统和数据库管理系统等系统性软件需要同时支持这两种字符集，而一般的应用软件只需要选择一种适合自己的就行了。

Unicode详解

字符编码的问题，每个程序员都会遇到，深入探索其背后的原理和机制，能让我们少走很多弯路。

Unicode （ 万国码 、 国际码 、 统一码 、 单一码 ）是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码，使得电脑可以用更为简单的方式来呈现和处理文字。

Unicode发展由非营利机构统一码联盟负责，该机构致力于让Unicode方案替换既有的字符编码方案。因为既有的方案往往空间非常有限，亦不适用于多语环境。

统一码联盟在1991年首次发布了 The Unicode Standard 。

在2005年，Unicode的第十万个字元被引入成为标准之一，该字元被用于马拉雅拉姆语。

目前实际应用的统一码版本对应于UCS-2，使用16位的编码空间。也就是每个字符占用2个字节。这样理论上一共最多可以表示2的16次（即65536）个字符。基本满足各种语言的使用。实际上当前版本的统一码并未完全使用这16位编码，而是保留了大量空间以作为特殊使用或将来扩展。

最新（但未实际广泛使用）的统一码版本定义了16个辅助平面，两者合起来至少需要占据21位的编码空间，比3字节略少。但事实上辅助平面字符仍然占用4字节编码空间，与UCS-4保持一致。未来版本会涵盖UCS-4的所有字符。UCS-4是一个更大的尚未填充完全的31位字符集，加上恒为0的首位，共需占据32位，即4字节。理论上最多能表示2的31次方个字符，完全可以涵盖一切语言所用的符号。

通用字符集 （Universal Character Set）是由ISO制定的 ISO 10646 （或称 ISO/IEC 10646 ）标准所定义的标准字符集。

通用字符集包括了其他所有字符集。它保证了与其他字符集的双向兼容，即，如果你将任何文本字符串翻译到UCS格式，然后再翻译回原编码，你不会丢失任何信息。

UCS包含了已知语言的所有字符。除了拉丁语、希腊语、斯拉夫语、希伯来语、阿拉伯语、亚美尼亚语、格鲁吉亚语，还包括中文、日文、韩文这样的方块文字，UCS还包括大量的图形、印刷、数学、科学符号。

ISO/IEC 10646定义了一个31位的字符集。

并不是所有的系统都需要支持像组合字符这样的的先进机制。因此ISO 10646指定了如下三种实现级别：

历史上存在两个独立的尝试创立单一字符集的组织，即：

1、国际标准化组织（ISO）于1984年创建的ISO/IEC

2、统一码联盟

统一码联盟和ISO/IEC都同意保持两者标准的码表兼容，并紧密地共同调整任何未来的扩展。

Unicode的实现方式不同于编码方式。一个字符的Unicode编码是确定的。但是在实际传输过程中，由于不同系统平台的设计不一定一致，以及出于节省空间的目的，对Unicode编码的实现方式有所不同。

Unicode的实现方式称为 Unicode转换格式 （Unicode Transformation Format，简称为 UTF ）。

前面说到，Unicode采用2个字节来编码文件，但是如果一个仅包含7位ASCII字符的Unicode文件，每个字符使用2字节就浪费了一般的存储空间，其第一字节的8位始终为0，这是难以忍受。对于这种情况，可以使用UTF-8编码，这是一种变长编码，它将基本7位ASCII字符仍用7位编码表示，占用一个字节（首位补0）。而遇到与其他Unicode字符混合的情况，将按一定算法转换，每个字符使用1-3个字节编码，并利用首位为0或1进行识别。

问题来了，UTF-8变长编码格式的出现是为了节省存储空间，变长导致了UTF-8的兼容性相应降低。

类似的，对未来会出现的需要4个字节的辅助平面字符和其他UCS-4扩充字符，2字节编码的UTF-16也需要通过一定的算法进行转换。

也就是说，UTF-16是为未来准备的变长编码格式。

还有就是，在Mac和普通PC上，对于字节顺序的理解是不一致的。这时同一字节流可能会被解释为不同内容，如某字符为十六进制编码4E59，按两个字节拆分为4E和59，在Mac上读取时是从低字节开始，那么在Mac OS会认为此4E59编码为594E，找到的字符为“奎”，而在Windows上从高字节开始读取，则编码为U+4E59的字符为“乙”。就是说在Windows下以UTF-16编码保存一个字符“乙”，在Mac OS环境下打开会显示成“奎”。此类情况说明UTF-16的编码顺序若不加以人为定义就可能发生混淆。

于是在UTF-16编码实现方式中使用了 大端序 （Big-Endian，简写为UTF-16 BE）、 小端序 （Little-Endian，简写为UTF-16 LE）的概念，以及可附加的字节顺序记号解决方案，目前在PC机上的Windows系统和Linux系统对于UTF-16编码默认使用UTF-16 LE。目前在PC机上的Windows系统和Linux系统对于UTF-16编码默认使用UTF-16 LE。

在Windows XP附带的记事本，“另存为”对话框可以选择的四种编码方式除去非Unicode编码的ANSI（对于英文系统即ASCII编码），中文系统则为GB2312或Big5外，其余三种为“Unicode”（对应UTF-16 LE）、“Unicode big endian”（对应UTF-16 BE）和“UTF-8”。

UTF-8，是我们最经常看到的编码格式之一。前面已经简单介绍过，这是一种变长编码格式，变长的目的是节省存储空间。

UTF-8使用一至六个字节为每个字符编码（2003年11月UTF-8被RFC 3629重新规范，只能使用原来Unicode定义的区域，U+0000到U+10FFFF，也就是说最多四个字节）。

下面介绍其编码规则：

1、128个US-ASCII字符只需一个字节编码（Unicode范围由U+0000至U+007F）。

2、带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文等则需要两个字节编码（Unicode范围由U+0080至U+07FF）。

3、其他基本多文种平面（BMP）中的字元（这包含了大部分常用字，如大部分的汉字）使用三个字节编码（Unicode范围由U+0800至U+FFFF）。

4、其他极少使用的Unicode 辅助平面的字元使用四至六字节编码。（Unicode范围由U+10000至U+1FFFFF使用四字节，Unicode范围由U+200000至U+3FFFFFF使用五字节，Unicode范围由U+4000000至U+7FFFFFFF使用六字节）。

对上述提及的第四种字元而言，UTF-8使用四至六个字节来编码似乎太耗费资源了。但UTF-8对所有常用的字元都可以用三个字节表示，而且它的另一种选择，UTF-16编码，对前述的第四种字符同样需要四个字节来编码，所以要决定UTF-8或UTF-16哪种编码比较有效率，还要视所使用的字元的分布范围而定。

下面来看看UTF-8具体怎么编码各种类型的字符：

1、单字节编码，字节由零开始：0zzzzzzz。（z取值0或1，下同）

2、两字节编码：（110yyyyy 10zzzzzz）第一个字节由110开始，接着的字节由10开始

3、三字节编码：（01110xxxx10yyyyyy 10zzzzzz）第一个字节由1110开始，接着的字节由10开始。

4、四字节编码：（11110www 10xxxxxx 10yyyyyy 10zzzzzz）将由11110开始，接着的字节由10开始

UTF-16 是Unicode字符编码五层次模型的第三层：字符编码表。即把Unicode字符集的抽象码位映射为16位长的整数，用于数据存储或传递。Unicode字符的码位，需要1个或者2个16位长的码元来表示，因此这是一个变长表示。

Unicode的编码空间从U+0000到+10FFFF，共有1,112,064个码位（code point）可用来映射字符. Unicode的编码空间可以划分为17个平面（plane），每个平面包含216（65,536）个码位。17个平面的码位可表示为从U+xx0000到U+xxFFFF,其中xx表示十六进制值从0016到1016，共计17个平面。第一个平面称为 基本多语言平面 （Basic Multilingual Plane, BMP ），或称第零平面（Plane 0）。其他平面称为 辅助平面 （Supplementary Planes）。基本多语言平面内，从U+D800到U+DFFF之间的码位区段是永久保留不映射到Unicode字符。UTF-16就利用保留下来的0xD800-0xDFFF区段的码位来对辅助平面的字符的码位进行编码。

分平面来介绍UTF-16的实现方式：

1、第一个Unicode平面（码位从U+0000至U+FFFF）包含了最常用的字符。该平面被称为基本多语言平面，缩写为 BMP （Basic Multilingual Plane, BMP）。UTF-16与 UCS-2 编码这个范围内的码位为16比特长的单个码元，数值等价于对应的码位. BMP中的这些码位是仅有的可以在UCS-2中表示的码位.

2、辅助平面（Supplementary Planes）中的码位，在UTF-16中被编码为 一对 16比特长的码元（即32bit,4Bytes），称作 代理对 (surrogate pair),具体方法是：

算法可理解为：辅助平面中的码位从U+10000到U+10FFFF，共计FFFFF个，即220

=1,048,576个，需要20位来表示。如果用两个16位长的整数组成的序列来表示，第一个整数（称为前导代理）要容纳上述20位的前10位，第二个整数（称为后尾代理）容纳上述20位的后10位。还要能根据16位整数的值直接判明属于前导整数代理的值的范围（210=1024)，还是后尾整数代理的值的范围（也是210

=1024）。因此，需要在基本多语言平面中保留不对应于Unicode字符的2048个码位，就足以容纳前导代理与后尾代理所需要的编码空间。这对于基本多语言平面总计65536个码位来说，仅占3.125%.

3、Unicode标准规定U+D800..U+DFFF的值不对应于任何字符.

参考资料：

unicode字符集是多少位的字符编码

unicode编码用2个字节存储字符。

2个字节=16个bit，即16位二进制编码。

注意：一个bit=一位二进制。

最初的unicode编码是固定长度的，16位，也就是2两个字节代表一个字符，这样一共可以表示65536个字符。显然，这样要表示各种语言中所有的字符是远远不够的。

Unicode4.0规范考虑到了这种情况，定义了一组附加字符编码，附加字符编码采用2个16位来表示，这样最多可以定义1048576个附加字符，目前unicode4.0只定义了45960个附加字符。

扩展资料：

字母和数字的 ASCII 码的记忆是非常简单的。我们只要记住了一个字母或数字的 ASCII 码（例如记住 A 为 65 ， 0 的 ASCII 码为 48 ），知道相应的大小写字母之间差 32 ，就可以推算出其余字母、数字的 ASCII 码。

虽然标准 ASCII 码是 7 位编码，但由于计算机基本处理单位为字节（ 1byte = 8bit ），所以一般仍以一个字节来存放一个 ASCII 字符。每一个字节中多余出来的一位（最高位）在计算机内部通常保持为 0 （在数据传输时可用作奇偶校验位）。

参考资料来源：百度百科-字符编码