背景
一直没有深入的学习字符集和编码的知识（现在也没有深入），今天查阅了一些资料，弄明白了一些事情，本文就简单记录一下。
字符集和编码
字符集是指一些符号组成的集合，编码是对指定字符集如何表示为字节的一种规则，一个字符集可以由多种编码。
参考文章：http://www.cnblogs.com/skynet/archive/2011/05/03/2035105.html。
.NET支持多少种编码？默认编码是什么？
测试程序
public static void 打印所有编码规则总数()
{
Console.WriteLine(string.Format("系统支持【{0}】条编码规则。", Encoding.GetEncodings().Count()));
} public static void 打印默认编码规则()
{
Console.WriteLine(string.Format("系统默认编码规则：【{0}】。", Encoding.Default.EncodingName));
}
输出结果
注：系统的默认编码和操作系统的语言环境有关系，我是中文操作系统，所以这里的输出是：GB2312。
.NET中使用何种编码表示字符串？
这个问题和源代码所在的文件的编码没有任何关系，文件的格式只是影响开发期间的编程工作，如：采用ASCII编码的文件不能使用中文变量名。
因为Char的内部表示和Short是一样的，所以不难想象.NET使用的是Unicode的16位编码，让我们测试一下。
测试程序
public static void 语言的字符串采用的编码()
{
Console.WriteLine("\n***" + System.Reflection.MethodInfo.GetCurrentMethod().Name + "***"); string originalString = "hi 段"; Console.WriteLine(
String.Join(
",",
originalString
.SelectMany(x => new byte[] { (byte)(x), (byte)(x >> ) })
.Select(x => Convert.ToString(x, ))
)
); Console.WriteLine(
String.Join(
",",
Encoding.Unicode
.GetBytes(originalString)
.Select(x => Convert.ToString(x, ))
)
); Console.WriteLine(
String.Join(
",",
Encoding.UTF8
.GetBytes(originalString)
.Select(x => Convert.ToString(x, ))
)
); Console.WriteLine(
String.Join(
",",
Encoding.UTF32
.GetBytes(originalString)
.Select(x => Convert.ToString(x, ))
)
);
}
输出结果
一些错误的编码使用场景
编码和解码使用不同的规则
测试代码
public static void 将string转换为byte数组和将byte数组转换为string采用不同的编码规则()
{
Console.WriteLine("\n***" + System.Reflection.MethodInfo.GetCurrentMethod().Name + "***"); string originalString = "Hello Test, 测试!"; byte[] utf8Bytes = Encoding.UTF8.GetBytes(originalString);
string errorString = Encoding.ASCII.GetString(utf8Bytes); Console.WriteLine("原始字符串：【{0}】。", originalString);
Console.WriteLine("用UTF8编码，用ASCII解码后的错误字符串：【{0}】。", errorString);
}
输出结果
使用的编码规则对应的字符集不支持字符串拥有的字符
测试程序
public static void 将string转换为byte数组使用了错误了编码规则()
{
Console.WriteLine("\n***" + System.Reflection.MethodInfo.GetCurrentMethod().Name + "***"); string originalString = "Hello Test, 测试!"; byte[] asciiBytes = Encoding.ASCII.GetBytes(originalString);
string errorString = Encoding.ASCII.GetString(asciiBytes); Console.WriteLine("原始字符串：【{0}】。", originalString);
Console.WriteLine("用ASCII编码，用ASCII解码后的错误字符串：【{0}】，因为字符串中包含非ASCII字符。", errorString);
}
输出结果
ANSI在中文操作系统下原来是GB2212
昨晚以为ANSI是采用ASCII编码，早上经群里的朋友斧正，原来是根据不同的环境会采用不同的编码，中文操作系统多少是GB2312。
测试程序
public static void 读取包含了ANSI字符的ANSI编码文件()
{
Console.WriteLine("\n***" + System.Reflection.MethodInfo.GetCurrentMethod().Name + "***"); var file = @"E:\Coding\HappyStudy\EncodingStudy\EncodingStudy\ANSI.txt";
Console.WriteLine("使用GB2312编码读取的内容：" + File.ReadAllText(file, Encoding.GetEncoding("GB2312")));
}
如何在不同的编码规则之间进行转换呢？
程序中的字符串使用是采用Unicode进行编码的，我们指的编码转换多少是指不同的IO流之间的转换，简单的思路是：
- 将“源流”转换为.NET字符串（Unicode）编码。
- 将.NET字符串以目标编码写入“目标流”。
注：应该有快捷的算法在字节级别直接在两种编码规则之间做映射的，这里没有深究。
能自动识别文件编码吗？
为什么.NET没有提供自动识别文件编码的功能？估计是没法支持，现实确实是没法支持，具体来说是只能支持个别编码的自动识别，原理参考这篇文章：http://blog.csdn.net/lipeijs3/article/details/5062243。
备注
.NET中处理编码还是比较舒服的，改天得看看动态语言是如何处理的，等几天写一篇Ruby相关的编码文章。