如果大家处理过多语言资源,那么对JDK这个自带的native2ascii肯定不会陌生,它能够帮我们把不同的编码转化成统一的unicode编码,来实现国际化。
一般我们都这么用,假设我们有这么一个文件zh.txt,其内容只有这么一行:
然后我们使用native2ascii来将其内容转成unicode编码:
很简单,但是你考虑过zh.txt文件的编码了吗?如果这个zh.txt文件是别人提供给你的,可能里面是采用了别的编码,那么如果仅仅是通过简单的native2ascii zh.txt是不可以的。
很庆幸,native2ascii这个工具本身提供了一个encoding选项,但是,这个encoding选项是代表什么意思呢?网上大多数人都认为,这个是指生成的目的文件的编码,如,
则表示将zh.txt转成ISO 8859-1编码,真的是这样的吗?
还有一些人认为,这个encoding选项所指的是,源文件即zh.txt的编码格式,这个解释有点贴近,但仍不让我满意,这个encoding选项指的应该是native2ascii工具读取源文件zh.txt所采用的编码方式,如对于上面的iso-8859-1的例子,则表示native2ascii工具将采用iso-8859-1编码格式来读取源文件zh.txt,并将其内容转化成unicode编码格式。这样有什么用呢?这个就像我前面说的,可能这个源文件zh.txt可能是别人在他自己的机器上编写并提供给你的,要知道linux上默认的编码格式是ISO 8859-1,而window上一般是GBK(对于中文系统),如果我们用GBK的编码格式来读取ISO 8859-1编码的内容,可想而知,会发生什么样的错误。
这个也就是下面两个不同的native2ascii使用都有一样的输出的原因:
这里没有指定encoding选项,则采用操作系统默认的编码格式来读取解析zh.txt文件(这里默认是GBK)
这里明确指定了GBK encoding选项,可以看到跟上面的输出一致。
最后再让我们以代码来验证下以上的说法:
还是zh.txt文件,让我们以utf-8的编码来读取它,
可以看到输出为\u04ac\ufffd\ufffd,
如果我们是通过代码来以utf-8的编码来读取源文件再转成unicode,会不会结果也是\u04ac\ufffd\ufffd呢?
BufferedReader br = new BufferedReader(new InputStreamReader( new FileInputStream(new File( "C:\\Documents and Settings\\yeson\\zh.txt")), "utf-8")); String line = null; while ((line = br.readLine()) != null) { for (char c : line.toCharArray()) System.out.println((byte) c); } System.out.println();//new line char[] utf8 = new char[] { '\u04ac', '\ufffd', '\ufffd' }; for (char c : utf8) System.out.println((byte)c);
输出:
可以看到,实际上是一样,java中的char本身就是unicode.
而如果-encoding和-reverse选项并存,则这里的encoding则表示将以什么样的编码格式写入文件,如:
这个表示将转换后的文件以utf8的编码格式写入文件utf8.txt.