世界上的各地區都有本地的語言。地區差異直接導致了語言環境的差異。在開發一個國際化程序的過程中，處理語言問題就顯得很重要了。
這是一個世界范圍內都存在的問題，所以，java提供了世界性的解決方法。本文描述的方法是用于處理中文的，但是，推而廣之，對于處理世界上其它國家和地區的語言同樣適用。
漢字是雙字節的。所謂雙字節是指一個雙字要占用兩個BYTE的位置（即16位），分別稱為高位和低位。中國規定的漢字編碼為GB2312，這是強制性的，目前幾乎所有的能處理中文的應用程序都支持GB2312。GB2312包括了一二級漢字和9區符號，高位從0xa1到0xfe，低位也是從0xa1到0xfe，其中，漢字的編碼范圍為0xb0a1到0xf7fe。
另外有一種編碼，叫做GBK，但這是一份規范，不是強制的。GBK提供了20902個漢字，它兼容GB2312，編碼范圍為0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。
在不久的將來，中國會頒布另一種標準：GB18030-2000（GBK2K）。它收錄了藏、蒙等少數民族的字型，從根本上解決了字位不足的問題。注意：它不再是定長的。其二字節部份與GBK兼容，四字節部分是擴充的字符、字形。它的首字節和第三字節從0x81到0xfe，二字節和第四字節從0x30到0x39。
本文不打算介紹Unicode，有興趣的可以瀏覽“http://www.unicode.org/”查看更多的信息。Unicode有一個特性：它包括了世界上所有的字符字形。所以，各個地區的語言都可以建立與Unicode的映射關系，而Java正是利用了這一點以達到異種語言之間的轉換。
在JDK中，與中文相關的編碼有：
表1 JDK中與中文相關的編碼列表
| 編碼名稱 | 說明 |
| ASCII | 7位，與ascii7相同 |
| ISO8859-1 | 8-位，與 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同 |
| GB2312-80 | 16位，與gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同 |
| GBK | 與MS936相同，注意：區分大小寫 |
| UTF8 | 與UTF-8相同 |
| GB18030 | 與cp1392、1392相同，目前支持的JDK很少 |
在實際編程時，接觸得比較多的是GB2312（GBK）和ISO8859-1。
為什么會有“?”號
上文說過，異種語言之間的轉換是通過Unicode來完成的。假設有兩種不同的語言A和B，轉換的步驟為：先把A轉化為Unicode，再把Unicode轉化為B。
舉例說明。有GB2312中有一個漢字“李”，其編碼為“C0EE”，欲轉化為ISO8859-1編碼。步驟為：先把“李”字轉化為Unicode，得到“674E”，再把“674E”轉化為ISO8859-1字符。當然，這個映射不會成功，因為ISO8859-1中根本就沒有與“674E”對應的字符。
當映射不成功時，問題就發生了！當從某語言向Unicode轉化時，如果在某語言中沒有該字符，得到的將是Unicode的代碼“/uffffd”（“/u”表示是Unicode編碼，）。而從Unicode向某語言轉化時，如果某語言沒有對應的字符，則得到的是“0x3f”（“?”）。這就是“?”的由來。
例如：把字符流buf =“0x80 0x40 0xb0 0xa1”進行new String(buf, "gb2312")操作，得到的結果是“/ufffd/u554a”，再PRintln出來，得到的結果將是“?啊”，因為“0x80 0x40”是GBK中的字符，在GB2312中沒有。
再如，把字符串String="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"進行new String (buf.getBytes("GBK"))操作，得到的結果是“3fa8aca8a6463fa8b4”，其中，“/u00d6”在“GBK”中沒有對應的字符，得到“3f”，“/u00ec”對應著“a8ac”，“/u00e9”對應著“a8a6”，“0046”對應著“46”（因為這是ASCII字符），“/u00bb”沒找到，得到“3f”，最后，“/u00f9”對應著“a8b4”。把這個字符串println一下，得到的結果是“?ìéF?ù”?？吹經]？這里并不全是問號，因為GBK與Unicode映射的內容中除了漢字外還有字符，本例就是最好的明證。
所以，在漢字轉碼時，如果發生錯亂，得到的不一定都是問號噢！不過，錯了終究是錯了，50步和100步并沒有質的差別。
或者會問：如果源字符集中有，而Unicode中沒有，結果會如何？回答是不知道。因為我手頭沒有能做這個測試的源字符集。但有一點是肯定的，那就是源字符集不夠規范。在Java中，如果發生這種情況，是會拋出異常的。
什么是UTF
UTF，是Unicode Text Format的縮寫，意為Unicode文本格式。對于UTF，是這樣定義的：
（1）如果Unicode的16位字符的頭9位是0，則用一個字節表示，這個字節的首位是“0”，剩下的7位與原字符中的后7位相同，如“/u0034”（0000 0000 0011 0100），用“34” (0011 0100)表示；（與源Unicode字符是相同的）；
?。?）如果Unicode的16位字符的頭5位是0，則用2個字節表示，首字節是“110”開頭，后面的5位與源字符中除去頭5個零后的最高5位相同；第二個字節以“10”開頭，后面的6位與源字符中的低6位相同。如“/u025d”（0000 0010 0101 1101），轉化后為“c99d”（1100 1001 1001 1101）；
?。?）如果不符合上述兩個規則，則用三個字節表示。第一個字節以“1110”開頭，后四位為源字符的高四位；第二個字節以“10”開頭，后六位為源字符中間的六位；第三個字節以“10”開頭，后六位為源字符的低六位；如“/u9da7”（1001 1101 1010 0111），轉化為“e9b6a7”（1110 1001 1011 0110 1010 0111）；
可以這么描述JAVA程序中Unicode與UTF的關系，雖然不絕對：字符串在內存中運行時，表現為Unicode代碼，而當要保存到文件或其它介質中去時，用的是UTF。這個轉化過程是由writeUTF和readUTF來完成的。
好了，基礎性的論述差不多了，下面進入正題。
先把這個問題想成是一個黑匣子。先看黑匣子的一級表示：
input(charsetA)->process(Unicode)->output(charsetB)
簡單，這就是一個ipO模型，即輸入、處理和輸出。同樣的內容要經過“從charsetA到unicode再到charsetB”的轉化。
再看二級表示：
SourceFile(jsp,java)->class->output
在這個圖中，可以看出，輸入的是jsp和java源文件，在處理過程中，以Class文件為載體，然后輸出。再細化到三級表示：
jsp->temp file->class->browser,os console,db
app,servlet->class->browser,os console,db
這個圖就更明白了。Jsp文件先生成中間的Java文件，再生成Class。而Servlet和普通App則直接編譯生成Class。然后，從Class再輸出到瀏覽器、控制臺或數據庫等。
JSP：從源文件到Class的過程
Jsp的源文件是以“.jsp”結尾的文本文件。在本節中，將闡述JSP文件的解釋和編譯過程，并跟蹤其中的中文變化。
1、JSP/Servlet引擎提供的JSP轉換工具（jspc）搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>，則取JVM中的默認設置file.encoding，一般情況下，這個值是ISO8859-1；
2、jspc用相當于“javac –encoding <Jsp-charset>”的命令解釋JSP文件中出現的所有字符，包括中文字符和ASCII字符，然后把這些字符轉換成Unicode字符，再轉化成UTF格式，存為JAVA文件。ASCII碼字符轉化為Unicode字符時只是簡單地在前面加“00”，如“A”，轉化為“/u0041”（不需要理由，Unicode的碼表就是這么編的）。然后，經過到UTF的轉換，又變回“41”了！這也就是可以使用普通文本編輯器查看由JSP生成的JAVA文件的原因；
3、引擎用相當于“javac –encoding UNICODE”的命令，把JAVA文件編譯成CLASS文件；
先看一下這些過程中中文字符的轉換情況。有如下源代碼：
<%@ page contentType="text/html; charset=gb2312"%>
<html><body>
<%
String a="中文";
out.println(a);
%>
</body></html>
這段代碼是在UltraEdit for Windows上編寫的。保存后，“中文”兩個字的16進制編碼為“D6 D0 CE C4”（GB2312編碼）。經查表，“中文”兩字的Unicode編碼為“/u4E2D/u6587”，用 UTF表示就是“E4 B8 AD E6 96 87”。打開引擎生成的由JSP文件轉變而成的JAVA文件，發現其中的“中文”兩個字確實被“E4 B8 AD E6 96 87”替代了，再查看由JAVA文件編譯生成的CLASS文件，發現結果與JAVA文件中的完全一樣。
再看JSP中指定的CharSet為ISO-8859-1的情況。
<%@ page contentType="text/html; charset=ISO-8859-1"%>
<html><body>
<%
String a="中文";
out.println(a);
%>
</body></html>
同樣，該文件是用UltraEdit編寫的，“中文”這兩個字也是存為GB2312編碼“D6 D0 CE C4”。先模擬一下生成的JAVA文件和CLASS文件的過程：jspc用ISO-8859-1來解釋“中文”，并把它映射到Unicode。由于ISO-8859-1是8位的，且是拉丁語系，其映射規則就是在每個字節前加“00”，所以，映射后的Unicode編碼應為“/u00D6/u00D0/u00CE/u00C4”，轉化成UTF后應該是“C3 96 C3 90 C3 8E C3 84”。好，打開文件看一下，JAVA文件和CLASS文件中，“中文”果然都表示為“C3 96 C3 90 C3 8E C3 84”。
如果上述代碼中不指定<Jsp-charset>，即把第一行寫成“<%@ page contentType="text/html" %>”，JSPC會使用file.encoding的設置來解釋JSP文件。在RedHat 6.2上，其處理結果與指定為ISO-8859-1是完全相同的。
到現在為止，已經解釋了從JSP文件到CLASS文件的轉變過程中中文字符的映射過程。一句話：從“JspCharSet到Unicode再到UTF”。下表總結了這個過程：
表2 “中文”從JSP到CLASS的轉化過程
| Jsp-CharSet | JSP文件中 | JAVA文件中 | CLASS文件中 |
| GB2312 | D6 D0 CE C4(GB2312) | 從/u4E2D/u6587(Unicode)到E4 B8 AD E6 96 87 (UTF) | E4 B8 AD E6 96 87 (UTF) |
| ISO-8859-1 | D6 D0 CE C4 (GB2312) | 從/u00D6/u00D0/u00CE/u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF) | C3 96 C3 90 C3 8E C3 84 (UTF) |
| 無（默認＝file.encoding） | 同ISO-8859-1 | 同ISO-8859-1 | 同ISO-8859-1 |
Servlet：從源文件到Class的過程
Servlet源文件是以“.java”結尾的文本文件。本節將討論Servlet的編譯過程并跟蹤其中的中文變化。
用“javac”編譯Servlet源文件。javac可以帶“-encoding <Compile-charset>”參數，意思是“用< Compile-charset >中指定的編碼來解釋Serlvet源文件”。
源文件在編譯時，用<Compile-charset>來解釋所有字符，包括中文字符和ASCII字符。然后把字符常量轉變成Unicode字符，最后，把Unicode轉變成UTF。
在Servlet中，還有一個地方設置輸出流的CharSet。通常在輸出結果前，調用HttpServletResponse的setContentType方法來達到與在JSP中設置<Jsp-charset>一樣的效果，稱之為<Servlet-charset>。
注意，文中一共提到了三個變量：<Jsp-charset>、<Compile-charset>和<Servlet-charset>。其中，JSP文件只與<Jsp-charset>有關，而<Compile-charset>和<Servlet-charset>只與Servlet有關。
看下例：
import javax.servlet.*;
import javax.servlet.http.*;
class testServlet extends HttpServlet
{
public void doGet(HttpServletRequest req,HttpServletResponse resp)
throws ServletException,java.io.IOException
{
resp.setContentType("text/html; charset=GB2312");
java.io.PrintWriter out=resp.getWriter();
out.println("<html>");
out.println("#中文#");
out.println("</html>");
}
}
該文件也是用UltraEdit for Windows編寫的，其中的“中文”兩個字保存為“D6 D0 CE C4”（GB2312編碼）。
開始編譯。下表是<Compile-charset>不同時，CLASS文件中“中文”兩字的十六進制碼。在編譯過程中，<Servlet-charset>不起任何作用。<Servlet-charset>只對CLASS文件的輸出產生影響，實際上是<Servlet-charset>和<Compile-charset>一起，達到與JSP文件中的<Jsp-charset>相同的效果，因為<Jsp-charset>對編譯和CLASS文件的輸出都會產生影響。
表3 “中文”從Servlet源文件到Class的轉變過程
| Compile-charset | Servlet源文件中 | Class文件中 | 等效的Unicode碼 |
| GB2312 | D6 D0 CE C4 (GB2312) | E4 B8 AD E6 96 87 (UTF) | /u4E2D/u6587 (在Unicode中＝“中文”) |
| ISO-8859-1 | D6 D0 CE C4 (GB2312) | C3 96 C3 90 C3 8E C3 84 (UTF) | /u00D6 /u00D0 /u00CE /u00C4 (在D6 D0 CE C4前面各加了一個00) |
| 無（默認） | D6 D0 CE C4 (GB2312) | 同ISO-8859-1 | 同ISO-8859-1 |
| 序號 | 步驟說明 | 結果 |
| 1 | 編寫JSP源文件，且存為GB2312格式 | D6 D0 CE C4 （D6D0=中 CEC4=文） |
| 2 | jspc把JSP源文件轉化為臨時JAVA文件，并把字符串按照GB2312映射到Unicode，并用UTF格式寫入JAVA文件中 | E4 B8 AD E6 96 87 |
| 3 | 把臨時JAVA文件編譯成CLASS文件 | E4 B8 AD E6 96 87 |
| 4 | 運行時，先從CLASS文件中用readUTF讀出字符串，在內存中的是Unicode編碼 | 4E 2D 65 87（在Unicode中4E2D=中 6587=文） |
| 5 | 根據Jsp-charset=GB2312把Unicode轉化為字節流 | D6 D0 CE C4 |
| 6 | 把字節流輸出到IE中，并設置IE的編碼為GB2312（作者按：這個信息隱藏在HTTP頭中） | D6 D0 CE C4 |
| 7 | IE用“簡體中文”查看結果 | “中文”（正確顯示） |
| 序號 | 步驟說明 | 結果 |
| 1 | 編寫JSP源文件，且存為GB2312格式 | D6 D0 CE C4 （D6D0=中 CEC4=文） |
| 2 | jspc把JSP源文件轉化為臨時JAVA文件，并把字符串按照ISO8859-1映射到Unicode，并用UTF格式寫入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
| 3 | 把臨時JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
| 4 | 運行時，先從CLASS文件中用readUTF讀出字符串，在內存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 （啥都不是！?。。?/TD> |
| 5 | 根據Jsp-charset=ISO8859-1把Unicode轉化為字節流 | D6 D0 CE C4 |
| 6 | 把字節流輸出到IE中，并設置IE的編碼為ISO8859-1（作者按：這個信息隱藏在HTTP頭中） | D6 D0 CE C4 |
| 7 | IE用“西歐字符”查看結果 | 亂碼，其實是四個ASCII字符，但由于大于128，所以顯示出來的怪模怪樣 |
| 8 | 改變IE的頁面編碼為“簡體中文” | “中文”（正確顯示） |
| 序號 | 步驟說明 | 結果 |
| 1 | 編寫JSP源文件，且存為GB2312格式 | D6 D0 CE C4 （D6D0=中 CEC4=文） |
| 2 | jspc把JSP源文件轉化為臨時JAVA文件，并把字符串按照ISO8859-1映射到Unicode，并用UTF格式寫入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
| 3 | 把臨時JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
| 4 | 運行時，先從CLASS文件中用readUTF讀出字符串，在內存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
| 5 | 根據Jsp-charset=ISO8859-1把Unicode轉化為字節流 | D6 D0 CE C4 |
| 6 | 把字節流輸出到IE中 | D6 D0 CE C4 |
| 7 | IE用發出請求時的頁面的編碼查看結果 | 視情況而定。如果是簡體中文，則能正確顯示，否則，需執行表5中的第8步 |
| 序號 | 步驟說明 | 結果 |
| 1 | 編寫Servlet源文件，且存為GB2312格式 | D6 D0 CE C4 （D6D0=中 CEC4=文） |
| 2 | 用javac –encoding GB2312把JAVA源文件編譯成CLASS文件 | E4 B8 AD E6 96 87?。║TF） |
| 3 | 運行時，先從CLASS文件中用readUTF讀出字符串，在內存中的是Unicode編碼 | 4E 2D 65 87 (Unicode) |
| 4 | 根據Servlet-charset=GB2312把Unicode轉化為字節流 | D6 D0 CE C4 (GB2312) |
| 5 | 把字節流輸出到IE中并設置IE的編碼屬性為Servlet-charset=GB2312 | D6 D0 CE C4 (GB2312) |
| 6 | IE用“簡體中文”查看結果 | “中文”（正確顯示） |
| 序號 | 步驟說明 | 結果 |
| 1 | 編寫Servlet源文件，且存為GB2312格式 | D6 D0 CE C4 （D6D0=中 CEC4=文） |
| 2 | 用javac –encoding ISO8859-1把JAVA源文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 （UTF） |
| 3 | 運行時，先從CLASS文件中用readUTF讀出字符串，在內存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
| 4 | 根據Servlet-charset=ISO8859-1把Unicode轉化為字節流 | D6 D0 CE C4 |
| 5 | 把字節流輸出到IE中并設置IE的編碼屬性為Servlet-charset=ISO8859-1 | D6 D0 CE C4 (GB2312) |
| 6 | IE用“西歐字符”查看結果 | 亂碼（原因同表5） |
| 7 | 改變IE的頁面編碼為“簡體中文” | “中文”（正確顯示） |
| 序號 | 步驟說明 | 結果 | 域 |
| 1 | 在IE中輸入“中文” | D6 D0 CE C4 | IE |
| 2 | IE把字符串轉變成UTF，并送入傳輸流中 | E4 B8 AD E6 96 87 | |
| 3 | Servlet接收到輸入流，用readUTF讀取 | 4E 2D 65 87(unicode) | Servlet |
| 4 | 編程者在Servlet中必須把字符串根據GB2312還原為字節流 | D6 D0 CE C4 | |
| 5 | 編程者根據數據庫內碼ISO8859-1生成新的字符串 | 00 D6 00 D0 00 CE 00 C4 | |
| 6 | 把新生成的字符串提交給JDBC | 00 D6 00 D0 00 CE 00 C4 | |
| 7 | JDBC檢測到數據庫內碼為ISO8859-1 | 00 D6 00 D0 00 CE 00 C4 | JDBC |
| 8 | JDBC把接收到的字符串按照ISO8859-1生成字節流 | D6 D0 CE C4 | |
| 9 | JDBC把字節流寫入數據庫中 | D6 D0 CE C4 | |
| 10 | 完成數據存儲工作 | D6 D0 CE C4 數據庫 | |
以下是從數據庫中取出數的過程 | |||
| 11 | JDBC從數據庫中取出字節流 | D6 D0 CE C4 | JDBC |
| 12 | JDBC按照數據庫的字符集ISO8859-1生成字符串，并提交給Servlet | 00 D6 00 D0 00 CE 00 C4 (Unicode) | |
| 13 | Servlet獲得字符串 | 00 D6 00 D0 00 CE 00 C4 (Unicode) | Servlet |
| 14 | 編程者必須根據數據庫的內碼ISO8859-1還原成原始字節流 | D6 D0 CE C4 | |
| 15 | 編程者必須根據客戶端字符集GB2312生成新的字符串 | 4E 2D 65 87 （Unicode） | |
Servlet準備把字符串輸出到客戶端 | |||
| 16 | Servlet根據＜Servlet-charset＞生成字節流 | D6D0 CE C4 | Servlet |
| 17 | Servlet把字節流輸出到IE中，如果已指定＜Servlet-charset＞，還會設置IE的編碼為＜Servlet-charset＞ | D6 D0 CE C4 | |
| 18 | IE根據指定的編碼或默認編碼查看結果 | “中文”（正確顯示） | IE |
新聞熱點
疑難解答
