葛光富

(中國電子科技集團公司第二十八研究所,南京 210007)

引言

在我國的信息系統(tǒng)工程應用中,順應國際化時代的發(fā)展,各類新運用的工具和軟件的漢字編碼大多采用了全球共享通用的Unicode字符集,該字符集目前能夠涵蓋世界上主要語言的符號和文字.而在指揮控制、網(wǎng)絡安全、公共交通等業(yè)務領域方面,現(xiàn)役信息系統(tǒng)的漢字編碼包括有GB2312、GBK 以及GB18030等,為兼容與已有系統(tǒng)的互譯互操作,故按照國際化要求新開發(fā)的信息系統(tǒng)在相當?shù)囊欢螘r間內,仍會面臨著上述編碼形式的漢字編碼轉換需求[1-4].

綜合軍民用市場,有著大量的計算處理設備用于搭建各型信息系統(tǒng),但這些設備卻部署著種類多樣、復雜不一的操作系統(tǒng)運行環(huán)境.尤其是嵌入式設備更為突出,如車載終端的VxWorks (美國風河)、ReWorks(電科32所)等,便攜終端的Android(美國谷歌)、WinCE (美國微軟)、AOS (深圳華為)、SyberOS (北京元心)等.因此,為降低系統(tǒng)開發(fā)維護成本、提升行業(yè)企業(yè)效益,用于支撐應用跨操作系統(tǒng)平臺快速移植改造的漢字編碼轉換技術,成為信息系統(tǒng)軟件服務平臺統(tǒng)籌規(guī)劃中的必要考慮因素.

要進行漢字編碼轉換,對于Linux/類Linux系統(tǒng)上的軟件,利用GNU (GNU is Not Unix,指的是一個自由軟件工程項目)的libconv庫即可實現(xiàn).該庫支持包括世界主流語系在內的字符集區(qū)域標準與國家標準編碼間的互轉,但是這對于計算處理資源受限的嵌入式終端而言,資源占用就顯得有點龐大,且不利于移植改造應用到各類操作系統(tǒng)尤其是國產化操作系統(tǒng).因此研究一種支持信息系統(tǒng)內部以及信息系統(tǒng)間通用的輕量化、可適用、易維護的漢字編碼轉換方法,是在跨操作系統(tǒng)平臺應用實踐中急需解決的問題.

本文利用Windows7 記事本工具,進一步研究[5-7]開發(fā)出一種面向信息系統(tǒng)跨平臺輕量應用的漢字編碼轉換程序,能夠提供有效的漢字編碼轉換接口,用于與已有信息系統(tǒng)的如文本、信息的漢字交互處理,支撐新開發(fā)信息系統(tǒng)的快速構建開通.

1 常用漢字編碼

漢字編碼指的是為漢字設計的一種便于輸入電子計算機的代碼,是解決漢字能夠進入計算機的關鍵.國標碼,全名國家標準代碼,是我國的常用漢字編碼集,目前主要有GB2312、GBK、GB18030三種.另外,UTF-8因能夠與ASCII兼容而作為優(yōu)先采用的國際字符編碼,也涵蓋了漢字的編碼.

1.1 GB2312編碼

GB2312-80編碼是我國第一個漢字編碼國家標準,共收錄漢字6763個,同時收錄了682個非漢字全角字符.它對收錄的每個字符采用兩個字節(jié)表示,其編碼范圍為0xA1A1到0xFEFE,首字節(jié)在0xA1與0xFE之間,尾字節(jié)在0xA1與0xFE之間.其中0xB0A1到0xF7FE為漢字的編碼范圍,0xA1A1到0xA9FE為非漢字字符的編碼范圍,其他為空白區(qū).

1.2 GBK編碼[5]

GBK全稱《漢字內碼擴展規(guī)范》,是在GB2312標準基礎上的內碼擴展規(guī)范,使用了雙字節(jié)編碼方案,其編碼范圍從0x8140到0xFEFE,首字節(jié)在0x81與0xFE之間,尾字節(jié)在0x40與0xFE之間且不為0x7F,總共23 940個碼位,收錄了21 003個漢字,完全兼容GB2312-80標準,支持國際標準ISO/IEC10646-1和國家標準GB13000-1 中的全部中日韓漢字,并包含了BIG5編碼中的所有漢字.GBK編碼空間組成如表1所示.

表1 GBK編碼空間組成

1.3 UTF-8編碼[6]

UTF-8是一種針對Unicode[7]字符集的可變長度字符編碼,所有的字符均使用1到6個字節(jié)進行編碼,是一種前綴碼.在只包含1個字節(jié)的UTF-8編碼中,其最高位置0,其余的7個二進制位用來對字符進行編碼;在含n(1

表2 UTF-8與Unicode編碼對照表

1.4 GB18030編碼

GB18030-2000《信息交換用漢字編碼字符集基本集的擴充》,是我國計算機系統(tǒng)必須遵循的基礎性標準之一.它是GBK的取代版本,在其基礎上增加了6530個CJK(中日韓)統(tǒng)一漢字擴充A的漢字(由4字節(jié)表示:第1字節(jié)0x81～0x82,第2字節(jié)0x30～0x39,第3字節(jié)0x81～0xFE,第4字節(jié)0x30～0x39,共占用了25 200個碼位).

2 漢字編碼轉換程序分析與設計

因GB18030 能夠前向兼容GBK、GB2312,基于這一特點,適應性選取GB18030與UTF-8間的編碼轉換來輕量應用支撐信息系統(tǒng)的漢字編碼互處理需求,同時使用通用的C/C++語言,分析與設計出一種面向信息系統(tǒng)跨平臺輕量應用的漢字編碼轉換程序.

2.1 GB18030與Unicode編碼映射表制作

要進行GB18030與UTF-8間的漢字編碼轉換,就必須利用GB18030和Unicode間的漢字字符碼值映射關系,以及Unicode和UTF-8間的國際字符編碼轉換規(guī)則,故首先要制作GB18030與Unicode間的漢字編碼映射表.

GB18030編碼中,GBK 漢字字符由2個字節(jié)表示,CJK統(tǒng)一漢字擴充A的漢字字符由4個字節(jié)表示;與其對應的Unicode標準字符集中,GBK、CJK統(tǒng)一漢字擴充A的漢字字符編碼占用2個字節(jié)大小的空間.兩者之間的漢字字符編碼存在一一映射的關系,可以通過編制漢字字符編碼相互映射的表來進行轉換.

GB18030與Unicode編碼映射表在互聯(lián)網(wǎng)上百度文庫、CSDN 社區(qū)等處能夠找到部分缺漏不全的字符編碼對照,但在軟件程序中使用還是需要經(jīng)過二次加工制作成為可識別的代碼語言.而本文在Windows7系統(tǒng)平臺上,利用記事本工具和編寫轉換過程應用程序來輔助生成代碼語言的漢字編碼映射表,具體的實現(xiàn)方法為:

1)根據(jù)1.2和1.4 小節(jié)中GBK、CJK統(tǒng)一漢字擴充A的漢字編碼空間組成說明,編寫執(zhí)行GB18030編碼全漢字生成程序,將全部有效的編碼漢字按照碼值從低到高依次保存到一個文本文件GB.txt 中;

2)在使用記事本方式打開GB.txt文件后,將打開的文件另存為Unicode編碼的新文件Uni.txt 中;

3)編寫執(zhí)行GB18030與Unicode編碼映射表生成程序,對照GB.txt與Uni.txt文件,以C語言可識別代碼的數(shù)組形式生成GB18030與Unicode間的漢字編碼映射表,以支持兩者編碼的快速映射查找.映射表生成算法設計如算法1和算法2.

算法1.GB18030到Unicode 漢字編碼映射表生成算法1)創(chuàng)建GB18030到Unicode 漢字編碼映射表,其中數(shù)組支持存放元素65 536個,數(shù)組元素下標能夠一一對應GB18030 漢字字符碼值,數(shù)組元素數(shù)值為2個字節(jié)大小存儲的Unicode 漢字字符碼值,初始化映射表元素值為代表無效映射的0xFFFF;2)從Uni.txt文件中依次取得兩個字節(jié)組成漢字字符,獲取漢字字符的Unicode 碼值;3)從GB.txt文件中依次取得兩個字節(jié),根據(jù)兩個字節(jié)的碼值范圍判斷是否GBK 漢字字符,不是則再取得兩個字節(jié)組成4個字節(jié)的CJK統(tǒng)一漢字擴充A的漢字字符,獲取漢字字符的GB18030 碼值;4)計算漢字字符的G B 1 8 0 3 0 碼值在按照碼值從低到高的GB18030編碼范圍中的排序序號(如GBK 漢字的尾字節(jié)占用191個碼位,故0x8140 對應序號為0,0x8240 對應序號為191,依次類推,直到CJK統(tǒng)一漢字擴充A,也按照同樣規(guī)則計算),該序號為Unicode 碼值的存放位置;5)將漢字字符的Unicode 碼值,存放到漢字編碼映射表中對應的位置;6)返回第2)步,直到文件結束,生成GB18030到Unicode 漢字編碼映射表完畢.

算法2.Unicode到GB18030 漢字編碼映射表生成算法1)創(chuàng)建Unicode到GB18030 漢字編碼映射表,其中數(shù)組支持存放元素65 536個,數(shù)組元素下標為Unicode 漢字字符碼值,數(shù)組元素數(shù)值為2個字節(jié)大小存儲并能夠一一對應GB18030 漢字字符碼值,初始化映射表元素值為代表無效映射的0xFFFF;2)從GB.txt文件中依次取得兩個字節(jié),根據(jù)兩個字節(jié)的碼值范圍判斷是否GBK 漢字字符,不是則再取得兩個字節(jié)組成4個字節(jié)的CJK統(tǒng)一漢字擴充A的漢字字符,獲取漢字字符的GB18030 碼值;3)漢字字符是CJK統(tǒng)一漢字擴充A 漢字,則計算漢字字符的GB18030 碼值在按照碼值從低到高的GB18030編碼范圍中的排序序號(如GBK 漢字總計占用24 066個碼位,結合CJK統(tǒng)一漢字擴充A 漢字的尾字節(jié)占用10個碼位,故0x81308130 對應序號為24 066,0x81308230 對應序號為24 076,依次類推),該序號為GB18030 碼值存表值,GBK字符的GB18030 碼值存表值直接使用原值;4)從Uni.txt文件中依次取得兩個字節(jié)組成漢字字符,根據(jù)該漢字字符的Unicode 碼值,獲取漢字字符的Unicode 碼值,該碼值為GB18030 碼值相對值的存放位置;5)將漢字的GB18030 碼值存表值,存放到漢字編碼映射表中對應的位置;6)返回第2)步,直到文件結束,生成Unicode到GB18030 漢字編碼映射表完畢.

GB18030和Unicode間的漢字編碼映射表(如漢字“科”—0xC6BF/0x79D1)代碼語言示例如圖1所示,映射表總計1024行,每行64個碼值映射元素,其中值為0xFFFF 表明當前位置對應的GB18030編碼為無效編碼.

有了漢字編碼映射表,就可以結合UTF-8與Unicode的編碼轉換規(guī)則,實現(xiàn)字符串GB18030與UTF-8編碼形式間的轉換,具體的轉換程序設計見后續(xù)小節(jié)中描述.

圖1 Unicode到GB18030編碼映射表

2.2 GB18030與Unicode編碼字符串轉換

將GB18030編碼字符串(含英文、數(shù)字等基礎ASCII 碼字符,其碼值范圍為0x0到0x7F)轉換到UTF-8編碼的算法如算法3.

算法3.GB18030到UTF-8編碼字符串轉換算法1)從GB18030編碼字符串中依次讀取一個字節(jié),根據(jù)碼值判斷是否基礎ASCII 碼字符,不是則再讀取一個字節(jié)組成兩個字節(jié)后判斷是否GBK 漢字字符,不是則再讀取兩個字節(jié)組成4個字節(jié)的CJK統(tǒng)一漢字擴充A的漢字字符;2)字符類型是基礎ASCII 碼字符,則將字符按原碼值作為UTF-8字符寫入轉換后的編碼字符串,否則轉到下一步;3)根據(jù)漢字字符的碼值,計算字符在按照碼值從低到高的GB18030編碼范圍中的排序序號,查找GB18030到Unicode 漢字編碼映射表,獲取對應序號位置字符的Unicode 碼值;4)結合表2中體現(xiàn)的UTF-8與Unicode間的編碼轉換規(guī)則,根據(jù)漢字字符的Unicode 碼值計算得到字符的UTF-8編碼碼值,將相應碼值的UTF-8字符寫入轉換后的編碼字符串;5)返回第1)步,直到待轉換字符串結束,生成轉換后UTF-8編碼字符串完畢.

GB18030到UTF-8編碼字符串轉換利用接口函數(shù)g2u()實現(xiàn),關鍵代碼如下:

將UTF-8編碼字符串轉換到GB18030編碼的算法如算法4.

算法4.UTF-8到GB18030編碼字符串轉換算法1)從UTF-8編碼字符串中依次讀取一個字節(jié),根據(jù)碼值判斷是否基礎ASCII 碼字符,不是則再讀取一個字節(jié)直至到組成UTF-8字符;2)字符類型是基礎ASCII 碼字符,則將字符按原碼值寫入轉換后的編碼字符串,否則轉到下一步;3)結合UTF-8與Unicode間的編碼轉換規(guī)則,根據(jù)UTF-8字符的碼值計算得到Unicode 碼值,查找Unicode到GB18030 漢字編碼映射表,獲取對應碼值位置字符的GB18030 碼值存表值;4)根據(jù)Unicode 碼值的編碼范圍判斷對應字符是否CJK統(tǒng)一漢字擴充A 漢字,是則GB18030 碼值存表值作為在GB18030編碼范圍中的排序序號計算還原出GB18030 碼值,否則上一步存表值就是GB18030 碼值;5)將相應碼值的GB18030字符寫入轉換后的編碼字符串,返回第1)步,直到待轉換字符串結束,生成轉換后GB18030編碼字符串完畢.

UTF-8到GB18030編碼字符串轉換利用接口函數(shù)u2g()實現(xiàn),關鍵代碼如下:

3 程序應用實例

本文方法實現(xiàn)的漢字編碼轉換程序,以動態(tài)庫的形式提供,適用于GTK、Tilcon、Element-UI、QT 等界面庫的信息系統(tǒng)軟件開發(fā),并已成功運用于多型含裝甲車載嵌入式、單兵移動便攜信息處理終端的陸軍業(yè)務信息系統(tǒng)中.這些信息系統(tǒng)中,配套工具開發(fā)的前端展現(xiàn)界面(如圖2所示)的漢字編碼類型大多數(shù)固定為UTF-8編碼,為兼容與已有系統(tǒng)如文本、協(xié)議的漢字交互處理,后端服務處理采用的中文編碼形式為GB18030或GBK.上述漢字編碼轉換程序不僅可以更輕量地應用于各類業(yè)務信息系統(tǒng),而且利于信息系統(tǒng)間的軟件部件甚至整件的快速改造移植.這些都能夠為提高信息系統(tǒng)的資源利用率以及降低系統(tǒng)的開發(fā)維護成本,起著積極的作用.

圖2 某裝甲車載平臺GTK 開發(fā)的前端界面示例

4 結束語

本文立足于為信息系統(tǒng)的處理終端尤其是嵌入式終端提供輕量化的跨平臺通用漢字編碼轉換手段,論述了常用漢字編碼的基本原理、編碼對照關系.同時,給出了面向跨平臺輕量應用的編碼轉換方案,這套方案已成功地在多型嵌入式如單兵業(yè)務信息系統(tǒng)中得到應用[8],且也能適用于其他信息系統(tǒng)[9].