选择显示字体大小

java中文比较问题的分析解决

java的中文问题由来已久,前不久笔者需要做内存中的中文比较排序,对字符串进行gbk或者gb2312编码以后,使用string.compareto方法仍然不能得到正确结果。因此,怀着怀疑的态度,对jdk中string类的源代码做了一翻探究。(作者使用jdk为1.3.1版本)



以下是string.java中compareto的源代码,请注意其中的注释:





public class string 

{

       …

    public int compareto(string anotherstring) {

       int len1 = count;

       int len2 = anotherstring.count;





       //n为两个字符串长度的最小者

       int n = math.min(len1, len2);

      

       //获取字符数组

       char v1[] = value;

       char v2[] = anotherstring.value;

      

       //取偏依位置

    /** the offset is the first index of the storage that is used. */

       //offset 是第一个存储索引



       int i = offset;

       int j = anotherstring.offset;



       //如果i == j

       //这里可能是判断取同一内存中两个字符串的情景。。。

       // a   <--   <----

       // b    s1      

       // c   <--      

       // d            s2

       // e            

       // f            

       // g   <----------

       // 可能这种情况 i = j

       if (i == j) {

           int k = i;

           int lim = n + i;

              

           while (k < lim)

              {

                     char c1 = v1[k];

                     char c2 = v2[k];

                    

                     if (c1 != c2) file://直到找到一个不相等的字符,返回c1 - c2

                            return c1 - c2;

                     k++;

           }

       } else {

           while (n-- != 0) file://直到两个字符串长度记数为0

              {

                     char c1 = v1[i++]; file://分别取字符

                     char c2 = v2[j++];

                     if (c1 != c2) {  //发现不相等,立即返回c1 - c2;

                            return c1 - c2;

                     }

           }

       }

       return len1 - len2;

//最后这里可能出现的情况是: 两个字符串比较完之后还没有得到结果。相等的情况

    }

&hellip;

}//end of class string







为什么java在做汉字的compareto时比较会有问题呢?通过对compareto源代码的分析发现,关键在于jdk的compareto实现是直接使用char来进行比较的:



            char c1 = v1[k];

            char c2 = v2[k];



可是当java使用gb2312编码时,一个对汉字所获取到的char值却是不规则的,即一个汉字在java中作为一个char来处理(双字节字符)时,将这样的双字节字符进行强制转换成int类型时,所得到的不是包含了汉字编码顺序的中文内码。可以看一下一组测试数据可以看到其中奥妙:



字符
char值
byte[]值
按byte[]合成的值


25105
[50:46]
[-5046]


29233
[80:82]
[-8082]


21271
[79:79]
[-7979]


20140
[66:87]
[-6687]


22825
[52:20]
[-5220]


23433
[80:78]
[-8078]


38376
[61:59]
[-6159]

a
65
[-65]
[65]

b
66
[-66]
[66]

c
67
[-67]
[67]

d
68
[-68]
[68]




按照中文顺序:&ldquo;我&rdquo;字应该在&ldquo;爱&rdquo;字后面,因此理论上来讲&quot;我&quot;字的char值应该比&ldquo;爱&quot;字的char值要大。可是不知道为什么java的汉字char(两个byte)->int类型的转换会发生很大偏差。而失去了汉字原本在gbk规范当中,按内码排列好的顺序。但从一个汉字拆分成2个字节的byte[]时,所得到的值并没有打乱gbk编码规定的顺序,因此得到解决问题的思路:将string进行gb2312编码后取得某个汉字获取其char值时,将汉字拆分成2个字节byte[]再进行计算,从而得到正确的内码。



因此我自己写了下面这样几个函数,基本上解决了汉字比较的问题:

    函数包括三个,你可以随意放置到任何类当中作为辅助函数使用(private helper)。



n         public int compare(string s1, string s2) :主要工作是为比较做一些前期的编码工作可以说是系统的一个外壳。

n         public int chinesecompareto(string s1, string s2):该函数则是中文字符串比较主体,其内部实现了比较的最基本逻辑,和jdk的compareto所使用的逻辑是一样的。调用接口也一样。

n         public static int getcharcode(string s):该函数则负责将一个以字符串形式存在的字符转换成为int编码,儿不损失其位置信息。注意输入通常是:&ldquo;我&rdquo;或者&ldquo;a&rdquo;,如果输入更长的字符串,则改函数获得的是第一个字符的值。





private static string __encode__ = &quot;gbk&quot;; file://一定要是gbk

private static string __server_encode__ = &quot;gb2312&quot;; file://服务器上的缺省编码

/*

比较两字符串

*/

       public int compare(string s1, string s2)

       {

              string m_s1 = null, m_s2 = null;

              try

              {

                     //先将两字符串编码成gbk

                     m_s1 = new string ( s1.getbytes(__server_encode__), __encode__);

                     m_s2 = new string ( s2.getbytes(__server_encode__), __encode__);

              }

              catch( exception ex)

              {

                     return s1.compareto(s2);

              }

              int res = chinesecompareto(m_s1, m_s2);



              system.out.println(&quot;比较:&quot; + s1 + &quot; &quot; + s2 + &quot;==== result: &quot; + res);

              return res;

       }



//获取一个汉字/字母的char值

       public static int getcharcode(string s)

       {

              if (s==null && s.equals(&ldquo;&rdquo;)) return -1; file://保护代码

byte &#91;&#93; b = s.getbytes();

              int value = 0;

              //保证取第一个字符(汉字或者英文)

              for (int i = 0; i < b.length && i <= 2; i ++)

              {

                     value = value * 100 + b[i];

              }

              return value;

       }



//比较两个字符串

       public int chinesecompareto(string s1, string s2)

       {

              int len1 = s1.length();

              int len2 = s2.length();



              int n = math.min(len1, len2);



              for (int i = 0; i < n; i ++)

              {

                     int s1_code = getcharcode(s1.charat(i) + &quot;&quot;);

                     int s2_code = getcharcode(s2.charat(i) + &quot;&quot;);

                     if (s1_code != s2_code) return s1_code - s2_code;

              }

              return len1 - len2;

       }






可见,对系统源代码的解剖,能让我们在迷惑之余同样有机会窥探系统内部运作的奥妙。不过让人非常费解的是,java内部的某些类书写风格非常不好,同时存在一些bug。不过这也许是笔者个人感受。偶有所获,愿与大家共同分享,其中疏漏之处望不吝赐教。


bill-转自:csdn


 


关键字 本文所属关键字

相关 与本文相关文章

分类 所有文章关键字导航

源码编程相关

Java   Asp   PHP   .Net   XML   C/C++   CGI   VB   Jsp   J2ee   J2se   J2me   EJB   Servlet   Tomcat   Resin   Struts   Weblogic   Eclipse   ANT   GUI   JMS   Web servise   IDEA   Webphere   Hibernate   Spring   Jboss   Applet   Swing   Socket   Javamail   Perl   Ajax   P2P   安全   模式   框架   测试   开源   游戏

SQL数据库相关

My-SQL   Ms-SQL   Access   DB2   Oracle   Sybase   SQLserver   索引   存储过程   加密   数据库   分页   视图  

手机无线相关

3G   Wap   CDMA   GRPS   GSM   IVR   彩信   短信   无线   增值业务

网页设计制作相关

HTML   CSS   网页配色   网页特效   Javascript   VBscript   Dreamweaver   Frontpage   JS   Web   网站设计

网站建设推广相关

建站经验   网站优化   网站排名   推广   Alexa

操作系统/服务器相关

Windows XP   Windows 2000   Windows 2003   Windows Me   Windows 9.x   Linux   UNIX   注册表   操作系统   服务器   应用服务器

图形图像多媒体相关

Photoshop   Fireworks   Flash   Coreldraw   Illustrator   Freehand   Photoimpact   多媒体   图形图像

标准 网站致力的规范

Valid CSS!

无不良内容,无不良广告,无恶意代码

Valid XHTML 1.0 Transitional

creativecommons