开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 通讯/手机编程 > Windows Mobile > 查看源码
Unicode.cpp
资源名称：TextViewNG.rar　[点击查看]
上传用户：hmc_gdtv
上传日期：2013-08-04
资源大小：798k
文件大小：37k
源码类别：

Windows Mobile

开发平台：

Visual C++

Unicode.cpp：源码内容
  1. /*
  2.  * Copyright (c) 2001,2002,2003 Mike Matsnev.  All Rights Reserved.
  3.  *
  4.  * Redistribution and use in source and binary forms, with or without
  5.  * modification, are permitted provided that the following conditions
  6.  * are met:
  7.  *
  8.  * 1. Redistributions of source code must retain the above copyright
  9.  *    notice immediately at the beginning of the file, without modification,
  10.  *    this list of conditions, and the following disclaimer.
  11.  * 2. Redistributions in binary form must reproduce the above copyright
  12.  *    notice, this list of conditions and the following disclaimer in the
  13.  *    documentation and/or other materials provided with the distribution.
  14.  * 3. Absolutely no warranty of function or purpose is made by the author
  15.  *    Mike Matsnev.
  16.  *
  17.  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  18.  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19.  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20.  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  21.  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  22.  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23.  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24.  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25.  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  26.  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27.  * 
  28.  * $Id: Unicode.cpp,v 1.13.2.5 2003/12/17 12:19:58 mike Exp $
  29.  * 
  30.  */
  32. #include <afx.h>
  34. #include "ptr.h"
  35. #include "Unicode.h"
  37. #ifndef CP_UTF8
  38. #define CP_UTF8 65001
  39. #endif
  41. #ifndef CP_1252
  42. #define CP_1252 1252
  43. #endif
  45. // string compare
  46. #define CmpI(s1,s2) 
  47.     (::CompareString(LOCALE_USER_DEFAULT,NORM_IGNORECASE, 
  48.     (s1),-1,(s2),-1)-2)
  50. struct CodePage {
  51.   const TCHAR *name;
  52.   const TCHAR *alias1,*alias2;
  53.   UINT codepage;
  54.   int (*length)(struct CodePage *cp,const char *mbs,int mblen);
  55.   void (*convert)(struct CodePage *cp,const char *mbs,int mblen,
  56.       wchar_t *wcs,int wclen);
  57.   const wchar_t *table;
  58. };
  60. static int    CE_cp_length(struct CodePage *cp,const char *mbs,int mblen) {
  61.   return MultiByteToWideChar(cp->codepage,0,mbs,mblen,0,NULL);
  62. }
  64. static void   CE_cp_convert(struct CodePage *cp,const char *mbs,int mblen,
  65.     wchar_t *wcs,int wclen)
  66. {
  67.   MultiByteToWideChar(cp->codepage,0,mbs,mblen,wcs,wclen);
  68. }
  70. static int    TB_cp_length(struct CodePage *cp,const char *mbs,int mblen) {
  71.   return mblen;
  72. }
  74. static void   TB_cp_convert(struct CodePage *cp,const char *mbs,int mblen,
  75.     wchar_t *wcs,int wclen)
  76. {
  77.   const char  *mbe=mbs+min(mblen,wclen);
  78.   while (mbs<mbe)
  79.     *wcs++=cp->table[(unsigned char)*mbs++];
  80. }
  82. static int    WS_cp_length(struct CodePage *cp,const char *mbs,int mblen) {
  83.   return mblen;
  84. }
  86. static void   WS_cp_convert(struct CodePage *cp,const char *mbs,int mblen,
  87.     wchar_t *wcs,int wclen)
  88. {
  89.   const char  *mbe=mbs+min(mblen,wclen);
  90.   while (mbs<mbe)
  91.     *wcs++=(unsigned char)*mbs++;
  92. }
  94. static int    UTF_cp_length(struct CodePage *cp,const char *mbs,int mblen) {
  95.   const unsigned char *mb=(const unsigned char *)mbs;
  96.   int       len=0;
  98.   while (mblen>0) {
  99.     unsigned char c=*mb++;
  100.     --mblen;
  101.     if (c<0x80) { // ascii
  102.       ++len;
  103.     } else if (c<0xe0) { // 2-byte seq
  104.       if (mblen==0) // invalid
  105. break;
  106.       if ((mb[0]&0x80)==0x80) {
  107. ++len;
  108. ++mb;
  109. --mblen;
  110.       }
  111.     } else if (*mb<0xf0) {
  112.       if (mblen<=1) // invalid
  113. break;
  114.       if ((mb[0]&0xc0)==0x80 && (mb[1]&0xc0)==0x80) {
  115. ++len;
  116. mb+=2;
  117. mblen-=2;
  118.       }
  119.     } else if (*mb<0xf4) {
  120.       if (mblen<=2) // invalid
  121. break;
  122.       if ((mb[0]&0xc0)==0x80 && (mb[1]&0xc0)==0x80 && (mb[2]&0xc0)==0x80) {
  123. ++len;
  124. mb+=3;
  125. mblen-=3;
  126.       }
  127.     } else if (*mb==0xf4) {
  128.       if (mblen<=2) // invalid
  129. break;
  130.       if ((mb[0]&0xf0)==0x80 && (mb[1]&0xc0)==0x80 && (mb[2]&0xc0)==0x80) {
  131. ++len;
  132. mb+=3;
  133. mblen-=3;
  134.       }
  135.     }
  136.   }
  137.   return len;
  138. }
  140. static void   UTF_cp_convert(struct CodePage *cp,const char *mbs,int mblen,
  141.     wchar_t *wcs,int wclen)
  142. {
  143.   const unsigned char *mb=(const unsigned char *)mbs;
  144.   int       len=0;
  145.   wchar_t       *wce=wcs+wclen;
  147.   while (mblen>0 && wcs<wce) {
  148.     unsigned char c=*mb++;
  149.     --mblen;
  150.     if (c<0x80) { // ascii
  151.       *wcs++=c;
  152.     } else if (c<0xe0) { // 2-byte seq
  153.       if (mblen==0) // invalid
  154. break;
  155.       if ((mb[0]&0x80)==0x80) {
  156. *wcs++=((wchar_t)(c&0x1f)<<6)|(*mb&0x3f);
  157. ++mb;
  158. --mblen;
  159.       }
  160.     } else if (*mb<0xf0) {
  161.       if (mblen<=1) // invalid
  162. break;
  163.       if ((mb[0]&0xc0)==0x80 && (mb[1]&0xc0)==0x80) {
  164. *wcs++=((wchar_t)(c&0x0f)<<12)|((wchar_t)(mb[0]&0x3f)<<6)|(mb[1]&0x3f);
  165. mb+=2;
  166. mblen-=2;
  167.       }
  168.     } else if (*mb<0xf4) {
  169.       if (mblen<=2) // invalid
  170. break;
  171.       if ((mb[0]&0xc0)==0x80 && (mb[1]&0xc0)==0x80 && (mb[2]&0xc0)==0x80) {
  172. *wcs++=((wchar_t)(c&0x7)<<18)|((wchar_t)(mb[0]&0x3f)<<12)|
  173. ((wchar_t)(mb[1]&0x3f)<<6)|(mb[2]&0x3f);
  174. mb+=3;
  175. mblen-=3;
  176.       }
  177.     } else if (*mb==0xf4) {
  178.       if (mblen<=2) // invalid
  179. break;
  180.       if ((mb[0]&0xf0)==0x80 && (mb[1]&0xc0)==0x80 && (mb[2]&0xc0)==0x80) {
  181. *wcs++=((wchar_t)(c&0x7)<<18)|((wchar_t)(mb[0]&0x3f)<<12)|
  182. ((wchar_t)(mb[1]&0x3f)<<6)|(mb[2]&0x3f);
  183. mb+=3;
  184. mblen-=3;
  185.       }
  186.     }
  187.   }
  188. }
  190. static struct CodePage   *codepages;
  191. static int   curcp,maxcp;
  192. static int   default_cp;
  194. static int    add_codepage(const TCHAR *name,UINT cp,const TCHAR *alias1=NULL,
  195.    const TCHAR *alias2=NULL)
  196. {
  197.   if (curcp>=maxcp) {
  198.     maxcp+=16;
  199.     codepages=(struct CodePage *)realloc(codepages,maxcp*sizeof(struct CodePage));
  200.     if (codepages==NULL)
  201.       ExitThread(0);
  202.   }
  203.   codepages[curcp].name=name;
  204.   codepages[curcp].alias1=alias1;
  205.   codepages[curcp].alias2=alias2;
  206.   codepages[curcp].codepage=cp;
  207.   codepages[curcp].length=CE_cp_length;
  208.   codepages[curcp].convert=CE_cp_convert;
  209.   codepages[curcp].table=NULL;
  210.   return curcp++;
  211. }
  213. struct {
  214.   UINT       cp;
  215.   const TCHAR *name;
  216.   const TCHAR *alias1,*alias2;
  217. } ms_codepages[]={
  218.   { 37, _T("IBM EBCDIC - U.S./Canada"), _T("IBM037"), _T("cp037") },
  219.   { 437, _T("OEM - United States"), _T("IBM437"), _T("cp437") },
  220.   { 500, _T("IBM EBCDIC - International"), _T("IBM500"), _T("cp500") },
  221.   { 737, _T("OEM - Greek 437G") },
  222.   { 775, _T("OEM - Baltic"), _T("IBM775"), _T("cp775") },
  223.   { 850, _T("OEM - Multilingual Latin I"), _T("IBM850"), _T("cp850") },
  224.   { 852, _T("OEM - Latin II"), _T("IBM852"), _T("cp852") },
  225.   { 855, _T("OEM - Cyrillic"), _T("IBM855"), _T("cp855") },
  226.   { 857, _T("OEM - Turkish"), _T("IBM857"), _T("cp857") },
  227.   { 860, _T("OEM - Portuguese"), _T("IBM860"), _T("cp860") },
  228.   { 861, _T("OEM - Icelandic"), _T("IBM861"), _T("cp861") },
  229.   { 863, _T("OEM - Canadian French"), _T("IBM863"), _T("cp863") },
  230.   { 865, _T("OEM - Nordic"), _T("IBM865"), _T("cp865") },
  231.   { 866, _T("OEM - Russian"), _T("IBM866"), _T("cp866") },
  232.   { 869, _T("OEM - Modern Greek"), _T("IBM869"), _T("cp869") },
  233.   { 874, _T("ANSI/OEM - Thai") },
  234.   { 875, _T("IBM EBCDIC - Modern Greek") },
  235.   { 932, _T("ANSI/OEM - Japanese Shift-JIS"), _T("Shift_JIS") },
  236.   { 936, _T("ANSI/OEM - Simplified Chinese GBK"), _T("GBK") },
  237.   { 949, _T("ANSI/OEM - Korean") },
  238.   { 950, _T("ANSI/OEM - Traditional Chinese Big5"), _T("Big5") },
  239.   { 1026, _T("IBM EBCDIC - Turkish (Latin-5)"), _T("cp1026") },
  240.   { 1250, _T("ANSI - Central Europe"), _T("windows-1250") },
  241.   { 1251, _T("ANSI - Cyrillic"), _T("windows-1251") },
  242.   { 1252, _T("ANSI - Latin I"), _T("windows-1252"), _T("ISO-8859-1") }, // XXX
  243.   { 1253, _T("ANSI - Greek"), _T("windows-1253") },
  244.   { 1254, _T("ANSI - Turkish"), _T("windows-1254") },
  245.   { 1255, _T("ANSI - Hebrew"), _T("windows-1255") },
  246.   { 1256, _T("ANSI - Arabic"), _T("windows-1256") },
  247.   { 1257, _T("ANSI - Baltic"), _T("windows-1257") },
  248.   { 1258, _T("ANSI/OEM - Viet Nam"), _T("windows-1258") },
  249.   { 10000, _T("MAC - Roman") },
  250.   { 10006, _T("MAC - Greek I") },
  251.   { 10007, _T("MAC - Cyrillic") },
  252.   { 10010, _T("MAC - Romania") },
  253.   { 10017, _T("MAC - Ukraine") },
  254.   { 10029, _T("MAC - Latin II") },
  255.   { 10079, _T("MAC - Icelandic") },
  256.   { 10081, _T("MAC - Turkish") },
  257.   { 10082, _T("MAC - Croatia") },
  258.   { 20127, _T("US-ASCII") },
  259.   { 20261, _T("T.61") },
  260.   { 20866, _T("Russian - KOI8"), _T("koi8-r") },
  261.   { 21866, _T("Ukrainian - KOI8-U"), _T("koi8-u") },
  262.   { 28591, _T("ISO 8859-1 Latin I"), _T("ISO-8859-1") },
  263.   { 28592, _T("ISO 8859-2 Central Europe"), _T("ISO-8859-2") },
  264.   { 28594, _T("ISO 8859-4 Baltic"), _T("ISO-8859-4") },
  265.   { 28595, _T("ISO 8859-5 Cyrillic"), _T("ISO-8859-5") },
  266.   { 28597, _T("ISO 8859-7 Greek"), _T("ISO-8859-7") },
  267.   { 28599, _T("ISO 8859-9 Latin 5"), _T("ISO-8859-9") },
  268.   { 28605, _T("ISO 8859-15 Latin 9"), _T("ISO-8859-15") },
  269.   { 65000, _T("UTF-7") },
  270.   { 65001, _T("UTF-8") },
  271. };
  272. #define NUM_MSCP    (sizeof(ms_codepages)/sizeof(ms_codepages[0]))
  274. static int  get_mscp_num(UINT cp) {
  275.   int   i=0,j=NUM_MSCP-1;
  276.   while (i<=j) {
  277.     int   m=(i+j)>>1;
  278.     if (cp<ms_codepages[m].cp)
  279.       j=m-1;
  280.     else if (cp>ms_codepages[m].cp)
  281.       i=m+1;
  282.     else
  283.       return m;
  284.   }
  285.   return -1;
  286. }
  288. static struct {
  289.   BYTE   distmap[256];
  290.   wchar_t unimap[256];
  291.   UINT   cp;
  292. } builtin_encodings[]={
  293. {{
  294. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  295. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  296. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  297. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  298. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  299. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  300. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  301. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  302. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  303. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  304. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  305. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  306. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x06,
  307. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  308. 0x00, 0x00, 0x06, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x01, 0x02, 0x03,
  309. 0x04, 0x05, 0x06, 0x07, 0x08, 0x09, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f, 0x10,
  310. 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x18, 0x19, 0x1a, 0x1b, 0x1c, 0x1d,
  311. 0x1e, 0x1f, 0x20, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09, 0x0a,
  312. 0x0b, 0x0c, 0x0d, 0x0e, 0x0f, 0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17,
  313. 0x18, 0x19, 0x1a, 0x1b, 0x1c, 0x1d, 0x1e, 0x1f, 0x20,
  314. },{
  315. 0x0000, 0x0001, 0x0002, 0x0003, 0x0004, 0x0005, 0x0006, 0x0007, 0x0008, 0x0009,
  316. 0x000a, 0x000b, 0x000c, 0x000d, 0x000e, 0x000f, 0x0010, 0x0011, 0x0012, 0x0013,
  317. 0x0014, 0x0015, 0x0016, 0x0017, 0x0018, 0x0019, 0x001a, 0x001b, 0x001c, 0x001d,
  318. 0x001e, 0x001f, 0x0020, 0x0021, 0x0022, 0x0023, 0x0024, 0x0025, 0x0026, 0x0027,
  319. 0x0028, 0x0029, 0x002a, 0x002b, 0x002c, 0x002d, 0x002e, 0x002f, 0x0030, 0x0031,
  320. 0x0032, 0x0033, 0x0034, 0x0035, 0x0036, 0x0037, 0x0038, 0x0039, 0x003a, 0x003b,
  321. 0x003c, 0x003d, 0x003e, 0x003f, 0x0040, 0x0041, 0x0042, 0x0043, 0x0044, 0x0045,
  322. 0x0046, 0x0047, 0x0048, 0x0049, 0x004a, 0x004b, 0x004c, 0x004d, 0x004e, 0x004f,
  323. 0x0050, 0x0051, 0x0052, 0x0053, 0x0054, 0x0055, 0x0056, 0x0057, 0x0058, 0x0059,
  324. 0x005a, 0x005b, 0x005c, 0x005d, 0x005e, 0x005f, 0x0060, 0x0061, 0x0062, 0x0063,
  325. 0x0064, 0x0065, 0x0066, 0x0067, 0x0068, 0x0069, 0x006a, 0x006b, 0x006c, 0x006d,
  326. 0x006e, 0x006f, 0x0070, 0x0071, 0x0072, 0x0073, 0x0074, 0x0075, 0x0076, 0x0077,
  327. 0x0078, 0x0079, 0x007a, 0x007b, 0x007c, 0x007d, 0x007e, 0x007f, 0x0402, 0x0403,
  328. 0x201a, 0x0453, 0x201e, 0x2026, 0x2020, 0x2021, 0x20ac, 0x2030, 0x0409, 0x2039,
  329. 0x040a, 0x040c, 0x040b, 0x040f, 0x0452, 0x2018, 0x2019, 0x201c, 0x201d, 0x2022,
  330. 0x2013, 0x2014, 0x00a0, 0x2122, 0x0459, 0x203a, 0x045a, 0x045c, 0x045b, 0x045f,
  331. 0x00a0, 0x040e, 0x045e, 0x0408, 0x00a4, 0x0490, 0x00a6, 0x00a7, 0x0401, 0x00a9,
  332. 0x0404, 0x00ab, 0x00ac, 0x00ad, 0x00ae, 0x0407, 0x00b0, 0x00b1, 0x0406, 0x0456,
  333. 0x0491, 0x00b5, 0x00b6, 0x00b7, 0x0451, 0x2116, 0x0454, 0x00bb, 0x0458, 0x0405,
  334. 0x0455, 0x0457, 0x0410, 0x0411, 0x0412, 0x0413, 0x0414, 0x0415, 0x0416, 0x0417,
  335. 0x0418, 0x0419, 0x041a, 0x041b, 0x041c, 0x041d, 0x041e, 0x041f, 0x0420, 0x0421,
  336. 0x0422, 0x0423, 0x0424, 0x0425, 0x0426, 0x0427, 0x0428, 0x0429, 0x042a, 0x042b,
  337. 0x042c, 0x042d, 0x042e, 0x042f, 0x0430, 0x0431, 0x0432, 0x0433, 0x0434, 0x0435,
  338. 0x0436, 0x0437, 0x0438, 0x0439, 0x043a, 0x043b, 0x043c, 0x043d, 0x043e, 0x043f,
  339. 0x0440, 0x0441, 0x0442, 0x0443, 0x0444, 0x0445, 0x0446, 0x0447, 0x0448, 0x0449,
  340. 0x044a, 0x044b, 0x044c, 0x044d, 0x044e, 0x044f,
  341. },1251},
  342. {{
  343. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  344. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  345. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  346. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  347. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  348. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  349. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  350. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  351. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  352. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  353. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  354. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  355. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x06, 0x00, 0x00, 0x00, 0x00, 0x00,
  356. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x06, 0x00, 0x00,
  357. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x1f, 0x01, 0x02,
  358. 0x17, 0x05, 0x06, 0x15, 0x04, 0x16, 0x09, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f,
  359. 0x10, 0x20, 0x11, 0x12, 0x13, 0x14, 0x07, 0x03, 0x1d, 0x1c, 0x08, 0x19, 0x1e,
  360. 0x1a, 0x18, 0x1b, 0x1f, 0x01, 0x02, 0x17, 0x05, 0x06, 0x15, 0x04, 0x16, 0x09,
  361. 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f, 0x10, 0x20, 0x11, 0x12, 0x13, 0x14, 0x07,
  362. 0x03, 0x1d, 0x1c, 0x08, 0x19, 0x1e, 0x1a, 0x18, 0x1b,
  363. },{
  364. 0x0000, 0x0001, 0x0002, 0x0003, 0x0004, 0x0005, 0x0006, 0x0007,
  365. 0x0008, 0x0009, 0x000a, 0x000b, 0x000c, 0x000d, 0x000e, 0x000f,
  366. 0x0010, 0x0011, 0x0012, 0x0013, 0x0014, 0x0015, 0x0016, 0x0017,
  367. 0x0018, 0x0019, 0x001a, 0x001b, 0x001c, 0x001d, 0x001e, 0x001f,
  368. 0x0020, 0x0021, 0x0022, 0x0023, 0x0024, 0x0025, 0x0026, 0x0027,
  369. 0x0028, 0x0029, 0x002a, 0x002b, 0x002c, 0x002d, 0x002e, 0x002f,
  370. 0x0030, 0x0031, 0x0032, 0x0033, 0x0034, 0x0035, 0x0036, 0x0037,
  371. 0x0038, 0x0039, 0x003a, 0x003b, 0x003c, 0x003d, 0x003e, 0x003f,
  372. 0x0040, 0x0041, 0x0042, 0x0043, 0x0044, 0x0045, 0x0046, 0x0047,
  373. 0x0048, 0x0049, 0x004a, 0x004b, 0x004c, 0x004d, 0x004e, 0x004f,
  374. 0x0050, 0x0051, 0x0052, 0x0053, 0x0054, 0x0055, 0x0056, 0x0057,
  375. 0x0058, 0x0059, 0x005a, 0x005b, 0x005c, 0x005d, 0x005e, 0x005f,
  376. 0x0060, 0x0061, 0x0062, 0x0063, 0x0064, 0x0065, 0x0066, 0x0067,
  377. 0x0068, 0x0069, 0x006a, 0x006b, 0x006c, 0x006d, 0x006e, 0x006f,
  378. 0x0070, 0x0071, 0x0072, 0x0073, 0x0074, 0x0075, 0x0076, 0x0077,
  379. 0x0078, 0x0079, 0x007a, 0x007b, 0x007c, 0x007d, 0x007e, 0x007f,
  380. 0x2500, 0x2502, 0x250c, 0x2510, 0x2514, 0x2518, 0x251c, 0x2524,
  381. 0x252c, 0x2534, 0x253c, 0x2580, 0x2584, 0x2588, 0x258c, 0x2590,
  382. 0x2591, 0x2592, 0x2593, 0x2320, 0x25a0, 0x2219, 0x221a, 0x2248,
  383. 0x2264, 0x2265, 0x00a0, 0x2321, 0x00b0, 0x00b2, 0x00b7, 0x00f7,
  384. 0x2550, 0x2551, 0x2552, 0x0451, 0x2553, 0x2554, 0x2555, 0x2556,
  385. 0x2557, 0x2558, 0x2559, 0x255a, 0x255b, 0x255c, 0x255d, 0x255e,
  386. 0x255f, 0x2560, 0x2561, 0x0401, 0x2562, 0x2563, 0x2564, 0x2565,
  387. 0x2566, 0x2567, 0x2568, 0x2569, 0x256a, 0x256b, 0x256c, 0x00a9,
  388. 0x044e, 0x0430, 0x0431, 0x0446, 0x0434, 0x0435, 0x0444, 0x0433,
  389. 0x0445, 0x0438, 0x0439, 0x043a, 0x043b, 0x043c, 0x043d, 0x043e,
  390. 0x043f, 0x044f, 0x0440, 0x0441, 0x0442, 0x0443, 0x0436, 0x0432,
  391. 0x044c, 0x044b, 0x0437, 0x0448, 0x044d, 0x0449, 0x0447, 0x044a,
  392. 0x042e, 0x0410, 0x0411, 0x0426, 0x0414, 0x0415, 0x0424, 0x0413,
  393. 0x0425, 0x0418, 0x0419, 0x041a, 0x041b, 0x041c, 0x041d, 0x041e,
  394. 0x041f, 0x042f, 0x0420, 0x0421, 0x0422, 0x0423, 0x0416, 0x0412,
  395. 0x042c, 0x042b, 0x0417, 0x0428, 0x042d, 0x0429, 0x0427, 0x042a,
  396. }, 20866},
  397. {{
  398. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  399. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  400. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  401. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  402. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  403. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  404. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  405. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  406. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  407. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x01, 0x02,
  408. 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f,
  409. 0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x18, 0x19, 0x1a, 0x1b, 0x1c,
  410. 0x1d, 0x1e, 0x1f, 0x20, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09,
  411. 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f, 0x10, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  412. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  413. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  414. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  415. 0x00, 0x00, 0x00, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x18, 0x19, 0x1a,
  416. 0x1b, 0x1c, 0x1d, 0x1e, 0x1f, 0x20, 0x06, 0x06, 0x00, 0x00, 0x00, 0x00, 0x00,
  417. 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
  418. },{
  419. 0x0000, 0x0001, 0x0002, 0x0003, 0x0004, 0x0005, 0x0006, 0x0007,
  420. 0x0008, 0x0009, 0x000a, 0x000b, 0x000c, 0x000d, 0x000e, 0x000f,
  421. 0x0010, 0x0011, 0x0012, 0x0013, 0x0014, 0x0015, 0x0016, 0x0017,
  422. 0x0018, 0x0019, 0x001a, 0x001b, 0x001c, 0x001d, 0x001e, 0x001f,
  423. 0x0020, 0x0021, 0x0022, 0x0023, 0x0024, 0x0025, 0x0026, 0x0027,
  424. 0x0028, 0x0029, 0x002a, 0x002b, 0x002c, 0x002d, 0x002e, 0x002f,
  425. 0x0030, 0x0031, 0x0032, 0x0033, 0x0034, 0x0035, 0x0036, 0x0037,
  426. 0x0038, 0x0039, 0x003a, 0x003b, 0x003c, 0x003d, 0x003e, 0x003f,
  427. 0x0040, 0x0041, 0x0042, 0x0043, 0x0044, 0x0045, 0x0046, 0x0047,
  428. 0x0048, 0x0049, 0x004a, 0x004b, 0x004c, 0x004d, 0x004e, 0x004f,
  429. 0x0050, 0x0051, 0x0052, 0x0053, 0x0054, 0x0055, 0x0056, 0x0057,
  430. 0x0058, 0x0059, 0x005a, 0x005b, 0x005c, 0x005d, 0x005e, 0x005f,
  431. 0x0060, 0x0061, 0x0062, 0x0063, 0x0064, 0x0065, 0x0066, 0x0067,
  432. 0x0068, 0x0069, 0x006a, 0x006b, 0x006c, 0x006d, 0x006e, 0x006f,
  433. 0x0070, 0x0071, 0x0072, 0x0073, 0x0074, 0x0075, 0x0076, 0x0077,
  434. 0x0078, 0x0079, 0x007a, 0x007b, 0x007c, 0x007d, 0x007e, 0x007f,
  435. 0x0410, 0x0411, 0x0412, 0x0413, 0x0414, 0x0415, 0x0416, 0x0417,
  436. 0x0418, 0x0419, 0x041a, 0x041b, 0x041c, 0x041d, 0x041e, 0x041f,
  437. 0x0420, 0x0421, 0x0422, 0x0423, 0x0424, 0x0425, 0x0426, 0x0427,
  438. 0x0428, 0x0429, 0x042a, 0x042b, 0x042c, 0x042d, 0x042e, 0x042f,
  439. 0x0430, 0x0431, 0x0432, 0x0433, 0x0434, 0x0435, 0x0436, 0x0437,
  440. 0x0438, 0x0439, 0x043a, 0x043b, 0x043c, 0x043d, 0x043e, 0x043f,
  441. 0x2591, 0x2592, 0x2593, 0x2502, 0x2524, 0x2561, 0x2562, 0x2556,
  442. 0x2555, 0x2563, 0x2551, 0x2557, 0x255d, 0x255c, 0x255b, 0x2510,
  443. 0x2514, 0x2534, 0x252c, 0x251c, 0x2500, 0x253c, 0x255e, 0x255f,
  444. 0x255a, 0x2554, 0x2569, 0x2566, 0x2560, 0x2550, 0x256c, 0x2567,
  445. 0x2568, 0x2564, 0x2565, 0x2559, 0x2558, 0x2552, 0x2553, 0x256b,
  446. 0x256a, 0x2518, 0x250c, 0x2588, 0x2584, 0x258c, 0x2590, 0x2580,
  447. 0x0440, 0x0441, 0x0442, 0x0443, 0x0444, 0x0445, 0x0446, 0x0447,
  448. 0x0448, 0x0449, 0x044a, 0x044b, 0x044c, 0x044d, 0x044e, 0x044f,
  449. 0x0401, 0x0451, 0x0404, 0x0454, 0x0407, 0x0457, 0x040e, 0x045e,
  450. 0x00b0, 0x2219, 0x00b7, 0x221a, 0x2116, 0x00a4, 0x25a0, 0x00a0,
  451. }, 866},
  452. {{
  453.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  454.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  455.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  456.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  457.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  458.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  459.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  460.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  461.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  462.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  463.     0,  6,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  464.     1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
  465.    17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32,
  466.     1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
  467.    17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32,
  468.     0,  6,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  469. },{
  470.   0x0000,0x0001,0x0002,0x0003,0x0004,0x0005,0x0006,0x0007,
  471.   0x0008,0x0009,0x000a,0x000b,0x000c,0x000d,0x000e,0x000f,
  472.   0x0010,0x0011,0x0012,0x0013,0x0014,0x0015,0x0016,0x0017,
  473.   0x0018,0x0019,0x001a,0x001b,0x001c,0x001d,0x001e,0x001f,
  474.   0x0020,0x0021,0x0022,0x0023,0x0024,0x0025,0x0026,0x0027,
  475.   0x0028,0x0029,0x002a,0x002b,0x002c,0x002d,0x002e,0x002f,
  476.   0x0030,0x0031,0x0032,0x0033,0x0034,0x0035,0x0036,0x0037,
  477.   0x0038,0x0039,0x003a,0x003b,0x003c,0x003d,0x003e,0x003f,
  478.   0x0040,0x0041,0x0042,0x0043,0x0044,0x0045,0x0046,0x0047,
  479.   0x0048,0x0049,0x004a,0x004b,0x004c,0x004d,0x004e,0x004f,
  480.   0x0050,0x0051,0x0052,0x0053,0x0054,0x0055,0x0056,0x0057,
  481.   0x0058,0x0059,0x005a,0x005b,0x005c,0x005d,0x005e,0x005f,
  482.   0x0060,0x0061,0x0062,0x0063,0x0064,0x0065,0x0066,0x0067,
  483.   0x0068,0x0069,0x006a,0x006b,0x006c,0x006d,0x006e,0x006f,
  484.   0x0070,0x0071,0x0072,0x0073,0x0074,0x0075,0x0076,0x0077,
  485.   0x0078,0x0079,0x007a,0x007b,0x007c,0x007d,0x007e,0x007f,
  486.   0x0080,0x0081,0x0082,0x0083,0x0084,0x0085,0x0086,0x0087,
  487.   0x0088,0x0089,0x008a,0x008b,0x008c,0x008d,0x008e,0x008f,
  488.   0x0090,0x0091,0x0092,0x0093,0x0094,0x0095,0x0096,0x0097,
  489.   0x0098,0x0099,0x009a,0x009b,0x009c,0x009d,0x009e,0x009f,
  490.   0x00a0,0x0401,0x0402,0x0403,0x0404,0x0405,0x0406,0x0407,
  491.   0x0408,0x0409,0x040a,0x040b,0x040c,0x00ad,0x040e,0x040f,
  492.   0x0410,0x0411,0x0412,0x0413,0x0414,0x0415,0x0416,0x0417,
  493.   0x0418,0x0419,0x041a,0x041b,0x041c,0x041d,0x041e,0x041f,
  494.   0x0420,0x0421,0x0422,0x0423,0x0424,0x0425,0x0426,0x0427,
  495.   0x0428,0x0429,0x042a,0x042b,0x042c,0x042d,0x042e,0x042f,
  496.   0x0430,0x0431,0x0432,0x0433,0x0434,0x0435,0x0436,0x0437,
  497.   0x0438,0x0439,0x043a,0x043b,0x043c,0x043d,0x043e,0x043f,
  498.   0x0440,0x0441,0x0442,0x0443,0x0444,0x0445,0x0446,0x0447,
  499.   0x0448,0x0449,0x044a,0x044b,0x044c,0x044d,0x044e,0x044f,
  500.   0x2116,0x0451,0x0452,0x0453,0x0454,0x0455,0x0456,0x0457,
  501.   0x0458,0x0459,0x045a,0x045b,0x045c,0x00a7,0x045e,0x045f,
  502. }, 28595},
  503. {{
  504.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  505.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  506.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  507.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  508.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  509.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  510.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  511.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  512.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  513.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  514.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  515.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  516.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  517.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  518.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  519.     0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
  520. },{
  521.   0x0000,0x0001,0x0002,0x0003,0x0004,0x0005,0x0006,0x0007,
  522.   0x0008,0x0009,0x000a,0x000b,0x000c,0x000d,0x000e,0x000f,
  523.   0x0010,0x0011,0x0012,0x0013,0x0014,0x0015,0x0016,0x0017,
  524.   0x0018,0x0019,0x001a,0x001b,0x001c,0x001d,0x001e,0x001f,
  525.   0x0020,0x0021,0x0022,0x0023,0x0024,0x0025,0x0026,0x0027,
  526.   0x0028,0x0029,0x002a,0x002b,0x002c,0x002d,0x002e,0x002f,
  527.   0x0030,0x0031,0x0032,0x0033,0x0034,0x0035,0x0036,0x0037,
  528.   0x0038,0x0039,0x003a,0x003b,0x003c,0x003d,0x003e,0x003f,
  529.   0x0040,0x0041,0x0042,0x0043,0x0044,0x0045,0x0046,0x0047,
  530.   0x0048,0x0049,0x004a,0x004b,0x004c,0x004d,0x004e,0x004f,
  531.   0x0050,0x0051,0x0052,0x0053,0x0054,0x0055,0x0056,0x0057,
  532.   0x0058,0x0059,0x005a,0x005b,0x005c,0x005d,0x005e,0x005f,
  533.   0x0060,0x0061,0x0062,0x0063,0x0064,0x0065,0x0066,0x0067,
  534.   0x0068,0x0069,0x006a,0x006b,0x006c,0x006d,0x006e,0x006f,
  535.   0x0070,0x0071,0x0072,0x0073,0x0074,0x0075,0x0076,0x0077,
  536.   0x0078,0x0079,0x007a,0x007b,0x007c,0x007d,0x007e,0x007f,
  537.   0x20ac,0x00a0,0x201a,0x0192,0x201e,0x2026,0x2020,0x2021,
  538.   0x02c6,0x2030,0x0160,0x2039,0x0152,0x00a0,0x017d,0x00a0,
  539.   0x00a0,0x2018,0x2019,0x201c,0x201d,0x2022,0x2013,0x2014,
  540.   0x02dc,0x2122,0x0161,0x203a,0x0153,0x00a0,0x017e,0x0178,
  541.   0x00a0,0x00a1,0x00a2,0x00a3,0x00a4,0x00a5,0x00a6,0x00a7,
  542.   0x00a8,0x00a9,0x00aa,0x00ab,0x00ac,0x00ad,0x00ae,0x00af,
  543.   0x00b0,0x00b1,0x00b2,0x00b3,0x00b4,0x00b5,0x00b6,0x00b7,
  544.   0x00b8,0x00b9,0x00ba,0x00bb,0x00bc,0x00bd,0x00be,0x00bf,
  545.   0x00c0,0x00c1,0x00c2,0x00c3,0x00c4,0x00c5,0x00c6,0x00c7,
  546.   0x00c8,0x00c9,0x00ca,0x00cb,0x00cc,0x00cd,0x00ce,0x00cf,
  547.   0x00d0,0x00d1,0x00d2,0x00d3,0x00d4,0x00d5,0x00d6,0x00d7,
  548.   0x00d8,0x00d9,0x00da,0x00db,0x00dc,0x00dd,0x00de,0x00df,
  549.   0x00e0,0x00e1,0x00e2,0x00e3,0x00e4,0x00e5,0x00e6,0x00e7,
  550.   0x00e8,0x00e9,0x00ea,0x00eb,0x00ec,0x00ed,0x00ee,0x00ef,
  551.   0x00f0,0x00f1,0x00f2,0x00f3,0x00f4,0x00f5,0x00f6,0x00f7,
  552.   0x00f8,0x00f9,0x00fa,0x00fb,0x00fc,0x00fd,0x00fe,0x00ff,
  553. },1252},
  554. };
  555. #define NUM_BUILTIN_ENCODINGS (sizeof(builtin_encodings)/sizeof(builtin_encodings[0]))
  557. #define NUMLET 33
  558. static unsigned short russian_distrib[NUMLET*NUMLET]={
  559. 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
  560. 0, 0, 0, 0, 0, 0, 0, 0, 0, 77, 259, 55, 298, 90, 111, 296, 12, 96, 384, 709,
  561. 284, 340, 1, 101, 381, 393, 422, 4, 1, 88, 6, 84, 49, 32, 0, 0, 0, 0, 86, 181,
  562. 0, 52, 0, 4, 0, 1, 180, 2, 0, 91, 0, 18, 86, 3, 45, 237, 0, 196, 13, 2, 73, 0,
  563. 3, 0, 0, 2, 18, 11, 271, 2, 0, 0, 36, 0, 416, 1, 7, 0, 20, 530, 0, 65, 283, 0,
  564. 12, 80, 9, 158, 548, 19, 63, 254, 15, 73, 0, 3, 2, 4, 93, 0, 0, 220, 16, 0, 0,
  565. 22, 0, 98, 0, 0, 0, 109, 30, 0, 0, 58, 0, 15, 194, 0, 59, 616, 0, 83, 0, 1, 49,
  566. 0, 0, 0, 7, 0, 0, 0, 0, 0, 0, 0, 0, 0, 412, 3, 76, 1, 5, 433, 40, 0, 214, 0, 29,
  567. 63, 2, 252, 358, 9, 186, 22, 10, 132, 0, 5, 7, 4, 3, 0, 0, 60, 42, 0, 2, 21, 0,
  568. 5, 102, 200, 260, 255, 140, 83, 113, 9, 281, 170, 544, 400, 776, 18, 84, 631,
  569. 427, 403, 10, 0, 43, 31, 105, 85, 55, 0, 0, 0, 0, 11, 15, 0, 126, 0, 0, 1, 96,
  570. 347, 1, 0, 109, 0, 10, 4, 0, 126, 8, 0, 0, 0, 0, 27, 0, 0, 0, 6, 0, 0, 0, 0,
  571. 3, 0, 0, 0, 0, 488, 17, 94, 45, 109, 49, 2, 2, 37, 0, 20, 24, 40, 154, 77, 0,
  572. 34, 0, 1, 33, 0, 0, 0, 0, 0, 0, 1, 27, 12, 0, 0, 16, 0, 4, 45, 233, 40, 120,
  573. 213, 33, 191, 33, 88, 217, 485, 226, 277, 10, 16, 85, 269, 433, 0, 0, 170, 76,
  574. 96, 64, 16, 0, 0, 0, 0, 18, 124, 0, 0, 0, 0, 8, 16, 0, 0, 0, 0, 0, 3, 0, 8, 21,
  575. 2, 0, 115, 32, 34, 0, 2, 0, 15, 17, 5, 0, 0, 0, 0, 0, 0, 0, 0, 540, 0, 6, 0,
  576. 0, 43, 1, 0, 328, 0, 55, 63, 0, 42, 800, 0, 160, 40, 39, 152, 0, 0, 3, 0, 1, 0,
  577. 0, 0, 0, 0, 0, 0, 0, 849, 3, 2, 34, 52, 501, 36, 1, 629, 0, 22, 25, 0, 37,
  578. 568, 5, 0, 166, 4, 125, 0, 0, 0, 6, 0, 0, 0, 69, 373, 0, 86, 164, 0, 248, 1,
  579. 0, 8, 0, 346, 0, 0, 234, 0, 12, 28, 1, 145, 330, 4, 6, 9, 0, 144, 0, 0, 1, 7,
  580. 0, 0, 0, 105, 7, 0, 0, 45, 0, 998, 0, 0, 1, 86, 878, 2, 30, 831, 0, 34, 0, 0,
  581. 258, 1016, 0, 6, 40, 139, 350, 1, 0, 20, 14, 0, 14, 0, 374, 77, 0, 8, 109, 0,
  582. 0, 395, 640, 446, 407, 157, 241, 123, 95, 310, 212, 633, 487, 707, 25, 108,
  583. 652, 587, 575, 6, 1, 71, 9, 157, 59, 35, 0, 0, 0, 1, 12, 61, 0, 122, 0, 0, 0,
  584. 0, 226, 0, 0, 63, 0, 6, 112, 0, 26, 909, 5, 636, 0, 4, 61, 0, 0, 0, 0, 0, 0, 0,
  585. 49, 1, 0, 0, 16, 0, 880, 4, 33, 12, 82, 654, 31, 5, 417, 0, 28, 11, 18, 111,
  586. 751, 9, 18, 29, 55, 260, 21, 21, 3, 8, 17, 2, 0, 159, 45, 0, 7, 98, 0, 239, 4,
  587. 131, 14, 21, 237, 7, 1, 111, 0, 278, 256, 86, 87, 279, 205, 17, 130, 960, 65,
  588. 3, 20, 2, 29, 4, 0, 1, 29, 317, 4, 10, 392, 0, 528, 4, 203, 0, 6, 510, 0, 0,
  589. 321, 0, 63, 36, 6, 90, 1026, 15, 248, 119, 3, 97, 0, 0, 1, 5, 1, 2, 0, 173,
  590. 553, 0, 1, 70, 0, 15, 51, 81, 80, 144, 13, 102, 32, 0, 9, 65, 227, 82, 26, 0,
  591. 65, 36, 117, 146, 0, 0, 39, 0, 77, 50, 24, 0, 0, 0, 1, 105, 6, 0, 50, 0, 0, 0,
  592. 0, 20, 0, 0, 29, 0, 0, 1, 0, 0, 27, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 0,
  593. 0, 0, 0, 0, 28, 0, 20, 0, 0, 4, 0, 0, 16, 0, 0, 11, 11, 38, 212, 0, 15, 7, 1,
  594. 7, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 50, 0, 7, 0, 0, 59, 0, 0, 24, 0, 0,
  595. 0, 0, 0, 27, 0, 0, 0, 0, 9, 0, 0, 0, 0, 0, 0, 0, 19, 0, 0, 0, 0, 0, 185, 0, 5,
  596. 0, 0, 226, 0, 0, 162, 0, 19, 0, 0, 94, 8, 0, 1, 0, 268, 44, 0, 0, 0, 0, 15, 0,
  597. 0, 0, 24, 0, 0, 0, 0, 66, 0, 2, 0, 0, 162, 0, 0, 155, 0, 53, 40, 0, 19, 19, 0,
  598. 1, 0, 2, 18, 0, 0, 0, 0, 0, 0, 0, 0, 58, 0, 0, 0, 0, 42, 0, 0, 0, 0, 137, 0,
  599. 0, 88, 0, 0, 0, 0, 10, 0, 0, 1, 0, 0, 13, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0,
  600. 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
  601. 0, 0, 0, 0, 0, 0, 9, 0, 0, 33, 75, 14, 10, 117, 6, 9, 0, 157, 11, 167, 130, 9,
  602. 0, 12, 25, 57, 76, 0, 0, 109, 0, 16, 34, 0, 0, 0, 0, 0, 0, 1, 0, 0, 7, 0, 1,
  603. 0, 27, 0, 22, 2, 0, 82, 0, 9, 129, 0, 0, 0, 104, 3, 0, 0, 0, 15, 13, 56, 0, 0,
  604. 0, 0, 0, 42, 27, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 3, 0, 2, 6, 0, 0, 0, 0, 149,
  605. 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 25, 0, 3, 46, 0, 26, 1, 0, 0, 0,
  606. 0, 2, 10, 0, 0, 1, 11, 43, 0, 0, 0, 0, 5, 0, 47, 0, 0, 0, 0, 2, 0, 0, 0, 0, 44,
  607. 14, 69, 10, 17, 23, 4, 19, 7, 80, 55, 57, 0, 0, 11, 63, 100, 0, 0, 21, 1, 6,
  608. 2, 39, 0, 0, 0, 0, 12, 9,
  609. };
  611. BOOL CALLBACK EnumCodePagesProc(LPTSTR name) {
  612.   UINT id;
  613.   int msnum;
  615.   if ((id=_tcstoul(name,NULL,10))!=0 && (msnum=get_mscp_num(id))>=0)
  616.     add_codepage(ms_codepages[msnum].name,id,ms_codepages[msnum].alias1,
  617. ms_codepages[msnum].alias2);
  618.   return TRUE;
  619. }
  621. static int    _cdecl enc_cmp(const void *v1,const void *v2) {
  622.   const struct CodePage *cp1=(const struct CodePage *)v1;
  623.   const struct CodePage *cp2=(const struct CodePage *)v2;
  624.   return cp1->codepage<cp2->codepage ? -1 : cp1->codepage>cp2->codepage ? 1 : 0;
  625. }
  627. static struct InitUnicode {
  628.   InitUnicode();
  629. } InitUnicode;
  631. InitUnicode::InitUnicode() {
  632.   // fetch system codepages
  633.   EnumSystemCodePages((CODEPAGE_ENUMPROC)EnumCodePagesProc,CP_INSTALLED);
  634.   qsort(codepages,curcp,sizeof(struct CodePage),enc_cmp);
  635.   // and add our own
  636.   DWORD   mask;
  637.   int   i;
  638.   for (i=mask=0;i<NUM_BUILTIN_ENCODINGS;++i) {
  639.     int icp=Unicode::GetIntCodePage(builtin_encodings[i].cp);
  640.     if (icp<0)
  641.       mask|=1<<i;
  642.     else
  643.       codepages[icp].table=builtin_encodings[i].unimap;
  644.   }
  645.   bool need_utf8=Unicode::GetIntCodePage(CP_UTF8)<0;
  646.   for (i=0;i<NUM_BUILTIN_ENCODINGS;++i)
  647.     if (mask&(1<<i)) {
  648.       int msnum=get_mscp_num(builtin_encodings[i].cp);
  649.       if (msnum>=0) {
  650. int cp=add_codepage(ms_codepages[msnum].name,ms_codepages[msnum].cp,
  651. ms_codepages[msnum].alias1,ms_codepages[msnum].alias2);
  652. codepages[cp].length=TB_cp_length;
  653. codepages[cp].convert=TB_cp_convert;
  654. codepages[cp].table=builtin_encodings[i].unimap;
  655.       }
  656.     }
  657.   if (need_utf8) {
  658.     int cp=add_codepage(_T("UTF-8"),CP_UTF8);
  659.     codepages[cp].length=UTF_cp_length;
  660.     codepages[cp].convert=UTF_cp_convert;
  661.   }
  662.   if (mask || need_utf8)
  663.     qsort(codepages,curcp,sizeof(struct CodePage),enc_cmp);
  664.   default_cp=Unicode::GetIntCodePage(1251); // XXX hardcoded
  665. }
  667. int   Unicode::WCLength(int codepage,const char *mbstr,int mblen) {
  668.   if (codepage>=0 && codepage<curcp)
  669.     return codepages[codepage].length(codepages+codepage,mbstr,mblen);
  670.   return 0;
  671. }
  673. void  Unicode::ToWC(int codepage,const char *mbstr,int mblen,
  674.     wchar_t *wcstr,int wclen)
  675. {
  676.   if (codepage>=0 && codepage<curcp)
  677.     codepages[codepage].convert(codepages+codepage,mbstr,mblen,wcstr,wclen);
  678. }
  680. int   Unicode::GetNumCodePages() {
  681.   return curcp;
  682. }
  684. const TCHAR  *Unicode::GetCodePageName(int num) {
  685.   if (num>=0 && num<curcp)
  686.     return codepages[num].name;
  687.   return NULL;
  688. }
  690. int   Unicode::GetIntCodePage(UINT mscp) {
  691.   int i=0,j=curcp;
  693.   while (i<=j) {
  694.     int   m=(i+j)>>1;
  695.     if (mscp<codepages[m].codepage)
  696.       j=m-1;
  697.     else if (mscp>codepages[m].codepage)
  698.       i=m+1;
  699.     else
  700.       return m;
  701.   }
  702.   return -1;
  703. }
  705. static UINT   detect_encoding(const unsigned char *mbs,unsigned mblen) {
  706.   unsigned i,j;
  707.   int enc=0;
  708.   int sv,msv=0;
  709.   int hist[NUMLET*NUMLET];
  710.   unsigned int prev;
  711.   unsigned char *lettermap;
  713.   if (mblen<3) /* detection needs at least a few letters :) */
  714.     return CP_1252;
  715.   if (mbs[0]=='xef' && mbs[1]=='xbb' && mbs[2]=='xbf') // utf8 bom
  716.     return CP_UTF8;
  717.   if (mblen>1024) /* don't waste too much time */
  718.     mblen=1024;
  719.   for (i=0;i<NUM_BUILTIN_ENCODINGS;++i) {
  720.     memset(hist,0,sizeof(int)*NUMLET*NUMLET);
  721.     lettermap=builtin_encodings[i].distmap;
  722.     for (j=prev=0;j<mblen;++j) {
  723.       unsigned int next=lettermap[mbs[j]];
  724.       if (next && prev)
  725.         ++hist[prev*NUMLET+next];
  726.       prev=next;
  727.     }
  728.     for (j=sv=0;j<NUMLET*NUMLET;++j)
  729.       sv+=hist[j]*russian_distrib[j];
  730.     if (sv>msv) {
  731.       enc=i;
  732.       msv=sv;
  733.     }
  734.   }
  735.   if (msv<5) /* no cyrillic letters found */
  736.     return CP_1252;
  737.   return builtin_encodings[enc].cp;
  738. }
  740. int   Unicode::DetectCodePage(const char *mbs,int mblen) {
  741.   UINT   cp=detect_encoding((const unsigned char *)mbs,mblen);
  742.   int   lcp=GetIntCodePage(cp);
  744.   return lcp<0 ? GetIntCodePage(CP_1252) : lcp; // 1252 should always be present
  745. }
  747. UINT  Unicode::GetMSCodePage(int cp) {
  748.   if (cp>=0 && cp<curcp)
  749.     return codepages[cp].codepage;
  750.   return 1251; // XXX hardcoded
  751. }
  753. int   Unicode::FindCodePage(const TCHAR *name) {
  754.   for (int i=0;i<curcp;++i)
  755.     if (!CmpI(name,codepages[i].name) ||
  756. (codepages[i].alias1 && !CmpI(name,codepages[i].alias1)) ||
  757. (codepages[i].alias2 && !CmpI(name,codepages[i].alias2)))
  758.       return i;
  759.   return -1;
  760. }
  762. int   Unicode::DefaultCodePage() {
  763.   return default_cp;
  764. }
  766. const wchar_t *Unicode::GetTable(int cp) {
  767.   if (cp>=0 && cp<curcp && codepages[cp].table)
  768.     return codepages[cp].table;
  769.   return NULL;
  770. }
  772. int Unicode::MBLength(const wchar_t *wcstr,int wclen) {
  773.   return WideCharToMultiByte(CP_ACP,0,wcstr,wclen,NULL,0,NULL,NULL);
  774. }
  776. void Unicode::ToMB(const wchar_t *wcstr,int wclen,char *mbstr,int mblen) {
  777.   WideCharToMultiByte(CP_ACP,0,wcstr,wclen,mbstr,mblen,NULL,NULL);
  778. }
  780. Buffer<wchar_t>   Unicode::ToWCbuf(int codepage,const char *mbstr,int mblen) {
  781.   int len=WCLength(codepage,mbstr,mblen);
  782.   Buffer<wchar_t> ret(len);
  783.   ToWC(codepage,mbstr,mblen,ret,len);
  784.   return ret;
  785. }
  787. Buffer<char>   Unicode::ToMBbuf(const wchar_t *wcstr,int wclen) {
  788.   int len=MBLength(wcstr,wclen);
  789.   Buffer<char> ret(len);
  790.   ToMB(wcstr,wclen,ret,len);
  791.   return ret;
  792. }
  794. CString   Unicode::ToCS(const wchar_t *wcstr,int wclen) {
  795.   return CString(wcstr,wclen);
  796. }
  798. Buffer<wchar_t>   Unicode::ToWCbuf(const CString& str) {
  799.   return Buffer<wchar_t>(str,str.GetLength());
  800. }
  802. // cstrings are implicitly nul terminated, so we can just up the size
  803. Buffer<wchar_t>   Unicode::ToWCbufZ(const CString& str) {
  804.   return Buffer<wchar_t>(str,str.GetLength()+1);
  805. }
  807. const wchar_t   *Unicode::GetCodePageNameW(int num) {
  808.   return GetCodePageName(num);
  809. }
  811. Buffer<wchar_t> Unicode::Lower(const Buffer<wchar_t>& str) {
  812.   int   rlen=LCMapString(LOCALE_USER_DEFAULT,LCMAP_LOWERCASE,str,str.size(),NULL,0);
  813.   Buffer<wchar_t>   ret(rlen);
  814.   LCMapString(LOCALE_USER_DEFAULT,LCMAP_LOWERCASE,str,str.size(),ret,ret.size());
  815.   return ret;
  816. }
  818. Buffer<char>   Unicode::SortKey(LCID lcid,const wchar_t *str,int len) {
  819.   int rlen=LCMapString(lcid,LCMAP_SORTKEY|NORM_IGNORECASE,str,len,NULL,0);
  820.   Buffer<char> ret(rlen);
  821.   LCMapString(lcid,LCMAP_SORTKEY|NORM_IGNORECASE,str,len,(wchar_t*)(char*)ret,rlen);
  822.   if (rlen>0) // don't include terminating 0
  823.     ret.setsize(rlen-1);
  824.   return ret;
  825. }
  827. Buffer<char>  Unicode::ToUtf8(const CString& cs) {
  828.   // determine length
  829.   int utflen;
  830.   const wchar_t *cp=cs;
  831.   int i;
  832.   int max=cs.GetLength();
  834.   for (i=utflen=0;i<max;++i) {
  835.     DWORD c;
  836.     if (cp[i]>=0xd800 && cp[i]<=0xdbff && i<max-1 && cp[i+1]>=0xdc00 && cp[i+1]<=0xdfff) {
  837.       c=((DWORD)(cp[i]-0xd800)<<10) + (cp[i+1]-0xdc00) + 0x10000;
  838.       ++i;
  839.     } else
  840.       c=cp[i];
  842.     if (c<128)
  843.       ++utflen;
  844.     else if (c<2048)
  845.       utflen+=2;
  846.     else if (c<65536)
  847.       utflen+=3;
  848.     else
  849.       utflen+=4;
  850.   }
  852.   Buffer<char> ret(utflen);
  853.   char *dp=ret;
  855.   for (i=0;i<max;++i) {
  856.     DWORD c;
  857.     if (cp[i]>=0xd800 && cp[i]<=0xdbff && i<max-1 && cp[i+1]>=0xdc00 && cp[i+1]<=0xdfff) {
  858.       c=((DWORD)(cp[i]-0xd800)<<10) + (cp[i+1]-0xdc00) + 0x10000;
  859.       ++i;
  860.     } else
  861.       c=cp[i];
  862.     if (c<128)
  863.       *dp++=(char)c;
  864.     else if (c<2048) {
  865.       *dp++=(char)(0xc0 | (c>>6));
  866.       *dp++=(char)(0x80 | (c&0x3f));
  867.     } else if (c<65536) {
  868.       *dp++=(char)(0xe0 | (c>>12));
  869.       *dp++=(char)(0x80 | ((c>>6)&0x3f));
  870.       *dp++=(char)(0x80 | (c&0x3f));
  871.     } else {
  872.       *dp++=(char)(0xf0 | ((c>>18) & 0x07));
  873.       *dp++=(char)(0x80 | ((c>>12) & 0x3f));
  874.       *dp++=(char)(0x80 | ((c>>6) & 0x3f));
  875.       *dp++=(char)(0x80 | (c&0x3f));
  876.     }
  877.   }
  879.   return ret;
  880. }