wchar.c
上传用户:blenddy
上传日期:2007-01-07
资源大小:6495k
文件大小:8k
源码类别:

数据库系统

开发平台:

Unix_Linux

  1. /*
  2.  * conversion functions between pg_wchar and multi-byte streams.
  3.  * Tatsuo Ishii
  4.  * $Id: wchar.c,v 1.9 1999/07/11 22:47:20 ishii Exp $
  5.  *
  6.  * WIN1250 client encoding updated by Pavel Behal
  7.  *
  8.  */
  9. #include "mb/pg_wchar.h"
  10. /*
  11.  * conversion to pg_wchar is done by "table driven."
  12.  * to add an encoding support, define mb2wchar_with_len(), mblen()
  13.  * for the particular encoding. Note that if the encoding is only
  14.  * supported in the client, you don't need to define
  15.  * mb2wchar_with_len() function (SJIS is the case).
  16.  */
  17. /*
  18.  * SQL/ASCII
  19.  */
  20. static void pg_ascii2wchar_with_len
  21. (const unsigned char *from, pg_wchar * to, int len)
  22. {
  23. while (*from && len > 0)
  24. {
  25. *to++ = *from++;
  26. len--;
  27. }
  28. *to = 0;
  29. }
  30. static int
  31. pg_ascii_mblen(const unsigned char *s)
  32. {
  33. return (1);
  34. }
  35. /*
  36.  * EUC
  37.  */
  38. static void pg_euc2wchar_with_len
  39. (const unsigned char *from, pg_wchar * to, int len)
  40. {
  41. while (*from && len > 0)
  42. {
  43. if (*from == SS2)
  44. {
  45. from++;
  46. len--;
  47. *to = 0xff & *from++;
  48. len--;
  49. }
  50. else if (*from == SS3)
  51. {
  52. from++;
  53. *to = *from++ << 8;
  54. *to |= 0x3f & *from++;
  55. len -= 3;
  56. }
  57. else if (*from & 0x80)
  58. {
  59. *to = *from++ << 8;
  60. *to |= *from++;
  61. len -= 2;
  62. }
  63. else
  64. {
  65. *to = *from++;
  66. len--;
  67. }
  68. to++;
  69. }
  70. *to = 0;
  71. }
  72. static int
  73. pg_euc_mblen(const unsigned char *s)
  74. {
  75. int len;
  76. if (*s == SS2)
  77. len = 2;
  78. else if (*s == SS3)
  79. len = 3;
  80. else if (*s & 0x80)
  81. len = 2;
  82. else
  83. len = 1;
  84. return (len);
  85. }
  86. /*
  87.  * EUC_JP
  88.  */
  89. static void pg_eucjp2wchar_with_len
  90. (const unsigned char *from, pg_wchar * to, int len)
  91. {
  92. pg_euc2wchar_with_len(from, to, len);
  93. }
  94. static int
  95. pg_eucjp_mblen(const unsigned char *s)
  96. {
  97. return (pg_euc_mblen(s));
  98. }
  99. /*
  100.  * EUC_KR
  101.  */
  102. static void pg_euckr2wchar_with_len
  103. (const unsigned char *from, pg_wchar * to, int len)
  104. {
  105. pg_euc2wchar_with_len(from, to, len);
  106. }
  107. static int
  108. pg_euckr_mblen(const unsigned char *s)
  109. {
  110. return (pg_euc_mblen(s));
  111. }
  112. /*
  113.  * EUC_CN
  114.  */
  115. static void pg_euccn2wchar_with_len
  116. (const unsigned char *from, pg_wchar * to, int len)
  117. {
  118. while (*from && len > 0)
  119. {
  120. if (*from == SS2)
  121. {
  122. from++;
  123. len--;
  124. *to = 0x3f00 & (*from++ << 8);
  125. *to = *from++;
  126. len -= 2;
  127. }
  128. else if (*from == SS3)
  129. {
  130. from++;
  131. *to = *from++ << 8;
  132. *to |= 0x3f & *from++;
  133. len -= 3;
  134. }
  135. else if (*from & 0x80)
  136. {
  137. *to = *from++ << 8;
  138. *to |= *from++;
  139. len -= 2;
  140. }
  141. else
  142. {
  143. *to = *from++;
  144. len--;
  145. }
  146. to++;
  147. }
  148. *to = 0;
  149. }
  150. static int
  151. pg_euccn_mblen(const unsigned char *s)
  152. {
  153. int len;
  154. if (*s == SS2)
  155. len = 3;
  156. else if (*s == SS3)
  157. len = 3;
  158. else if (*s & 0x80)
  159. len = 2;
  160. else
  161. len = 1;
  162. return (len);
  163. }
  164. /*
  165.  * EUC_TW
  166.  */
  167. static void pg_euctw2wchar_with_len
  168. (const unsigned char *from, pg_wchar * to, int len)
  169. {
  170. while (*from && len > 0)
  171. {
  172. if (*from == SS2)
  173. {
  174. from++;
  175. len--;
  176. *to = *from++ << 16;
  177. *to |= *from++ << 8;
  178. *to |= *from++;
  179. len -= 3;
  180. }
  181. else if (*from == SS3)
  182. {
  183. from++;
  184. *to = *from++ << 8;
  185. *to |= 0x3f & *from++;
  186. len -= 3;
  187. }
  188. else if (*from & 0x80)
  189. {
  190. *to = *from++ << 8;
  191. *to |= *from++;
  192. len -= 2;
  193. }
  194. else
  195. {
  196. *to = *from++;
  197. len--;
  198. }
  199. to++;
  200. }
  201. *to = 0;
  202. }
  203. static int
  204. pg_euctw_mblen(const unsigned char *s)
  205. {
  206. int len;
  207. if (*s == SS2)
  208. len = 4;
  209. else if (*s == SS3)
  210. len = 3;
  211. else if (*s & 0x80)
  212. len = 2;
  213. else
  214. len = 1;
  215. return (len);
  216. }
  217. /*
  218.  * convert UTF-8 to pg_wchar (UCS-2)
  219.  * caller should allocate enough space for "to"
  220.  * len: length of from.
  221.  * "from" not necessarily null terminated.
  222.  */
  223. static void
  224. pg_utf2wchar_with_len(const unsigned char *from, pg_wchar * to, int len)
  225. {
  226. unsigned char c1,
  227. c2,
  228. c3;
  229. while (*from && len > 0)
  230. {
  231. if ((*from & 0x80) == 0)
  232. {
  233. *to = *from++;
  234. len--;
  235. }
  236. else if ((*from & 0xe0) == 0xc0)
  237. {
  238. c1 = *from++ & 0x1f;
  239. c2 = *from++ & 0x3f;
  240. len -= 2;
  241. *to = c1 << 6;
  242. *to |= c2;
  243. }
  244. else if ((*from & 0xe0) == 0xe0)
  245. {
  246. c1 = *from++ & 0x0f;
  247. c2 = *from++ & 0x3f;
  248. c3 = *from++ & 0x3f;
  249. len -= 3;
  250. *to = c1 << 12;
  251. *to |= c2 << 6;
  252. *to |= c3;
  253. }
  254. else
  255. {
  256. *to = *from++;
  257. len--;
  258. }
  259. to++;
  260. }
  261. *to = 0;
  262. }
  263. static int
  264. pg_utf_mblen(const unsigned char *s)
  265. {
  266. int len = 1;
  267. if ((*s & 0x80) == 0)
  268. len = 1;
  269. else if ((*s & 0xe0) == 0xc0)
  270. len = 2;
  271. else if ((*s & 0xe0) == 0xe0)
  272. len = 3;
  273. return (len);
  274. }
  275. /*
  276.  * convert mule internal code to pg_wchar
  277.  * caller should allocate enough space for "to"
  278.  * len: length of from.
  279.  * "from" not necessarily null terminated.
  280.  */
  281. static void
  282. pg_mule2wchar_with_len(const unsigned char *from, pg_wchar * to, int len)
  283. {
  284. while (*from && len > 0)
  285. {
  286. if (IS_LC1(*from))
  287. {
  288. *to = *from++ << 16;
  289. *to |= *from++;
  290. len -= 2;
  291. }
  292. else if (IS_LCPRV1(*from))
  293. {
  294. from++;
  295. *to = *from++ << 16;
  296. *to |= *from++;
  297. len -= 3;
  298. }
  299. else if (IS_LC2(*from))
  300. {
  301. *to = *from++ << 16;
  302. *to |= *from++ << 8;
  303. *to |= *from++;
  304. len -= 3;
  305. }
  306. else if (IS_LCPRV2(*from))
  307. {
  308. from++;
  309. *to = *from++ << 16;
  310. *to |= *from++ << 8;
  311. *to |= *from++;
  312. len -= 4;
  313. }
  314. else
  315. { /* assume ASCII */
  316. *to = (unsigned char) *from++;
  317. len--;
  318. }
  319. to++;
  320. }
  321. *to = 0;
  322. }
  323. int
  324. pg_mule_mblen(const unsigned char *s)
  325. {
  326. int len;
  327. if (IS_LC1(*s))
  328. len = 2;
  329. else if (IS_LCPRV1(*s))
  330. len = 3;
  331. else if (IS_LC2(*s))
  332. len = 3;
  333. else if (IS_LCPRV2(*s))
  334. len = 4;
  335. else
  336. { /* assume ASCII */
  337. len = 1;
  338. }
  339. return (len);
  340. }
  341. /*
  342.  * ISO8859-1
  343.  */
  344. static void
  345. pg_latin12wchar_with_len(const unsigned char *from, pg_wchar * to, int len)
  346. {
  347. while (*from && len-- > 0)
  348. *to++ = *from++;
  349. *to = 0;
  350. }
  351. static int
  352. pg_latin1_mblen(const unsigned char *s)
  353. {
  354. return (1);
  355. }
  356. /*
  357.  * SJIS
  358.  */
  359. static int
  360. pg_sjis_mblen(const unsigned char *s)
  361. {
  362. int len;
  363. if (*s >= 0xa1 && *s <= 0xdf)
  364. { /* 1 byte kana? */
  365. len = 1;
  366. }
  367. else if (*s > 0x7f)
  368. { /* kanji? */
  369. len = 2;
  370. }
  371. else
  372. { /* should be ASCII */
  373. len = 1;
  374. }
  375. return (len);
  376. }
  377. /*
  378.  * Big5
  379.  */
  380. static int
  381. pg_big5_mblen(const unsigned char *s)
  382. {
  383. int len;
  384. if (*s > 0x7f)
  385. { /* kanji? */
  386. len = 2;
  387. }
  388. else
  389. { /* should be ASCII */
  390. len = 1;
  391. }
  392. return (len);
  393. }
  394. pg_wchar_tbl pg_wchar_table[] = {
  395. {pg_ascii2wchar_with_len, pg_ascii_mblen}, /* 0 */
  396. {pg_eucjp2wchar_with_len, pg_eucjp_mblen}, /* 1 */
  397. {pg_euccn2wchar_with_len, pg_euccn_mblen}, /* 2 */
  398. {pg_euckr2wchar_with_len, pg_euckr_mblen}, /* 3 */
  399. {pg_euctw2wchar_with_len, pg_euctw_mblen}, /* 4 */
  400. {pg_utf2wchar_with_len, pg_utf_mblen}, /* 5 */
  401. {pg_mule2wchar_with_len, pg_mule_mblen}, /* 6 */
  402. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 7 */
  403. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 8 */
  404. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 9 */
  405. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 10 */
  406. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 11 */
  407. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 12 */
  408. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 13 */
  409. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 14 */
  410. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 15 */
  411. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 16 */
  412. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 17 */
  413. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 18 */
  414. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 19 */
  415. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 20 */
  416. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 21 */
  417. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 22 */
  418. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 23 */
  419. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 24 */
  420. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 25 */
  421. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 26 */
  422. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 27 */
  423. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 28 */
  424. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 29 */
  425. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 30 */
  426. {pg_latin12wchar_with_len, pg_latin1_mblen}, /* 31 */
  427. {0, pg_sjis_mblen}, /* 32 */
  428. {0, pg_big5_mblen}, /* 33 */
  429. {pg_latin12wchar_with_len, pg_latin1_mblen} /* 34 */
  430. };
  431. /* returns the byte length of a word for mule internal code */
  432. int
  433. pg_mic_mblen(const unsigned char *mbstr)
  434. {
  435. return (pg_mule_mblen(mbstr));
  436. }