开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 加密解密 > CA认证 > 查看源码
utf8.c
资源名称：nss-3.1.1.tar.gz　[点击查看]
上传用户：lyxiangda
上传日期：2007-01-12
资源大小：3042k
文件大小：64k
源码类别：

CA认证

开发平台：

WINDOWS

utf8.c：源码内容
  1. /*
  2.  * The contents of this file are subject to the Mozilla Public
  3.  * License Version 1.1 (the "License"); you may not use this file
  4.  * except in compliance with the License. You may obtain a copy of
  5.  * the License at http://www.mozilla.org/MPL/
  6.  * 
  7.  * Software distributed under the License is distributed on an "AS
  8.  * IS" basis, WITHOUT WARRANTY OF ANY KIND, either express or
  9.  * implied. See the License for the specific language governing
  10.  * rights and limitations under the License.
  11.  * 
  12.  * The Original Code is the Netscape security libraries.
  13.  * 
  14.  * The Initial Developer of the Original Code is Netscape
  15.  * Communications Corporation.  Portions created by Netscape are 
  16.  * Copyright (C) 1994-2000 Netscape Communications Corporation.  All
  17.  * Rights Reserved.
  18.  * 
  19.  * Contributor(s):
  20.  * 
  21.  * Alternatively, the contents of this file may be used under the
  22.  * terms of the GNU General Public License Version 2 or later (the
  23.  * "GPL"), in which case the provisions of the GPL are applicable 
  24.  * instead of those above.  If you wish to allow use of your 
  25.  * version of this file only under the terms of the GPL and not to
  26.  * allow others to use your version of this file under the MPL,
  27.  * indicate your decision by deleting the provisions above and
  28.  * replace them with the notice and other provisions required by
  29.  * the GPL.  If you do not delete the provisions above, a recipient
  30.  * may use your version of this file under either the MPL or the
  31.  * GPL.
  32.  */
  34. #ifdef DEBUG
  35. static const char CVS_ID[] = "@(#) $RCSfile: utf8.c,v $ $Revision: 1.2 $ $Date: 2000/04/04 02:36:46 $ $Name: NSS_3_1_1_RTM $";
  36. #endif /* DEBUG */
  38. #include "seccomon.h"
  39. #include "secport.h"
  41. /*
  42.  * Define this if you want to support UTF-16 in UCS-2
  43.  */
  44. #define UTF16
  46. /*
  47.  * From RFC 2044:
  48.  *
  49.  * UCS-4 range (hex.)           UTF-8 octet sequence (binary)
  50.  * 0000 0000-0000 007F   0xxxxxxx
  51.  * 0000 0080-0000 07FF   110xxxxx 10xxxxxx
  52.  * 0000 0800-0000 FFFF   1110xxxx 10xxxxxx 10xxxxxx
  53.  * 0001 0000-001F FFFF   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
  54.  * 0020 0000-03FF FFFF   111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
  55.  * 0400 0000-7FFF FFFF   1111110x 10xxxxxx ... 10xxxxxx
  56.  */  
  58. /*
  59.  * From http://www.imc.org/draft-hoffman-utf16
  60.  *
  61.  * For U on [0x00010000,0x0010FFFF]:  Let U' = U - 0x00010000
  62.  *
  63.  * U' = yyyyyyyyyyxxxxxxxxxx
  64.  * W1 = 110110yyyyyyyyyy
  65.  * W2 = 110111xxxxxxxxxx
  66.  */
  68. /*
  69.  * This code is assuming NETWORK BYTE ORDER for the 16- and 32-bit
  70.  * character values.  If you wish to use this code for working with
  71.  * host byte order values, define the following:
  72.  *
  73.  * #if IS_BIG_ENDIAN
  74.  * #define L_0 0
  75.  * #define L_1 1
  76.  * #define L_2 2
  77.  * #define L_3 3
  78.  * #define H_0 0
  79.  * #define H_1 1
  80.  * #else / * not everyone has elif * /
  81.  * #if IS_LITTLE_ENDIAN
  82.  * #define L_0 3
  83.  * #define L_1 2
  84.  * #define L_2 1
  85.  * #define L_3 0
  86.  * #define H_0 1
  87.  * #define H_1 0
  88.  * #else
  89.  * #error "PDP and NUXI support deferred"
  90.  * #endif / * IS_LITTLE_ENDIAN * /
  91.  * #endif / * IS_BIG_ENDIAN * /
  92.  */
  94. #define L_0 0
  95. #define L_1 1
  96. #define L_2 2
  97. #define L_3 3
  98. #define H_0 0
  99. #define H_1 1
  101. PR_IMPLEMENT(PRBool)
  102. sec_port_ucs4_utf8_conversion_function
  103. (
  104.   PRBool toUnicode,
  105.   unsigned char *inBuf,
  106.   unsigned int inBufLen,
  107.   unsigned char *outBuf,
  108.   unsigned int maxOutBufLen,
  109.   unsigned int *outBufLen
  110. )
  111. {
  112. #ifndef TEST_UTF8
  113.   PORT_Assert((unsigned int *)NULL != outBufLen);
  114. #endif /* TEST_UTF8 */
  116.   if( toUnicode ) {
  117.     unsigned int i, len = 0;
  119.     for( i = 0; i < inBufLen; ) {
  120.       if( (inBuf[i] & 0x80) == 0x00 ) i += 1;
  121.       else if( (inBuf[i] & 0xE0) == 0xC0 ) i += 2;
  122.       else if( (inBuf[i] & 0xF0) == 0xE0 ) i += 3;
  123.       else if( (inBuf[i] & 0xF8) == 0xF0 ) i += 4;
  124.       else if( (inBuf[i] & 0xFC) == 0xF8 ) i += 5;
  125.       else if( (inBuf[i] & 0xFE) == 0xFC ) i += 6;
  126.       else return PR_FALSE;
  128.       len += 4;
  129.     }
  131.     if( len > maxOutBufLen ) {
  132.       *outBufLen = len;
  133.       return PR_FALSE;
  134.     }
  136.     len = 0;
  138.     for( i = 0; i < inBufLen; ) {
  139.       if( (inBuf[i] & 0x80) == 0x00 ) {
  140.         /* 0000 0000-0000 007F <- 0xxxxxx */
  141.         /* 0abcdefg -> 
  142.            00000000 00000000 00000000 0abcdefg */
  144.         outBuf[len+L_0] = 0x00;
  145.         outBuf[len+L_1] = 0x00;
  146.         outBuf[len+L_2] = 0x00;
  147.         outBuf[len+L_3] = inBuf[i+0] & 0x7F;
  149.         i += 1;
  150.       } else if( (inBuf[i] & 0xE0) == 0xC0 ) {
  152.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  154.         /* 0000 0080-0000 07FF <- 110xxxxx 10xxxxxx */
  155.         /* 110abcde 10fghijk ->
  156.            00000000 00000000 00000abc defghijk */
  158.         outBuf[len+L_0] = 0x00;
  159.         outBuf[len+L_1] = 0x00;
  160.         outBuf[len+L_2] = ((inBuf[i+0] & 0x1C) >> 2);
  161.         outBuf[len+L_3] = ((inBuf[i+0] & 0x03) << 6) | ((inBuf[i+1] & 0x3F) >> 0);
  163.         i += 2;
  164.       } else if( (inBuf[i] & 0xF0) == 0xE0 ) {
  166.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  167.         if( (inBuf[i+2] & 0xC0) != 0x80 ) return PR_FALSE;
  169.         /* 0000 0800-0000 FFFF <- 1110xxxx 10xxxxxx 10xxxxxx */
  170.         /* 1110abcd 10efghij 10klmnop ->
  171.            00000000 00000000 abcdefgh ijklmnop */
  173.         outBuf[len+L_0] = 0x00;
  174.         outBuf[len+L_1] = 0x00;
  175.         outBuf[len+L_2] = ((inBuf[i+0] & 0x0F) << 4) | ((inBuf[i+1] & 0x3C) >> 2);
  176.         outBuf[len+L_3] = ((inBuf[i+1] & 0x03) << 6) | ((inBuf[i+2] & 0x3F) >> 0);
  178.         i += 3;
  179.       } else if( (inBuf[i] & 0xF8) == 0xF0 ) {
  181.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  182.         if( (inBuf[i+2] & 0xC0) != 0x80 ) return PR_FALSE;
  183.         if( (inBuf[i+3] & 0xC0) != 0x80 ) return PR_FALSE;
  185.         /* 0001 0000-001F FFFF <- 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx */
  186.         /* 11110abc 10defghi 10jklmno 10pqrstu -> 
  187.            00000000 000abcde fghijklm nopqrstu */
  188.            
  189.         outBuf[len+L_0] = 0x00;
  190.         outBuf[len+L_1] = ((inBuf[i+0] & 0x07) << 2) | ((inBuf[i+1] & 0x30) >> 4);
  191.         outBuf[len+L_2] = ((inBuf[i+1] & 0x0F) << 4) | ((inBuf[i+2] & 0x3C) >> 2);
  192.         outBuf[len+L_3] = ((inBuf[i+2] & 0x03) << 6) | ((inBuf[i+3] & 0x3F) >> 0);
  194.         i += 4;
  195.       } else if( (inBuf[i] & 0xFC) == 0xF8 ) {
  197.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  198.         if( (inBuf[i+2] & 0xC0) != 0x80 ) return PR_FALSE;
  199.         if( (inBuf[i+3] & 0xC0) != 0x80 ) return PR_FALSE;
  200.         if( (inBuf[i+4] & 0xC0) != 0x80 ) return PR_FALSE;
  202.         /* 0020 0000-03FF FFFF <- 111110xx 10xxxxxx ... 10xxxxxx */
  203.         /* 111110ab 10cdefgh 10ijklmn 10opqrst 10uvwxyz -> 
  204.            000000ab cdefghij klmnopqr stuvwxyz */
  206.         outBuf[len+L_0] = inBuf[i+0] & 0x03;
  207.         outBuf[len+L_1] = ((inBuf[i+1] & 0x3F) << 2) | ((inBuf[i+2] & 0x30) >> 4);
  208.         outBuf[len+L_2] = ((inBuf[i+2] & 0x0F) << 4) | ((inBuf[i+3] & 0x3C) >> 2);
  209.         outBuf[len+L_3] = ((inBuf[i+3] & 0x03) << 6) | ((inBuf[i+4] & 0x3F) >> 0);
  211.         i += 5;
  212.       } else /* if( (inBuf[i] & 0xFE) == 0xFC ) */ {
  214.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  215.         if( (inBuf[i+2] & 0xC0) != 0x80 ) return PR_FALSE;
  216.         if( (inBuf[i+3] & 0xC0) != 0x80 ) return PR_FALSE;
  217.         if( (inBuf[i+4] & 0xC0) != 0x80 ) return PR_FALSE;
  218.         if( (inBuf[i+5] & 0xC0) != 0x80 ) return PR_FALSE;
  220.         /* 0400 0000-7FFF FFFF <- 1111110x 10xxxxxx ... 10xxxxxx */
  221.         /* 1111110a 10bcdefg 10hijklm 10nopqrs 10tuvwxy 10zABCDE -> 
  222.            0abcdefg hijklmno pqrstuvw xyzABCDE */
  224.         outBuf[len+L_0] = ((inBuf[i+0] & 0x01) << 6) | ((inBuf[i+1] & 0x3F) >> 0);
  225.         outBuf[len+L_1] = ((inBuf[i+2] & 0x3F) << 2) | ((inBuf[i+3] & 0x30) >> 4);
  226.         outBuf[len+L_2] = ((inBuf[i+3] & 0x0F) << 4) | ((inBuf[i+4] & 0x3C) >> 2);
  227.         outBuf[len+L_3] = ((inBuf[i+4] & 0x03) << 6) | ((inBuf[i+5] & 0x3F) >> 0);
  229.         i += 6;
  230.       }
  232.       len += 4;
  233.     }
  235.     *outBufLen = len;
  236.     return PR_TRUE;
  237.   } else {
  238.     unsigned int i, len = 0;
  240.     for( i = 0; i < inBufLen; i += 4 ) {
  241.       if( inBuf[i+L_0] >= 0x04 ) len += 6;
  242.       else if( (inBuf[i+L_0] > 0x00) || (inBuf[i+L_1] >= 0x20) ) len += 5;
  243.       else if( inBuf[i+L_1] >= 0x01 ) len += 4;
  244.       else if( inBuf[i+L_2] >= 0x08 ) len += 3;
  245.       else if( (inBuf[i+L_2] > 0x00) || (inBuf[i+L_3] >= 0x80) ) len += 2;
  246.       else len += 1;
  247.     }
  249.     if( len > maxOutBufLen ) {
  250.       *outBufLen = len;
  251.       return PR_FALSE;
  252.     }
  254.     len = 0;
  256.     for( i = 0; i < inBufLen; i += 4 ) {
  257.       if( inBuf[i+L_0] >= 0x04 ) {
  258.         /* 0400 0000-7FFF FFFF -> 1111110x 10xxxxxx ... 10xxxxxx */
  259.         /* 0abcdefg hijklmno pqrstuvw xyzABCDE ->
  260.            1111110a 10bcdefg 10hijklm 10nopqrs 10tuvwxy 10zABCDE */
  262.         outBuf[len+0] = 0xFC | ((inBuf[i+L_0] & 0x40) >> 6);
  263.         outBuf[len+1] = 0x80 | ((inBuf[i+L_0] & 0x3F) >> 0);
  264.         outBuf[len+2] = 0x80 | ((inBuf[i+L_1] & 0xFC) >> 2);
  265.         outBuf[len+3] = 0x80 | ((inBuf[i+L_1] & 0x03) << 4)
  266.                              | ((inBuf[i+L_2] & 0xF0) >> 4);
  267.         outBuf[len+4] = 0x80 | ((inBuf[i+L_2] & 0x0F) << 2)
  268.                              | ((inBuf[i+L_3] & 0xC0) >> 6);
  269.         outBuf[len+5] = 0x80 | ((inBuf[i+L_3] & 0x3F) >> 0);
  271.         len += 6;
  272.       } else if( (inBuf[i+L_0] > 0x00) || (inBuf[i+L_1] >= 0x20) ) {
  273.         /* 0020 0000-03FF FFFF -> 111110xx 10xxxxxx ... 10xxxxxx */
  274.         /* 000000ab cdefghij klmnopqr stuvwxyz ->
  275.            111110ab 10cdefgh 10ijklmn 10opqrst 10uvwxyz */
  277.         outBuf[len+0] = 0xF8 | ((inBuf[i+L_0] & 0x03) >> 0);
  278.         outBuf[len+1] = 0x80 | ((inBuf[i+L_1] & 0xFC) >> 2);
  279.         outBuf[len+2] = 0x80 | ((inBuf[i+L_1] & 0x03) << 4)
  280.                              | ((inBuf[i+L_2] & 0xF0) >> 4);
  281.         outBuf[len+3] = 0x80 | ((inBuf[i+L_2] & 0x0F) << 2)
  282.                              | ((inBuf[i+L_3] & 0xC0) >> 6);
  283.         outBuf[len+4] = 0x80 | ((inBuf[i+L_3] & 0x3F) >> 0);
  285.         len += 5;
  286.       } else if( inBuf[i+L_1] >= 0x01 ) {
  287.         /* 0001 0000-001F FFFF -> 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx */
  288.         /* 00000000 000abcde fghijklm nopqrstu ->
  289.            11110abc 10defghi 10jklmno 10pqrstu */
  291.         outBuf[len+0] = 0xF0 | ((inBuf[i+L_1] & 0x1C) >> 2);
  292.         outBuf[len+1] = 0x80 | ((inBuf[i+L_1] & 0x03) << 4)
  293.                              | ((inBuf[i+L_2] & 0xF0) >> 4);
  294.         outBuf[len+2] = 0x80 | ((inBuf[i+L_2] & 0x0F) << 2)
  295.                              | ((inBuf[i+L_3] & 0xC0) >> 6);
  296.         outBuf[len+3] = 0x80 | ((inBuf[i+L_3] & 0x3F) >> 0);
  298.         len += 4;
  299.       } else if( inBuf[i+L_2] >= 0x08 ) {
  300.         /* 0000 0800-0000 FFFF -> 1110xxxx 10xxxxxx 10xxxxxx */
  301.         /* 00000000 00000000 abcdefgh ijklmnop ->
  302.            1110abcd 10efghij 10klmnop */
  304.         outBuf[len+0] = 0xE0 | ((inBuf[i+L_2] & 0xF0) >> 4);
  305.         outBuf[len+1] = 0x80 | ((inBuf[i+L_2] & 0x0F) << 2)
  306.                              | ((inBuf[i+L_3] & 0xC0) >> 6);
  307.         outBuf[len+2] = 0x80 | ((inBuf[i+L_3] & 0x3F) >> 0);
  309.         len += 3;
  310.       } else if( (inBuf[i+L_2] > 0x00) || (inBuf[i+L_3] >= 0x80) ) {
  311.         /* 0000 0080-0000 07FF -> 110xxxxx 10xxxxxx */
  312.         /* 00000000 00000000 00000abc defghijk ->
  313.            110abcde 10fghijk */
  315.         outBuf[len+0] = 0xC0 | ((inBuf[i+L_2] & 0x07) << 2)
  316.                              | ((inBuf[i+L_3] & 0xC0) >> 6);
  317.         outBuf[len+1] = 0x80 | ((inBuf[i+L_3] & 0x3F) >> 0);
  319.         len += 2;
  320.       } else {
  321.         /* 0000 0000-0000 007F -> 0xxxxxx */
  322.         /* 00000000 00000000 00000000 0abcdefg ->
  323.            0abcdefg */
  325.         outBuf[len+0] = (inBuf[i+L_3] & 0x7F);
  327.         len += 1;
  328.       }
  329.     }
  330.                             
  331.     *outBufLen = len;
  332.     return PR_TRUE;
  333.   }
  334. }
  336. PR_IMPLEMENT(PRBool)
  337. sec_port_ucs2_utf8_conversion_function
  338. (
  339.   PRBool toUnicode,
  340.   unsigned char *inBuf,
  341.   unsigned int inBufLen,
  342.   unsigned char *outBuf,
  343.   unsigned int maxOutBufLen,
  344.   unsigned int *outBufLen
  345. )
  346. {
  347. #ifndef TEST_UTF8
  348.   PORT_Assert((unsigned int *)NULL != outBufLen);
  349. #endif /* TEST_UTF8 */
  351.   if( toUnicode ) {
  352.     unsigned int i, len = 0;
  354.     for( i = 0; i < inBufLen; ) {
  355.       if( (inBuf[i] & 0x80) == 0x00 ) {
  356.         i += 1;
  357.         len += 2;
  358.       } else if( (inBuf[i] & 0xE0) == 0xC0 ) {
  359.         i += 2;
  360.         len += 2;
  361.       } else if( (inBuf[i] & 0xF0) == 0xE0 ) {
  362.         i += 3;
  363.         len += 2;
  364. #ifdef UTF16
  365.       } else if( (inBuf[i] & 0xF8) == 0xF0 ) { 
  366.         i += 4;
  367.         len += 4;
  369.         if( (inBuf[i] & 0x04) && 
  370.             ((inBuf[i] & 0x03) || (inBuf[i+1] & 0x30)) ) {
  371.           /* Not representable as UTF16 */
  372.           return PR_FALSE;
  373.         }
  375. #endif /* UTF16 */
  376.       } else return PR_FALSE;
  377.     }
  379.     if( len > maxOutBufLen ) {
  380.       *outBufLen = len;
  381.       return PR_FALSE;
  382.     }
  384.     len = 0;
  386.     for( i = 0; i < inBufLen; ) {
  387.       if( (inBuf[i] & 0x80) == 0x00 ) {
  388.         /* 0000-007F <- 0xxxxxx */
  389.         /* 0abcdefg -> 00000000 0abcdefg */
  391.         outBuf[len+H_0] = 0x00;
  392.         outBuf[len+H_1] = inBuf[i+0] & 0x7F;
  394.         i += 1;
  395.         len += 2;
  396.       } else if( (inBuf[i] & 0xE0) == 0xC0 ) {
  398.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  400.         /* 0080-07FF <- 110xxxxx 10xxxxxx */
  401.         /* 110abcde 10fghijk -> 00000abc defghijk */
  403.         outBuf[len+H_0] = ((inBuf[i+0] & 0x1C) >> 2);
  404.         outBuf[len+H_1] = ((inBuf[i+0] & 0x03) << 6) | ((inBuf[i+1] & 0x3F) >> 0);
  406.         i += 2;
  407.         len += 2;
  408.       } else if( (inBuf[i] & 0xF0) == 0xE0 ) {
  410.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  411.         if( (inBuf[i+2] & 0xC0) != 0x80 ) return PR_FALSE;
  413.         /* 0800-FFFF <- 1110xxxx 10xxxxxx 10xxxxxx */
  414.         /* 1110abcd 10efghij 10klmnop -> abcdefgh ijklmnop */
  416.         outBuf[len+H_0] = ((inBuf[i+0] & 0x0F) << 4) | ((inBuf[i+1] & 0x3C) >> 2);
  417.         outBuf[len+H_1] = ((inBuf[i+1] & 0x03) << 6) | ((inBuf[i+2] & 0x3F) >> 0);
  419.         i += 3;
  420.         len += 2;
  421. #ifdef UTF16
  422.       } else if( (inBuf[i] & 0xF8) == 0xF0 ) { 
  423.         int abcde, BCDE;
  425.         if( (inBuf[i+1] & 0xC0) != 0x80 ) return PR_FALSE;
  426.         if( (inBuf[i+2] & 0xC0) != 0x80 ) return PR_FALSE;
  427.         if( (inBuf[i+3] & 0xC0) != 0x80 ) return PR_FALSE;
  429.         /* 0001 0000-001F FFFF <- 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx */
  430.         /* 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx -> [D800-DBFF] [DC00-DFFF] */
  431.            
  432.         /* 11110abc 10defghi 10jklmno 10pqrstu -> 
  433.            { Let 0BCDE = abcde - 1 }
  434.            110110BC DEfghijk 110111lm nopqrstu */
  436.         abcde = ((inBuf[i+0] & 0x07) << 2) | ((inBuf[i+1] & 0x30) >> 4);
  437.         BCDE = abcde - 1;
  439. #ifndef TEST_UTF8
  440.         PORT_Assert(BCDE < 0x10); /* should have been caught above */
  441. #endif /* TEST_UTF8 */
  443.         outBuf[len+0+H_0] = 0xD8 | ((BCDE & 0x0C) >> 2);
  444.         outBuf[len+0+H_1] = ((BCDE & 0x03) << 6) 
  445.                       | ((inBuf[i+1] & 0x0F) << 2)
  446.                       | ((inBuf[i+2] & 0x30) >> 4);
  447.         outBuf[len+2+H_0] = 0xDC | ((inBuf[i+2] & 0x0C) >> 2);
  448.         outBuf[len+2+H_1] = ((inBuf[i+2] & 0x03) << 6) | ((inBuf[i+3] & 0x3F) >> 0);
  450.         i += 4;
  451.         len += 4;
  452. #endif /* UTF16 */
  453.       } else return PR_FALSE;
  454.     }
  456.     *outBufLen = len;
  457.     return PR_TRUE;
  458.   } else {
  459.     unsigned int i, len = 0;
  461.     for( i = 0; i < inBufLen; i += 2 ) {
  462.       if( (inBuf[i+H_0] == 0x00) && ((inBuf[i+H_0] & 0x80) == 0x00) ) len += 1;
  463.       else if( inBuf[i+H_0] < 0x08 ) len += 2;
  464. #ifdef UTF16
  465.       else if( ((inBuf[i+0+H_0] & 0xDC) == 0xD8) ) {
  466.         if( ((inBuf[i+2+H_0] & 0xDC) == 0xDC) && ((inBufLen - i) > 2) ) {
  467.           i += 2;
  468.           len += 4;
  469.         } else {
  470.           return PR_FALSE;
  471.         }
  472.       }
  473. #endif /* UTF16 */
  474.       else len += 3;
  475.     }
  477.     if( len > maxOutBufLen ) {
  478.       *outBufLen = len;
  479.       return PR_FALSE;
  480.     }
  482.     len = 0;
  484.     for( i = 0; i < inBufLen; i += 2 ) {
  485.       if( (inBuf[i+H_0] == 0x00) && ((inBuf[i+H_1] & 0x80) == 0x00) ) {
  486.         /* 0000-007F -> 0xxxxxx */
  487.         /* 00000000 0abcdefg -> 0abcdefg */
  489.         outBuf[len] = inBuf[i+H_1] & 0x7F;
  491.         len += 1;
  492.       } else if( inBuf[i+H_0] < 0x08 ) {
  493.         /* 0080-07FF -> 110xxxxx 10xxxxxx */
  494.         /* 00000abc defghijk -> 110abcde 10fghijk */
  496.         outBuf[len+0] = 0xC0 | ((inBuf[i+H_0] & 0x07) << 2) 
  497.                              | ((inBuf[i+H_1] & 0xC0) >> 6);
  498.         outBuf[len+1] = 0x80 | ((inBuf[i+H_1] & 0x3F) >> 0);
  500.         len += 2;
  501. #ifdef UTF16
  502.       } else if( (inBuf[i+H_0] & 0xDC) == 0xD8 ) {
  503.         int abcde, BCDE;
  505. #ifndef TEST_UTF8
  506.         PORT_Assert(((inBuf[i+2+H_0] & 0xDC) == 0xDC) && ((inBufLen - i) > 2));
  507. #endif /* TEST_UTF8 */
  509.         /* D800-DBFF DC00-DFFF -> 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx */
  510.         /* 110110BC DEfghijk 110111lm nopqrstu ->
  511.            { Let abcde = BCDE + 1 }
  512.            11110abc 10defghi 10jklmno 10pqrstu */
  514.         BCDE = ((inBuf[i+H_0] & 0x03) << 2) | ((inBuf[i+H_1] & 0xC0) >> 6);
  515.         abcde = BCDE + 1;
  517.         outBuf[len+0] = 0xF0 | ((abcde & 0x1C) >> 2);
  518.         outBuf[len+1] = 0x80 | ((abcde & 0x03) << 4) 
  519.                              | ((inBuf[i+0+H_1] & 0x3C) >> 2);
  520.         outBuf[len+2] = 0x80 | ((inBuf[i+0+H_1] & 0x03) << 4)
  521.                              | ((inBuf[i+2+H_0] & 0x03) << 2)
  522.                              | ((inBuf[i+2+H_1] & 0xC0) >> 6);
  523.         outBuf[len+3] = 0x80 | ((inBuf[i+2+H_1] & 0x3F) >> 0);
  525.         i += 2;
  526.         len += 4;
  527. #endif /* UTF16 */
  528.       } else {
  529.         /* 0800-FFFF -> 1110xxxx 10xxxxxx 10xxxxxx */
  530.         /* abcdefgh ijklmnop -> 1110abcd 10efghij 10klmnop */
  532.         outBuf[len+0] = 0xE0 | ((inBuf[i+H_0] & 0xF0) >> 4);
  533.         outBuf[len+1] = 0x80 | ((inBuf[i+H_0] & 0x0F) << 2) 
  534.                              | ((inBuf[i+H_1] & 0xC0) >> 6);
  535.         outBuf[len+2] = 0x80 | ((inBuf[i+H_1] & 0x3F) >> 0);
  537.         len += 3;
  538.       }
  539.     }
  541.     *outBufLen = len;
  542.     return PR_TRUE;
  543.   }
  544. }
  546. #ifdef TEST_UTF8
  548. #include <stdio.h>
  549. #include <string.h>
  550. #include <stdlib.h>
  551. #include <netinet/in.h> /* for htonl and htons */
  553. /*
  554.  * UCS-4 vectors
  555.  */
  557. struct ucs4 {
  558.   PRUint32 c;
  559.   char *utf8;
  560. };
  562. /*
  563.  * UCS-2 vectors
  564.  */
  566. struct ucs2 {
  567.   PRUint16 c;
  568.   char *utf8;
  569. };
  571. #ifdef UTF16
  572. /*
  573.  * UTF-16 vectors
  574.  */
  576. struct utf16 {
  577.   PRUint32 c;
  578.   PRUint16 w[2];
  579. };
  580. #endif /* UTF16 */
  583. /*
  584.  * UCS-4 vectors
  585.  */
  587. struct ucs4 ucs4[] = {
  588.   { 0x00000001, "x01" },
  589.   { 0x00000002, "x02" },
  590.   { 0x00000003, "x03" },
  591.   { 0x00000004, "x04" },
  592.   { 0x00000007, "x07" },
  593.   { 0x00000008, "x08" },
  594.   { 0x0000000F, "x0F" },
  595.   { 0x00000010, "x10" },
  596.   { 0x0000001F, "x1F" },
  597.   { 0x00000020, "x20" },
  598.   { 0x0000003F, "x3F" },
  599.   { 0x00000040, "x40" },
  600.   { 0x0000007F, "x7F" },
  601.           
  602.   { 0x00000080, "xC2x80" },
  603.   { 0x00000081, "xC2x81" },
  604.   { 0x00000082, "xC2x82" },
  605.   { 0x00000084, "xC2x84" },
  606.   { 0x00000088, "xC2x88" },
  607.   { 0x00000090, "xC2x90" },
  608.   { 0x000000A0, "xC2xA0" },
  609.   { 0x000000C0, "xC3x80" },
  610.   { 0x000000FF, "xC3xBF" },
  611.   { 0x00000100, "xC4x80" },
  612.   { 0x00000101, "xC4x81" },
  613.   { 0x00000102, "xC4x82" },
  614.   { 0x00000104, "xC4x84" },
  615.   { 0x00000108, "xC4x88" },
  616.   { 0x00000110, "xC4x90" },
  617.   { 0x00000120, "xC4xA0" },
  618.   { 0x00000140, "xC5x80" },
  619.   { 0x00000180, "xC6x80" },
  620.   { 0x000001FF, "xC7xBF" },
  621.   { 0x00000200, "xC8x80" },
  622.   { 0x00000201, "xC8x81" },
  623.   { 0x00000202, "xC8x82" },
  624.   { 0x00000204, "xC8x84" },
  625.   { 0x00000208, "xC8x88" },
  626.   { 0x00000210, "xC8x90" },
  627.   { 0x00000220, "xC8xA0" },
  628.   { 0x00000240, "xC9x80" },
  629.   { 0x00000280, "xCAx80" },
  630.   { 0x00000300, "xCCx80" },
  631.   { 0x000003FF, "xCFxBF" },
  632.   { 0x00000400, "xD0x80" },
  633.   { 0x00000401, "xD0x81" },
  634.   { 0x00000402, "xD0x82" },
  635.   { 0x00000404, "xD0x84" },
  636.   { 0x00000408, "xD0x88" },
  637.   { 0x00000410, "xD0x90" },
  638.   { 0x00000420, "xD0xA0" },
  639.   { 0x00000440, "xD1x80" },
  640.   { 0x00000480, "xD2x80" },
  641.   { 0x00000500, "xD4x80" },
  642.   { 0x00000600, "xD8x80" },
  643.   { 0x000007FF, "xDFxBF" },
  644.           
  645.   { 0x00000800, "xE0xA0x80" },
  646.   { 0x00000801, "xE0xA0x81" },
  647.   { 0x00000802, "xE0xA0x82" },
  648.   { 0x00000804, "xE0xA0x84" },
  649.   { 0x00000808, "xE0xA0x88" },
  650.   { 0x00000810, "xE0xA0x90" },
  651.   { 0x00000820, "xE0xA0xA0" },
  652.   { 0x00000840, "xE0xA1x80" },
  653.   { 0x00000880, "xE0xA2x80" },
  654.   { 0x00000900, "xE0xA4x80" },
  655.   { 0x00000A00, "xE0xA8x80" },
  656.   { 0x00000C00, "xE0xB0x80" },
  657.   { 0x00000FFF, "xE0xBFxBF" },
  658.   { 0x00001000, "xE1x80x80" },
  659.   { 0x00001001, "xE1x80x81" },
  660.   { 0x00001002, "xE1x80x82" },
  661.   { 0x00001004, "xE1x80x84" },
  662.   { 0x00001008, "xE1x80x88" },
  663.   { 0x00001010, "xE1x80x90" },
  664.   { 0x00001020, "xE1x80xA0" },
  665.   { 0x00001040, "xE1x81x80" },
  666.   { 0x00001080, "xE1x82x80" },
  667.   { 0x00001100, "xE1x84x80" },
  668.   { 0x00001200, "xE1x88x80" },
  669.   { 0x00001400, "xE1x90x80" },
  670.   { 0x00001800, "xE1xA0x80" },
  671.   { 0x00001FFF, "xE1xBFxBF" },
  672.   { 0x00002000, "xE2x80x80" },
  673.   { 0x00002001, "xE2x80x81" },
  674.   { 0x00002002, "xE2x80x82" },
  675.   { 0x00002004, "xE2x80x84" },
  676.   { 0x00002008, "xE2x80x88" },
  677.   { 0x00002010, "xE2x80x90" },
  678.   { 0x00002020, "xE2x80xA0" },
  679.   { 0x00002040, "xE2x81x80" },
  680.   { 0x00002080, "xE2x82x80" },
  681.   { 0x00002100, "xE2x84x80" },
  682.   { 0x00002200, "xE2x88x80" },
  683.   { 0x00002400, "xE2x90x80" },
  684.   { 0x00002800, "xE2xA0x80" },
  685.   { 0x00003000, "xE3x80x80" },
  686.   { 0x00003FFF, "xE3xBFxBF" },
  687.   { 0x00004000, "xE4x80x80" },
  688.   { 0x00004001, "xE4x80x81" },
  689.   { 0x00004002, "xE4x80x82" },
  690.   { 0x00004004, "xE4x80x84" },
  691.   { 0x00004008, "xE4x80x88" },
  692.   { 0x00004010, "xE4x80x90" },
  693.   { 0x00004020, "xE4x80xA0" },
  694.   { 0x00004040, "xE4x81x80" },
  695.   { 0x00004080, "xE4x82x80" },
  696.   { 0x00004100, "xE4x84x80" },
  697.   { 0x00004200, "xE4x88x80" },
  698.   { 0x00004400, "xE4x90x80" },
  699.   { 0x00004800, "xE4xA0x80" },
  700.   { 0x00005000, "xE5x80x80" },
  701.   { 0x00006000, "xE6x80x80" },
  702.   { 0x00007FFF, "xE7xBFxBF" },
  703.   { 0x00008000, "xE8x80x80" },
  704.   { 0x00008001, "xE8x80x81" },
  705.   { 0x00008002, "xE8x80x82" },
  706.   { 0x00008004, "xE8x80x84" },
  707.   { 0x00008008, "xE8x80x88" },
  708.   { 0x00008010, "xE8x80x90" },
  709.   { 0x00008020, "xE8x80xA0" },
  710.   { 0x00008040, "xE8x81x80" },
  711.   { 0x00008080, "xE8x82x80" },
  712.   { 0x00008100, "xE8x84x80" },
  713.   { 0x00008200, "xE8x88x80" },
  714.   { 0x00008400, "xE8x90x80" },
  715.   { 0x00008800, "xE8xA0x80" },
  716.   { 0x00009000, "xE9x80x80" },
  717.   { 0x0000A000, "xEAx80x80" },
  718.   { 0x0000C000, "xECx80x80" },
  719.   { 0x0000FFFF, "xEFxBFxBF" },
  720.           
  721.   { 0x00010000, "xF0x90x80x80" },
  722.   { 0x00010001, "xF0x90x80x81" },
  723.   { 0x00010002, "xF0x90x80x82" },
  724.   { 0x00010004, "xF0x90x80x84" },
  725.   { 0x00010008, "xF0x90x80x88" },
  726.   { 0x00010010, "xF0x90x80x90" },
  727.   { 0x00010020, "xF0x90x80xA0" },
  728.   { 0x00010040, "xF0x90x81x80" },
  729.   { 0x00010080, "xF0x90x82x80" },
  730.   { 0x00010100, "xF0x90x84x80" },
  731.   { 0x00010200, "xF0x90x88x80" },
  732.   { 0x00010400, "xF0x90x90x80" },
  733.   { 0x00010800, "xF0x90xA0x80" },
  734.   { 0x00011000, "xF0x91x80x80" },
  735.   { 0x00012000, "xF0x92x80x80" },
  736.   { 0x00014000, "xF0x94x80x80" },
  737.   { 0x00018000, "xF0x98x80x80" },
  738.   { 0x0001FFFF, "xF0x9FxBFxBF" },
  739.   { 0x00020000, "xF0xA0x80x80" },
  740.   { 0x00020001, "xF0xA0x80x81" },
  741.   { 0x00020002, "xF0xA0x80x82" },
  742.   { 0x00020004, "xF0xA0x80x84" },
  743.   { 0x00020008, "xF0xA0x80x88" },
  744.   { 0x00020010, "xF0xA0x80x90" },
  745.   { 0x00020020, "xF0xA0x80xA0" },
  746.   { 0x00020040, "xF0xA0x81x80" },
  747.   { 0x00020080, "xF0xA0x82x80" },
  748.   { 0x00020100, "xF0xA0x84x80" },
  749.   { 0x00020200, "xF0xA0x88x80" },
  750.   { 0x00020400, "xF0xA0x90x80" },
  751.   { 0x00020800, "xF0xA0xA0x80" },
  752.   { 0x00021000, "xF0xA1x80x80" },
  753.   { 0x00022000, "xF0xA2x80x80" },
  754.   { 0x00024000, "xF0xA4x80x80" },
  755.   { 0x00028000, "xF0xA8x80x80" },
  756.   { 0x00030000, "xF0xB0x80x80" },
  757.   { 0x0003FFFF, "xF0xBFxBFxBF" },
  758.   { 0x00040000, "xF1x80x80x80" },
  759.   { 0x00040001, "xF1x80x80x81" },
  760.   { 0x00040002, "xF1x80x80x82" },
  761.   { 0x00040004, "xF1x80x80x84" },
  762.   { 0x00040008, "xF1x80x80x88" },
  763.   { 0x00040010, "xF1x80x80x90" },
  764.   { 0x00040020, "xF1x80x80xA0" },
  765.   { 0x00040040, "xF1x80x81x80" },
  766.   { 0x00040080, "xF1x80x82x80" },
  767.   { 0x00040100, "xF1x80x84x80" },
  768.   { 0x00040200, "xF1x80x88x80" },
  769.   { 0x00040400, "xF1x80x90x80" },
  770.   { 0x00040800, "xF1x80xA0x80" },
  771.   { 0x00041000, "xF1x81x80x80" },
  772.   { 0x00042000, "xF1x82x80x80" },
  773.   { 0x00044000, "xF1x84x80x80" },
  774.   { 0x00048000, "xF1x88x80x80" },
  775.   { 0x00050000, "xF1x90x80x80" },
  776.   { 0x00060000, "xF1xA0x80x80" },
  777.   { 0x0007FFFF, "xF1xBFxBFxBF" },
  778.   { 0x00080000, "xF2x80x80x80" },
  779.   { 0x00080001, "xF2x80x80x81" },
  780.   { 0x00080002, "xF2x80x80x82" },
  781.   { 0x00080004, "xF2x80x80x84" },
  782.   { 0x00080008, "xF2x80x80x88" },
  783.   { 0x00080010, "xF2x80x80x90" },
  784.   { 0x00080020, "xF2x80x80xA0" },
  785.   { 0x00080040, "xF2x80x81x80" },
  786.   { 0x00080080, "xF2x80x82x80" },
  787.   { 0x00080100, "xF2x80x84x80" },
  788.   { 0x00080200, "xF2x80x88x80" },
  789.   { 0x00080400, "xF2x80x90x80" },
  790.   { 0x00080800, "xF2x80xA0x80" },
  791.   { 0x00081000, "xF2x81x80x80" },
  792.   { 0x00082000, "xF2x82x80x80" },
  793.   { 0x00084000, "xF2x84x80x80" },
  794.   { 0x00088000, "xF2x88x80x80" },
  795.   { 0x00090000, "xF2x90x80x80" },
  796.   { 0x000A0000, "xF2xA0x80x80" },
  797.   { 0x000C0000, "xF3x80x80x80" },
  798.   { 0x000FFFFF, "xF3xBFxBFxBF" },
  799.   { 0x00100000, "xF4x80x80x80" },
  800.   { 0x00100001, "xF4x80x80x81" },
  801.   { 0x00100002, "xF4x80x80x82" },
  802.   { 0x00100004, "xF4x80x80x84" },
  803.   { 0x00100008, "xF4x80x80x88" },
  804.   { 0x00100010, "xF4x80x80x90" },
  805.   { 0x00100020, "xF4x80x80xA0" },
  806.   { 0x00100040, "xF4x80x81x80" },
  807.   { 0x00100080, "xF4x80x82x80" },
  808.   { 0x00100100, "xF4x80x84x80" },
  809.   { 0x00100200, "xF4x80x88x80" },
  810.   { 0x00100400, "xF4x80x90x80" },
  811.   { 0x00100800, "xF4x80xA0x80" },
  812.   { 0x00101000, "xF4x81x80x80" },
  813.   { 0x00102000, "xF4x82x80x80" },
  814.   { 0x00104000, "xF4x84x80x80" },
  815.   { 0x00108000, "xF4x88x80x80" },
  816.   { 0x00110000, "xF4x90x80x80" },
  817.   { 0x00120000, "xF4xA0x80x80" },
  818.   { 0x00140000, "xF5x80x80x80" },
  819.   { 0x00180000, "xF6x80x80x80" },
  820.   { 0x001FFFFF, "xF7xBFxBFxBF" },
  821.           
  822.   { 0x00200000, "xF8x88x80x80x80" },
  823.   { 0x00200001, "xF8x88x80x80x81" },
  824.   { 0x00200002, "xF8x88x80x80x82" },
  825.   { 0x00200004, "xF8x88x80x80x84" },
  826.   { 0x00200008, "xF8x88x80x80x88" },
  827.   { 0x00200010, "xF8x88x80x80x90" },
  828.   { 0x00200020, "xF8x88x80x80xA0" },
  829.   { 0x00200040, "xF8x88x80x81x80" },
  830.   { 0x00200080, "xF8x88x80x82x80" },
  831.   { 0x00200100, "xF8x88x80x84x80" },
  832.   { 0x00200200, "xF8x88x80x88x80" },
  833.   { 0x00200400, "xF8x88x80x90x80" },
  834.   { 0x00200800, "xF8x88x80xA0x80" },
  835.   { 0x00201000, "xF8x88x81x80x80" },
  836.   { 0x00202000, "xF8x88x82x80x80" },
  837.   { 0x00204000, "xF8x88x84x80x80" },
  838.   { 0x00208000, "xF8x88x88x80x80" },
  839.   { 0x00210000, "xF8x88x90x80x80" },
  840.   { 0x00220000, "xF8x88xA0x80x80" },
  841.   { 0x00240000, "xF8x89x80x80x80" },
  842.   { 0x00280000, "xF8x8Ax80x80x80" },
  843.   { 0x00300000, "xF8x8Cx80x80x80" },
  844.   { 0x003FFFFF, "xF8x8FxBFxBFxBF" },
  845.   { 0x00400000, "xF8x90x80x80x80" },
  846.   { 0x00400001, "xF8x90x80x80x81" },
  847.   { 0x00400002, "xF8x90x80x80x82" },
  848.   { 0x00400004, "xF8x90x80x80x84" },
  849.   { 0x00400008, "xF8x90x80x80x88" },
  850.   { 0x00400010, "xF8x90x80x80x90" },
  851.   { 0x00400020, "xF8x90x80x80xA0" },
  852.   { 0x00400040, "xF8x90x80x81x80" },
  853.   { 0x00400080, "xF8x90x80x82x80" },
  854.   { 0x00400100, "xF8x90x80x84x80" },
  855.   { 0x00400200, "xF8x90x80x88x80" },
  856.   { 0x00400400, "xF8x90x80x90x80" },
  857.   { 0x00400800, "xF8x90x80xA0x80" },
  858.   { 0x00401000, "xF8x90x81x80x80" },
  859.   { 0x00402000, "xF8x90x82x80x80" },
  860.   { 0x00404000, "xF8x90x84x80x80" },
  861.   { 0x00408000, "xF8x90x88x80x80" },
  862.   { 0x00410000, "xF8x90x90x80x80" },
  863.   { 0x00420000, "xF8x90xA0x80x80" },
  864.   { 0x00440000, "xF8x91x80x80x80" },
  865.   { 0x00480000, "xF8x92x80x80x80" },
  866.   { 0x00500000, "xF8x94x80x80x80" },
  867.   { 0x00600000, "xF8x98x80x80x80" },
  868.   { 0x007FFFFF, "xF8x9FxBFxBFxBF" },
  869.   { 0x00800000, "xF8xA0x80x80x80" },
  870.   { 0x00800001, "xF8xA0x80x80x81" },
  871.   { 0x00800002, "xF8xA0x80x80x82" },
  872.   { 0x00800004, "xF8xA0x80x80x84" },
  873.   { 0x00800008, "xF8xA0x80x80x88" },
  874.   { 0x00800010, "xF8xA0x80x80x90" },
  875.   { 0x00800020, "xF8xA0x80x80xA0" },
  876.   { 0x00800040, "xF8xA0x80x81x80" },
  877.   { 0x00800080, "xF8xA0x80x82x80" },
  878.   { 0x00800100, "xF8xA0x80x84x80" },
  879.   { 0x00800200, "xF8xA0x80x88x80" },
  880.   { 0x00800400, "xF8xA0x80x90x80" },
  881.   { 0x00800800, "xF8xA0x80xA0x80" },
  882.   { 0x00801000, "xF8xA0x81x80x80" },
  883.   { 0x00802000, "xF8xA0x82x80x80" },
  884.   { 0x00804000, "xF8xA0x84x80x80" },
  885.   { 0x00808000, "xF8xA0x88x80x80" },
  886.   { 0x00810000, "xF8xA0x90x80x80" },
  887.   { 0x00820000, "xF8xA0xA0x80x80" },
  888.   { 0x00840000, "xF8xA1x80x80x80" },
  889.   { 0x00880000, "xF8xA2x80x80x80" },
  890.   { 0x00900000, "xF8xA4x80x80x80" },
  891.   { 0x00A00000, "xF8xA8x80x80x80" },
  892.   { 0x00C00000, "xF8xB0x80x80x80" },
  893.   { 0x00FFFFFF, "xF8xBFxBFxBFxBF" },
  894.   { 0x01000000, "xF9x80x80x80x80" },
  895.   { 0x01000001, "xF9x80x80x80x81" },
  896.   { 0x01000002, "xF9x80x80x80x82" },
  897.   { 0x01000004, "xF9x80x80x80x84" },
  898.   { 0x01000008, "xF9x80x80x80x88" },
  899.   { 0x01000010, "xF9x80x80x80x90" },
  900.   { 0x01000020, "xF9x80x80x80xA0" },
  901.   { 0x01000040, "xF9x80x80x81x80" },
  902.   { 0x01000080, "xF9x80x80x82x80" },
  903.   { 0x01000100, "xF9x80x80x84x80" },
  904.   { 0x01000200, "xF9x80x80x88x80" },
  905.   { 0x01000400, "xF9x80x80x90x80" },
  906.   { 0x01000800, "xF9x80x80xA0x80" },
  907.   { 0x01001000, "xF9x80x81x80x80" },
  908.   { 0x01002000, "xF9x80x82x80x80" },
  909.   { 0x01004000, "xF9x80x84x80x80" },
  910.   { 0x01008000, "xF9x80x88x80x80" },
  911.   { 0x01010000, "xF9x80x90x80x80" },
  912.   { 0x01020000, "xF9x80xA0x80x80" },
  913.   { 0x01040000, "xF9x81x80x80x80" },
  914.   { 0x01080000, "xF9x82x80x80x80" },
  915.   { 0x01100000, "xF9x84x80x80x80" },
  916.   { 0x01200000, "xF9x88x80x80x80" },
  917.   { 0x01400000, "xF9x90x80x80x80" },
  918.   { 0x01800000, "xF9xA0x80x80x80" },
  919.   { 0x01FFFFFF, "xF9xBFxBFxBFxBF" },
  920.   { 0x02000000, "xFAx80x80x80x80" },
  921.   { 0x02000001, "xFAx80x80x80x81" },
  922.   { 0x02000002, "xFAx80x80x80x82" },
  923.   { 0x02000004, "xFAx80x80x80x84" },
  924.   { 0x02000008, "xFAx80x80x80x88" },
  925.   { 0x02000010, "xFAx80x80x80x90" },
  926.   { 0x02000020, "xFAx80x80x80xA0" },
  927.   { 0x02000040, "xFAx80x80x81x80" },
  928.   { 0x02000080, "xFAx80x80x82x80" },
  929.   { 0x02000100, "xFAx80x80x84x80" },
  930.   { 0x02000200, "xFAx80x80x88x80" },
  931.   { 0x02000400, "xFAx80x80x90x80" },
  932.   { 0x02000800, "xFAx80x80xA0x80" },
  933.   { 0x02001000, "xFAx80x81x80x80" },
  934.   { 0x02002000, "xFAx80x82x80x80" },
  935.   { 0x02004000, "xFAx80x84x80x80" },
  936.   { 0x02008000, "xFAx80x88x80x80" },
  937.   { 0x02010000, "xFAx80x90x80x80" },
  938.   { 0x02020000, "xFAx80xA0x80x80" },
  939.   { 0x02040000, "xFAx81x80x80x80" },
  940.   { 0x02080000, "xFAx82x80x80x80" },
  941.   { 0x02100000, "xFAx84x80x80x80" },
  942.   { 0x02200000, "xFAx88x80x80x80" },
  943.   { 0x02400000, "xFAx90x80x80x80" },
  944.   { 0x02800000, "xFAxA0x80x80x80" },
  945.   { 0x03000000, "xFBx80x80x80x80" },
  946.   { 0x03FFFFFF, "xFBxBFxBFxBFxBF" },
  947.           
  948.   { 0x04000000, "xFCx84x80x80x80x80" },
  949.   { 0x04000001, "xFCx84x80x80x80x81" },
  950.   { 0x04000002, "xFCx84x80x80x80x82" },
  951.   { 0x04000004, "xFCx84x80x80x80x84" },
  952.   { 0x04000008, "xFCx84x80x80x80x88" },
  953.   { 0x04000010, "xFCx84x80x80x80x90" },
  954.   { 0x04000020, "xFCx84x80x80x80xA0" },
  955.   { 0x04000040, "xFCx84x80x80x81x80" },
  956.   { 0x04000080, "xFCx84x80x80x82x80" },
  957.   { 0x04000100, "xFCx84x80x80x84x80" },
  958.   { 0x04000200, "xFCx84x80x80x88x80" },
  959.   { 0x04000400, "xFCx84x80x80x90x80" },
  960.   { 0x04000800, "xFCx84x80x80xA0x80" },
  961.   { 0x04001000, "xFCx84x80x81x80x80" },
  962.   { 0x04002000, "xFCx84x80x82x80x80" },
  963.   { 0x04004000, "xFCx84x80x84x80x80" },
  964.   { 0x04008000, "xFCx84x80x88x80x80" },
  965.   { 0x04010000, "xFCx84x80x90x80x80" },
  966.   { 0x04020000, "xFCx84x80xA0x80x80" },
  967.   { 0x04040000, "xFCx84x81x80x80x80" },
  968.   { 0x04080000, "xFCx84x82x80x80x80" },
  969.   { 0x04100000, "xFCx84x84x80x80x80" },
  970.   { 0x04200000, "xFCx84x88x80x80x80" },
  971.   { 0x04400000, "xFCx84x90x80x80x80" },
  972.   { 0x04800000, "xFCx84xA0x80x80x80" },
  973.   { 0x05000000, "xFCx85x80x80x80x80" },
  974.   { 0x06000000, "xFCx86x80x80x80x80" },
  975.   { 0x07FFFFFF, "xFCx87xBFxBFxBFxBF" },
  976.   { 0x08000000, "xFCx88x80x80x80x80" },
  977.   { 0x08000001, "xFCx88x80x80x80x81" },
  978.   { 0x08000002, "xFCx88x80x80x80x82" },
  979.   { 0x08000004, "xFCx88x80x80x80x84" },
  980.   { 0x08000008, "xFCx88x80x80x80x88" },
  981.   { 0x08000010, "xFCx88x80x80x80x90" },
  982.   { 0x08000020, "xFCx88x80x80x80xA0" },
  983.   { 0x08000040, "xFCx88x80x80x81x80" },
  984.   { 0x08000080, "xFCx88x80x80x82x80" },
  985.   { 0x08000100, "xFCx88x80x80x84x80" },
  986.   { 0x08000200, "xFCx88x80x80x88x80" },
  987.   { 0x08000400, "xFCx88x80x80x90x80" },
  988.   { 0x08000800, "xFCx88x80x80xA0x80" },
  989.   { 0x08001000, "xFCx88x80x81x80x80" },
  990.   { 0x08002000, "xFCx88x80x82x80x80" },
  991.   { 0x08004000, "xFCx88x80x84x80x80" },
  992.   { 0x08008000, "xFCx88x80x88x80x80" },
  993.   { 0x08010000, "xFCx88x80x90x80x80" },
  994.   { 0x08020000, "xFCx88x80xA0x80x80" },
  995.   { 0x08040000, "xFCx88x81x80x80x80" },
  996.   { 0x08080000, "xFCx88x82x80x80x80" },
  997.   { 0x08100000, "xFCx88x84x80x80x80" },
  998.   { 0x08200000, "xFCx88x88x80x80x80" },
  999.   { 0x08400000, "xFCx88x90x80x80x80" },
  1000.   { 0x08800000, "xFCx88xA0x80x80x80" },
  1001.   { 0x09000000, "xFCx89x80x80x80x80" },
  1002.   { 0x0A000000, "xFCx8Ax80x80x80x80" },
  1003.   { 0x0C000000, "xFCx8Cx80x80x80x80" },
  1004.   { 0x0FFFFFFF, "xFCx8FxBFxBFxBFxBF" },
  1005.   { 0x10000000, "xFCx90x80x80x80x80" },
  1006.   { 0x10000001, "xFCx90x80x80x80x81" },
  1007.   { 0x10000002, "xFCx90x80x80x80x82" },
  1008.   { 0x10000004, "xFCx90x80x80x80x84" },
  1009.   { 0x10000008, "xFCx90x80x80x80x88" },
  1010.   { 0x10000010, "xFCx90x80x80x80x90" },
  1011.   { 0x10000020, "xFCx90x80x80x80xA0" },
  1012.   { 0x10000040, "xFCx90x80x80x81x80" },
  1013.   { 0x10000080, "xFCx90x80x80x82x80" },
  1014.   { 0x10000100, "xFCx90x80x80x84x80" },
  1015.   { 0x10000200, "xFCx90x80x80x88x80" },
  1016.   { 0x10000400, "xFCx90x80x80x90x80" },
  1017.   { 0x10000800, "xFCx90x80x80xA0x80" },
  1018.   { 0x10001000, "xFCx90x80x81x80x80" },
  1019.   { 0x10002000, "xFCx90x80x82x80x80" },
  1020.   { 0x10004000, "xFCx90x80x84x80x80" },
  1021.   { 0x10008000, "xFCx90x80x88x80x80" },
  1022.   { 0x10010000, "xFCx90x80x90x80x80" },
  1023.   { 0x10020000, "xFCx90x80xA0x80x80" },
  1024.   { 0x10040000, "xFCx90x81x80x80x80" },
  1025.   { 0x10080000, "xFCx90x82x80x80x80" },
  1026.   { 0x10100000, "xFCx90x84x80x80x80" },
  1027.   { 0x10200000, "xFCx90x88x80x80x80" },
  1028.   { 0x10400000, "xFCx90x90x80x80x80" },
  1029.   { 0x10800000, "xFCx90xA0x80x80x80" },
  1030.   { 0x11000000, "xFCx91x80x80x80x80" },
  1031.   { 0x12000000, "xFCx92x80x80x80x80" },
  1032.   { 0x14000000, "xFCx94x80x80x80x80" },
  1033.   { 0x18000000, "xFCx98x80x80x80x80" },
  1034.   { 0x1FFFFFFF, "xFCx9FxBFxBFxBFxBF" },
  1035.   { 0x20000000, "xFCxA0x80x80x80x80" },
  1036.   { 0x20000001, "xFCxA0x80x80x80x81" },
  1037.   { 0x20000002, "xFCxA0x80x80x80x82" },
  1038.   { 0x20000004, "xFCxA0x80x80x80x84" },
  1039.   { 0x20000008, "xFCxA0x80x80x80x88" },
  1040.   { 0x20000010, "xFCxA0x80x80x80x90" },
  1041.   { 0x20000020, "xFCxA0x80x80x80xA0" },
  1042.   { 0x20000040, "xFCxA0x80x80x81x80" },
  1043.   { 0x20000080, "xFCxA0x80x80x82x80" },
  1044.   { 0x20000100, "xFCxA0x80x80x84x80" },
  1045.   { 0x20000200, "xFCxA0x80x80x88x80" },
  1046.   { 0x20000400, "xFCxA0x80x80x90x80" },
  1047.   { 0x20000800, "xFCxA0x80x80xA0x80" },
  1048.   { 0x20001000, "xFCxA0x80x81x80x80" },
  1049.   { 0x20002000, "xFCxA0x80x82x80x80" },
  1050.   { 0x20004000, "xFCxA0x80x84x80x80" },
  1051.   { 0x20008000, "xFCxA0x80x88x80x80" },
  1052.   { 0x20010000, "xFCxA0x80x90x80x80" },
  1053.   { 0x20020000, "xFCxA0x80xA0x80x80" },
  1054.   { 0x20040000, "xFCxA0x81x80x80x80" },
  1055.   { 0x20080000, "xFCxA0x82x80x80x80" },
  1056.   { 0x20100000, "xFCxA0x84x80x80x80" },
  1057.   { 0x20200000, "xFCxA0x88x80x80x80" },
  1058.   { 0x20400000, "xFCxA0x90x80x80x80" },
  1059.   { 0x20800000, "xFCxA0xA0x80x80x80" },
  1060.   { 0x21000000, "xFCxA1x80x80x80x80" },
  1061.   { 0x22000000, "xFCxA2x80x80x80x80" },
  1062.   { 0x24000000, "xFCxA4x80x80x80x80" },
  1063.   { 0x28000000, "xFCxA8x80x80x80x80" },
  1064.   { 0x30000000, "xFCxB0x80x80x80x80" },
  1065.   { 0x3FFFFFFF, "xFCxBFxBFxBFxBFxBF" },
  1066.   { 0x40000000, "xFDx80x80x80x80x80" },
  1067.   { 0x40000001, "xFDx80x80x80x80x81" },
  1068.   { 0x40000002, "xFDx80x80x80x80x82" },
  1069.   { 0x40000004, "xFDx80x80x80x80x84" },
  1070.   { 0x40000008, "xFDx80x80x80x80x88" },
  1071.   { 0x40000010, "xFDx80x80x80x80x90" },
  1072.   { 0x40000020, "xFDx80x80x80x80xA0" },
  1073.   { 0x40000040, "xFDx80x80x80x81x80" },
  1074.   { 0x40000080, "xFDx80x80x80x82x80" },
  1075.   { 0x40000100, "xFDx80x80x80x84x80" },
  1076.   { 0x40000200, "xFDx80x80x80x88x80" },
  1077.   { 0x40000400, "xFDx80x80x80x90x80" },
  1078.   { 0x40000800, "xFDx80x80x80xA0x80" },
  1079.   { 0x40001000, "xFDx80x80x81x80x80" },
  1080.   { 0x40002000, "xFDx80x80x82x80x80" },
  1081.   { 0x40004000, "xFDx80x80x84x80x80" },
  1082.   { 0x40008000, "xFDx80x80x88x80x80" },
  1083.   { 0x40010000, "xFDx80x80x90x80x80" },
  1084.   { 0x40020000, "xFDx80x80xA0x80x80" },
  1085.   { 0x40040000, "xFDx80x81x80x80x80" },
  1086.   { 0x40080000, "xFDx80x82x80x80x80" },
  1087.   { 0x40100000, "xFDx80x84x80x80x80" },
  1088.   { 0x40200000, "xFDx80x88x80x80x80" },
  1089.   { 0x40400000, "xFDx80x90x80x80x80" },
  1090.   { 0x40800000, "xFDx80xA0x80x80x80" },
  1091.   { 0x41000000, "xFDx81x80x80x80x80" },
  1092.   { 0x42000000, "xFDx82x80x80x80x80" },
  1093.   { 0x44000000, "xFDx84x80x80x80x80" },
  1094.   { 0x48000000, "xFDx88x80x80x80x80" },
  1095.   { 0x50000000, "xFDx90x80x80x80x80" },
  1096.   { 0x60000000, "xFDxA0x80x80x80x80" },
  1097.   { 0x7FFFFFFF, "xFDxBFxBFxBFxBFxBF" }
  1098. };
  1100. /*
  1101.  * UCS-2 vectors
  1102.  */
  1104. struct ucs2 ucs2[] = {
  1105.   { 0x0001, "x01" },
  1106.   { 0x0002, "x02" },
  1107.   { 0x0003, "x03" },
  1108.   { 0x0004, "x04" },
  1109.   { 0x0007, "x07" },
  1110.   { 0x0008, "x08" },
  1111.   { 0x000F, "x0F" },
  1112.   { 0x0010, "x10" },
  1113.   { 0x001F, "x1F" },
  1114.   { 0x0020, "x20" },
  1115.   { 0x003F, "x3F" },
  1116.   { 0x0040, "x40" },
  1117.   { 0x007F, "x7F" },
  1118.           
  1119.   { 0x0080, "xC2x80" },
  1120.   { 0x0081, "xC2x81" },
  1121.   { 0x0082, "xC2x82" },
  1122.   { 0x0084, "xC2x84" },
  1123.   { 0x0088, "xC2x88" },
  1124.   { 0x0090, "xC2x90" },
  1125.   { 0x00A0, "xC2xA0" },
  1126.   { 0x00C0, "xC3x80" },
  1127.   { 0x00FF, "xC3xBF" },
  1128.   { 0x0100, "xC4x80" },
  1129.   { 0x0101, "xC4x81" },
  1130.   { 0x0102, "xC4x82" },
  1131.   { 0x0104, "xC4x84" },
  1132.   { 0x0108, "xC4x88" },
  1133.   { 0x0110, "xC4x90" },
  1134.   { 0x0120, "xC4xA0" },
  1135.   { 0x0140, "xC5x80" },
  1136.   { 0x0180, "xC6x80" },
  1137.   { 0x01FF, "xC7xBF" },
  1138.   { 0x0200, "xC8x80" },
  1139.   { 0x0201, "xC8x81" },
  1140.   { 0x0202, "xC8x82" },
  1141.   { 0x0204, "xC8x84" },
  1142.   { 0x0208, "xC8x88" },
  1143.   { 0x0210, "xC8x90" },
  1144.   { 0x0220, "xC8xA0" },
  1145.   { 0x0240, "xC9x80" },
  1146.   { 0x0280, "xCAx80" },
  1147.   { 0x0300, "xCCx80" },
  1148.   { 0x03FF, "xCFxBF" },
  1149.   { 0x0400, "xD0x80" },
  1150.   { 0x0401, "xD0x81" },
  1151.   { 0x0402, "xD0x82" },
  1152.   { 0x0404, "xD0x84" },
  1153.   { 0x0408, "xD0x88" },
  1154.   { 0x0410, "xD0x90" },
  1155.   { 0x0420, "xD0xA0" },
  1156.   { 0x0440, "xD1x80" },
  1157.   { 0x0480, "xD2x80" },
  1158.   { 0x0500, "xD4x80" },
  1159.   { 0x0600, "xD8x80" },
  1160.   { 0x07FF, "xDFxBF" },
  1161.           
  1162.   { 0x0800, "xE0xA0x80" },
  1163.   { 0x0801, "xE0xA0x81" },
  1164.   { 0x0802, "xE0xA0x82" },
  1165.   { 0x0804, "xE0xA0x84" },
  1166.   { 0x0808, "xE0xA0x88" },
  1167.   { 0x0810, "xE0xA0x90" },
  1168.   { 0x0820, "xE0xA0xA0" },
  1169.   { 0x0840, "xE0xA1x80" },
  1170.   { 0x0880, "xE0xA2x80" },
  1171.   { 0x0900, "xE0xA4x80" },
  1172.   { 0x0A00, "xE0xA8x80" },
  1173.   { 0x0C00, "xE0xB0x80" },
  1174.   { 0x0FFF, "xE0xBFxBF" },
  1175.   { 0x1000, "xE1x80x80" },
  1176.   { 0x1001, "xE1x80x81" },
  1177.   { 0x1002, "xE1x80x82" },
  1178.   { 0x1004, "xE1x80x84" },
  1179.   { 0x1008, "xE1x80x88" },
  1180.   { 0x1010, "xE1x80x90" },
  1181.   { 0x1020, "xE1x80xA0" },
  1182.   { 0x1040, "xE1x81x80" },
  1183.   { 0x1080, "xE1x82x80" },
  1184.   { 0x1100, "xE1x84x80" },
  1185.   { 0x1200, "xE1x88x80" },
  1186.   { 0x1400, "xE1x90x80" },
  1187.   { 0x1800, "xE1xA0x80" },
  1188.   { 0x1FFF, "xE1xBFxBF" },
  1189.   { 0x2000, "xE2x80x80" },
  1190.   { 0x2001, "xE2x80x81" },
  1191.   { 0x2002, "xE2x80x82" },
  1192.   { 0x2004, "xE2x80x84" },
  1193.   { 0x2008, "xE2x80x88" },
  1194.   { 0x2010, "xE2x80x90" },
  1195.   { 0x2020, "xE2x80xA0" },
  1196.   { 0x2040, "xE2x81x80" },
  1197.   { 0x2080, "xE2x82x80" },
  1198.   { 0x2100, "xE2x84x80" },
  1199.   { 0x2200, "xE2x88x80" },
  1200.   { 0x2400, "xE2x90x80" },
  1201.   { 0x2800, "xE2xA0x80" },
  1202.   { 0x3000, "xE3x80x80" },
  1203.   { 0x3FFF, "xE3xBFxBF" },
  1204.   { 0x4000, "xE4x80x80" },
  1205.   { 0x4001, "xE4x80x81" },
  1206.   { 0x4002, "xE4x80x82" },
  1207.   { 0x4004, "xE4x80x84" },
  1208.   { 0x4008, "xE4x80x88" },
  1209.   { 0x4010, "xE4x80x90" },
  1210.   { 0x4020, "xE4x80xA0" },
  1211.   { 0x4040, "xE4x81x80" },
  1212.   { 0x4080, "xE4x82x80" },
  1213.   { 0x4100, "xE4x84x80" },
  1214.   { 0x4200, "xE4x88x80" },
  1215.   { 0x4400, "xE4x90x80" },
  1216.   { 0x4800, "xE4xA0x80" },
  1217.   { 0x5000, "xE5x80x80" },
  1218.   { 0x6000, "xE6x80x80" },
  1219.   { 0x7FFF, "xE7xBFxBF" },
  1220.   { 0x8000, "xE8x80x80" },
  1221.   { 0x8001, "xE8x80x81" },
  1222.   { 0x8002, "xE8x80x82" },
  1223.   { 0x8004, "xE8x80x84" },
  1224.   { 0x8008, "xE8x80x88" },
  1225.   { 0x8010, "xE8x80x90" },
  1226.   { 0x8020, "xE8x80xA0" },
  1227.   { 0x8040, "xE8x81x80" },
  1228.   { 0x8080, "xE8x82x80" },
  1229.   { 0x8100, "xE8x84x80" },
  1230.   { 0x8200, "xE8x88x80" },
  1231.   { 0x8400, "xE8x90x80" },
  1232.   { 0x8800, "xE8xA0x80" },
  1233.   { 0x9000, "xE9x80x80" },
  1234.   { 0xA000, "xEAx80x80" },
  1235.   { 0xC000, "xECx80x80" },
  1236.   { 0xFFFF, "xEFxBFxBF" }
  1238. };
  1240. #ifdef UTF16
  1241. /*
  1242.  * UTF-16 vectors
  1243.  */
  1245. struct utf16 utf16[] = {
  1246.   { 0x00010000, { 0xD800, 0xDC00 } },
  1247.   { 0x00010001, { 0xD800, 0xDC01 } },
  1248.   { 0x00010002, { 0xD800, 0xDC02 } },
  1249.   { 0x00010003, { 0xD800, 0xDC03 } },
  1250.   { 0x00010004, { 0xD800, 0xDC04 } },
  1251.   { 0x00010007, { 0xD800, 0xDC07 } },
  1252.   { 0x00010008, { 0xD800, 0xDC08 } },
  1253.   { 0x0001000F, { 0xD800, 0xDC0F } },
  1254.   { 0x00010010, { 0xD800, 0xDC10 } },
  1255.   { 0x0001001F, { 0xD800, 0xDC1F } },
  1256.   { 0x00010020, { 0xD800, 0xDC20 } },
  1257.   { 0x0001003F, { 0xD800, 0xDC3F } },
  1258.   { 0x00010040, { 0xD800, 0xDC40 } },
  1259.   { 0x0001007F, { 0xD800, 0xDC7F } },
  1260.   { 0x00010080, { 0xD800, 0xDC80 } },
  1261.   { 0x00010081, { 0xD800, 0xDC81 } },
  1262.   { 0x00010082, { 0xD800, 0xDC82 } },
  1263.   { 0x00010084, { 0xD800, 0xDC84 } },
  1264.   { 0x00010088, { 0xD800, 0xDC88 } },
  1265.   { 0x00010090, { 0xD800, 0xDC90 } },
  1266.   { 0x000100A0, { 0xD800, 0xDCA0 } },
  1267.   { 0x000100C0, { 0xD800, 0xDCC0 } },
  1268.   { 0x000100FF, { 0xD800, 0xDCFF } },
  1269.   { 0x00010100, { 0xD800, 0xDD00 } },
  1270.   { 0x00010101, { 0xD800, 0xDD01 } },
  1271.   { 0x00010102, { 0xD800, 0xDD02 } },
  1272.   { 0x00010104, { 0xD800, 0xDD04 } },
  1273.   { 0x00010108, { 0xD800, 0xDD08 } },
  1274.   { 0x00010110, { 0xD800, 0xDD10 } },
  1275.   { 0x00010120, { 0xD800, 0xDD20 } },
  1276.   { 0x00010140, { 0xD800, 0xDD40 } },
  1277.   { 0x00010180, { 0xD800, 0xDD80 } },
  1278.   { 0x000101FF, { 0xD800, 0xDDFF } },
  1279.   { 0x00010200, { 0xD800, 0xDE00 } },
  1280.   { 0x00010201, { 0xD800, 0xDE01 } },
  1281.   { 0x00010202, { 0xD800, 0xDE02 } },
  1282.   { 0x00010204, { 0xD800, 0xDE04 } },
  1283.   { 0x00010208, { 0xD800, 0xDE08 } },
  1284.   { 0x00010210, { 0xD800, 0xDE10 } },
  1285.   { 0x00010220, { 0xD800, 0xDE20 } },
  1286.   { 0x00010240, { 0xD800, 0xDE40 } },
  1287.   { 0x00010280, { 0xD800, 0xDE80 } },
  1288.   { 0x00010300, { 0xD800, 0xDF00 } },
  1289.   { 0x000103FF, { 0xD800, 0xDFFF } },
  1290.   { 0x00010400, { 0xD801, 0xDC00 } },
  1291.   { 0x00010401, { 0xD801, 0xDC01 } },
  1292.   { 0x00010402, { 0xD801, 0xDC02 } },
  1293.   { 0x00010404, { 0xD801, 0xDC04 } },
  1294.   { 0x00010408, { 0xD801, 0xDC08 } },
  1295.   { 0x00010410, { 0xD801, 0xDC10 } },
  1296.   { 0x00010420, { 0xD801, 0xDC20 } },
  1297.   { 0x00010440, { 0xD801, 0xDC40 } },
  1298.   { 0x00010480, { 0xD801, 0xDC80 } },
  1299.   { 0x00010500, { 0xD801, 0xDD00 } },
  1300.   { 0x00010600, { 0xD801, 0xDE00 } },
  1301.   { 0x000107FF, { 0xD801, 0xDFFF } },
  1302.   { 0x00010800, { 0xD802, 0xDC00 } },
  1303.   { 0x00010801, { 0xD802, 0xDC01 } },
  1304.   { 0x00010802, { 0xD802, 0xDC02 } },
  1305.   { 0x00010804, { 0xD802, 0xDC04 } },
  1306.   { 0x00010808, { 0xD802, 0xDC08 } },
  1307.   { 0x00010810, { 0xD802, 0xDC10 } },
  1308.   { 0x00010820, { 0xD802, 0xDC20 } },
  1309.   { 0x00010840, { 0xD802, 0xDC40 } },
  1310.   { 0x00010880, { 0xD802, 0xDC80 } },
  1311.   { 0x00010900, { 0xD802, 0xDD00 } },
  1312.   { 0x00010A00, { 0xD802, 0xDE00 } },
  1313.   { 0x00010C00, { 0xD803, 0xDC00 } },
  1314.   { 0x00010FFF, { 0xD803, 0xDFFF } },
  1315.   { 0x00011000, { 0xD804, 0xDC00 } },
  1316.   { 0x00011001, { 0xD804, 0xDC01 } },
  1317.   { 0x00011002, { 0xD804, 0xDC02 } },
  1318.   { 0x00011004, { 0xD804, 0xDC04 } },
  1319.   { 0x00011008, { 0xD804, 0xDC08 } },
  1320.   { 0x00011010, { 0xD804, 0xDC10 } },
  1321.   { 0x00011020, { 0xD804, 0xDC20 } },
  1322.   { 0x00011040, { 0xD804, 0xDC40 } },
  1323.   { 0x00011080, { 0xD804, 0xDC80 } },
  1324.   { 0x00011100, { 0xD804, 0xDD00 } },
  1325.   { 0x00011200, { 0xD804, 0xDE00 } },
  1326.   { 0x00011400, { 0xD805, 0xDC00 } },
  1327.   { 0x00011800, { 0xD806, 0xDC00 } },
  1328.   { 0x00011FFF, { 0xD807, 0xDFFF } },
  1329.   { 0x00012000, { 0xD808, 0xDC00 } },
  1330.   { 0x00012001, { 0xD808, 0xDC01 } },
  1331.   { 0x00012002, { 0xD808, 0xDC02 } },
  1332.   { 0x00012004, { 0xD808, 0xDC04 } },
  1333.   { 0x00012008, { 0xD808, 0xDC08 } },
  1334.   { 0x00012010, { 0xD808, 0xDC10 } },
  1335.   { 0x00012020, { 0xD808, 0xDC20 } },
  1336.   { 0x00012040, { 0xD808, 0xDC40 } },
  1337.   { 0x00012080, { 0xD808, 0xDC80 } },
  1338.   { 0x00012100, { 0xD808, 0xDD00 } },
  1339.   { 0x00012200, { 0xD808, 0xDE00 } },
  1340.   { 0x00012400, { 0xD809, 0xDC00 } },
  1341.   { 0x00012800, { 0xD80A, 0xDC00 } },
  1342.   { 0x00013000, { 0xD80C, 0xDC00 } },
  1343.   { 0x00013FFF, { 0xD80F, 0xDFFF } },
  1344.   { 0x00014000, { 0xD810, 0xDC00 } },
  1345.   { 0x00014001, { 0xD810, 0xDC01 } },
  1346.   { 0x00014002, { 0xD810, 0xDC02 } },
  1347.   { 0x00014004, { 0xD810, 0xDC04 } },
  1348.   { 0x00014008, { 0xD810, 0xDC08 } },
  1349.   { 0x00014010, { 0xD810, 0xDC10 } },
  1350.   { 0x00014020, { 0xD810, 0xDC20 } },
  1351.   { 0x00014040, { 0xD810, 0xDC40 } },
  1352.   { 0x00014080, { 0xD810, 0xDC80 } },
  1353.   { 0x00014100, { 0xD810, 0xDD00 } },
  1354.   { 0x00014200, { 0xD810, 0xDE00 } },
  1355.   { 0x00014400, { 0xD811, 0xDC00 } },
  1356.   { 0x00014800, { 0xD812, 0xDC00 } },
  1357.   { 0x00015000, { 0xD814, 0xDC00 } },
  1358.   { 0x00016000, { 0xD818, 0xDC00 } },
  1359.   { 0x00017FFF, { 0xD81F, 0xDFFF } },
  1360.   { 0x00018000, { 0xD820, 0xDC00 } },
  1361.   { 0x00018001, { 0xD820, 0xDC01 } },
  1362.   { 0x00018002, { 0xD820, 0xDC02 } },
  1363.   { 0x00018004, { 0xD820, 0xDC04 } },
  1364.   { 0x00018008, { 0xD820, 0xDC08 } },
  1365.   { 0x00018010, { 0xD820, 0xDC10 } },
  1366.   { 0x00018020, { 0xD820, 0xDC20 } },
  1367.   { 0x00018040, { 0xD820, 0xDC40 } },
  1368.   { 0x00018080, { 0xD820, 0xDC80 } },
  1369.   { 0x00018100, { 0xD820, 0xDD00 } },
  1370.   { 0x00018200, { 0xD820, 0xDE00 } },
  1371.   { 0x00018400, { 0xD821, 0xDC00 } },
  1372.   { 0x00018800, { 0xD822, 0xDC00 } },
  1373.   { 0x00019000, { 0xD824, 0xDC00 } },
  1374.   { 0x0001A000, { 0xD828, 0xDC00 } },
  1375.   { 0x0001C000, { 0xD830, 0xDC00 } },
  1376.   { 0x0001FFFF, { 0xD83F, 0xDFFF } },
  1377.   { 0x00020000, { 0xD840, 0xDC00 } },
  1378.   { 0x00020001, { 0xD840, 0xDC01 } },
  1379.   { 0x00020002, { 0xD840, 0xDC02 } },
  1380.   { 0x00020004, { 0xD840, 0xDC04 } },
  1381.   { 0x00020008, { 0xD840, 0xDC08 } },
  1382.   { 0x00020010, { 0xD840, 0xDC10 } },
  1383.   { 0x00020020, { 0xD840, 0xDC20 } },
  1384.   { 0x00020040, { 0xD840, 0xDC40 } },
  1385.   { 0x00020080, { 0xD840, 0xDC80 } },
  1386.   { 0x00020100, { 0xD840, 0xDD00 } },
  1387.   { 0x00020200, { 0xD840, 0xDE00 } },
  1388.   { 0x00020400, { 0xD841, 0xDC00 } },
  1389.   { 0x00020800, { 0xD842, 0xDC00 } },
  1390.   { 0x00021000, { 0xD844, 0xDC00 } },
  1391.   { 0x00022000, { 0xD848, 0xDC00 } },
  1392.   { 0x00024000, { 0xD850, 0xDC00 } },
  1393.   { 0x00028000, { 0xD860, 0xDC00 } },
  1394.   { 0x0002FFFF, { 0xD87F, 0xDFFF } },
  1395.   { 0x00030000, { 0xD880, 0xDC00 } },
  1396.   { 0x00030001, { 0xD880, 0xDC01 } },
  1397.   { 0x00030002, { 0xD880, 0xDC02 } },
  1398.   { 0x00030004, { 0xD880, 0xDC04 } },
  1399.   { 0x00030008, { 0xD880, 0xDC08 } },
  1400.   { 0x00030010, { 0xD880, 0xDC10 } },
  1401.   { 0x00030020, { 0xD880, 0xDC20 } },
  1402.   { 0x00030040, { 0xD880, 0xDC40 } },
  1403.   { 0x00030080, { 0xD880, 0xDC80 } },
  1404.   { 0x00030100, { 0xD880, 0xDD00 } },
  1405.   { 0x00030200, { 0xD880, 0xDE00 } },
  1406.   { 0x00030400, { 0xD881, 0xDC00 } },
  1407.   { 0x00030800, { 0xD882, 0xDC00 } },
  1408.   { 0x00031000, { 0xD884, 0xDC00 } },
  1409.   { 0x00032000, { 0xD888, 0xDC00 } },
  1410.   { 0x00034000, { 0xD890, 0xDC00 } },
  1411.   { 0x00038000, { 0xD8A0, 0xDC00 } },
  1412.   { 0x0003FFFF, { 0xD8BF, 0xDFFF } },
  1413.   { 0x00040000, { 0xD8C0, 0xDC00 } },
  1414.   { 0x00040001, { 0xD8C0, 0xDC01 } },
  1415.   { 0x00040002, { 0xD8C0, 0xDC02 } },
  1416.   { 0x00040004, { 0xD8C0, 0xDC04 } },
  1417.   { 0x00040008, { 0xD8C0, 0xDC08 } },
  1418.   { 0x00040010, { 0xD8C0, 0xDC10 } },
  1419.   { 0x00040020, { 0xD8C0, 0xDC20 } },
  1420.   { 0x00040040, { 0xD8C0, 0xDC40 } },
  1421.   { 0x00040080, { 0xD8C0, 0xDC80 } },
  1422.   { 0x00040100, { 0xD8C0, 0xDD00 } },
  1423.   { 0x00040200, { 0xD8C0, 0xDE00 } },
  1424.   { 0x00040400, { 0xD8C1, 0xDC00 } },
  1425.   { 0x00040800, { 0xD8C2, 0xDC00 } },
  1426.   { 0x00041000, { 0xD8C4, 0xDC00 } },
  1427.   { 0x00042000, { 0xD8C8, 0xDC00 } },
  1428.   { 0x00044000, { 0xD8D0, 0xDC00 } },
  1429.   { 0x00048000, { 0xD8E0, 0xDC00 } },
  1430.   { 0x0004FFFF, { 0xD8FF, 0xDFFF } },
  1431.   { 0x00050000, { 0xD900, 0xDC00 } },
  1432.   { 0x00050001, { 0xD900, 0xDC01 } },
  1433.   { 0x00050002, { 0xD900, 0xDC02 } },
  1434.   { 0x00050004, { 0xD900, 0xDC04 } },
  1435.   { 0x00050008, { 0xD900, 0xDC08 } },
  1436.   { 0x00050010, { 0xD900, 0xDC10 } },
  1437.   { 0x00050020, { 0xD900, 0xDC20 } },
  1438.   { 0x00050040, { 0xD900, 0xDC40 } },
  1439.   { 0x00050080, { 0xD900, 0xDC80 } },
  1440.   { 0x00050100, { 0xD900, 0xDD00 } },
  1441.   { 0x00050200, { 0xD900, 0xDE00 } },
  1442.   { 0x00050400, { 0xD901, 0xDC00 } },
  1443.   { 0x00050800, { 0xD902, 0xDC00 } },
  1444.   { 0x00051000, { 0xD904, 0xDC00 } },
  1445.   { 0x00052000, { 0xD908, 0xDC00 } },
  1446.   { 0x00054000, { 0xD910, 0xDC00 } },
  1447.   { 0x00058000, { 0xD920, 0xDC00 } },
  1448.   { 0x00060000, { 0xD940, 0xDC00 } },
  1449.   { 0x00070000, { 0xD980, 0xDC00 } },
  1450.   { 0x0007FFFF, { 0xD9BF, 0xDFFF } },
  1451.   { 0x00080000, { 0xD9C0, 0xDC00 } },
  1452.   { 0x00080001, { 0xD9C0, 0xDC01 } },
  1453.   { 0x00080002, { 0xD9C0, 0xDC02 } },
  1454.   { 0x00080004, { 0xD9C0, 0xDC04 } },
  1455.   { 0x00080008, { 0xD9C0, 0xDC08 } },
  1456.   { 0x00080010, { 0xD9C0, 0xDC10 } },
  1457.   { 0x00080020, { 0xD9C0, 0xDC20 } },
  1458.   { 0x00080040, { 0xD9C0, 0xDC40 } },
  1459.   { 0x00080080, { 0xD9C0, 0xDC80 } },
  1460.   { 0x00080100, { 0xD9C0, 0xDD00 } },
  1461.   { 0x00080200, { 0xD9C0, 0xDE00 } },
  1462.   { 0x00080400, { 0xD9C1, 0xDC00 } },
  1463.   { 0x00080800, { 0xD9C2, 0xDC00 } },
  1464.   { 0x00081000, { 0xD9C4, 0xDC00 } },
  1465.   { 0x00082000, { 0xD9C8, 0xDC00 } },
  1466.   { 0x00084000, { 0xD9D0, 0xDC00 } },
  1467.   { 0x00088000, { 0xD9E0, 0xDC00 } },
  1468.   { 0x0008FFFF, { 0xD9FF, 0xDFFF } },
  1469.   { 0x00090000, { 0xDA00, 0xDC00 } },
  1470.   { 0x00090001, { 0xDA00, 0xDC01 } },
  1471.   { 0x00090002, { 0xDA00, 0xDC02 } },
  1472.   { 0x00090004, { 0xDA00, 0xDC04 } },
  1473.   { 0x00090008, { 0xDA00, 0xDC08 } },
  1474.   { 0x00090010, { 0xDA00, 0xDC10 } },
  1475.   { 0x00090020, { 0xDA00, 0xDC20 } },
  1476.   { 0x00090040, { 0xDA00, 0xDC40 } },
  1477.   { 0x00090080, { 0xDA00, 0xDC80 } },
  1478.   { 0x00090100, { 0xDA00, 0xDD00 } },
  1479.   { 0x00090200, { 0xDA00, 0xDE00 } },
  1480.   { 0x00090400, { 0xDA01, 0xDC00 } },
  1481.   { 0x00090800, { 0xDA02, 0xDC00 } },
  1482.   { 0x00091000, { 0xDA04, 0xDC00 } },
  1483.   { 0x00092000, { 0xDA08, 0xDC00 } },
  1484.   { 0x00094000, { 0xDA10, 0xDC00 } },
  1485.   { 0x00098000, { 0xDA20, 0xDC00 } },
  1486.   { 0x000A0000, { 0xDA40, 0xDC00 } },
  1487.   { 0x000B0000, { 0xDA80, 0xDC00 } },
  1488.   { 0x000C0000, { 0xDAC0, 0xDC00 } },
  1489.   { 0x000D0000, { 0xDB00, 0xDC00 } },
  1490.   { 0x000FFFFF, { 0xDBBF, 0xDFFF } },
  1491.   { 0x0010FFFF, { 0xDBFF, 0xDFFF } }
  1493. };
  1494. #endif /* UTF16 */
  1496. static void
  1497. dump_utf8
  1498. (
  1499.   char *word,
  1500.   unsigned char *utf8,
  1501.   char *end
  1502. )
  1503. {
  1504.   fprintf(stdout, "%s ", word);
  1505.   for( ; *utf8; utf8++ ) {
  1506.     fprintf(stdout, "%02.2x ", (unsigned int)*utf8);
  1507.   }
  1508.   fprintf(stdout, "%s", end);
  1509. }
  1511. static PRBool
  1512. test_ucs4_chars
  1513. (
  1514.   void
  1515. )
  1516. {
  1517.   PRBool rv = PR_TRUE;
  1518.   int i;
  1520.   for( i = 0; i < sizeof(ucs4)/sizeof(ucs4[0]); i++ ) {
  1521.     struct ucs4 *e = &ucs4[i];
  1522.     PRBool result;
  1523.     unsigned char utf8[8];
  1524.     unsigned int len = 0;
  1525.     PRUint32 back = 0;
  1527.     (void)memset(utf8, 0, sizeof(utf8));
  1528.     
  1529.     result = sec_port_ucs4_utf8_conversion_function(PR_FALSE, 
  1530.       (unsigned char *)&e->c, sizeof(e->c), utf8, sizeof(utf8), &len);
  1532.     if( !result ) {
  1533.       fprintf(stdout, "Failed to convert UCS-4 0x%08.8x to UTF-8n", e->c);
  1534.       rv = PR_FALSE;
  1535.       continue;
  1536.     }
  1538.     if( (len >= sizeof(utf8)) ||
  1539.         (strlen(e->utf8) != len) ||
  1540.         (utf8[len] = '', 0 != strcmp(e->utf8, utf8)) ) {
  1541.       fprintf(stdout, "Wrong conversion of UCS-4 0x%08.8x to UTF-8: ", e->c);
  1542.       dump_utf8("expected", e->utf8, ", ");
  1543.       dump_utf8("received", utf8, "n");
  1544.       rv = PR_FALSE;
  1545.       continue;
  1546.     }
  1548.     result = sec_port_ucs4_utf8_conversion_function(PR_TRUE,
  1549.       utf8, len, (unsigned char *)&back, sizeof(back), &len);
  1551.     if( !result ) {
  1552.       dump_utf8("Failed to convert UTF-8", utf8, "to UCS-4n");
  1553.       rv = PR_FALSE;
  1554.       continue;
  1555.     }
  1557.     if( (sizeof(back) != len) || (e->c != back) ) {
  1558.       dump_utf8("Wrong conversion of UTF-8", utf8, " to UCS-4:");
  1559.       fprintf(stdout, "expected 0x%08.8x, received 0x%08.8xn", e->c, back);
  1560.       rv = PR_FALSE;
  1561.       continue;
  1562.     }
  1563.   }
  1565.   return rv;
  1566. }
  1568. static PRBool
  1569. test_ucs2_chars
  1570. (
  1571.   void
  1572. )
  1573. {
  1574.   PRBool rv = PR_TRUE;
  1575.   int i;
  1577.   for( i = 0; i < sizeof(ucs2)/sizeof(ucs2[0]); i++ ) {
  1578.     struct ucs2 *e = &ucs2[i];
  1579.     PRBool result;
  1580.     unsigned char utf8[8];
  1581.     unsigned int len = 0;
  1582.     PRUint16 back = 0;
  1584.     (void)memset(utf8, 0, sizeof(utf8));
  1585.     
  1586.     result = sec_port_ucs2_utf8_conversion_function(PR_FALSE,
  1587.       (unsigned char *)&e->c, sizeof(e->c), utf8, sizeof(utf8), &len);
  1589.     if( !result ) {
  1590.       fprintf(stdout, "Failed to convert UCS-2 0x%04.4x to UTF-8n", e->c);
  1591.       rv = PR_FALSE;
  1592.       continue;
  1593.     }
  1595.     if( (len >= sizeof(utf8)) ||
  1596.         (strlen(e->utf8) != len) ||
  1597.         (utf8[len] = '', 0 != strcmp(e->utf8, utf8)) ) {
  1598.       fprintf(stdout, "Wrong conversion of UCS-2 0x%04.4x to UTF-8: ", e->c);
  1599.       dump_utf8("expected", e->utf8, ", ");
  1600.       dump_utf8("received", utf8, "n");
  1601.       rv = PR_FALSE;
  1602.       continue;
  1603.     }
  1605.     result = sec_port_ucs2_utf8_conversion_function(PR_TRUE,
  1606.       utf8, len, (unsigned char *)&back, sizeof(back), &len);
  1608.     if( !result ) {
  1609.       dump_utf8("Failed to convert UTF-8", utf8, "to UCS-2n");
  1610.       rv = PR_FALSE;
  1611.       continue;
  1612.     }
  1614.     if( (sizeof(back) != len) || (e->c != back) ) {
  1615.       dump_utf8("Wrong conversion of UTF-8", utf8, "to UCS-2:");
  1616.       fprintf(stdout, "expected 0x%08.8x, received 0x%08.8xn", e->c, back);
  1617.       rv = PR_FALSE;
  1618.       continue;
  1619.     }
  1620.   }
  1622.   return rv;
  1623. }
  1625. #ifdef UTF16
  1626. static PRBool
  1627. test_utf16_chars
  1628. (
  1629.   void
  1630. )
  1631. {
  1632.   PRBool rv = PR_TRUE;
  1633.   int i;
  1635.   for( i = 0; i < sizeof(utf16)/sizeof(utf16[0]); i++ ) {
  1636.     struct utf16 *e = &utf16[i];
  1637.     PRBool result;
  1638.     unsigned char utf8[8];
  1639.     unsigned int len = 0;
  1640.     PRUint32 back32 = 0;
  1641.     PRUint16 back[2];
  1643.     (void)memset(utf8, 0, sizeof(utf8));
  1644.     
  1645.     result = sec_port_ucs2_utf8_conversion_function(PR_FALSE, 
  1646.       (unsigned char *)&e->w[0], sizeof(e->w), utf8, sizeof(utf8), &len);
  1648.     if( !result ) {
  1649.       fprintf(stdout, "Failed to convert UTF-16 0x%04.4x 0x%04.4x to UTF-8n", 
  1650.               e->w[0], e->w[1]);
  1651.       rv = PR_FALSE;
  1652.       continue;
  1653.     }
  1655.     result = sec_port_ucs4_utf8_conversion_function(PR_TRUE,
  1656.       utf8, len, (unsigned char *)&back32, sizeof(back32), &len);
  1658.     if( 4 != len ) {
  1659.       fprintf(stdout, "Failed to convert UTF-16 0x%04.4x 0x%04.4x to UTF-8: "
  1660.               "unexpected len %dn", e->w[0], e->w[1], len);
  1661.       rv = PR_FALSE;
  1662.       continue;
  1663.     }
  1665.     utf8[len] = ''; /* null-terminate for printing */
  1667.     if( !result ) {
  1668.       dump_utf8("Failed to convert UTF-8", utf8, "to UCS-4 (utf-16 test)n");
  1669.       rv = PR_FALSE;
  1670.       continue;
  1671.     }
  1673.     if( (sizeof(back32) != len) || (e->c != back32) ) {
  1674.       fprintf(stdout, "Wrong conversion of UTF-16 0x%04.4x 0x%04.4x ", 
  1675.               e->w[0], e->w[1]);
  1676.       dump_utf8("to UTF-8", utf8, "and then to UCS-4: ");
  1677.       if( sizeof(back32) != len ) {
  1678.         fprintf(stdout, "len is %dn", len);
  1679.       } else {
  1680.         fprintf(stdout, "expected 0x%08.8x, received 0x%08.8xn", e->c, back32);
  1681.       }
  1682.       rv = PR_FALSE;
  1683.       continue;
  1684.     }
  1686.     (void)memset(utf8, 0, sizeof(utf8));
  1687.     back[0] = back[1] = 0;
  1689.     result = sec_port_ucs4_utf8_conversion_function(PR_FALSE,
  1690.       (unsigned char *)&e->c, sizeof(e->c), utf8, sizeof(utf8), &len);
  1692.     if( !result ) {
  1693.       fprintf(stdout, "Failed to convert UCS-4 0x%08.8x to UTF-8 (utf-16 test)n",
  1694.               e->c);
  1695.       rv = PR_FALSE;
  1696.       continue;
  1697.     }
  1699.     result = sec_port_ucs2_utf8_conversion_function(PR_TRUE,
  1700.       utf8, len, (unsigned char *)&back[0], sizeof(back), &len);
  1702.     if( 4 != len ) {
  1703.       fprintf(stdout, "Failed to convert UCS-4 0x%08.8x to UTF-8: "
  1704.               "unexpected len %dn", e->c, len);
  1705.       rv = PR_FALSE;
  1706.       continue;
  1707.     }
  1709.     utf8[len] = ''; /* null-terminate for printing */
  1711.     if( !result ) {
  1712.       dump_utf8("Failed to convert UTF-8", utf8, "to UTF-16n");
  1713.       rv = PR_FALSE;
  1714.       continue;
  1715.     }
  1717.     if( (sizeof(back) != len) || (e->w[0] != back[0]) || (e->w[1] != back[1]) ) {
  1718.       fprintf(stdout, "Wrong conversion of UCS-4 0x%08.8x to UTF-8", e->c);
  1719.       dump_utf8("", utf8, "and then to UTF-16:");
  1720.       if( sizeof(back) != len ) {
  1721.         fprintf(stdout, "len is %dn", len);
  1722.       } else {
  1723.         fprintf(stdout, "expected 0x%04.4x 0x%04.4x, received 0x%04.4x 0x%04.4xxn",
  1724.                 e->w[0], e->w[1], back[0], back[1]);
  1725.       }
  1726.       rv = PR_FALSE;
  1727.       continue;
  1728.     }
  1729.   }
  1731.   return rv;
  1732. }
  1733. #endif /* UTF16 */
  1735. static PRBool
  1736. test_zeroes
  1737. (
  1738.   void
  1739. )
  1740. {
  1741.   PRBool rv = PR_TRUE;
  1742.   PRBool result;
  1743.   PRUint32 lzero = 0;
  1744.   PRUint16 szero = 0;
  1745.   unsigned char utf8[8];
  1746.   unsigned int len = 0;
  1747.   PRUint32 lback = 1;
  1748.   PRUint16 sback = 1;
  1750.   (void)memset(utf8, 1, sizeof(utf8));
  1752.   result = sec_port_ucs4_utf8_conversion_function(PR_FALSE, 
  1753.     (unsigned char *)&lzero, sizeof(lzero), utf8, sizeof(utf8), &len);
  1755.   if( !result ) {
  1756.     fprintf(stdout, "Failed to convert UCS-4 0x00000000 to UTF-8n");
  1757.     rv = PR_FALSE;
  1758.   } else if( 1 != len ) {
  1759.     fprintf(stdout, "Wrong conversion of UCS-4 0x00000000: len = %dn", len);
  1760.     rv = PR_FALSE;
  1761.   } else if( '' != *utf8 ) {
  1762.     fprintf(stdout, "Wrong conversion of UCS-4 0x00000000: expected 00 ,"
  1763.             "received %02.2xn", (unsigned int)*utf8);
  1764.     rv = PR_FALSE;
  1765.   }
  1767.   result = sec_port_ucs4_utf8_conversion_function(PR_TRUE,
  1768.     "", 1, (unsigned char *)&lback, sizeof(lback), &len);
  1770.   if( !result ) {
  1771.     fprintf(stdout, "Failed to convert UTF-8 00 to UCS-4n");
  1772.     rv = PR_FALSE;
  1773.   } else if( 4 != len ) {
  1774.     fprintf(stdout, "Wrong conversion of UTF-8 00 to UCS-4: len = %dn", len);
  1775.     rv = PR_FALSE;
  1776.   } else if( 0 != lback ) {
  1777.     fprintf(stdout, "Wrong conversion of UTF-8 00 to UCS-4: "
  1778.             "expected 0x00000000, received 0x%08.8xn", lback);
  1779.     rv = PR_FALSE;
  1780.   }
  1782.   (void)memset(utf8, 1, sizeof(utf8));
  1784.   result = sec_port_ucs2_utf8_conversion_function(PR_FALSE, 
  1785.     (unsigned char *)&szero, sizeof(szero), utf8, sizeof(utf8), &len);
  1787.   if( !result ) {
  1788.     fprintf(stdout, "Failed to convert UCS-2 0x0000 to UTF-8n");
  1789.     rv = PR_FALSE;
  1790.   } else if( 1 != len ) {
  1791.     fprintf(stdout, "Wrong conversion of UCS-2 0x0000: len = %dn", len);
  1792.     rv = PR_FALSE;
  1793.   } else if( '' != *utf8 ) {
  1794.     fprintf(stdout, "Wrong conversion of UCS-2 0x0000: expected 00 ,"
  1795.             "received %02.2xn", (unsigned int)*utf8);
  1796.     rv = PR_FALSE;
  1797.   }
  1799.   result = sec_port_ucs2_utf8_conversion_function(PR_TRUE,
  1800.     "", 1, (unsigned char *)&sback, sizeof(sback), &len);
  1802.   if( !result ) {
  1803.     fprintf(stdout, "Failed to convert UTF-8 00 to UCS-2n");
  1804.     rv = PR_FALSE;
  1805.   } else if( 2 != len ) {
  1806.     fprintf(stdout, "Wrong conversion of UTF-8 00 to UCS-2: len = %dn", len);
  1807.     rv = PR_FALSE;
  1808.   } else if( 0 != sback ) {
  1809.     fprintf(stdout, "Wrong conversion of UTF-8 00 to UCS-2: "
  1810.             "expected 0x0000, received 0x%04.4xn", sback);
  1811.     rv = PR_FALSE;
  1812.   }
  1814.   return rv;
  1815. }
  1817. static PRBool
  1818. test_multichars
  1819. (
  1820.   void
  1821. )
  1822. {
  1823.   int i;
  1824.   unsigned int len, lenout;
  1825.   PRUint32 *ucs4s;
  1826.   char *ucs4_utf8;
  1827.   PRUint16 *ucs2s;
  1828.   char *ucs2_utf8;
  1829.   void *tmp;
  1830.   PRBool result;
  1832.   ucs4s = (PRUint32 *)calloc(sizeof(ucs4)/sizeof(ucs4[0]), sizeof(PRUint32));
  1833.   ucs2s = (PRUint16 *)calloc(sizeof(ucs2)/sizeof(ucs2[0]), sizeof(PRUint16));
  1835.   if( ((PRUint32 *)NULL == ucs4s) || ((PRUint16 *)NULL == ucs2s) ) {
  1836.     fprintf(stderr, "out of memoryn");
  1837.     exit(1);
  1838.   }
  1840.   len = 0;
  1841.   for( i = 0; i < sizeof(ucs4)/sizeof(ucs4[0]); i++ ) {
  1842.     ucs4s[i] = ucs4[i].c;
  1843.     len += strlen(ucs4[i].utf8);
  1844.   }
  1846.   ucs4_utf8 = (char *)malloc(len);
  1848.   len = 0;
  1849.   for( i = 0; i < sizeof(ucs2)/sizeof(ucs2[0]); i++ ) {
  1850.     ucs2s[i] = ucs2[i].c;
  1851.     len += strlen(ucs2[i].utf8);
  1852.   }
  1854.   ucs2_utf8 = (char *)malloc(len);
  1856.   if( ((char *)NULL == ucs4_utf8) || ((char *)NULL == ucs2_utf8) ) {
  1857.     fprintf(stderr, "out of memoryn");
  1858.     exit(1);
  1859.   }
  1861.   *ucs4_utf8 = '';
  1862.   for( i = 0; i < sizeof(ucs4)/sizeof(ucs4[0]); i++ ) {
  1863.     strcat(ucs4_utf8, ucs4[i].utf8);
  1864.   }
  1866.   *ucs2_utf8 = '';
  1867.   for( i = 0; i < sizeof(ucs2)/sizeof(ucs2[0]); i++ ) {
  1868.     strcat(ucs2_utf8, ucs2[i].utf8);
  1869.   }
  1871.   /* UTF-8 -> UCS-4 */
  1872.   len = sizeof(ucs4)/sizeof(ucs4[0]) * sizeof(PRUint32);
  1873.   tmp = calloc(len, 1);
  1874.   if( (void *)NULL == tmp ) {
  1875.     fprintf(stderr, "out of memoryn");
  1876.     exit(1);
  1877.   }
  1879.   result = sec_port_ucs4_utf8_conversion_function(PR_TRUE,
  1880.     ucs4_utf8, strlen(ucs4_utf8), tmp, len, &lenout);
  1881.   if( !result ) {
  1882.     fprintf(stdout, "Failed to convert much UTF-8 to UCS-4n");
  1883.     goto done;
  1884.   }
  1886.   if( lenout != len ) {
  1887.     fprintf(stdout, "Unexpected length converting much UTF-8 to UCS-4n");
  1888.     goto loser;
  1889.   }
  1891.   if( 0 != memcmp(ucs4s, tmp, len) ) {
  1892.     fprintf(stdout, "Wrong conversion of much UTF-8 to UCS-4n");
  1893.     goto loser;
  1894.   }
  1896.   free(tmp); tmp = (void *)NULL;
  1898.   /* UCS-4 -> UTF-8 */
  1899.   len = strlen(ucs4_utf8);
  1900.   tmp = calloc(len, 1);
  1901.   if( (void *)NULL == tmp ) {
  1902.     fprintf(stderr, "out of memoryn");
  1903.     exit(1);
  1904.   }
  1906.   result = sec_port_ucs4_utf8_conversion_function(PR_FALSE,
  1907.     (unsigned char *)ucs4s, sizeof(ucs4)/sizeof(ucs4[0]) * sizeof(PRUint32), 
  1908.     tmp, len, &lenout);
  1909.   if( !result ) {
  1910.     fprintf(stdout, "Failed to convert much UCS-4 to UTF-8n");
  1911.     goto done;
  1912.   }
  1914.   if( lenout != len ) {
  1915.     fprintf(stdout, "Unexpected length converting much UCS-4 to UTF-8n");
  1916.     goto loser;
  1917.   }
  1919.   if( 0 != strncmp(ucs4_utf8, tmp, len) ) {
  1920.     fprintf(stdout, "Wrong conversion of much UCS-4 to UTF-8n");
  1921.     goto loser;
  1922.   }
  1924.   free(tmp); tmp = (void *)NULL;
  1926.   /* UTF-8 -> UCS-2 */
  1927.   len = sizeof(ucs2)/sizeof(ucs2[0]) * sizeof(PRUint16);
  1928.   tmp = calloc(len, 1);
  1929.   if( (void *)NULL == tmp ) {
  1930.     fprintf(stderr, "out of memoryn");
  1931.     exit(1);
  1932.   }
  1934.   result = sec_port_ucs2_utf8_conversion_function(PR_TRUE,
  1935.     ucs2_utf8, strlen(ucs2_utf8), tmp, len, &lenout);
  1936.   if( !result ) {
  1937.     fprintf(stdout, "Failed to convert much UTF-8 to UCS-2n");
  1938.     goto done;
  1939.   }
  1941.   if( lenout != len ) {
  1942.     fprintf(stdout, "Unexpected length converting much UTF-8 to UCS-2n");
  1943.     goto loser;
  1944.   }
  1946.   if( 0 != memcmp(ucs2s, tmp, len) ) {
  1947.     fprintf(stdout, "Wrong conversion of much UTF-8 to UCS-2n");
  1948.     goto loser;
  1949.   }
  1951.   free(tmp); tmp = (void *)NULL;
  1953.   /* UCS-2 -> UTF-8 */
  1954.   len = strlen(ucs2_utf8);
  1955.   tmp = calloc(len, 1);
  1956.   if( (void *)NULL == tmp ) {
  1957.     fprintf(stderr, "out of memoryn");
  1958.     exit(1);
  1959.   }
  1961.   result = sec_port_ucs2_utf8_conversion_function(PR_FALSE,
  1962.     (unsigned char *)ucs2s, sizeof(ucs2)/sizeof(ucs2[0]) * sizeof(PRUint16), 
  1963.     tmp, len, &lenout);
  1964.   if( !result ) {
  1965.     fprintf(stdout, "Failed to convert much UCS-2 to UTF-8n");
  1966.     goto done;
  1967.   }
  1969.   if( lenout != len ) {
  1970.     fprintf(stdout, "Unexpected length converting much UCS-2 to UTF-8n");
  1971.     goto loser;
  1972.   }
  1974.   if( 0 != strncmp(ucs2_utf8, tmp, len) ) {
  1975.     fprintf(stdout, "Wrong conversion of much UCS-2 to UTF-8n");
  1976.     goto loser;
  1977.   }
  1979. #ifdef UTF16
  1980.   /* implement me */
  1981. #endif /* UTF16 */
  1983.   result = PR_TRUE;
  1984.   goto done;
  1986.  loser:
  1987.   result = PR_FALSE;
  1988.  done:
  1989.   free(ucs4s);
  1990.   free(ucs4_utf8);
  1991.   free(ucs2s);
  1992.   free(ucs2_utf8);
  1993.   if( (void *)NULL != tmp ) free(tmp);
  1994.   return result;
  1995. }
  1997. void
  1998. byte_order
  1999. (
  2000.   void
  2001. )
  2002. {
  2003.   /*
  2004.    * The implementation (now) expects the 16- and 32-bit characters
  2005.    * to be in network byte order, not host byte order.  Therefore I
  2006.    * have to byteswap all those test vectors above.  hton[ls] may be
  2007.    * functions, so I have to do this dynamically.  If you want to 
  2008.    * use this code to do host byte order conversions, just remove
  2009.    * the call in main() to this function.
  2010.    */
  2012.   int i;
  2014.   for( i = 0; i < sizeof(ucs4)/sizeof(ucs4[0]); i++ ) {
  2015.     struct ucs4 *e = &ucs4[i];
  2016.     e->c = htonl(e->c);
  2017.   }
  2019.   for( i = 0; i < sizeof(ucs2)/sizeof(ucs2[0]); i++ ) {
  2020.     struct ucs2 *e = &ucs2[i];
  2021.     e->c = htons(e->c);
  2022.   }
  2024. #ifdef UTF16
  2025.   for( i = 0; i < sizeof(utf16)/sizeof(utf16[0]); i++ ) {
  2026.     struct utf16 *e = &utf16[i];
  2027.     e->c = htonl(e->c);
  2028.     e->w[0] = htons(e->w[0]);
  2029.     e->w[1] = htons(e->w[1]);
  2030.   }
  2031. #endif /* UTF16 */
  2033.   return;
  2034. }
  2036. int
  2037. main
  2038. (
  2039.   int argc,
  2040.   char *argv[]
  2041. )
  2042. {
  2043.   byte_order();
  2045.   if( test_ucs4_chars() &&
  2046.       test_ucs2_chars() &&
  2047. #ifdef UTF16
  2048.       test_utf16_chars() &&
  2049. #endif /* UTF16 */
  2050.       test_zeroes() &&
  2051.       test_multichars() &&
  2052.       PR_TRUE ) {
  2053.     fprintf(stderr, "PASSn");
  2054.     return 1;
  2055.   } else {
  2056.     fprintf(stderr, "FAILn");
  2057.     return 0;
  2058.   }
  2059. }
  2061. #endif /* TEST_UTF8 */