hlxosstr.cpp
上传用户:zhongxx05
上传日期:2007-06-06
资源大小:33641k
文件大小:11k
源码类别:

Symbian

开发平台:

C/C++

  1. /* ***** BEGIN LICENSE BLOCK ***** 
  2.  * Version: RCSL 1.0/RPSL 1.0 
  3.  *  
  4.  * Portions Copyright (c) 1995-2002 RealNetworks, Inc. All Rights Reserved. 
  5.  *      
  6.  * The contents of this file, and the files included with this file, are 
  7.  * subject to the current version of the RealNetworks Public Source License 
  8.  * Version 1.0 (the "RPSL") available at 
  9.  * http://www.helixcommunity.org/content/rpsl unless you have licensed 
  10.  * the file under the RealNetworks Community Source License Version 1.0 
  11.  * (the "RCSL") available at http://www.helixcommunity.org/content/rcsl, 
  12.  * in which case the RCSL will apply. You may also obtain the license terms 
  13.  * directly from RealNetworks.  You may not use this file except in 
  14.  * compliance with the RPSL or, if you have a valid RCSL with RealNetworks 
  15.  * applicable to this file, the RCSL.  Please see the applicable RPSL or 
  16.  * RCSL for the rights, obligations and limitations governing use of the 
  17.  * contents of the file.  
  18.  *  
  19.  * This file is part of the Helix DNA Technology. RealNetworks is the 
  20.  * developer of the Original Code and owns the copyrights in the portions 
  21.  * it created. 
  22.  *  
  23.  * This file, and the files included with this file, is distributed and made 
  24.  * available on an 'AS IS' basis, WITHOUT WARRANTY OF ANY KIND, EITHER 
  25.  * EXPRESS OR IMPLIED, AND REALNETWORKS HEREBY DISCLAIMS ALL SUCH WARRANTIES, 
  26.  * INCLUDING WITHOUT LIMITATION, ANY WARRANTIES OF MERCHANTABILITY, FITNESS 
  27.  * FOR A PARTICULAR PURPOSE, QUIET ENJOYMENT OR NON-INFRINGEMENT. 
  28.  * 
  29.  * Technology Compatibility Kit Test Suite(s) Location: 
  30.  *    http://www.helixcommunity.org/content/tck 
  31.  * 
  32.  * Contributor(s): 
  33.  *  
  34.  * ***** END LICENSE BLOCK ***** */ 
  35. #include "hlxosstr.h"
  36. #include "hlxclib/windows.h"
  37. #include "hlxclib/assert.h"
  38. #include "hlxclib/string.h"
  39. #ifndef _WINDOWS
  40. #define CP_UTF8 65001
  41. #if defined(_FREEBSD) || defined(_OPENBSD) || defined(_NETBSD) || 
  42.     (defined(_MACINTOSH) && defined(_MAC_MACHO)) || defined(_MAC_UNIX) || 
  43.     defined(_OPENWAVE_ARMULATOR)
  44. int wcslen(const wchar_t* pStr)
  45. {
  46.     assert(!"wcslen() Not Implementedn");
  47.     return 0;
  48. }
  49. #elif defined(_SYMBIAN) || defined(_OPENWAVE_SIMULATOR)
  50. // We already got wcslen in string.h
  51. #else
  52. #include <wchar.h> //for wcslen()
  53. #endif
  54. // Declare static tables needed by the UTF8 <-> Unicode functions
  55. static const unsigned char z_byteZeroMask[] = {
  56.     0x1F, 0x0F, 0x07, 0x03, 0x01};
  57. static const unsigned int z_UTF8Bounds[] = {
  58.     0, 0x80, 0x800, 0x10000, 0x200000, 0x4000000, 0x80000000};
  59. static int UTF8toUnicode(const char* pIn, 
  60.  int inSize,
  61.  unsigned int& out)
  62. {
  63.     int ret = 0;
  64.     
  65.     if (inSize > 0)
  66.     {
  67. if (pIn[0] & 0x80)
  68. {
  69.     unsigned int value = pIn[0] << 1;
  70.     int byteCount = 1;
  71.     // Count the number of bytes
  72.     while (value & 0x80)
  73.     {
  74. byteCount++;
  75. value <<= 1;
  76.     }
  77.     // Make sure the byte count is within expected values and
  78.     // that there are enough bytes in the input to contain
  79.     // the encoding of this character
  80.     if ((byteCount > 1) && 
  81. (byteCount < 7) && 
  82. (inSize >= byteCount))
  83.     {
  84. bool failed = false;
  85. value = pIn[0] & z_byteZeroMask[byteCount - 2];
  86.     
  87. for (int i = 1; i < byteCount; i++)
  88. {
  89.     if ((pIn[i] & 0xC0) == 0x80)
  90.     {
  91. value <<= 6;
  92. value |= pIn[i] & 0x3F;
  93.     }
  94.     else
  95.     {
  96. failed = true;
  97. break;
  98.     }
  99. }
  100.     
  101. // Make sure we have not failed yet and make sure
  102. // the value decoded is within the proper bounds for
  103. // that encoding method
  104. if ((!failed) &&
  105.     (value >= z_UTF8Bounds[byteCount-1]) &&
  106.     (value < z_UTF8Bounds[byteCount]))
  107. {
  108.     ret = byteCount;
  109.     out = value;
  110. }
  111.     }
  112. }
  113. else
  114. {
  115.     // single byte
  116.     out = pIn[0];
  117.     ret = 1;
  118. }
  119.     }
  120.     return ret;
  121. }
  122. static int UnicodeToUTF8(unsigned int in, 
  123.  char* pOut, 
  124.  int outSize)
  125. {
  126.     int bytesWritten = 0;
  127.     unsigned int i = 0;
  128.     int bytesNeeded = -1;
  129.     unsigned char ch;
  130.     while (i < (sizeof(z_UTF8Bounds) / sizeof(unsigned int)))
  131.     {
  132. if (in < z_UTF8Bounds[i])
  133. {
  134.     bytesNeeded = i;
  135.     break;
  136. }
  137. i++;
  138.     }
  139.     if (bytesNeeded == 1)
  140.     {
  141. ch = in & 0xff;
  142. if (outSize > bytesWritten)
  143. {
  144.     pOut[bytesWritten] = ch;
  145. }
  146. bytesWritten++;
  147.     }
  148.     else if (bytesNeeded > 1)
  149.     {
  150. ch = ((0xff << (8 - bytesNeeded)) | 
  151.       ((in >> ((bytesNeeded - 1) * 6) ) & 
  152.        z_byteZeroMask[bytesNeeded - 2]));
  153. if (outSize > bytesWritten)
  154. {
  155.     pOut[bytesWritten] = ch;
  156. }
  157. bytesWritten++;
  158. for (int j = bytesNeeded - 2; j >= 0; j--)
  159. {
  160.     ch = 0x80 | ((in >> (j * 6)) & 0x3F);
  161.     if (outSize > bytesWritten)
  162.     {
  163. pOut[bytesWritten] = ch;
  164.     }
  165.     bytesWritten++;
  166. }
  167.     }
  168.     else
  169.     {
  170. bytesWritten = 0;
  171.     }
  172.     return bytesWritten;
  173. }
  174. static int ConvertUTF8ToUnicode(const char* pInBuf, 
  175. int iInSize,
  176. wchar_t* pOutWideBuf,
  177. int iOutSize)
  178. {
  179.     int used_from_input_this_round;
  180.     int used_from_output = 0;
  181.     unsigned int unicode = 0;
  182.     bool failed = false;
  183.     if (iInSize < 0)
  184.     {
  185. iInSize = strlen(pInBuf);
  186.     }
  187.     while (iInSize > 0)
  188.     {
  189. used_from_input_this_round = 
  190.     UTF8toUnicode(pInBuf, iInSize, unicode);
  191. if (used_from_input_this_round)
  192. {
  193.     pInBuf += used_from_input_this_round;
  194.     iInSize -= used_from_input_this_round;
  195.     if (used_from_output < iOutSize)
  196.     {
  197. pOutWideBuf[used_from_output] = unicode;
  198.     }
  199.     used_from_output++;
  200. }
  201. else
  202. {
  203.     failed = true;
  204.     break;
  205. }
  206.     }
  207.     // Always make sure the output is null terminated
  208.     if (unicode != 0)
  209.     {
  210. unicode = 0;
  211. if (used_from_output < iOutSize)
  212. {
  213.     pOutWideBuf[used_from_output] = unicode;
  214. }
  215. used_from_output++;
  216.     }
  217.     
  218.     if ((failed || (used_from_output > iOutSize)) && (iOutSize != 0))
  219.     {
  220. used_from_output = 0;
  221.     }
  222.     return used_from_output;
  223. }
  224. static int ConvertUnicodeToUTF8(const wchar_t* pInWideBuf,
  225. int iInSize,
  226. char* pOutBuf, 
  227. int iOutSize)
  228. {
  229.     int used_from_output_this_round;
  230.     int used_from_output = 0;
  231.     unsigned int unicode = 0;
  232.     bool failed = false;
  233.     if (iInSize < 0)
  234.     {
  235. iInSize = wcslen(pInWideBuf);
  236.     }
  237.     while (iInSize > 0)
  238.     {
  239. unicode = *pInWideBuf;
  240. used_from_output_this_round =
  241.     UnicodeToUTF8(unicode, 
  242.   &(pOutBuf[used_from_output]),
  243.   iOutSize - used_from_output);
  244. if (used_from_output_this_round)
  245. {
  246.     pInWideBuf++;
  247.     iInSize--;
  248.     used_from_output += used_from_output_this_round;
  249. }
  250. else
  251. {
  252.     failed = true;
  253.     break;
  254. }
  255.     }
  256.     // Always make sure the output is null terminated
  257.     if (unicode != 0)
  258.     {
  259. unicode = 0;
  260. used_from_output_this_round =
  261.     UnicodeToUTF8(unicode, 
  262.   &(pOutBuf[used_from_output]),
  263.   iOutSize - used_from_output);
  264. used_from_output += used_from_output_this_round;
  265. if (!used_from_output_this_round)
  266. {
  267.     failed = true;
  268. }
  269.     }
  270.     
  271.     if ((failed || (used_from_output > iOutSize)) && (iOutSize != 0))
  272.     {
  273. used_from_output = 0;
  274.     }
  275.     return used_from_output;
  276. }
  277. int MultiByteToWideChar(UINT8 CodePage,        // code page
  278.  ULONG32 dwFlags,       // character-type options
  279.  const char* lpMultiByteStr, // string to map
  280.  int cchMultiByte,      // number of bytes in string
  281.  wchar_t* lpWideCharStr, // wide-character buffer
  282.  int cchWideChar)        // size of buffer
  283. {
  284.     return ConvertUTF8ToUnicode(lpMultiByteStr, 
  285. cchMultiByte,
  286. lpWideCharStr,
  287. cchWideChar);
  288. }
  289. int WideCharToMultiByte(UINT8 CodePage,        // code page
  290.  ULONG32 dwFlags,      // performance and mapping flags
  291.  const wchar_t* lpWideCharStr, // wide-character string
  292.  int cchWideChar,       // number of characters
  293.  char* lpMultiByteStr, // buffer for new string
  294.  int cchMultiByte,      // size of buffer
  295.  char* lpDefaultChar,  // default for unmappable 
  296.                                                 // characters
  297.  BOOL* lpUsedDefaultChar) // flag set when default 
  298.                                                  // char. used
  299. {
  300.     return ConvertUnicodeToUTF8(lpWideCharStr,
  301. cchWideChar,
  302. lpMultiByteStr, 
  303. cchMultiByte);
  304. }
  305. #endif
  306. HLXOsStrW::HLXOsStrW(const char* ascii, size_t length) : 
  307.     m_isMutable(FALSE), 
  308.     m_toAscii(TRUE),
  309.     m_size(0),
  310.     m_uni(0),
  311.     m_ascii(0),
  312.     m_outsize(0)
  313. {
  314.     Init(ascii, length);
  315. }
  316. HLXOsStrW::HLXOsStrW(char* ascii, size_t length) : 
  317.     m_isMutable(TRUE), 
  318.     m_toAscii(TRUE),
  319.     m_size(0),
  320.     m_uni(0),
  321.     m_ascii(ascii),
  322.     m_outsize(0)
  323.     Init(ascii, length);
  324. }
  325. HLXOsStrW::HLXOsStrW(const unsigned char* ascii, size_t length) : 
  326.     m_isMutable(FALSE), 
  327.     m_toAscii(TRUE),
  328.     m_size(0),
  329.     m_uni(0),
  330.     m_ascii(0),
  331.     m_outsize(0)
  332.     Init((const char*) ascii, length);
  333. }
  334. void HLXOsStrW::Init(const char* ascii, size_t length)
  335. {
  336.     m_size = ((length != (size_t)-1) ? length : ((ascii) ? strlen((const char*) ascii) + 1 : 0));
  337.     if (ascii)
  338.     {
  339. m_outsize = MultiByteToWideChar(CP_UTF8, 0, (const char*) ascii, length, NULL, 0);
  340. if (m_uni = ((wchar_t*) malloc(m_outsize * sizeof(wchar_t))))
  341. {
  342.     m_outsize = MultiByteToWideChar(CP_UTF8, 0, (const char*) ascii, length, m_uni, m_outsize);
  343. }
  344. else
  345. {
  346.     m_outsize = 0;
  347. }
  348.     }
  349. }
  350. HLXOsStrW::HLXOsStrW(const wchar_t* uni, size_t length) : 
  351.     m_isMutable(FALSE), 
  352.     m_toAscii(FALSE),
  353.     m_size((length != (size_t)-1) ? length : ((uni) ? wcslen(uni) + 1 : 0)),
  354.     m_uni(0),
  355.     m_ascii(0)
  356.     if (uni)
  357.     {
  358. m_outsize = WideCharToMultiByte(CP_UTF8, 0, uni, length, NULL, 0, NULL, NULL);
  359. if (m_ascii = ((char*) malloc(m_outsize)))
  360. {
  361.     m_outsize = WideCharToMultiByte(CP_UTF8, 0, uni, length, m_ascii, m_outsize, NULL, NULL); 
  362. }
  363. else
  364. {
  365.     m_outsize = 0;
  366. }
  367.     }
  368. }
  369. HLXOsStrW::~HLXOsStrW() 
  370.     if (m_isMutable) 
  371.     {
  372. if (m_toAscii && m_ascii && m_uni)
  373. {
  374.     WideCharToMultiByte(CP_UTF8, 0, m_uni, -1, m_ascii, m_size, NULL, NULL);
  375. }
  376.     }
  377.     if (m_toAscii) 
  378.     {
  379. if (m_uni)
  380. {
  381.     free(m_uni);
  382. }
  383.     } 
  384.     else 
  385.     {
  386. if (m_ascii)
  387. {
  388.     free(m_ascii);
  389. }
  390.     }
  391. }
  392. HLXOsStrW::HLXOsStrW(const HLXOsStrW& rhs) :
  393.     m_isMutable(FALSE),
  394.     m_toAscii(TRUE),
  395.     m_size(0),
  396.     m_outsize(0),
  397.     m_uni(0),
  398.     m_ascii(0)
  399. {    
  400.     Copy(*this, rhs);
  401. }
  402. HLXOsStrW& HLXOsStrW::operator=(const HLXOsStrW& rhs)
  403. {
  404.     if (&rhs != this)
  405.     {
  406. Copy(*this, rhs);
  407.     }
  408.     return *this;
  409. }
  410. void HLXOsStrW::Copy(HLXOsStrW& lhs, const HLXOsStrW& rhs)
  411. {
  412.     lhs.m_isMutable = rhs.m_isMutable;
  413.     lhs.m_toAscii = rhs.m_toAscii;
  414.     lhs.m_size = rhs.m_size;
  415.     if (lhs.m_toAscii)
  416.     {
  417. if (rhs.m_uni)
  418. {
  419.     int bufSize = rhs.m_outsize * sizeof(wchar_t);
  420.     
  421.     if (lhs.m_uni)
  422.     {
  423. free(lhs.m_uni);
  424.     }
  425.     lhs.m_uni = (wchar_t*) malloc(bufSize);
  426.     if (lhs.m_uni)
  427.     {
  428. lhs.m_outsize = rhs.m_outsize;
  429. ::memcpy(lhs.m_uni, rhs.m_uni, bufSize); /* Flawfinder: ignore */
  430.     }
  431. }
  432. lhs.m_ascii = rhs.m_ascii;
  433.     }
  434.     else
  435.     {
  436. if (rhs.m_ascii)
  437. {
  438.     if (lhs.m_ascii)
  439.     {
  440. free(lhs.m_ascii);
  441.     }
  442.     lhs.m_ascii = (char*) malloc(rhs.m_outsize);
  443.     if (lhs.m_ascii)
  444.     {
  445. lhs.m_outsize = rhs.m_outsize;
  446. ::memcpy(lhs.m_ascii, rhs.m_ascii, lhs.m_outsize); /* Flawfinder: ignore */
  447.     }
  448. }
  449. lhs.m_uni = rhs.m_uni;
  450.     }
  451. }