hlxosstr.cpp
上传用户:dangjiwu
上传日期:2013-07-19
资源大小:42019k
文件大小:13k
源码类别:

Symbian

开发平台:

Visual C++

  1. /* ***** BEGIN LICENSE BLOCK *****
  2.  * Source last modified: $Id: hlxosstr.cpp,v 1.13.2.5 2004/07/09 01:45:47 hubbe Exp $
  3.  * 
  4.  * Portions Copyright (c) 1995-2004 RealNetworks, Inc. All Rights Reserved.
  5.  * 
  6.  * The contents of this file, and the files included with this file,
  7.  * are subject to the current version of the RealNetworks Public
  8.  * Source License (the "RPSL") available at
  9.  * http://www.helixcommunity.org/content/rpsl unless you have licensed
  10.  * the file under the current version of the RealNetworks Community
  11.  * Source License (the "RCSL") available at
  12.  * http://www.helixcommunity.org/content/rcsl, in which case the RCSL
  13.  * will apply. You may also obtain the license terms directly from
  14.  * RealNetworks.  You may not use this file except in compliance with
  15.  * the RPSL or, if you have a valid RCSL with RealNetworks applicable
  16.  * to this file, the RCSL.  Please see the applicable RPSL or RCSL for
  17.  * the rights, obligations and limitations governing use of the
  18.  * contents of the file.
  19.  * 
  20.  * Alternatively, the contents of this file may be used under the
  21.  * terms of the GNU General Public License Version 2 or later (the
  22.  * "GPL") in which case the provisions of the GPL are applicable
  23.  * instead of those above. If you wish to allow use of your version of
  24.  * this file only under the terms of the GPL, and not to allow others
  25.  * to use your version of this file under the terms of either the RPSL
  26.  * or RCSL, indicate your decision by deleting the provisions above
  27.  * and replace them with the notice and other provisions required by
  28.  * the GPL. If you do not delete the provisions above, a recipient may
  29.  * use your version of this file under the terms of any one of the
  30.  * RPSL, the RCSL or the GPL.
  31.  * 
  32.  * This file is part of the Helix DNA Technology. RealNetworks is the
  33.  * developer of the Original Code and owns the copyrights in the
  34.  * portions it created.
  35.  * 
  36.  * This file, and the files included with this file, is distributed
  37.  * and made available on an 'AS IS' basis, WITHOUT WARRANTY OF ANY
  38.  * KIND, EITHER EXPRESS OR IMPLIED, AND REALNETWORKS HEREBY DISCLAIMS
  39.  * ALL SUCH WARRANTIES, INCLUDING WITHOUT LIMITATION, ANY WARRANTIES
  40.  * OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE, QUIET
  41.  * ENJOYMENT OR NON-INFRINGEMENT.
  42.  * 
  43.  * Technology Compatibility Kit Test Suite(s) Location:
  44.  *    http://www.helixcommunity.org/content/tck
  45.  * 
  46.  * Contributor(s):
  47.  * 
  48.  * ***** END LICENSE BLOCK ***** */
  49. #include "hlxosstr.h"
  50. #include "hlxclib/windows.h"
  51. #include "hlxclib/assert.h"
  52. #include "hlxclib/string.h"
  53. #ifdef _WINCE
  54. #  if !defined(CP_UTF8)
  55. #     define CP_UTF8 CP_ACP
  56. #  else //!CP_UTF8
  57. #     if defined(_X86_) && (CP_UTF8==65001)
  58. #       undef CP_UTF8
  59. #       define CP_UTF8 CP_ACP
  60. #     endif //_X86_ && (CP_UTF8==65001)
  61. #  endif //!CP_UTF8
  62. #endif //_WINCE
  63. #ifndef _WINDOWS
  64. #define CP_UTF8 65001
  65. #if defined(_FREEBSD) || defined(_OPENBSD) || defined(_NETBSD) || 
  66.     (defined(_MACINTOSH) && defined(_MAC_MACHO)) || defined(_MAC_UNIX) || 
  67.     defined(_OPENWAVE_ARMULATOR)
  68. int wcslen(const wchar_t* pStr)
  69. {
  70.     assert(!"wcslen() Not Implementedn");
  71.     return 0;
  72. }
  73. #elif defined(_SYMBIAN) || defined(_OPENWAVE_SIMULATOR)
  74. // We already got wcslen in string.h
  75. #else
  76. #include <wchar.h> //for wcslen()
  77. #endif
  78. // Declare static tables needed by the UTF8 <-> Unicode functions
  79. static const unsigned char z_byteZeroMask[] = {
  80.     0x1F, 0x0F, 0x07, 0x03, 0x01};
  81. static const unsigned int z_UTF8Bounds[] = {
  82.     0, 0x80, 0x800, 0x10000, 0x200000, 0x4000000, 0x80000000};
  83. static int UTF8toUnicode(const char* pIn, 
  84.  int inSize,
  85.  unsigned int& out)
  86. {
  87.     int ret = 0;
  88.     
  89.     if (inSize > 0)
  90.     {
  91. if (pIn[0] & 0x80)
  92. {
  93.     unsigned int value = pIn[0] << 1;
  94.     int byteCount = 1;
  95.     // Count the number of bytes
  96.     while (value & 0x80)
  97.     {
  98. byteCount++;
  99. value <<= 1;
  100.     }
  101.     // Make sure the byte count is within expected values and
  102.     // that there are enough bytes in the input to contain
  103.     // the encoding of this character
  104.     if ((byteCount > 1) && 
  105. (byteCount < 7) && 
  106. (inSize >= byteCount))
  107.     {
  108. bool failed = false;
  109. value = pIn[0] & z_byteZeroMask[byteCount - 2];
  110.     
  111. for (int i = 1; i < byteCount; i++)
  112. {
  113.     if ((pIn[i] & 0xC0) == 0x80)
  114.     {
  115. value <<= 6;
  116. value |= pIn[i] & 0x3F;
  117.     }
  118.     else
  119.     {
  120. failed = true;
  121. break;
  122.     }
  123. }
  124.     
  125. // Make sure we have not failed yet and make sure
  126. // the value decoded is within the proper bounds for
  127. // that encoding method
  128. if ((!failed) &&
  129.     (value >= z_UTF8Bounds[byteCount-1]) &&
  130.     (value < z_UTF8Bounds[byteCount]))
  131. {
  132.     ret = byteCount;
  133.     out = value;
  134. }
  135.     }
  136. }
  137. else
  138. {
  139.     // single byte
  140.     out = pIn[0];
  141.     ret = 1;
  142. }
  143.     }
  144.     return ret;
  145. }
  146. static int UnicodeToUTF8(unsigned int in, 
  147.  char* pOut, 
  148.  int outSize)
  149. {
  150.     int bytesWritten = 0;
  151.     unsigned int i = 0;
  152.     int bytesNeeded = -1;
  153.     unsigned char ch;
  154.     while (i < (sizeof(z_UTF8Bounds) / sizeof(unsigned int)))
  155.     {
  156. if (in < z_UTF8Bounds[i])
  157. {
  158.     bytesNeeded = i;
  159.     break;
  160. }
  161. i++;
  162.     }
  163.     if (bytesNeeded == 1)
  164.     {
  165. ch = in & 0xff;
  166. if (outSize > bytesWritten)
  167. {
  168.     pOut[bytesWritten] = ch;
  169. }
  170. bytesWritten++;
  171.     }
  172.     else if (bytesNeeded > 1)
  173.     {
  174. ch = ((0xff << (8 - bytesNeeded)) | 
  175.       ((in >> ((bytesNeeded - 1) * 6) ) & 
  176.        z_byteZeroMask[bytesNeeded - 2]));
  177. if (outSize > bytesWritten)
  178. {
  179.     pOut[bytesWritten] = ch;
  180. }
  181. bytesWritten++;
  182. for (int j = bytesNeeded - 2; j >= 0; j--)
  183. {
  184.     ch = 0x80 | ((in >> (j * 6)) & 0x3F);
  185.     if (outSize > bytesWritten)
  186.     {
  187. pOut[bytesWritten] = ch;
  188.     }
  189.     bytesWritten++;
  190. }
  191.     }
  192.     else
  193.     {
  194. bytesWritten = 0;
  195.     }
  196.     return bytesWritten;
  197. }
  198. static int ConvertUTF8ToUnicode(const char* pInBuf, 
  199. int iInSize,
  200. wchar_t* pOutWideBuf,
  201. int iOutSize)
  202. {
  203.     int used_from_input_this_round;
  204.     int used_from_output = 0;
  205.     unsigned int unicode = 0;
  206.     bool failed = false;
  207.     if (iInSize < 0)
  208.     {
  209. iInSize = strlen(pInBuf);
  210.     }
  211.     while (iInSize > 0)
  212.     {
  213. used_from_input_this_round = 
  214.     UTF8toUnicode(pInBuf, iInSize, unicode);
  215. if (used_from_input_this_round)
  216. {
  217.     pInBuf += used_from_input_this_round;
  218.     iInSize -= used_from_input_this_round;
  219.     if (used_from_output < iOutSize)
  220.     {
  221. pOutWideBuf[used_from_output] = unicode;
  222.     }
  223.     used_from_output++;
  224. }
  225. else
  226. {
  227.     failed = true;
  228.     break;
  229. }
  230.     }
  231.     // Always make sure the output is null terminated
  232.     if (unicode != 0)
  233.     {
  234. unicode = 0;
  235. if (used_from_output < iOutSize)
  236. {
  237.     pOutWideBuf[used_from_output] = unicode;
  238. }
  239. used_from_output++;
  240.     }
  241.     
  242.     if ((failed || (used_from_output > iOutSize)) && (iOutSize != 0))
  243.     {
  244. used_from_output = 0;
  245.     }
  246.     return used_from_output;
  247. }
  248. static int ConvertUnicodeToUTF8(const wchar_t* pInWideBuf,
  249. int iInSize,
  250. char* pOutBuf, 
  251. int iOutSize)
  252. {
  253.     int used_from_output_this_round;
  254.     int used_from_output = 0;
  255.     unsigned int unicode = 0;
  256.     bool failed = false;
  257.     if (iInSize < 0)
  258.     {
  259. iInSize = wcslen(pInWideBuf);
  260.     }
  261.     while (iInSize > 0)
  262.     {
  263. unicode = *pInWideBuf;
  264. used_from_output_this_round =
  265.     UnicodeToUTF8(unicode, 
  266.   &(pOutBuf[used_from_output]),
  267.   iOutSize - used_from_output);
  268. if (used_from_output_this_round)
  269. {
  270.     pInWideBuf++;
  271.     iInSize--;
  272.     used_from_output += used_from_output_this_round;
  273. }
  274. else
  275. {
  276.     failed = true;
  277.     break;
  278. }
  279.     }
  280.     // Always make sure the output is null terminated
  281.     if (unicode != 0)
  282.     {
  283. unicode = 0;
  284. used_from_output_this_round =
  285.     UnicodeToUTF8(unicode, 
  286.   &(pOutBuf[used_from_output]),
  287.   iOutSize - used_from_output);
  288. used_from_output += used_from_output_this_round;
  289. if (!used_from_output_this_round)
  290. {
  291.     failed = true;
  292. }
  293.     }
  294.     
  295.     if ((failed || (used_from_output > iOutSize)) && (iOutSize != 0))
  296.     {
  297. used_from_output = 0;
  298.     }
  299.     return used_from_output;
  300. }
  301. int MultiByteToWideChar(UINT8 CodePage,        // code page
  302.  ULONG32 dwFlags,       // character-type options
  303.  const char* lpMultiByteStr, // string to map
  304.  int cchMultiByte,      // number of bytes in string
  305.  wchar_t* lpWideCharStr, // wide-character buffer
  306.  int cchWideChar)        // size of buffer
  307. {
  308.     return ConvertUTF8ToUnicode(lpMultiByteStr, 
  309. cchMultiByte,
  310. lpWideCharStr,
  311. cchWideChar);
  312. }
  313. int WideCharToMultiByte(UINT8 CodePage,        // code page
  314.  ULONG32 dwFlags,      // performance and mapping flags
  315.  const wchar_t* lpWideCharStr, // wide-character string
  316.  int cchWideChar,       // number of characters
  317.  char* lpMultiByteStr, // buffer for new string
  318.  int cchMultiByte,      // size of buffer
  319.  char* lpDefaultChar,  // default for unmappable 
  320.                                                 // characters
  321.  BOOL* lpUsedDefaultChar) // flag set when default 
  322.                                                  // char. used
  323. {
  324.     return ConvertUnicodeToUTF8(lpWideCharStr,
  325. cchWideChar,
  326. lpMultiByteStr, 
  327. cchMultiByte);
  328. }
  329. #endif
  330. HLXOsStrW::HLXOsStrW(const char* ascii, size_t length) : 
  331.     m_isMutable(FALSE), 
  332.     m_toAscii(TRUE),
  333.     m_size(0),
  334.     m_uni(0),
  335.     m_ascii(0),
  336.     m_outsize(0)
  337. {
  338.     Init(ascii, length);
  339. }
  340. HLXOsStrW::HLXOsStrW(char* ascii, size_t length) : 
  341.     m_isMutable(TRUE), 
  342.     m_toAscii(TRUE),
  343.     m_size(0),
  344.     m_uni(0),
  345.     m_ascii(ascii),
  346.     m_outsize(0)
  347.     Init(ascii, length);
  348. }
  349. HLXOsStrW::HLXOsStrW(const unsigned char* ascii, size_t length) : 
  350.     m_isMutable(FALSE), 
  351.     m_toAscii(TRUE),
  352.     m_size(0),
  353.     m_uni(0),
  354.     m_ascii(0),
  355.     m_outsize(0)
  356.     Init((const char*) ascii, length);
  357. }
  358. void HLXOsStrW::Init(const char* ascii, size_t length)
  359. {
  360.     m_size = ((length != (size_t)-1) ? length : ((ascii) ? strlen((const char*) ascii) + 1 : 0));
  361.     if (ascii)
  362.     {
  363. m_outsize = MultiByteToWideChar(CP_UTF8, 0, (const char*) ascii, length, NULL, 0);
  364. if( length!=(size_t)-1 && (size_t)m_outsize<length )
  365.         m_outsize = length;
  366. if (m_uni = ((wchar_t*) malloc(m_outsize * sizeof(wchar_t))))
  367. {
  368.     m_outsize = MultiByteToWideChar(CP_UTF8, 0, (const char*) ascii, length, m_uni, m_outsize);
  369. }
  370. else
  371. {
  372.     m_outsize = 0;
  373. }
  374.     }
  375. }
  376. HLXOsStrW::HLXOsStrW(const wchar_t* uni, size_t length) : 
  377.     m_isMutable(FALSE), 
  378.     m_toAscii(FALSE),
  379.     m_size((length != (size_t)-1) ? length : ((uni) ? wcslen(uni) + 1 : 0)),
  380.     m_uni(0),
  381.     m_ascii(0)
  382.     if (uni)
  383.     {
  384. m_outsize = WideCharToMultiByte(CP_UTF8, 0, uni, length, NULL, 0, NULL, NULL);
  385. if( length!=(size_t)-1 && (size_t)m_outsize<length )
  386.         m_outsize = length;
  387. if (m_ascii = ((char*) malloc(m_outsize)))
  388. {
  389.     m_outsize = WideCharToMultiByte(CP_UTF8, 0, uni, length, m_ascii, m_outsize, NULL, NULL); 
  390. }
  391. else
  392. {
  393.     m_outsize = 0;
  394. }
  395.     }
  396. }
  397. HLXOsStrW::~HLXOsStrW() 
  398.     if (m_isMutable) 
  399.     {
  400. if (m_toAscii && m_ascii && m_uni)
  401. {
  402.     WideCharToMultiByte(CP_UTF8, 0, m_uni, -1, m_ascii, m_size, NULL, NULL);
  403. }
  404.     }
  405.     if (m_toAscii) 
  406.     {
  407. if (m_uni)
  408. {
  409.     free(m_uni);
  410. }
  411.     } 
  412.     else 
  413.     {
  414. if (m_ascii)
  415. {
  416.     free(m_ascii);
  417. }
  418.     }
  419. }
  420. HLXOsStrW::HLXOsStrW(const HLXOsStrW& rhs) :
  421.     m_isMutable(FALSE),
  422.     m_toAscii(TRUE),
  423.     m_size(0),
  424.     m_outsize(0),
  425.     m_uni(0),
  426.     m_ascii(0)
  427. {    
  428.     Copy(*this, rhs);
  429. }
  430. HLXOsStrW& HLXOsStrW::operator=(const HLXOsStrW& rhs)
  431. {
  432.     if (&rhs != this)
  433.     {
  434. Copy(*this, rhs);
  435.     }
  436.     return *this;
  437. }
  438. void HLXOsStrW::Copy(HLXOsStrW& lhs, const HLXOsStrW& rhs)
  439. {
  440.     lhs.m_isMutable = rhs.m_isMutable;
  441.     lhs.m_toAscii = rhs.m_toAscii;
  442.     lhs.m_size = rhs.m_size;
  443.     if (lhs.m_toAscii)
  444.     {
  445. if (rhs.m_uni)
  446. {
  447.     int bufSize = rhs.m_outsize * sizeof(wchar_t);
  448.     
  449.     if (lhs.m_uni)
  450.     {
  451. free(lhs.m_uni);
  452.     }
  453.     lhs.m_uni = (wchar_t*) malloc(bufSize);
  454.     if (lhs.m_uni)
  455.     {
  456. lhs.m_outsize = rhs.m_outsize;
  457. ::memcpy(lhs.m_uni, rhs.m_uni, bufSize); /* Flawfinder: ignore */
  458.     }
  459. }
  460. lhs.m_ascii = rhs.m_ascii;
  461.     }
  462.     else
  463.     {
  464. if (rhs.m_ascii)
  465. {
  466.     if (lhs.m_ascii)
  467.     {
  468. free(lhs.m_ascii);
  469.     }
  470.     lhs.m_ascii = (char*) malloc(rhs.m_outsize);
  471.     if (lhs.m_ascii)
  472.     {
  473. lhs.m_outsize = rhs.m_outsize;
  474. ::memcpy(lhs.m_ascii, rhs.m_ascii, lhs.m_outsize); /* Flawfinder: ignore */
  475.     }
  476. }
  477. lhs.m_uni = rhs.m_uni;
  478.     }
  479. }