xmltok.h
上传用户:dangjiwu
上传日期:2013-07-19
资源大小:42019k
文件大小:11k
源码类别:

Symbian

开发平台:

Visual C++

  1. /*
  2. Copyright (c) 1998, 1999 Thai Open Source Software Center Ltd
  3. See the file copying.txt for copying permission.
  4. */
  5. #ifndef XmlTok_INCLUDED
  6. #define XmlTok_INCLUDED 1
  7. #ifdef __cplusplus
  8. extern "C" {
  9. #endif
  10. #ifndef XMLTOKAPI
  11. #define XMLTOKAPI /* as nothing */
  12. #endif
  13. /* The following token may be returned by XmlContentTok */
  14. #define XML_TOK_TRAILING_RSQB -5 /* ] or ]] at the end of the scan; might be start of
  15.                                     illegal ]]> sequence */
  16. /* The following tokens may be returned by both XmlPrologTok and XmlContentTok */
  17. /* Instead of just returning XML_TOK_INVALID, we are going to add a few more
  18.    specific error messages. */
  19. #define XML_TOK_ERR_INVALID_NAME -100
  20. #define XML_TOK_ERR_INVALID_CHAR_IN_DOC -101
  21. #define XML_TOK_ERR_TWO_DASHES_NOT_ALLOWED_IN_COMMENT -102
  22. #define XML_TOK_ERR_INVALID_DECL -103
  23. #define XML_TOK_ERR_INVALID_PI -104
  24. #define XML_TOK_ERR_INVALID_PI_TARGET -105
  25. #define XML_TOK_ERR_INVALID_CDATA -106
  26. #define XML_TOK_ERR_NO_CLOSING_GT -107
  27. #define XML_TOK_ERR_INVALID_HEX_CHAR_REF -108
  28. #define XML_TOK_ERR_INVALID_CHAR_REF -109
  29. #define XML_TOK_ERR_INVALID_REF -110
  30. #define XML_TOK_ERR_MISSING_EQUALS -111
  31. #define XML_TOK_ERR_MISSING_QUOT_APOS -112
  32. #define XML_TOK_ERR_MISSING_REQ_SPACE -113
  33. #define XML_TOK_ERR_LT_NOT_ALLOWED -114
  34. #define XML_TOK_ERR_EXPECTED_GT -115
  35. #define XML_TOK_ERR_INVALID_GT_AFFT_2_RSQB_IN_CONTENT -116
  36. #define XML_TOK_ERR_INVALID_COMMENT -117
  37. #define XML_TOK_NONE -4    /* The string to be scanned is empty */
  38. #define XML_TOK_TRAILING_CR -3 /* A CR at the end of the scan;
  39.                                   might be part of CRLF sequence */ 
  40. #define XML_TOK_PARTIAL_CHAR -2 /* only part of a multibyte sequence */
  41. #define XML_TOK_PARTIAL -1 /* only part of a token */
  42. #define XML_TOK_INVALID 0
  43. /* The following tokens are returned by XmlContentTok; some are also
  44.   returned by XmlAttributeValueTok, XmlEntityTok, XmlCdataSectionTok */
  45. #define XML_TOK_START_TAG_WITH_ATTS 1
  46. #define XML_TOK_START_TAG_NO_ATTS 2
  47. #define XML_TOK_EMPTY_ELEMENT_WITH_ATTS 3 /* empty element tag <e/> */
  48. #define XML_TOK_EMPTY_ELEMENT_NO_ATTS 4
  49. #define XML_TOK_END_TAG 5
  50. #define XML_TOK_DATA_CHARS 6
  51. #define XML_TOK_DATA_NEWLINE 7
  52. #define XML_TOK_CDATA_SECT_OPEN 8
  53. #define XML_TOK_ENTITY_REF 9
  54. #define XML_TOK_CHAR_REF 10     /* numeric character reference */
  55. /* The following tokens may be returned by both XmlPrologTok and XmlContentTok */
  56. #define XML_TOK_PI 11      /* processing instruction */
  57. #define XML_TOK_XML_DECL 12 /* XML decl or text decl */
  58. #define XML_TOK_COMMENT 13
  59. #define XML_TOK_BOM 14     /* Byte order mark */
  60. /* The following tokens are returned only by XmlPrologTok */
  61. #define XML_TOK_PROLOG_S 15
  62. #define XML_TOK_DECL_OPEN 16 /* <!foo */
  63. #define XML_TOK_DECL_CLOSE 17 /* > */
  64. #define XML_TOK_NAME 18
  65. #define XML_TOK_NMTOKEN 19
  66. #define XML_TOK_POUND_NAME 20 /* #name */
  67. #define XML_TOK_OR 21 /* | */
  68. #define XML_TOK_PERCENT 22
  69. #define XML_TOK_OPEN_PAREN 23
  70. #define XML_TOK_CLOSE_PAREN 24
  71. #define XML_TOK_OPEN_BRACKET 25
  72. #define XML_TOK_CLOSE_BRACKET 26
  73. #define XML_TOK_LITERAL 27
  74. #define XML_TOK_PARAM_ENTITY_REF 28
  75. #define XML_TOK_INSTANCE_START 29
  76. /* The following occur only in element type declarations */
  77. #define XML_TOK_NAME_QUESTION 30 /* name? */
  78. #define XML_TOK_NAME_ASTERISK 31 /* name* */
  79. #define XML_TOK_NAME_PLUS 32 /* name+ */
  80. #define XML_TOK_COND_SECT_OPEN 33 /* <![ */
  81. #define XML_TOK_COND_SECT_CLOSE 34 /* ]]> */
  82. #define XML_TOK_CLOSE_PAREN_QUESTION 35 /* )? */
  83. #define XML_TOK_CLOSE_PAREN_ASTERISK 36 /* )* */
  84. #define XML_TOK_CLOSE_PAREN_PLUS 37 /* )+ */
  85. #define XML_TOK_COMMA 38
  86. /* The following token is returned only by XmlAttributeValueTok */
  87. #define XML_TOK_ATTRIBUTE_VALUE_S 39
  88. /* The following token is returned only by XmlCdataSectionTok */
  89. #define XML_TOK_CDATA_SECT_CLOSE 40
  90. /* With namespace processing this is returned by XmlPrologTok
  91.    for a name with a colon. */
  92. #define XML_TOK_PREFIXED_NAME 41
  93. #ifdef XML_DTD
  94. #define XML_TOK_IGNORE_SECT 42
  95. #endif /* XML_DTD */
  96. #ifdef XML_DTD
  97. #define XML_N_STATES 4
  98. #else /* not XML_DTD */
  99. #define XML_N_STATES 3
  100. #endif /* not XML_DTD */
  101. #define XML_PROLOG_STATE 0
  102. #define XML_CONTENT_STATE 1
  103. #define XML_CDATA_SECTION_STATE 2
  104. #ifdef XML_DTD
  105. #define XML_IGNORE_SECTION_STATE 3
  106. #endif /* XML_DTD */
  107. #define XML_N_LITERAL_TYPES 2
  108. #define XML_ATTRIBUTE_VALUE_LITERAL 0
  109. #define XML_ENTITY_VALUE_LITERAL 1
  110. /* The size of the buffer passed to XmlUtf8Encode must be at least this. */
  111. #define XML_UTF8_ENCODE_MAX 4
  112. /* The size of the buffer passed to XmlUtf16Encode must be at least this. */
  113. #define XML_UTF16_ENCODE_MAX 2
  114. typedef struct position {
  115.   /* first line and first column are 0 not 1 */
  116.   unsigned long lineNumber;
  117.   unsigned long columnNumber;
  118. } POSITION;
  119. typedef struct {
  120.   const char *name;
  121.   const char *valuePtr;
  122.   const char *valueEnd;
  123.   char normalized;
  124. } ATTRIBUTE;
  125. struct encoding;
  126. typedef struct encoding ENCODING;
  127. struct encoding {
  128.   int (*scanners[XML_N_STATES])(const ENCODING *,
  129.         const char *,
  130.         const char *,
  131.         const char **);
  132.   int (*literalScanners[XML_N_LITERAL_TYPES])(const ENCODING *,
  133.       const char *,
  134.       const char *,
  135.       const char **);
  136.   int (*sameName)(const ENCODING *,
  137.           const char *, const char *);
  138.   int (*nameMatchesAscii)(const ENCODING *,
  139.   const char *, const char *, const char *);
  140.   int (*nameLength)(const ENCODING *, const char *);
  141.   const char *(*skipS)(const ENCODING *, const char *);
  142.   int (*getAtts)(const ENCODING *enc, const char *ptr,
  143.          int attsMax, ATTRIBUTE *atts);
  144.   int (*charRefNumber)(const ENCODING *enc, const char *ptr);
  145.   int (*predefinedEntityName)(const ENCODING *, const char *, const char *);
  146.   void (*updatePosition)(const ENCODING *,
  147.  const char *ptr,
  148.  const char *end,
  149.  POSITION *);
  150.   int (*isPublicId)(const ENCODING *enc, const char *ptr, const char *end,
  151.     const char **badPtr);
  152.   void (*utf8Convert)(const ENCODING *enc,
  153.       const char **fromP,
  154.       const char *fromLim,
  155.       char **toP,
  156.       const char *toLim);
  157.   void (*utf16Convert)(const ENCODING *enc,
  158.        const char **fromP,
  159.        const char *fromLim,
  160.        unsigned short **toP,
  161.        const unsigned short *toLim);
  162.   int minBytesPerChar;
  163.   char isUtf8;
  164.   char isUtf16;
  165. };
  166. /*
  167. Scan the string starting at ptr until the end of the next complete token,
  168. but do not scan past eptr.  Return an integer giving the type of token.
  169. Return XML_TOK_NONE when ptr == eptr; nextTokPtr will not be set.
  170. Return XML_TOK_PARTIAL when the string does not contain a complete token;
  171. nextTokPtr will not be set.
  172. The scanners will return an actual error instead of just XML_TOK_INVALID. 
  173. when the string does not start a valid token; nextTokPtr will be set to
  174. point to the character which made the token invalid. see xmltok.h and
  175. the XML_TOK_ERR... values.
  176. Otherwise the string starts with a valid token; nextTokPtr will be set to point
  177. to the character following the end of that token.
  178. Each data character counts as a single token, but adjacent data characters
  179. may be returned together.  Similarly for characters in the prolog outside
  180. literals, comments and processing instructions.
  181. */
  182. #define XmlTok(enc, state, ptr, end, nextTokPtr) 
  183.   (((enc)->scanners[state])(enc, ptr, end, nextTokPtr))
  184. #define XmlPrologTok(enc, ptr, end, nextTokPtr) 
  185.    XmlTok(enc, XML_PROLOG_STATE, ptr, end, nextTokPtr)
  186. #define XmlContentTok(enc, ptr, end, nextTokPtr) 
  187.    XmlTok(enc, XML_CONTENT_STATE, ptr, end, nextTokPtr)
  188. #define XmlCdataSectionTok(enc, ptr, end, nextTokPtr) 
  189.    XmlTok(enc, XML_CDATA_SECTION_STATE, ptr, end, nextTokPtr)
  190. #ifdef XML_DTD
  191. #define XmlIgnoreSectionTok(enc, ptr, end, nextTokPtr) 
  192.    XmlTok(enc, XML_IGNORE_SECTION_STATE, ptr, end, nextTokPtr)
  193. #endif /* XML_DTD */
  194. /* This is used for performing a 2nd-level tokenization on
  195. the content of a literal that has already been returned by XmlTok. */ 
  196. #define XmlLiteralTok(enc, literalType, ptr, end, nextTokPtr) 
  197.   (((enc)->literalScanners[literalType])(enc, ptr, end, nextTokPtr))
  198. #define XmlAttributeValueTok(enc, ptr, end, nextTokPtr) 
  199.    XmlLiteralTok(enc, XML_ATTRIBUTE_VALUE_LITERAL, ptr, end, nextTokPtr)
  200. #define XmlEntityValueTok(enc, ptr, end, nextTokPtr) 
  201.    XmlLiteralTok(enc, XML_ENTITY_VALUE_LITERAL, ptr, end, nextTokPtr)
  202. #define XmlSameName(enc, ptr1, ptr2) (((enc)->sameName)(enc, ptr1, ptr2))
  203. #define XmlNameMatchesAscii(enc, ptr1, end1, ptr2) 
  204.   (((enc)->nameMatchesAscii)(enc, ptr1, end1, ptr2))
  205. #define XmlNameLength(enc, ptr) 
  206.   (((enc)->nameLength)(enc, ptr))
  207. #define XmlSkipS(enc, ptr) 
  208.   (((enc)->skipS)(enc, ptr))
  209. #define XmlGetAttributes(enc, ptr, attsMax, atts) 
  210.   (((enc)->getAtts)(enc, ptr, attsMax, atts))
  211. #define XmlCharRefNumber(enc, ptr) 
  212.   (((enc)->charRefNumber)(enc, ptr))
  213. #define XmlPredefinedEntityName(enc, ptr, end) 
  214.   (((enc)->predefinedEntityName)(enc, ptr, end))
  215. #define XmlUpdatePosition(enc, ptr, end, pos) 
  216.   (((enc)->updatePosition)(enc, ptr, end, pos))
  217. #define XmlIsPublicId(enc, ptr, end, badPtr) 
  218.   (((enc)->isPublicId)(enc, ptr, end, badPtr))
  219. #define XmlUtf8Convert(enc, fromP, fromLim, toP, toLim) 
  220.   (((enc)->utf8Convert)(enc, fromP, fromLim, toP, toLim))
  221. #define XmlUtf16Convert(enc, fromP, fromLim, toP, toLim) 
  222.   (((enc)->utf16Convert)(enc, fromP, fromLim, toP, toLim))
  223. typedef struct {
  224.   ENCODING initEnc;
  225.   const ENCODING **encPtr;
  226. } INIT_ENCODING;
  227. int XMLTOKAPI XmlParseXmlDecl(int isGeneralTextEntity,
  228.       const ENCODING *enc,
  229.       const char *ptr,
  230.          const char *end,
  231.       const char **badPtr,
  232.       const char **versionPtr,
  233.       const char **encodingNamePtr,
  234.       const ENCODING **namedEncodingPtr,
  235.       int *standalonePtr);
  236. int XMLTOKAPI XmlInitEncoding(INIT_ENCODING *, const ENCODING **, const char *name);
  237. const ENCODING XMLTOKAPI *XmlGetUtf8InternalEncoding(void);
  238. const ENCODING XMLTOKAPI *XmlGetUtf16InternalEncoding(void);
  239. int XMLTOKAPI XmlUtf8Encode(int charNumber, char *buf);
  240. int XMLTOKAPI XmlUtf16Encode(int charNumber, unsigned short *buf);
  241. int XMLTOKAPI XmlSizeOfUnknownEncoding(void);
  242. ENCODING XMLTOKAPI *
  243. XmlInitUnknownEncoding(void *mem,
  244.        int *table,
  245.        int (*conv)(void *userData, const char *p),
  246.        void *userData);
  247. int XMLTOKAPI XmlParseXmlDeclNS(int isGeneralTextEntity,
  248.         const ENCODING *enc,
  249.         const char *ptr,
  250.            const char *end,
  251.         const char **badPtr,
  252.         const char **versionPtr,
  253.         const char **encodingNamePtr,
  254.         const ENCODING **namedEncodingPtr,
  255.         int *standalonePtr);
  256. int XMLTOKAPI XmlInitEncodingNS(INIT_ENCODING *, const ENCODING **, const char *name);
  257. const ENCODING XMLTOKAPI *XmlGetUtf8InternalEncodingNS(void);
  258. const ENCODING XMLTOKAPI *XmlGetUtf16InternalEncodingNS(void);
  259. ENCODING XMLTOKAPI *
  260. XmlInitUnknownEncodingNS(void *mem,
  261.          int *table,
  262.          int (*conv)(void *userData, const char *p),
  263.          void *userData);
  264. #ifdef __cplusplus
  265. }
  266. #endif
  267. #endif /* not XmlTok_INCLUDED */