开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 编译器/解释器 > 查看源码
html.g
资源名称：antlr-2_7_0.zip　[点击查看]
上传用户：afrynkmhm
上传日期：2007-01-06
资源大小：1262k
文件大小：15k
源码类别：

编译器/解释器

开发平台：

Others

html.g：源码内容
  1. header {
  2. #include <iostream>
  3. }
  5. /*
  6. Based on the HTML 3.2 spec. by the W3 (http://www.w3.org)
  7. Alexander Hinds & Terence Parr
  8. Magelang Institute, Ltd.
  9. Send comments to:  parrt@jguru.com
  11. v1.1 Terence Parr (updated to 2.6.0)
  13. Fixed CCYTE->CCITE
  14. Fixed def of COMMENT_DATA so it scarfs stuff correctly.
  15. Also, fixed refs to (PCDATA)? -> (PCDATA)* because a comment
  16. between PCDATA returns 2 PCDATA--ya need the loop not optional.
  18. v1.0 Terence John Parr (version 2.5.0 of ANTLR required)
  20. Fixed how whitespace as handled, removing some ambiguities; some
  21. because of ANTLR lexical filtering in 2.5.0.
  23. Changed (PCDATA)* loops to (PCDATA)? general since PCDATA matches
  24. everything between valid tags (how could there be more than one
  25. between tags?)
  27. Made the DOCTYPE optional.
  29. Reduced lookahead from k=5 to k=1 on the parser and number
  30. of parser ambiguities to 2.  Reduced lexer lookahead from 6
  31. to 4; had to left factor a bunch of stuff.
  33. List items couldn't contain nested lists...fixed it.
  35. Fixed def of WORD so it can't be an INT.  Removed '-' from WORD.
  37. Fixed HEXNUM so it will allow letters A..F.
  39. KNOWN ISSUES:
  41. 1.  Does not handle "staggered" tags, eg: <p> <i> <p> <i>
  43. 2.  Adhere's somewhat strictly to the html spec, so many pages
  44. won't parse without errors.
  46. 3.  Doesn't convert &(a signifier) to it's proper single char 
  47. representation
  49. 4.  Checks only the syntax of element attributes, not the semantics,
  50. e.g. won't very that a base element's attribute is actually
  51. called "href" 
  53. 5.  Tags split across lines, for example, <A (NEWLINE) some text >
  54. won't be properly recognized.  TJP: I think I fixed this.
  56. 7.  Lines not counted properly due to the def'n of PCDATA - see the
  57. alternate def'n for a possible fix.  TJP: I think I fixed this.
  59. */
  61. options {
  62. language="Cpp";
  63. }
  65. class HTMLParser extends Parser;
  66. options {
  67. exportVocab=HTML;
  68. k = 1;
  69. }
  72. document
  73. :  (PCDATA)? (DOCTYPE (PCDATA)?)?
  74. (OHTML (PCDATA)?)?
  75. (head)?
  76. (body)?
  77. (CHTML (PCDATA)?)?
  78. ;
  80. head:  (OHEAD (PCDATA)?)?
  81. head_element
  82. (PCDATA | head_element)* 
  83. (CHEAD (PCDATA)?)? 
  84. ;
  86. head_element
  87. : title //bug need at least a title, rest optional
  88. | script
  89. | style
  90. | ISINDEX
  91. | BASE
  92. | META
  93. | LINK
  94. ;
  96. title
  97. : OTITLE (PCDATA)? CTITLE
  98. ;
  100. script
  101. : OSCRIPT (~CSCRIPT)+ CSCRIPT
  102. ;
  104. style
  105. : OSTYLE (~CSTYLE)+ CSTYLE
  106. ;
  108. body:  ( OBODY (PCDATA)* )? 
  109. body_content_no_PCDATA
  110. ( body_content )+ 
  111. ( CBODY (PCDATA)* )? 
  112. ;
  114. body_content_no_PCDATA
  115. : body_tag | text_tag
  116. ;
  118. body_tag
  119. :  heading | block | ADDRESS
  120. ;
  122. body_content
  123. :  body_tag | text
  124. ;
  127. /*revised*/
  128. heading
  129. : h1 | h2 | h3 | h4 | h5 | h6
  130. ;
  132. block
  133. : paragraph | list | preformatted | div |
  134. center | blockquote | HR | table
  135. ; //bug - ?FORM v %form, ISINDEX here too?
  137. font: teletype | italic | bold | underline | strike | 
  138. big | small | subscript | superscript
  139. ;
  141. phrase
  142. : emphasize | strong | definition | code | sample_output|
  143. keyboard_text | variable | citation
  144. ;
  146. special
  147. : anchor | IMG | applet | font_dfn | BFONT |
  148. map | BR 
  149. ;
  151. text_tag
  152. : font | phrase | special | form
  153. ;
  155. text: PCDATA | text_tag
  156. ;
  158. /*end*/
  161. /*BLOCK ELEMENTS*/
  163. h1 : OH1 (block | text)* CH1
  164. ;
  165. h2 : OH2 (block | text)* CH2
  166. ;
  167. h3 : OH3 (block | text)* CH3
  168. ;
  169. h4 : OH4 (block | text)* CH4
  170. ;
  171. h5 : OH5 (block | text)* CH5
  172. ;
  173. h6 : OH6 (block | text)* CH6
  174. ;
  176. address
  177. : OADDRESS (PCDATA)* CADDRESS
  178. ;
  180. //NOTE:  according to the standard, paragraphs can't contain block elements
  181. //like HR.  Netscape may insert these elements into paragraphs.
  182. //We adhere strictly here.
  184. paragraph
  185. : OPARA
  186. (
  187. /* Rule body_content may also be just plain text because HTML is
  188. so loose.  When body puts body_content in a loop, ANTLR
  189. doesn't know whether you want it to match all the text as part
  190. of this paragraph (in the case where the </p> is missing) or
  191. if the body rule should scarf it.  This is analogous to the
  192. dangling-else clause.  I shut off the warning.
  193. */
  194. options {
  195. generateAmbigWarnings=false;
  196. }
  197. : text
  198. )*
  199. (CPARA)?
  200. ;
  202. list: unordered_list
  203. | ordered_list
  204. | def_list
  205. ;
  207. unordered_list
  208. : OULIST (PCDATA)* (list_item)+ CULIST
  209. ;
  211. ordered_list
  212. : OOLIST (PCDATA)* (list_item)+ COLIST
  213. ;
  215. def_list
  216. : ODLIST (PCDATA)* (def_list_item)+ CDLIST 
  217. ;
  219. list_item
  220. : OLITEM ( text | list )+ (CLITEM (PCDATA)*)?
  221. ;
  223. def_list_item
  224. : dt | dd
  225. ;
  227. dt : ODTERM (text)+ CDTERM (PCDATA)*
  228. ;
  230. dd : ODDEF (text | block)+ CDTERM (PCDATA)*
  231. ;
  233. dir : ODIR (list_item)+ CDIR
  234. ;
  236. menu: OMENU (list_item)+ CMENU
  237. ;
  239. preformatted
  240. : OPRE (text)+ CPRE
  241. ;
  243. div : ODIV (body_content)* CDIV //semi-revised
  244. ;
  246. center
  247. : OCENTER (body_content)* CCENTER //semi-revised
  248. ;
  250. blockquote
  251. : OBQUOTE PCDATA CBQUOTE
  252. ;
  254. form: OFORM (form_field | body_content)* CFORM
  255. ;
  257. table
  258. : OTABLE (caption)? (PCDATA)* (tr)+ CTABLE
  259. ;
  261. caption
  262. : OCAP (text)* CCAP
  263. ;
  265. tr : O_TR (PCDATA)* (th_or_td)* (C_TR (PCDATA)*)? 
  266. ;
  268. th_or_td
  269. : O_TH_OR_TD (body_content)* (C_TH_OR_TD (PCDATA)*)?
  270. ;
  272. /*TEXT ELEMENTS*/
  274. /*font style*/
  276. teletype
  277. : OTTYPE ( text )+ CTTYPE
  278. ;
  280. italic
  281. : OITALIC ( text )+ CITALIC
  282. ;
  284. bold: OBOLD ( text )+ CBOLD
  285. ;
  287. underline
  288. : OUNDER ( text )+ CUNDER
  289. ;
  291. strike
  292. : OSTRIKE ( text )+ CSTRIKE
  293. ;
  295. big : OBIG ( text )+ CBIG
  296. ;
  298. small
  299. : OSMALL ( text )+ CSMALL
  300. ;
  302. subscript
  303. : OSUB ( text )+ CSUB
  304. ;
  306. superscript
  307. : OSUP ( text )+ CSUP
  308. ;
  310. /*phrase elements*/
  312. emphasize
  313. : OEM ( text )+ CEM
  314. ;
  316. strong
  317. : OSTRONG ( text )+ CSTRONG
  318. ;
  320. definition
  321. : ODEF ( text )+ CDEF
  322. ;
  324. code
  325. : OCODE ( text )+ CCODE
  326. ;
  328. sample_output
  329. : OSAMP ( text )+ CSAMP
  330. ;
  332. keyboard_text
  333. : OKBD ( text )+ CKBD
  334. ;
  336. variable
  337. : OVAR ( text )+ CVAR
  338. ;
  340. citation
  341. : OCITE ( text )+ CCITE
  342. ;
  344. /* form fields (combined with body_content elsewhere so no PCDATA on end) */
  345. form_field
  346. : INPUT | select | textarea
  347. ;
  349. select
  350. : OSELECT (PCDATA)* (select_option)+ CSELECT
  351. ;
  353. select_option
  354. : SELOPT (PCDATA)*
  355. ;
  357. textarea
  358. : OTAREA (PCDATA)* CTAREA
  359. ;
  361. /* special text level elements*/
  362. anchor
  363. : OANCHOR (text)* CANCHOR
  364. ;
  366. applet
  367. : OAPPLET (APARAM)? (PCDATA)* CAPPLET
  368. ;
  370. //not w3-no blocks allowed; www.microsoft.com uses
  371. font_dfn
  372. : OFONT (text)* CFONT
  373. ;
  375. map : OMAP (AREA)+ CMAP
  376. ;
  378. class HTMLLexer extends Lexer;
  379. options {
  380. k = 4;
  381. exportVocab=HTML;
  382. charVocabulary = '3'..'377';
  383. caseSensitive=false;
  384. filter=UNDEFINED_TOKEN;
  385. }
  388. /* STRUCTURAL tags
  389. */
  391. DOCTYPE 
  392. options {
  393. ignore=WS_;
  394. }
  395. : "<!doctype" "html" "public" STRING '>'
  396. ;
  398. OHTML
  399.   :  "<html>"
  400. ; 
  402. CHTML
  403. :  "</html>"
  404. ;
  406. OHEAD
  407. :  "<head>"
  408. ;
  410. CHEAD
  411. :  "</head>"
  412. ;
  414. OBODY
  415. : "<body" (WS_ (ATTR )*)? '>' 
  416. ;
  418. CBODY
  419. : "</body>"
  420. ;
  423. /* HEAD ELEMENTS
  424. */
  426. OTITLE
  427. : "<title>"
  428. ;
  430. CTITLE
  431. : "</title>"
  432. ;
  435. OSCRIPT
  436. :  "<script>" 
  437. ;
  439. CSCRIPT
  440. : "</script>"
  441. ;
  443. ISINDEX
  444.   :  "<isindex" WS_ ATTR '>'
  445. ;
  447. META
  448. :  "<meta" WS_ (ATTR)+ '>'
  449. ;
  451. LINK
  452. : "<link" WS_ (ATTR)+ '>'
  453. ;
  456. /* headings */
  458. OH1 : "<h1" (WS_ ATTR)? '>' 
  459. ;
  461. CH1 : "</h1>" 
  462. ;
  464. OH2 : "<h2" (WS_ ATTR)?'>' 
  465. ;
  467. CH2 : "</h2>" 
  468. ;
  470. OH3 : "<h3" (WS_ ATTR)? '>' 
  471. ;
  473. CH3 : "</h3>" 
  474. ;
  476. OH4 : "<h4" (WS_ ATTR)? '>' 
  477. ;
  479. CH4 : "</h4>" 
  480. ;
  482. OH5 : "<h5" (WS_ ATTR)? '>' 
  483. ;
  485. CH5 : "</h5>" 
  486. ;
  488. OH6 : "<h6" (WS_ ATTR)? '>' 
  489. ;
  491. CH6 : "</h6>" 
  492. ;
  494. OADDRESS
  495. : "<address>" 
  496. ;
  498. CADDRESS
  499. : "</address>"
  500. ;
  502. OPARA
  503. : "<p" (WS_ ATTR)? '>' 
  504. ;
  506. CPARA
  507. :  "</p>" //it's optional
  508. ;
  510. /*UNORDERED LIST*/
  511. OULIST
  512. : "<ul" (WS_ ATTR)? '>' 
  513. ;
  515. CULIST
  516. : "</ul>"
  517. ;
  519. /*ORDERED LIST*/
  520. OOLIST
  521. : "<ol" (WS_ ATTR)? '>'
  522. ;
  524. COLIST
  525. : "</ol>"
  526. ;
  528. /*LIST ITEM*/
  530. OLITEM
  531. : "<li" (WS_ ATTR)? '>'
  532. ;
  534. CLITEM
  535. : "</li>"
  536. ;
  538. /*DEFINITION LIST*/ 
  540. ODLIST 
  541. : "<dl" (WS_ ATTR)? '>' 
  542. ;
  544. CDLIST
  545. : "</dl>"
  546. ;
  548. ODTERM
  549. :  "<dt>"
  550. ;
  552. CDTERM
  553. :  "</dt>"
  554. ;
  556. ODDEF
  557. :  "<dd>"
  558. ;
  560. CDDEF
  561. :  "</dd>"
  562. ;
  564. ODIR: "<dir>"
  565. ;
  567. CDIR_OR_CDIV
  568. : "</di"
  569. ( 'r' {$setType(CDIR);}
  570. | 'v' {$setType(CDIV);}
  571. )
  572. '>'
  573. ;
  575. ODIV: "<div" (WS_ ATTR)? '>'
  576. ;
  578. OMENU
  579. : "<menu>"
  580. ;
  582. CMENU
  583. : "</menu>"
  584. ;
  586. OPRE: ("<pre>" | "<xmp>") ('n')? 
  587. ;
  589. CPRE:  "</pre>" | "</xmp>" 
  590. ;
  592. OCENTER
  593. : "<center>"
  594. ;
  596. CCENTER
  597. : "</center>"
  598. ;
  600. OBQUOTE
  601. : "<blockquote>"
  602. ;
  604. CBQUOTE
  605. : "</blockquote>"
  606. ;
  608. //this is block element and thus can't be nested inside of
  609. //other block elements, ex: paragraphs.
  610. //Netscape appears to generate bad HTML vis-a-vis the standard.
  612. HR : "<hr" (WS_ (ATTR)*)? '>'
  613. ;
  616. OTABLE
  617. : "<table" (WS_ (ATTR)*)? '>'
  618. ;
  620. CTABLE
  621. :  "</table>"
  622. ;
  624. OCAP: "<caption" (WS_ (ATTR)*)? '>'
  625. ;
  627. CCAP: "</caption>"
  628. ;
  630. O_TR
  631. : "<tr" (WS_ (ATTR)*)? '>'
  632. ;
  634. C_TR: "</tr>"
  635. ;
  637. O_TH_OR_TD
  638. : ("<th" | "<td") (WS_ (ATTR)*)? '>'
  639. ;
  641. C_TH_OR_TD
  642. : "</th>" | "</td>"
  643. ;
  645. /* PCDATA-LEVEL ELEMENTS
  646. */
  648. /* font style elemens*/
  650. OTTYPE
  651. : "<tt>"
  652. ;
  654. CTTYPE
  655. : "</tt>"
  656. ;
  658. OITALIC
  659. : "<i>"
  660. ;
  662. CITALIC
  663. : "</i>"
  664. ;
  666. OBOLD
  667.   : "<b>" 
  668. ;
  670. CBOLD
  671. : "</b>" 
  672. ;
  674. OUNDER
  675. : "<u>"
  676. ;
  678. CUNDER
  679. : "</u>" 
  680. ;
  682. /** Left-factor <strike> and <strong> to reduce lookahead */
  683. OSTRIKE_OR_OSTRONG
  684. : "<str"
  685. ( "ike" {$setType(OSTRIKE);}
  686. | "ong" {$setType(OSTRONG);}
  687. )
  688. '>'
  689. ;
  691. CST_LEFT_FACTORED
  692. : "</st"
  693. ( "rike" {$setType(CSTRIKE);}
  694. | "rong" {$setType(CSTRONG);}
  695. | "yle"  {$setType(CSTYLE);}
  696. )
  697. '>'
  698. ;
  700. OSTYLE
  701.   :  "<style>" 
  702. ;
  704. OBIG: "<big>"
  705. ;
  707. CBIG: "</big>"
  708. ;
  710. OSMALL
  711. : "<small>"
  712. ;
  714. CSMALL
  715. : "</small>"
  716. ;
  718. OSUB: "<sub>"
  719. ;
  721. OSUP: "<sup>"
  722. ;
  724. CSUB_OR_CSUP
  725. : "</su"
  726. ( 'b' {$setType(CSUB);}
  727. | 'p' {$setType(CSUP);}
  728. )
  729. '>'
  730. ;
  732. /* phrase elements*/
  733. OEM : "<em>"
  734. ;
  736. CEM : "</em>"
  737. ;
  739. ODFN: "<dfn>"
  740. ;
  742. CDFN: "</dfn>"
  743. ;
  745. OCODE
  746.   : "<code>" 
  747. ;
  749. CCODE
  750. : "</code>"
  751. ;
  753. OSAMP
  754. : "<samp>"
  755. ;
  757. CSAMP
  758. : "</samp>"
  759. ;
  761. OKBD: "<kbd>"
  762. ;
  764. CKBD: "</kbd>"
  765. ;
  767. OVAR: "<var>"
  768. ;
  770. CVAR: "</var>"
  771. ;
  773. OCITE
  774. : "<cite>"
  775. ;
  777. CCITE
  778. : "</cite>"
  779. ;
  781. /* form fields*/
  782. INPUT
  783. : "<input" (WS_ (ATTR)*)? '>'
  784. ;
  786. OSELECT
  787. : "<select" (WS_ (ATTR)*)? '>'
  788. ;
  790. CSELECT
  791. : "</select>"
  792. ;
  794. OTAREA
  795. : "<textarea" (WS_ (ATTR)*)? '>'
  796. ;
  798. CTAREA
  799. : "</textarea>"
  800. ;
  802. SELOPT
  803. : "<option" (WS_ (ATTR)*)? '>' 
  804. ;
  806. /* special text level elements*/
  808. OANCHOR
  809. : "<a" WS_ (ATTR)+ '>'
  810. ;
  812. CANCHOR
  813. : "</a>"
  814. ;
  816. IMG : "<img" WS_ (ATTR)+ '>'
  817. ;
  820. OAPPLET
  821. : "<applet" WS_ (ATTR)+ '>'
  822. ;
  824. APPLET
  825. : "</applet>"
  826. ;
  828. APARM
  829. : "<param" WS_ (ATTR)+'>'
  830. ;
  832. OFORM
  833. : "<form" WS_ (ATTR)+ '>'
  834. ;
  836. OFONT
  837. : "<font" WS_ (ATTR)+ '>'
  838. ;
  840. CFORM_OR_CFONT
  841. : "</fo"
  842. ( "rm" {$setType(CFORM);}
  843. | "nt" {$setType(CFONT);}
  844. )
  845. '>'
  846. ;
  848. /*
  849. CFORM
  850. : "</form>"
  851. ;
  853. CFONT
  854. : "</font>"
  855. ;
  856. */
  858. BFONT_OR_BASE
  859. : "<base"
  860. ( "font" WS_ ATTR {$setType(BFONT);}
  861. | WS_ ATTR        {$setType(BASE);}
  862. )
  863. '>'
  864. ;
  866. /*
  867. BFONT
  868. : "<basefont" WS_ ATTR '>'
  869. ;
  871. BASE:  "<base" WS_ ATTR '>'
  872. ;
  873. */
  875. BR
  876. : "<br" (WS_ ATTR)? '>'
  877. ;
  879. OMAP
  880. : "<map" WS_ ATTR '>'
  881. ; 
  883. CMAP: "</map>"
  884. ;
  886. AREA: "<area" WS_ (ATTR)+ '>'
  887. ;
  889. /*MISC STUFF*/
  891. PCDATA
  892. : (
  893. /* See comment in WS_.  Language for combining any flavor
  894.  * newline is ambiguous.  Shutting off the warning.
  895.  */
  896. options {
  897. generateAmbigWarnings=false;
  898. }
  899. : 'r' 'n' {newline();}
  900. | 'r' {newline();}
  901. | 'n' {newline();}
  902. | ~('<'|'n'|'r'|'"'|'>')
  903. )+ 
  904. ;
  906. // multiple-line comments
  907. protected
  908. COMMENT_DATA
  909. : ( /* 'r' 'n' can be matched in one alternative or by matching
  910. 'r' in one iteration and 'n' in another.  I am trying to
  911. handle any flavor of newline that comes in, but the language
  912. that allows both "rn" and "r" and "n" to all be valid
  913. newline is ambiguous.  Consequently, the resulting grammar
  914. must be ambiguous.  I'm shutting this warning off.
  915.  */
  916. options {
  917. generateAmbigWarnings=false;
  918. }
  919. :
  920. {LA(2)!='-' && LA(3)!='>'}? '-' // allow '-' if not "-->"
  921. | 'r' 'n' {newline();}
  922. | 'r' {newline();}
  923. | 'n' {newline();}
  924. | ~('-'|'n'|'r')
  925. )*
  926. ;
  929. COMMENT
  930. : "<!--" COMMENT_DATA "-->" { $setType(ANTLR_USE_NAMESPACE(antlr)Token::SKIP); }
  931. ;
  933. /*
  934. PROTECTED LEXER RULES
  935. */
  937. protected
  938. WS_ : (
  939. /* 'r' 'n' can be matched in one alternative or by matching
  940. 'r' in one iteration and 'n' in another.  I am trying to
  941. handle any flavor of newline that comes in, but the language
  942. that allows both "rn" and "r" and "n" to all be valid
  943. newline is ambiguous.  Consequently, the resulting grammar
  944. must be ambiguous.  I'm shutting this warning off.
  945.  */
  946. options {
  947. generateAmbigWarnings=false;
  948. }
  949. : ' '
  950. | 't'
  951. | 'n' { newline(); }
  952. | "rn" { newline(); }
  953. | 'r' { newline(); }
  954. )+
  955. ;
  957. protected
  958. ATTR
  959. options {
  960. ignore=WS_;
  961. }
  962. : WORD ('=' (WORD ('%')? | ('-')? INT | STRING | HEXNUM))?
  963. ;
  965. //don't need uppercase for case-insen.
  966. //the '.' is for words like "image.gif"
  967. protected
  968. WORD: ( LCLETTER
  969. | '.'
  970. )
  972. (
  973. /* In reality, a WORD must be followed by whitespace, '=', or
  974. what can follow an ATTR such as '>'.  In writing this grammar,
  975. however, we just list all the possibilities as optional
  976. elements.  This is loose, allowing the case where nothing is
  977. matched after a WORD and then the (ATTR)* loop means the
  978. grammar would allow "widthheight" as WORD WORD or WORD, hence,
  979. an ambiguity.  Naturally, ANTLR will consume the input as soon
  980. as possible, combing "widthheight" into one WORD.
  982. I am shutting off the ambiguity here because ANTLR does the
  983. right thing.  The exit path is ambiguous with ever
  984. alternative.  The only solution would be to write an unnatural
  985. grammar (lots of extra productions) that laid out the
  986. possibilities explicitly, preventing the bogus WORD followed
  987. immediately by WORD without whitespace etc...
  988.  */
  989. options {
  990. generateAmbigWarnings=false;
  991. }
  992. : LCLETTER
  993. | DIGIT
  994. | '.'
  995. )+
  996. ;
  998. protected
  999. STRING
  1000. : '"' (~'"')* '"'
  1001. | ''' (~''')* '''
  1002. ;
  1004. protected
  1005. WSCHARS
  1006. : ' ' | 't' | 'n' | 'r'
  1007. ;
  1009. protected 
  1010. SPECIAL
  1011. : '<' | '~'
  1012. ;
  1014. protected
  1015. HEXNUM
  1016. : '#' HEXINT
  1017. ;
  1019. protected
  1020. INT : (DIGIT)+
  1021. ;
  1023. protected
  1024. HEXINT
  1025. : (
  1026. /* Technically, HEXINT cannot be followed by a..f, but due to our
  1027. loose grammar, the whitespace that normally would follow this
  1028. rule is optional.  ANTLR reports that #4FACE could parse as
  1029. HEXINT "#4" followed by WORD "FACE", which is clearly bogus.
  1030. ANTLR does the right thing by consuming a much input as
  1031. possible here.  I shut the warning off.
  1032.  */
  1033.  options {
  1034. generateAmbigWarnings=false;
  1035. }
  1036. : HEXDIGIT
  1037. )+
  1038. ;
  1040. protected
  1041. DIGIT
  1042. : '0'..'9'
  1043. ;
  1045. protected
  1046. HEXDIGIT
  1047. : '0'..'9'
  1048. | 'a'..'f'
  1049. ;
  1051. protected
  1052. LCLETTER
  1053. : 'a'..'z'
  1054. ;
  1056. protected
  1057. UNDEFINED_TOKEN
  1058. : '<' (~'>')* '>'
  1059. (
  1060. ( /* the usual newline hassle: rn can be matched in alt 1
  1061.  * or by matching alt 2 followed by alt 3 in another iteration.
  1062.  */
  1063.  options {
  1064. generateAmbigWarnings=false;
  1065. }
  1066. : "rn" | 'r' | 'n'
  1067. )
  1068. { newline();}
  1069. )*
  1070. {std::cerr << "invalid tag: " << $getText << std::endl;}
  1071. | ( "rn" | 'r' | 'n' ) {newline();}
  1072. | .
  1073. ;
  1075. /*
  1076. : ('<'  { std::cerr << "Warning: non-standard tag <" << LA(1); } )
  1077. (~'>' { std::cerr << LA(1); } )* 
  1078. ('>'  { std::cerr << " skipped." << std::endl; } ) 
  1079. { _ttype = ANTLR_USE_NAMESPACE(antlr::)Token::SKIP; }
  1080. ;
  1081. */