开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 编译器/解释器 > 查看源码
html.g
资源名称：antlr-2_7_0.zip　[点击查看]
上传用户：afrynkmhm
上传日期：2007-01-06
资源大小：1262k
文件大小：15k
源码类别：

编译器/解释器

开发平台：

Others

html.g：源码内容
  1. options {
  2. language = "Sather";
  3. }
  5. /*
  6. Based on the HTML 3.2 spec. by the W3 (http://www.w3.org)
  7. Alexander Hinds & Terence Parr
  8. Magelang Institute, Ltd.
  9. Send comments to:  parrt@jguru.com
  11. v1.1 Terence Parr (updated to 2.6.0)
  13. Fixed CCYTE->CCITE
  14. Fixed def of COMMENT_DATA so it scarfs stuff correctly.
  15. Also, fixed refs to (PCDATA)? -> (PCDATA)* because a comment
  16. between PCDATA returns 2 PCDATA--ya need the loop not optional.
  18. v1.0 Terence John Parr (version 2.5.0 of ANTLR required)
  20. Fixed how whitespace as handled, removing some ambiguities; some
  21. because of ANTLR lexical filtering in 2.5.0.
  23. Changed (PCDATA)* loops to (PCDATA)? general since PCDATA matches
  24. everything between valid tags (how could there be more than one
  25. between tags?)
  27. Made the DOCTYPE optional.
  29. Reduced lookahead from k=5 to k=1 on the parser and number
  30. of parser ambiguities to 2.  Reduced lexer lookahead from 6
  31. to 4; had to left factor a bunch of stuff.
  33. List items couldn't contain nested lists...fixed it.
  35. Fixed def of WORD so it can't be an INT.  Removed '-' from WORD.
  37. Fixed HEXNUM so it will allow letters A..F.
  39. KNOWN ISSUES:
  41. 1.  Does not handle "staggered" tags, eg: <p> <i> <p> <i>
  43. 2.  Adhere's somewhat strictly to the html spec, so many pages
  44. won't parse without errors.
  46. 3.  Doesn't convert &(a signifier) to it's proper single char 
  47. representation
  49. 4.  Checks only the syntax of element attributes, not the semantics,
  50. e.g. won't very that a base element's attribute is actually
  51. called "href" 
  53. 5.  Tags split across lines, for example, <A (NEWLINE) some text >
  54. won't be properly recognized.  TJP: I think I fixed this.
  56. 7.  Lines not counted properly due to the def'n of PCDATA - see the
  57. alternate def'n for a possible fix.  TJP: I think I fixed this.
  59. */
  61. class HTML_PARSER extends Parser;
  62. options {
  63. exportVocab=HTML;
  64. k = 1;
  65. }
  68. document
  69. :  (PCDATA)? (DOCTYPE (PCDATA)?)?
  70. (OHTML (PCDATA)?)?
  71. (head)?
  72. (body)?
  73. (CHTML (PCDATA)?)?
  74. ;
  76. head:  (OHEAD (PCDATA)?)?
  77. head_element
  78. (PCDATA | head_element)* 
  79. (CHEAD (PCDATA)?)? 
  80. ;
  82. head_element
  83. : title //bug need at least a title, rest optional
  84. | script
  85. | style
  86. | ISINDEX
  87. | BASE
  88. | META
  89. | LINK
  90. ;
  92. title
  93. : OTITLE (PCDATA)? CTITLE
  94. ;
  96. script
  97. : OSCRIPT (~CSCRIPT)+ CSCRIPT
  98. ;
  100. style
  101. : OSTYLE (~CSTYLE)+ CSTYLE
  102. ;
  104. body:  ( OBODY (PCDATA)* )? 
  105. body_content_no_PCDATA
  106. ( body_content )+ 
  107. ( CBODY (PCDATA)* )? 
  108. ;
  110. body_content_no_PCDATA
  111. : body_tag | text_tag
  112. ;
  114. body_tag
  115. :  heading | block | ADDRESS
  116. ;
  118. body_content
  119. :  body_tag | text
  120. ;
  123. /*revised*/
  124. heading
  125. : h1 | h2 | h3 | h4 | h5 | h6
  126. ;
  128. block
  129. : paragraph | list | preformatted | div |
  130. center | blockquote | HR | table
  131. ; //bug - ?FORM v %form, ISINDEX here too?
  133. font: teletype | italic | bold | underline | strike | 
  134. big | small | subscript | superscript
  135. ;
  137. phrase
  138. : emphasize | strong | definition | code | sample_output|
  139. keyboard_text | variable | citation
  140. ;
  142. special
  143. : anchor | IMG | applet | font_dfn | BFONT |
  144. map | BR 
  145. ;
  147. text_tag
  148. : font | phrase | special | form
  149. ;
  151. text: PCDATA | text_tag
  152. ;
  154. /*end*/
  157. /*BLOCK ELEMENTS*/
  159. h1 : OH1 (block | text)* CH1
  160. ;
  161. h2 : OH2 (block | text)* CH2
  162. ;
  163. h3 : OH3 (block | text)* CH3
  164. ;
  165. h4 : OH4 (block | text)* CH4
  166. ;
  167. h5 : OH5 (block | text)* CH5
  168. ;
  169. h6 : OH6 (block | text)* CH6
  170. ;
  172. address
  173. : OADDRESS (PCDATA)* CADDRESS
  174. ;
  176. //NOTE:  according to the standard, paragraphs can't contain block elements
  177. //like HR.  Netscape may insert these elements into paragraphs.
  178. //We adhere strictly here.
  180. paragraph
  181. : OPARA
  182. (
  183. /* Rule body_content may also be just plain text because HTML is
  184. so loose.  When body puts body_content in a loop, ANTLR
  185. doesn't know whether you want it to match all the text as part
  186. of this paragraph (in the case where the </p> is missing) or
  187. if the body rule should scarf it.  This is analogous to the
  188. dangling-else clause.  I shut off the warning.
  189. */
  190. options {
  191. generateAmbigWarnings=false;
  192. }
  193. : text
  194. )*
  195. (CPARA)?
  196. ;
  198. list: unordered_list
  199. | ordered_list
  200. | def_list
  201. ;
  203. unordered_list
  204. : OULIST (PCDATA)* (list_item)+ CULIST
  205. ;
  207. ordered_list
  208. : OOLIST (PCDATA)* (list_item)+ COLIST
  209. ;
  211. def_list
  212. : ODLIST (PCDATA)* (def_list_item)+ CDLIST 
  213. ;
  215. list_item
  216. : OLITEM ( text | list )+ (CLITEM (PCDATA)*)?
  217. ;
  219. def_list_item
  220. : dt | dd
  221. ;
  223. dt : ODTERM (text)+ CDTERM (PCDATA)*
  224. ;
  226. dd : ODDEF (text | block)+ CDTERM (PCDATA)*
  227. ;
  229. dir : ODIR (list_item)+ CDIR
  230. ;
  232. menu: OMENU (list_item)+ CMENU
  233. ;
  235. preformatted
  236. : OPRE (text)+ CPRE
  237. ;
  239. div : ODIV (body_content)* CDIV //semi-revised
  240. ;
  242. center
  243. : OCENTER (body_content)* CCENTER //semi-revised
  244. ;
  246. blockquote
  247. : OBQUOTE PCDATA CBQUOTE
  248. ;
  250. form: OFORM (form_field | body_content)* CFORM
  251. ;
  253. table
  254. : OTABLE (caption)? (PCDATA)* (tr)+ CTABLE
  255. ;
  257. caption
  258. : OCAP (text)* CCAP
  259. ;
  261. tr : O_TR (PCDATA)* (th_or_td)* (C_TR (PCDATA)*)? 
  262. ;
  264. th_or_td
  265. : O_TH_OR_TD (body_content)* (C_TH_OR_TD (PCDATA)*)?
  266. ;
  268. /*TEXT ELEMENTS*/
  270. /*font style*/
  272. teletype
  273. : OTTYPE ( text )+ CTTYPE
  274. ;
  276. italic
  277. : OITALIC ( text )+ CITALIC
  278. ;
  280. bold: OBOLD ( text )+ CBOLD
  281. ;
  283. underline
  284. : OUNDER ( text )+ CUNDER
  285. ;
  287. strike
  288. : OSTRIKE ( text )+ CSTRIKE
  289. ;
  291. big : OBIG ( text )+ CBIG
  292. ;
  294. small
  295. : OSMALL ( text )+ CSMALL
  296. ;
  298. subscript
  299. : OSUB ( text )+ CSUB
  300. ;
  302. superscript
  303. : OSUP ( text )+ CSUP
  304. ;
  306. /*phrase elements*/
  308. emphasize
  309. : OEM ( text )+ CEM
  310. ;
  312. strong
  313. : OSTRONG ( text )+ CSTRONG
  314. ;
  316. definition
  317. : ODEF ( text )+ CDEF
  318. ;
  320. code
  321. : OCODE ( text )+ CCODE
  322. ;
  324. sample_output
  325. : OSAMP ( text )+ CSAMP
  326. ;
  328. keyboard_text
  329. : OKBD ( text )+ CKBD
  330. ;
  332. variable
  333. : OVAR ( text )+ CVAR
  334. ;
  336. citation
  337. : OCITE ( text )+ CCITE
  338. ;
  340. /* form fields (combined with body_content elsewhere so no PCDATA on end) */
  341. form_field
  342. : INPUT | select | textarea
  343. ;
  345. select
  346. : OSELECT (PCDATA)* (select_option)+ CSELECT
  347. ;
  349. select_option
  350. : SELOPT (PCDATA)*
  351. ;
  353. textarea
  354. : OTAREA (PCDATA)* CTAREA
  355. ;
  357. /* special text level elements*/
  358. anchor
  359. : OANCHOR (text)* CANCHOR
  360. ;
  362. applet
  363. : OAPPLET (APARAM)? (PCDATA)* CAPPLET
  364. ;
  366. //not w3-no blocks allowed; www.microsoft.com uses
  367. font_dfn
  368. : OFONT (text)* CFONT
  369. ;
  371. map : OMAP (AREA)+ CMAP
  372. ;
  374. class HTML_LEXER extends Lexer;
  375. options {
  376. k = 4;
  377. exportVocab=HTML;
  378. charVocabulary = '3'..'377';
  379. caseSensitive=false;
  380. filter=UNDEFINED_TOKEN;
  381. }
  382. {
  383.   printerr( str : STR ) is 
  384.     #ERR + str + "n";
  385.   end; 
  386. }
  388. /* STRUCTURAL tags
  389. */
  391. DOCTYPE 
  392. options {
  393. ignore=WS;
  394. }
  395. : "<!doctype" "html" "public" STRING '>'
  396. ;
  398. OHTML
  399.   :  "<html>"
  400. ; 
  402. CHTML
  403. :  "</html>"
  404. ;
  406. OHEAD
  407. :  "<head>"
  408. ;
  410. CHEAD
  411. :  "</head>"
  412. ;
  414. OBODY
  415. : "<body" (WS (ATTR )*)? '>' 
  416. ;
  418. CBODY
  419. : "</body>"
  420. ;
  423. /* HEAD ELEMENTS
  424. */
  426. OTITLE
  427. : "<title>"
  428. ;
  430. CTITLE
  431. : "</title>"
  432. ;
  435. OSCRIPT
  436. :  "<script>" 
  437. ;
  439. CSCRIPT
  440. : "</script>"
  441. ;
  443. ISINDEX
  444.   :  "<isindex" WS ATTR '>'
  445. ;
  447. META
  448. :  "<meta" WS (ATTR)+ '>'
  449. ;
  451. LINK
  452. : "<link" WS (ATTR)+ '>'
  453. ;
  456. /* headings */
  458. OH1 : "<h1" (WS ATTR)? '>' 
  459. ;
  461. CH1 : "</h1>" 
  462. ;
  464. OH2 : "<h2" (WS ATTR)?'>' 
  465. ;
  467. CH2 : "</h2>" 
  468. ;
  470. OH3 : "<h3" (WS ATTR)? '>' 
  471. ;
  473. CH3 : "</h3>" 
  474. ;
  476. OH4 : "<h4" (WS ATTR)? '>' 
  477. ;
  479. CH4 : "</h4>" 
  480. ;
  482. OH5 : "<h5" (WS ATTR)? '>' 
  483. ;
  485. CH5 : "</h5>" 
  486. ;
  488. OH6 : "<h6" (WS ATTR)? '>' 
  489. ;
  491. CH6 : "</h6>" 
  492. ;
  494. OADDRESS
  495. : "<address>" 
  496. ;
  498. CADDRESS
  499. : "</address>"
  500. ;
  502. OPARA
  503. : "<p" (WS ATTR)? '>' 
  504. ;
  506. CPARA
  507. :  "</p>" //it's optional
  508. ;
  510. /*UNORDERED LIST*/
  511. OULIST
  512. : "<ul" (WS ATTR)? '>' 
  513. ;
  515. CULIST
  516. : "</ul>"
  517. ;
  519. /*ORDERED LIST*/
  520. OOLIST
  521. : "<ol" (WS ATTR)? '>'
  522. ;
  524. COLIST
  525. : "</ol>"
  526. ;
  528. /*LIST ITEM*/
  530. OLITEM
  531. : "<li" (WS ATTR)? '>'
  532. ;
  534. CLITEM
  535. : "</li>"
  536. ;
  538. /*DEFINITION LIST*/ 
  540. ODLIST 
  541. : "<dl" (WS ATTR)? '>' 
  542. ;
  544. CDLIST
  545. : "</dl>"
  546. ;
  548. ODTERM
  549. :  "<dt>"
  550. ;
  552. CDTERM
  553. :  "</dt>"
  554. ;
  556. ODDEF
  557. :  "<dd>"
  558. ;
  560. CDDEF
  561. :  "</dd>"
  562. ;
  564. ODIR: "<dir>"
  565. ;
  567. CDIR_OR_CDIV
  568. : "</di"
  569. ( 'r' {%setType(CDIR);}
  570. | 'v' {%setType(CDIV);}
  571. )
  572. '>'
  573. ;
  575. ODIV: "<div" (WS ATTR)? '>'
  576. ;
  578. OMENU
  579. : "<menu>"
  580. ;
  582. CMENU
  583. : "</menu>"
  584. ;
  586. OPRE: ("<pre>" | "<xmp>") ('n')? 
  587. ;
  589. CPRE:  "</pre>" | "</xmp>" 
  590. ;
  592. OCENTER
  593. : "<center>"
  594. ;
  596. CCENTER
  597. : "</center>"
  598. ;
  600. OBQUOTE
  601. : "<blockquote>"
  602. ;
  604. CBQUOTE
  605. : "</blockquote>"
  606. ;
  608. //this is block element and thus can't be nested inside of
  609. //other block elements, ex: paragraphs.
  610. //Netscape appears to generate bad HTML vis-a-vis the standard.
  612. HR : "<hr" (WS (ATTR)*)? '>'
  613. ;
  616. OTABLE
  617. : "<table" (WS (ATTR)*)? '>'
  618. ;
  620. CTABLE
  621. :  "</table>"
  622. ;
  624. OCAP: "<caption" (WS (ATTR)*)? '>'
  625. ;
  627. CCAP: "</caption>"
  628. ;
  630. O_TR
  631. : "<tr" (WS (ATTR)*)? '>'
  632. ;
  634. C_TR: "</tr>"
  635. ;
  637. O_TH_OR_TD
  638. : ("<th" | "<td") (WS (ATTR)*)? '>'
  639. ;
  641. C_TH_OR_TD
  642. : "</th>" | "</td>"
  643. ;
  645. /* PCDATA-LEVEL ELEMENTS
  646. */
  648. /* font style elemens*/
  650. OTTYPE
  651. : "<tt>"
  652. ;
  654. CTTYPE
  655. : "</tt>"
  656. ;
  658. OITALIC
  659. : "<i>"
  660. ;
  662. CITALIC
  663. : "</i>"
  664. ;
  666. OBOLD
  667.   : "<b>" 
  668. ;
  670. CBOLD
  671. : "</b>" 
  672. ;
  674. OUNDER
  675. : "<u>"
  676. ;
  678. CUNDER
  679. : "</u>" 
  680. ;
  682. /* Left-factor <strike> and <strong> to reduce lookahead */
  683. OSTRIKE_OR_OSTRONG
  684. : "<str"
  685. ( "ike" {%setType(OSTRIKE);}
  686. | "ong" {%setType(OSTRONG);}
  687. )
  688. '>'
  689. ;
  691. CST_LEFT_FACTORED
  692. : "</st"
  693. ( "rike" {%setType(CSTRIKE);}
  694. | "rong" {%setType(CSTRONG);}
  695. | "yle"  {%setType(CSTYLE);}
  696. )
  697. '>'
  698. ;
  700. OSTYLE
  701.   :  "<style>" 
  702. ;
  704. OBIG: "<big>"
  705. ;
  707. CBIG: "</big>"
  708. ;
  710. OSMALL
  711. : "<small>"
  712. ;
  714. CSMALL
  715. : "</small>"
  716. ;
  718. OSUB: "<sub>"
  719. ;
  721. OSUP: "<sup>"
  722. ;
  724. CSUB_OR_CSUP
  725. : "</su"
  726. ( 'b' {%setType(CSUB);}
  727. | 'p' {%setType(CSUP);}
  728. )
  729. '>'
  730. ;
  732. /* phrase elements*/
  733. OEM : "<em>"
  734. ;
  736. CEM : "</em>"
  737. ;
  739. ODFN: "<dfn>"
  740. ;
  742. CDFN: "</dfn>"
  743. ;
  745. OCODE
  746.   : "<code>" 
  747. ;
  749. CCODE
  750. : "</code>"
  751. ;
  753. OSAMP
  754. : "<samp>"
  755. ;
  757. CSAMP
  758. : "</samp>"
  759. ;
  761. OKBD: "<kbd>"
  762. ;
  764. CKBD: "</kbd>"
  765. ;
  767. OVAR: "<var>"
  768. ;
  770. CVAR: "</var>"
  771. ;
  773. OCITE
  774. : "<cite>"
  775. ;
  777. CCITE
  778. : "</cite>"
  779. ;
  781. /* form fields*/
  782. INPUT
  783. : "<input" (WS (ATTR)*)? '>'
  784. ;
  786. OSELECT
  787. : "<select" (WS (ATTR)*)? '>'
  788. ;
  790. CSELECT
  791. : "</select>"
  792. ;
  794. OTAREA
  795. : "<textarea" (WS (ATTR)*)? '>'
  796. ;
  798. CTAREA
  799. : "</textarea>"
  800. ;
  802. SELOPT
  803. : "<option" (WS (ATTR)*)? '>' 
  804. ;
  806. /* special text level elements*/
  808. OANCHOR
  809. : "<a" WS (ATTR)+ '>'
  810. ;
  812. CANCHOR
  813. : "</a>"
  814. ;
  816. IMG : "<img" WS (ATTR)+ '>'
  817. ;
  820. OAPPLET
  821. : "<applet" WS (ATTR)+ '>'
  822. ;
  824. APPLET
  825. : "</applet>"
  826. ;
  828. APARM
  829. : "<param" WS (ATTR)+'>'
  830. ;
  832. OFORM
  833. : "<form" WS (ATTR)+ '>'
  834. ;
  836. OFONT
  837. : "<font" WS (ATTR)+ '>'
  838. ;
  840. CFORM_OR_CFONT
  841. : "</fo"
  842. ( "rm" {%setType(CFORM);}
  843. | "nt" {%setType(CFONT);}
  844. )
  845. '>'
  846. ;
  848. /*
  849. CFORM
  850. : "</form>"
  851. ;
  853. CFONT
  854. : "</font>"
  855. ;
  856. */
  858. BFONT_OR_BASE
  859. : "<base"
  860. ( "font" WS ATTR {%setType(BFONT);}
  861. | WS ATTR        {%setType(BASE);}
  862. )
  863. '>'
  864. ;
  866. /*
  867. BFONT
  868. : "<basefont" WS ATTR '>'
  869. ;
  871. BASE:  "<base" WS ATTR '>'
  872. ;
  873. */
  875. BR
  876. : "<br" (WS ATTR)? '>'
  877. ;
  879. OMAP
  880. : "<map" WS ATTR '>'
  881. ; 
  883. CMAP: "</map>"
  884. ;
  886. AREA: "<area" WS (ATTR)+ '>'
  887. ;
  889. /*MISC STUFF*/
  891. PCDATA
  892. : (
  893. /* See comment in WS.  Language for combining any flavor
  894.  * newline is ambiguous.  Shutting off the warning.
  895.  */
  896. options {
  897. generateAmbigWarnings=false;
  898. }
  899. : 'r' 'n' {newline;}
  900. | 'r' {newline;}
  901. | 'n' {newline;}
  902. | ~('<'|'n'|'r'|'"'|'>'|'377')
  903. )+ 
  904. ;
  906. // multiple-line comments
  907. protected
  908. COMMENT_DATA
  909. : ( /* 'r' 'n' can be matched in one alternative or by matching
  910. 'r' in one iteration and 'n' in another.  I am trying to
  911. handle any flavor of newline that comes in, but the language
  912. that allows both "rn" and "r" and "n" to all be valid
  913. newline is ambiguous.  Consequently, the resulting grammar
  914. must be ambiguous.  I'm shutting this warning off.
  915.  */
  916. options {
  917. generateAmbigWarnings=false;
  918. }
  919. :
  920. { LA(2) /= '-' and LA(3) /= '>' }? '-' // allow '-' if not "-->"
  921. | 'r' 'n' {newline;}
  922. | 'r' {newline;}
  923. | 'n' {newline;}
  924. | ~('-'|'n'|'r')
  925. )*
  926. ;
  929. COMMENT
  930. : "<!--" COMMENT_DATA "-->" { %setType(ANTLR_COMMON_TOKEN::SKIP); }
  931. ;
  933. /*
  934. PROTECTED LEXER RULES
  935. */
  937. protected
  938. WS : (
  939. /* 'r' 'n' can be matched in one alternative or by matching
  940. 'r' in one iteration and 'n' in another.  I am trying to
  941. handle any flavor of newline that comes in, but the language
  942. that allows both "rn" and "r" and "n" to all be valid
  943. newline is ambiguous.  Consequently, the resulting grammar
  944. must be ambiguous.  I'm shutting this warning off.
  945.  */
  946. options {
  947. generateAmbigWarnings=false;
  948. }
  949. : ' '
  950. | 't'
  951. | 'n' { newline; }
  952. | "rn" { newline; }
  953. | 'r' { newline; }
  954. )+
  955. ;
  957. protected
  958. ATTR
  959. options {
  960. ignore=WS;
  961. }
  962. : WORD ('=' (WORD ('%')? | ('-')? INT | STRING | HEXNUM))?
  963. ;
  965. //don't need uppercase for case-insen.
  966. //the '.' is for words like "image.gif"
  967. protected
  968. WORD: ( LCLETTER
  969. | '.'
  970. )
  972. (
  973. /* In reality, a WORD must be followed by whitespace, '=', or
  974. what can follow an ATTR such as '>'.  In writing this grammar,
  975. however, we just list all the possibilities as optional
  976. elements.  This is loose, allowing the case where nothing is
  977. matched after a WORD and then the (ATTR)* loop means the
  978. grammar would allow "widthheight" as WORD WORD or WORD, hence,
  979. an ambiguity.  Naturally, ANTLR will consume the input as soon
  980. as possible, combing "widthheight" into one WORD.
  982. I am shutting off the ambiguity here because ANTLR does the
  983. right thing.  The exit path is ambiguous with ever
  984. alternative.  The only solution would be to write an unnatural
  985. grammar (lots of extra productions) that laid out the
  986. possibilities explicitly, preventing the bogus WORD followed
  987. immediately by WORD without whitespace etc...
  988.  */
  989. options {
  990. generateAmbigWarnings=false;
  991. }
  992. : LCLETTER
  993. | DIGIT
  994. | '.'
  995. )+
  996. ;
  998. protected
  999. STRING
  1000. : '"' (~'"')* '"'
  1001. | ''' (~''')* '''
  1002. ;
  1004. protected
  1005. WSCHARS
  1006. : ' ' | 't' | 'n' | 'r'
  1007. ;
  1009. protected 
  1010. SPECIAL
  1011. : '<' | '~'
  1012. ;
  1014. protected
  1015. HEXNUM
  1016. : '#' HEXINT
  1017. ;
  1019. protected
  1020. INT : (DIGIT)+
  1021. ;
  1023. protected
  1024. HEXINT
  1025. : (
  1026. /* Technically, HEXINT cannot be followed by a..f, but due to our
  1027. loose grammar, the whitespace that normally would follow this
  1028. rule is optional.  ANTLR reports that #4FACE could parse as
  1029. HEXINT "#4" followed by WORD "FACE", which is clearly bogus.
  1030. ANTLR does the right thing by consuming a much input as
  1031. possible here.  I shut the warning off.
  1032.  */
  1033.  options {
  1034. generateAmbigWarnings=false;
  1035. }
  1036. : HEXDIGIT
  1037. )+
  1038. ;
  1040. protected
  1041. DIGIT
  1042. : '0'..'9'
  1043. ;
  1045. protected
  1046. HEXDIGIT
  1047. : '0'..'9'
  1048. | 'a'..'f'
  1049. ;
  1051. protected
  1052. LCLETTER
  1053. : 'a'..'z'
  1054. ;
  1056. protected
  1057. UNDEFINED_TOKEN
  1058. : '<' (~'>')* '>'
  1059. (
  1060. ( /* the usual newline hassle: rn can be matched in alt 1
  1061.  * or by matching alt 2 followed by alt 3 in another iteration.
  1062.  */
  1063.  options {
  1064. generateAmbigWarnings=false;
  1065. }
  1066. : "rn" | 'r' | 'n'
  1067. )
  1068. { newline;}
  1069. )*
  1070. { printerr("invalid tag: "+%getText);}
  1071. | ( "rn" | 'r' | 'n' ) {newline;}
  1072. | .
  1073. ;
  1075. /*
  1076. : ('<'  { printerr("Warning: non-standard tag <" + LA(1)); } )
  1077. (~'>' { printerr(LA(1)); } )* 
  1078. ('>'  { printerr(" skipped."); } ) 
  1079. { sa_ttype := ANTLR_COMMON_TOKEN::SKIP; }
  1080. ;
  1081. */