开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 编译器/解释器 > 查看源码
html.g
资源名称：antlr-2_7_0.zip　[点击查看]
上传用户：afrynkmhm
上传日期：2007-01-06
资源大小：1262k
文件大小：14k
源码类别：

编译器/解释器

开发平台：

Others

html.g：源码内容
  1. /*
  2. Based on the HTML 3.2 spec. by the W3 (http://www.w3.org)
  3. Alexander Hinds & Terence Parr
  4. Magelang Institute, Ltd.
  5. Send comments to:  parrt@jguru.com
  7. v1.2 Fixed a bug APARAM->APARM in APPLET tag.
  9. v1.1 Terence Parr (updated to 2.6.0)
  11. Fixed CCYTE->CCITE
  12. Fixed def of COMMENT_DATA so it scarfs stuff correctly.
  13. Also, fixed refs to (PCDATA)? -> (PCDATA)* because a comment
  14. between PCDATA returns 2 PCDATA--ya need the loop not optional.
  16. v1.0 Terence John Parr (version 2.5.0 of ANTLR required)
  18. Fixed how whitespace as handled, removing some ambiguities; some
  19. because of ANTLR lexical filtering in 2.5.0.
  21. Changed (PCDATA)* loops to (PCDATA)? general since PCDATA matches
  22. everything between valid tags (how could there be more than one
  23. between tags?)
  25. Made the DOCTYPE optional.
  27. Reduced lookahead from k=5 to k=1 on the parser and number
  28. of parser ambiguities to 2.  Reduced lexer lookahead from 6
  29. to 4; had to left factor a bunch of stuff.
  31. List items couldn't contain nested lists...fixed it.
  33. Fixed def of WORD so it can't be an INT.  Removed '-' from WORD.
  35. Fixed HEXNUM so it will allow letters A..F.
  37. KNOWN ISSUES:
  39. 1.  Does not handle "staggered" tags, eg: <p> <i> <p> <i>
  41. 2.  Adhere's somewhat strictly to the html spec, so many pages
  42. won't parse without errors.
  44. 3.  Doesn't convert &(a signifier) to it's proper single char 
  45. representation
  47. 4.  Checks only the syntax of element attributes, not the semantics,
  48. e.g. won't very that a base element's attribute is actually
  49. called "href" 
  51. 5.  Tags split across lines, for example, <A (NEWLINE) some text >
  52. won't be properly recognized.  TJP: I think I fixed this.
  54. 7.  Lines not counted properly due to the def'n of PCDATA - see the
  55. alternate def'n for a possible fix.  TJP: I think I fixed this.
  57. */
  59. class HTMLParser extends Parser;
  60. options {
  61. exportVocab=HTML;
  62. k = 1;
  63. }
  66. document
  67. :  (PCDATA)? (DOCTYPE (PCDATA)?)?
  68. (OHTML (PCDATA)?)?
  69. (head)?
  70. (body)?
  71. (CHTML (PCDATA)?)?
  72. ;
  74. head:  (OHEAD (PCDATA)?)?
  75. head_element
  76. (PCDATA | head_element)* 
  77. (CHEAD (PCDATA)?)? 
  78. ;
  80. head_element
  81. : title //bug need at least a title, rest optional
  82. | script
  83. | style
  84. | ISINDEX
  85. | BASE
  86. | META
  87. | LINK
  88. ;
  90. title
  91. : OTITLE (PCDATA)? CTITLE
  92. ;
  94. script
  95. : OSCRIPT (~CSCRIPT)+ CSCRIPT
  96. ;
  98. style
  99. : OSTYLE (~CSTYLE)+ CSTYLE
  100. ;
  102. body:  ( OBODY (PCDATA)* )? 
  103. body_content_no_PCDATA
  104. ( body_content )+ 
  105. ( CBODY (PCDATA)* )? 
  106. ;
  108. body_content_no_PCDATA
  109. : body_tag | text_tag
  110. ;
  112. body_tag
  113. :  heading | block | ADDRESS
  114. ;
  116. body_content
  117. :  body_tag | text
  118. ;
  121. /*revised*/
  122. heading
  123. : h1 | h2 | h3 | h4 | h5 | h6
  124. ;
  126. block
  127. : paragraph | list | preformatted | div |
  128. center | blockquote | HR | table
  129. ; //bug - ?FORM v %form, ISINDEX here too?
  131. font: teletype | italic | bold | underline | strike | 
  132. big | small | subscript | superscript
  133. ;
  135. phrase
  136. : emphasize | strong | definition | code | sample_output|
  137. keyboard_text | variable | citation
  138. ;
  140. special
  141. : anchor | IMG | applet | font_dfn | BFONT |
  142. map | BR 
  143. ;
  145. text_tag
  146. : font | phrase | special | form
  147. ;
  149. text: PCDATA | text_tag
  150. ;
  152. /*end*/
  155. /*BLOCK ELEMENTS*/
  157. h1 : OH1 (block | text)* CH1
  158. ;
  159. h2 : OH2 (block | text)* CH2
  160. ;
  161. h3 : OH3 (block | text)* CH3
  162. ;
  163. h4 : OH4 (block | text)* CH4
  164. ;
  165. h5 : OH5 (block | text)* CH5
  166. ;
  167. h6 : OH6 (block | text)* CH6
  168. ;
  170. address
  171. : OADDRESS (PCDATA)* CADDRESS
  172. ;
  174. //NOTE:  according to the standard, paragraphs can't contain block elements
  175. //like HR.  Netscape may insert these elements into paragraphs.
  176. //We adhere strictly here.
  178. paragraph
  179. : OPARA
  180. (
  181. /* Rule body_content may also be just plain text because HTML is
  182. so loose.  When body puts body_content in a loop, ANTLR
  183. doesn't know whether you want it to match all the text as part
  184. of this paragraph (in the case where the </p> is missing) or
  185. if the body rule should scarf it.  This is analogous to the
  186. dangling-else clause.  I shut off the warning.
  187. */
  188. options {
  189. generateAmbigWarnings=false;
  190. }
  191. : text
  192. )*
  193. (CPARA)?
  194. ;
  196. list: unordered_list
  197. | ordered_list
  198. | def_list
  199. ;
  201. unordered_list
  202. : OULIST (PCDATA)* (list_item)+ CULIST
  203. ;
  205. ordered_list
  206. : OOLIST (PCDATA)* (list_item)+ COLIST
  207. ;
  209. def_list
  210. : ODLIST (PCDATA)* (def_list_item)+ CDLIST 
  211. ;
  213. list_item
  214. : OLITEM ( text | list )+ (CLITEM (PCDATA)*)?
  215. ;
  217. def_list_item
  218. : dt | dd
  219. ;
  221. dt : ODTERM (text)+ CDTERM (PCDATA)*
  222. ;
  224. dd : ODDEF (text | block)+ CDTERM (PCDATA)*
  225. ;
  227. dir : ODIR (list_item)+ CDIR
  228. ;
  230. menu: OMENU (list_item)+ CMENU
  231. ;
  233. preformatted
  234. : OPRE (text)+ CPRE
  235. ;
  237. div : ODIV (body_content)* CDIV //semi-revised
  238. ;
  240. center
  241. : OCENTER (body_content)* CCENTER //semi-revised
  242. ;
  244. blockquote
  245. : OBQUOTE PCDATA CBQUOTE
  246. ;
  248. form: OFORM (form_field | body_content)* CFORM
  249. ;
  251. table
  252. : OTABLE (caption)? (PCDATA)* (tr)+ CTABLE
  253. ;
  255. caption
  256. : OCAP (text)* CCAP
  257. ;
  259. tr : O_TR (PCDATA)* (th_or_td)* (C_TR (PCDATA)*)? 
  260. ;
  262. th_or_td
  263. : O_TH_OR_TD (body_content)* (C_TH_OR_TD (PCDATA)*)?
  264. ;
  266. /*TEXT ELEMENTS*/
  268. /*font style*/
  270. teletype
  271. : OTTYPE ( text )+ CTTYPE
  272. ;
  274. italic
  275. : OITALIC ( text )+ CITALIC
  276. ;
  278. bold: OBOLD ( text )+ CBOLD
  279. ;
  281. underline
  282. : OUNDER ( text )+ CUNDER
  283. ;
  285. strike
  286. : OSTRIKE ( text )+ CSTRIKE
  287. ;
  289. big : OBIG ( text )+ CBIG
  290. ;
  292. small
  293. : OSMALL ( text )+ CSMALL
  294. ;
  296. subscript
  297. : OSUB ( text )+ CSUB
  298. ;
  300. superscript
  301. : OSUP ( text )+ CSUP
  302. ;
  304. /*phrase elements*/
  306. emphasize
  307. : OEM ( text )+ CEM
  308. ;
  310. strong
  311. : OSTRONG ( text )+ CSTRONG
  312. ;
  314. definition
  315. : ODEF ( text )+ CDEF
  316. ;
  318. code
  319. : OCODE ( text )+ CCODE
  320. ;
  322. sample_output
  323. : OSAMP ( text )+ CSAMP
  324. ;
  326. keyboard_text
  327. : OKBD ( text )+ CKBD
  328. ;
  330. variable
  331. : OVAR ( text )+ CVAR
  332. ;
  334. citation
  335. : OCITE ( text )+ CCITE
  336. ;
  338. /* form fields (combined with body_content elsewhere so no PCDATA on end) */
  339. form_field
  340. : INPUT | select | textarea
  341. ;
  343. select
  344. : OSELECT (PCDATA)* (select_option)+ CSELECT
  345. ;
  347. select_option
  348. : SELOPT (PCDATA)*
  349. ;
  351. textarea
  352. : OTAREA (PCDATA)* CTAREA
  353. ;
  355. /* special text level elements*/
  356. anchor
  357. : OANCHOR (text)* CANCHOR
  358. ;
  360. applet
  361. : OAPPLET (APARM)? (PCDATA)* CAPPLET
  362. ;
  364. //not w3-no blocks allowed; www.microsoft.com uses
  365. font_dfn
  366. : OFONT (text)* CFONT
  367. ;
  369. map : OMAP (AREA)+ CMAP
  370. ;
  372. class HTMLLexer extends Lexer;
  373. options {
  374. k = 4;
  375. exportVocab=HTML;
  376. charVocabulary = '3'..'377';
  377. caseSensitive=false;
  378. filter=UNDEFINED_TOKEN;
  379. }
  382. /* STRUCTURAL tags
  383. */
  385. DOCTYPE 
  386. options {
  387. ignore=WS;
  388. }
  389. : "<!doctype" "html" "public" STRING '>'
  390. ;
  392. OHTML
  393.   :  "<html>"
  394. ; 
  396. CHTML
  397. :  "</html>"
  398. ;
  400. OHEAD
  401. :  "<head>"
  402. ;
  404. CHEAD
  405. :  "</head>"
  406. ;
  408. OBODY
  409. : "<body" (WS (ATTR )*)? '>' 
  410. ;
  412. CBODY
  413. : "</body>"
  414. ;
  417. /* HEAD ELEMENTS
  418. */
  420. OTITLE
  421. : "<title>"
  422. ;
  424. CTITLE
  425. : "</title>"
  426. ;
  429. OSCRIPT
  430. :  "<script>" 
  431. ;
  433. CSCRIPT
  434. : "</script>"
  435. ;
  437. ISINDEX
  438.   :  "<isindex" WS ATTR '>'
  439. ;
  441. META
  442. :  "<meta" WS (ATTR)+ '>'
  443. ;
  445. LINK
  446. : "<link" WS (ATTR)+ '>'
  447. ;
  450. /* headings */
  452. OH1 : "<h1" (WS ATTR)? '>' 
  453. ;
  455. CH1 : "</h1>" 
  456. ;
  458. OH2 : "<h2" (WS ATTR)?'>' 
  459. ;
  461. CH2 : "</h2>" 
  462. ;
  464. OH3 : "<h3" (WS ATTR)? '>' 
  465. ;
  467. CH3 : "</h3>" 
  468. ;
  470. OH4 : "<h4" (WS ATTR)? '>' 
  471. ;
  473. CH4 : "</h4>" 
  474. ;
  476. OH5 : "<h5" (WS ATTR)? '>' 
  477. ;
  479. CH5 : "</h5>" 
  480. ;
  482. OH6 : "<h6" (WS ATTR)? '>' 
  483. ;
  485. CH6 : "</h6>" 
  486. ;
  488. OADDRESS
  489. : "<address>" 
  490. ;
  492. CADDRESS
  493. : "</address>"
  494. ;
  496. OPARA
  497. : "<p" (WS ATTR)? '>' 
  498. ;
  500. CPARA
  501. :  "</p>" //it's optional
  502. ;
  504. /*UNORDERED LIST*/
  505. OULIST
  506. : "<ul" (WS ATTR)? '>' 
  507. ;
  509. CULIST
  510. : "</ul>"
  511. ;
  513. /*ORDERED LIST*/
  514. OOLIST
  515. : "<ol" (WS ATTR)? '>'
  516. ;
  518. COLIST
  519. : "</ol>"
  520. ;
  522. /*LIST ITEM*/
  524. OLITEM
  525. : "<li" (WS ATTR)? '>'
  526. ;
  528. CLITEM
  529. : "</li>"
  530. ;
  532. /*DEFINITION LIST*/ 
  534. ODLIST 
  535. : "<dl" (WS ATTR)? '>' 
  536. ;
  538. CDLIST
  539. : "</dl>"
  540. ;
  542. ODTERM
  543. :  "<dt>"
  544. ;
  546. CDTERM
  547. :  "</dt>"
  548. ;
  550. ODDEF
  551. :  "<dd>"
  552. ;
  554. CDDEF
  555. :  "</dd>"
  556. ;
  558. ODIR: "<dir>"
  559. ;
  561. CDIR_OR_CDIV
  562. : "</di"
  563. ( 'r' {$setType(CDIR);}
  564. | 'v' {$setType(CDIV);}
  565. )
  566. '>'
  567. ;
  569. ODIV: "<div" (WS ATTR)? '>'
  570. ;
  572. OMENU
  573. : "<menu>"
  574. ;
  576. CMENU
  577. : "</menu>"
  578. ;
  580. OPRE: ("<pre>" | "<xmp>") ('n')? 
  581. ;
  583. CPRE:  "</pre>" | "</xmp>" 
  584. ;
  586. OCENTER
  587. : "<center>"
  588. ;
  590. CCENTER
  591. : "</center>"
  592. ;
  594. OBQUOTE
  595. : "<blockquote>"
  596. ;
  598. CBQUOTE
  599. : "</blockquote>"
  600. ;
  602. //this is block element and thus can't be nested inside of
  603. //other block elements, ex: paragraphs.
  604. //Netscape appears to generate bad HTML vis-a-vis the standard.
  606. HR : "<hr" (WS (ATTR)*)? '>'
  607. ;
  610. OTABLE
  611. : "<table" (WS (ATTR)*)? '>'
  612. ;
  614. CTABLE
  615. :  "</table>"
  616. ;
  618. OCAP: "<caption" (WS (ATTR)*)? '>'
  619. ;
  621. CCAP: "</caption>"
  622. ;
  624. O_TR
  625. : "<tr" (WS (ATTR)*)? '>'
  626. ;
  628. C_TR: "</tr>"
  629. ;
  631. O_TH_OR_TD
  632. : ("<th" | "<td") (WS (ATTR)*)? '>'
  633. ;
  635. C_TH_OR_TD
  636. : "</th>" | "</td>"
  637. ;
  639. /* PCDATA-LEVEL ELEMENTS
  640. */
  642. /* font style elemens*/
  644. OTTYPE
  645. : "<tt>"
  646. ;
  648. CTTYPE
  649. : "</tt>"
  650. ;
  652. OITALIC
  653. : "<i>"
  654. ;
  656. CITALIC
  657. : "</i>"
  658. ;
  660. OBOLD
  661.   : "<b>" 
  662. ;
  664. CBOLD
  665. : "</b>" 
  666. ;
  668. OUNDER
  669. : "<u>"
  670. ;
  672. CUNDER
  673. : "</u>" 
  674. ;
  676. /** Left-factor <strike> and <strong> to reduce lookahead */
  677. OSTRIKE_OR_OSTRONG
  678. : "<str"
  679. ( "ike" {$setType(OSTRIKE);}
  680. | "ong" {$setType(OSTRONG);}
  681. )
  682. '>'
  683. ;
  685. CST_LEFT_FACTORED
  686. : "</st"
  687. ( "rike" {$setType(CSTRIKE);}
  688. | "rong" {$setType(CSTRONG);}
  689. | "yle"  {$setType(CSTYLE);}
  690. )
  691. '>'
  692. ;
  694. OSTYLE
  695.   :  "<style>" 
  696. ;
  698. OBIG: "<big>"
  699. ;
  701. CBIG: "</big>"
  702. ;
  704. OSMALL
  705. : "<small>"
  706. ;
  708. CSMALL
  709. : "</small>"
  710. ;
  712. OSUB: "<sub>"
  713. ;
  715. OSUP: "<sup>"
  716. ;
  718. CSUB_OR_CSUP
  719. : "</su"
  720. ( 'b' {$setType(CSUB);}
  721. | 'p' {$setType(CSUP);}
  722. )
  723. '>'
  724. ;
  726. /* phrase elements*/
  727. OEM : "<em>"
  728. ;
  730. CEM : "</em>"
  731. ;
  733. ODFN: "<dfn>"
  734. ;
  736. CDFN: "</dfn>"
  737. ;
  739. OCODE
  740.   : "<code>" 
  741. ;
  743. CCODE
  744. : "</code>"
  745. ;
  747. OSAMP
  748. : "<samp>"
  749. ;
  751. CSAMP
  752. : "</samp>"
  753. ;
  755. OKBD: "<kbd>"
  756. ;
  758. CKBD: "</kbd>"
  759. ;
  761. OVAR: "<var>"
  762. ;
  764. CVAR: "</var>"
  765. ;
  767. OCITE
  768. : "<cite>"
  769. ;
  771. CCITE
  772. : "</cite>"
  773. ;
  775. /* form fields*/
  776. INPUT
  777. : "<input" (WS (ATTR)*)? '>'
  778. ;
  780. OSELECT
  781. : "<select" (WS (ATTR)*)? '>'
  782. ;
  784. CSELECT
  785. : "</select>"
  786. ;
  788. OTAREA
  789. : "<textarea" (WS (ATTR)*)? '>'
  790. ;
  792. CTAREA
  793. : "</textarea>"
  794. ;
  796. SELOPT
  797. : "<option" (WS (ATTR)*)? '>' 
  798. ;
  800. /* special text level elements*/
  802. OANCHOR
  803. : "<a" WS (ATTR)+ '>'
  804. ;
  806. CANCHOR
  807. : "</a>"
  808. ;
  810. IMG : "<img" WS (ATTR)+ '>'
  811. ;
  814. OAPPLET
  815. : "<applet" WS (ATTR)+ '>'
  816. ;
  818. APPLET
  819. : "</applet>"
  820. ;
  822. APARM
  823. : "<param" WS (ATTR)+'>'
  824. ;
  826. OFORM
  827. : "<form" WS (ATTR)+ '>'
  828. ;
  830. OFONT
  831. : "<font" WS (ATTR)+ '>'
  832. ;
  834. CFORM_OR_CFONT
  835. : "</fo"
  836. ( "rm" {$setType(CFORM);}
  837. | "nt" {$setType(CFONT);}
  838. )
  839. '>'
  840. ;
  842. /*
  843. CFORM
  844. : "</form>"
  845. ;
  847. CFONT
  848. : "</font>"
  849. ;
  850. */
  852. BFONT_OR_BASE
  853. : "<base"
  854. ( "font" WS ATTR {$setType(BFONT);}
  855. | WS ATTR        {$setType(BASE);}
  856. )
  857. '>'
  858. ;
  860. /*
  861. BFONT
  862. : "<basefont" WS ATTR '>'
  863. ;
  865. BASE:  "<base" WS ATTR '>'
  866. ;
  867. */
  869. BR
  870. : "<br" (WS ATTR)? '>'
  871. ;
  873. OMAP
  874. : "<map" WS ATTR '>'
  875. ; 
  877. CMAP: "</map>"
  878. ;
  880. AREA: "<area" WS (ATTR)+ '>'
  881. ;
  883. /*MISC STUFF*/
  885. PCDATA
  886. : (
  887. /* See comment in WS.  Language for combining any flavor
  888.  * newline is ambiguous.  Shutting off the warning.
  889.  */
  890. options {
  891. generateAmbigWarnings=false;
  892. }
  893. : 'r' 'n' {newline();}
  894. | 'r' {newline();}
  895. | 'n' {newline();}
  896. | ~('<'|'n'|'r'|'"'|'>')
  897. )+ 
  898. ;
  900. // multiple-line comments
  901. protected
  902. COMMENT_DATA
  903. : ( /* 'r' 'n' can be matched in one alternative or by matching
  904. 'r' in one iteration and 'n' in another.  I am trying to
  905. handle any flavor of newline that comes in, but the language
  906. that allows both "rn" and "r" and "n" to all be valid
  907. newline is ambiguous.  Consequently, the resulting grammar
  908. must be ambiguous.  I'm shutting this warning off.
  909.  */
  910. options {
  911. generateAmbigWarnings=false;
  912. }
  913. :
  914. {LA(2)!='-' && LA(3)!='>'}? '-' // allow '-' if not "-->"
  915. | 'r' 'n' {newline();}
  916. | 'r' {newline();}
  917. | 'n' {newline();}
  918. | ~('-'|'n'|'r')
  919. )*
  920. ;
  923. COMMENT
  924. : "<!--" COMMENT_DATA "-->" { $setType(Token.SKIP); }
  925. ;
  927. /*
  928. PROTECTED LEXER RULES
  929. */
  931. protected
  932. WS : (
  933. /* 'r' 'n' can be matched in one alternative or by matching
  934. 'r' in one iteration and 'n' in another.  I am trying to
  935. handle any flavor of newline that comes in, but the language
  936. that allows both "rn" and "r" and "n" to all be valid
  937. newline is ambiguous.  Consequently, the resulting grammar
  938. must be ambiguous.  I'm shutting this warning off.
  939.  */
  940. options {
  941. generateAmbigWarnings=false;
  942. }
  943. : ' '
  944. | 't'
  945. | 'n' { newline(); }
  946. | "rn" { newline(); }
  947. | 'r' { newline(); }
  948. )+
  949. ;
  951. protected
  952. ATTR
  953. options {
  954. ignore=WS;
  955. }
  956. : WORD ('=' (WORD ('%')? | ('-')? INT | STRING | HEXNUM))?
  957. ;
  959. //don't need uppercase for case-insen.
  960. //the '.' is for words like "image.gif"
  961. protected
  962. WORD: ( LCLETTER
  963. | '.'
  964. )
  966. (
  967. /* In reality, a WORD must be followed by whitespace, '=', or
  968. what can follow an ATTR such as '>'.  In writing this grammar,
  969. however, we just list all the possibilities as optional
  970. elements.  This is loose, allowing the case where nothing is
  971. matched after a WORD and then the (ATTR)* loop means the
  972. grammar would allow "widthheight" as WORD WORD or WORD, hence,
  973. an ambiguity.  Naturally, ANTLR will consume the input as soon
  974. as possible, combing "widthheight" into one WORD.
  976. I am shutting off the ambiguity here because ANTLR does the
  977. right thing.  The exit path is ambiguous with ever
  978. alternative.  The only solution would be to write an unnatural
  979. grammar (lots of extra productions) that laid out the
  980. possibilities explicitly, preventing the bogus WORD followed
  981. immediately by WORD without whitespace etc...
  982.  */
  983. options {
  984. generateAmbigWarnings=false;
  985. }
  986. : LCLETTER
  987. | DIGIT
  988. | '.'
  989. )+
  990. ;
  992. protected
  993. STRING
  994. : '"' (~'"')* '"'
  995. | ''' (~''')* '''
  996. ;
  998. protected
  999. WSCHARS
  1000. : ' ' | 't' | 'n' | 'r'
  1001. ;
  1003. protected 
  1004. SPECIAL
  1005. : '<' | '~'
  1006. ;
  1008. protected
  1009. HEXNUM
  1010. : '#' HEXINT
  1011. ;
  1013. protected
  1014. INT : (DIGIT)+
  1015. ;
  1017. protected
  1018. HEXINT
  1019. : (
  1020. /* Technically, HEXINT cannot be followed by a..f, but due to our
  1021. loose grammar, the whitespace that normally would follow this
  1022. rule is optional.  ANTLR reports that #4FACE could parse as
  1023. HEXINT "#4" followed by WORD "FACE", which is clearly bogus.
  1024. ANTLR does the right thing by consuming a much input as
  1025. possible here.  I shut the warning off.
  1026.  */
  1027.  options {
  1028. generateAmbigWarnings=false;
  1029. }
  1030. : HEXDIGIT
  1031. )+
  1032. ;
  1034. protected
  1035. DIGIT
  1036. : '0'..'9'
  1037. ;
  1039. protected
  1040. HEXDIGIT
  1041. : '0'..'9'
  1042. | 'a'..'f'
  1043. ;
  1045. protected
  1046. LCLETTER
  1047. : 'a'..'z'
  1048. ;
  1050. protected
  1051. UNDEFINED_TOKEN
  1052. : '<' (~'>')* '>'
  1053. (
  1054. ( /* the usual newline hassle: rn can be matched in alt 1
  1055.  * or by matching alt 2 followed by alt 3 in another iteration.
  1056.  */
  1057.  options {
  1058. generateAmbigWarnings=false;
  1059. }
  1060. : "rn" | 'r' | 'n'
  1061. )
  1062. { newline();}
  1063. )*
  1064. {System.err.println("invalid tag: "+$getText);}
  1065. | ( "rn" | 'r' | 'n' ) {newline();}
  1066. | .
  1067. ;
  1069. /*
  1070. : ('<'  { System.err.print("Warning: non-standard tag <" + LA(1)); } )
  1071. (~'>' { System.err.print(LA(1)); } )* 
  1072. ('>'  { System.err.println(" skipped."); } ) 
  1073. { _ttype = Token.SKIP; }
  1074. ;
  1075. */