开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
StandardTokenizerTokenManager.cs
资源名称：xunlong0.6.rar　[点击查看]
上传用户：zhangkuixh
上传日期：2013-09-30
资源大小：5473k
文件大小：37k
源码类别：

搜索引擎

开发平台：

C#

StandardTokenizerTokenManager.cs：源码内容
  1. /*
  2.  * Copyright 2004 The Apache Software Foundation
  3.  * 
  4.  * Licensed under the Apache License, Version 2.0 (the "License");
  5.  * you may not use this file except in compliance with the License.
  6.  * You may obtain a copy of the License at
  7.  * 
  8.  * http://www.apache.org/licenses/LICENSE-2.0
  9.  * 
  10.  * Unless required by applicable law or agreed to in writing, software
  11.  * distributed under the License is distributed on an "AS IS" BASIS,
  12.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13.  * See the License for the specific language governing permissions and
  14.  * limitations under the License.
  15.  */
  17. /* Generated By:JavaCC: Do not edit this line. StandardTokenizerTokenManager.java */
  18. using System;
  20. namespace Lucene.Net.Analysis.Standard
  21. {
  23. public class StandardTokenizerTokenManager : StandardTokenizerConstants
  24. {
  25.         /// <summary>By default, closes the input Reader. </summary>
  26.         public void Close()
  27.         { 
  28.             debugStream.Close(); 
  29.             input_stream.Done(); 
  30.         }
  32. private void  InitBlock()
  33. {
  34. System.IO.StreamWriter temp_writer;
  35. temp_writer = new System.IO.StreamWriter(System.Console.OpenStandardOutput(), System.Console.Out.Encoding);
  36. temp_writer.AutoFlush = true;
  37. debugStream = temp_writer;
  38. }
  39. public System.IO.StreamWriter debugStream;
  40. public virtual void  SetDebugStream(System.IO.StreamWriter ds)
  41. {
  42. debugStream = ds;
  43. }
  44. private int JjMoveStringLiteralDfa0_0()
  45. {
  46. return JjMoveNfa_0(0, 0);
  47. }
  48. private void  JjCheckNAdd(int state)
  49. {
  50. if (jjrounds[state] != jjround)
  51. {
  52. jjstateSet[jjnewStateCnt++] = state;
  53. jjrounds[state] = jjround;
  54. }
  55. }
  56. private void  JjAddStates(int start, int end)
  57. {
  58. do 
  59. {
  60. jjstateSet[jjnewStateCnt++] = jjnextStates[start];
  61. }
  62. while (start++ != end);
  63. }
  64. private void  JjCheckNAddTwoStates(int state1, int state2)
  65. {
  66. JjCheckNAdd(state1);
  67. JjCheckNAdd(state2);
  68. }
  69. private void  JjCheckNAddStates(int start, int end)
  70. {
  71. do 
  72. {
  73. JjCheckNAdd(jjnextStates[start]);
  74. }
  75. while (start++ != end);
  76. }
  77. private void  JjCheckNAddStates(int start)
  78. {
  79. JjCheckNAdd(jjnextStates[start]);
  80. JjCheckNAdd(jjnextStates[start + 1]);
  81. }
  82. internal static readonly ulong[] jjbitVec0 = new ulong[]{0x1ff0000000000000L, 0xffffffffffffc000L, 0xffffffffL, 0x600000000000000L};
  83. internal static readonly ulong[] jjbitVec2 = new ulong[]{0x0L, 0xffffffffffffffffL, 0xffffffffffffffffL, 0xffffffffffffffffL};
  84. internal static readonly ulong[] jjbitVec3 = new ulong[]{0xffffffffffffffffL, 0xffffffffffffffffL, 0xffffL, 0x0L};
  85. internal static readonly ulong[] jjbitVec4 = new ulong[]{0xffffffffffffffffL, 0xffffffffffffffffL, 0x0L, 0x0L};
  86. internal static readonly ulong[] jjbitVec5 = new ulong[]{0x3fffffffffffL, 0x0L, 0x0L, 0x0L};
  87. internal static readonly ulong[] jjbitVec6 = new ulong[]{0x0L, 0x0L, 0xfffff00000000000L, 0x7fffffL};
  88. internal static readonly ulong[] jjbitVec7 = new ulong[]{0xffffffffffffffffL, 0xffffffffffffffffL, 0xffffffffffffL, 0x0L};
  89. internal static readonly ulong[] jjbitVec8 = new ulong[]{0xfffffffeL, 0x0L, 0x0L, 0x0L};
  90. internal static readonly ulong[] jjbitVec9 = new ulong[]{0x0L, 0x0L, 0x0L, 0xff7fffffff7fffffL};
  91. internal static readonly ulong[] jjbitVec10 = new ulong[]{0x1600L, 0x0L, 0x0L, 0x0L};
  92. internal static readonly ulong[] jjbitVec11 = new ulong[]{0x0L, 0xffc000000000L, 0x0L, 0xffc000000000L};
  93. internal static readonly ulong[] jjbitVec12 = new ulong[]{0x0L, 0x3ff00000000L, 0x0L, 0x3ff000000000000L};
  94. internal static readonly ulong[] jjbitVec13 = new ulong[]{0x0L, 0xffc000000000L, 0x0L, 0xff8000000000L};
  95. internal static readonly ulong[] jjbitVec14 = new ulong[]{0x0L, 0xffc000000000L, 0x0L, 0x0L};
  96. internal static readonly ulong[] jjbitVec15 = new ulong[]{0x0L, 0x3ff0000L, 0x0L, 0x3ff0000L};
  97. internal static readonly ulong[] jjbitVec16 = new ulong[]{0x0L, 0x3ffL, 0x0L, 0x0L};
  98. internal static readonly ulong[] jjbitVec17 = new ulong[]{0xfffffffeL, 0x0L, 0xfffff00000000000L, 0x7fffffL};
  99. private int JjMoveNfa_0(int startState, int curPos)
  100. {
  101. int[] nextStates;
  102. int startsAt = 0;
  103. jjnewStateCnt = 75;
  104. int i = 1;
  105. jjstateSet[0] = startState;
  106. int j, kind = 0x7fffffff;
  107. for (; ; )
  108. {
  109. if (++jjround == 0x7fffffff)
  110. ReInitRounds();
  111. if (curChar < 64)
  112. {
  113.                     ulong l = ((ulong) 1L) << curChar;
  114. MatchLoop: 
  115. do 
  116. {
  117. switch (jjstateSet[--i])
  118. {
  120. case 0: 
  121. if ((0x3ff000000000000L & l) != (ulong) 0L)
  122. {
  123. if (kind > 1)
  124. kind = 1;
  125. JjCheckNAddStates(0, 11);
  126. }
  127. if ((0x3ff000000000000L & l) != (ulong) 0L)
  128. JjCheckNAddStates(12, 17);
  129. if ((0x3ff000000000000L & l) != (ulong) 0L)
  130. JjCheckNAddStates(18, 23);
  131. break;
  133. case 2: 
  134. if ((0x3ff000000000000L & l) != (ulong) 0L)
  135. JjCheckNAddStates(18, 23);
  136. break;
  138. case 3: 
  139. if ((0x3ff000000000000L & l) != (ulong) 0L)
  140. JjCheckNAddTwoStates(3, 4);
  141. break;
  143. case 4: 
  144. case 5: 
  145. if ((0x3ff000000000000L & l) != (ulong) 0L)
  146. JjCheckNAddTwoStates(5, 6);
  147. break;
  149. case 6: 
  150. if ((0xf00000000000L & l) != (ulong) 0L)
  151. JjCheckNAdd(7);
  152. break;
  154. case 7: 
  155. if ((0x3ff000000000000L & l) == (ulong) 0L)
  156. break;
  157. if (kind > 7)
  158. kind = 7;
  159. JjCheckNAdd(7);
  160. break;
  162. case 8: 
  163. if ((0x3ff000000000000L & l) != (ulong) 0L)
  164. JjCheckNAddTwoStates(8, 9);
  165. break;
  167. case 9: 
  168. case 10: 
  169. if ((0x3ff000000000000L & l) != (ulong) 0L)
  170. JjCheckNAddTwoStates(10, 11);
  171. break;
  173. case 11: 
  174. if ((0xf00000000000L & l) != (ulong) 0L)
  175. JjCheckNAdd(12);
  176. break;
  178. case 12: 
  179. if ((0x3ff000000000000L & l) != (ulong) 0L)
  180. JjCheckNAddTwoStates(12, 13);
  181. break;
  183. case 13: 
  184. if ((0xf00000000000L & l) != (ulong) 0L)
  185. JjCheckNAddTwoStates(14, 15);
  186. break;
  188. case 14: 
  189. if ((0x3ff000000000000L & l) != (ulong) 0L)
  190. JjCheckNAddTwoStates(14, 15);
  191. break;
  193. case 15: 
  194. case 16: 
  195. if ((0x3ff000000000000L & l) == (ulong) 0L)
  196. break;
  197. if (kind > 7)
  198. kind = 7;
  199. JjCheckNAddTwoStates(11, 16);
  200. break;
  202. case 17: 
  203. if ((0x3ff000000000000L & l) != (ulong) 0L)
  204. JjCheckNAddTwoStates(17, 18);
  205. break;
  207. case 18: 
  208. case 19: 
  209. if ((0x3ff000000000000L & l) != (ulong) 0L)
  210. JjCheckNAddTwoStates(19, 20);
  211. break;
  213. case 20: 
  214. if ((0xf00000000000L & l) != (ulong) 0L)
  215. JjCheckNAdd(21);
  216. break;
  218. case 21: 
  219. if ((0x3ff000000000000L & l) != (ulong) 0L)
  220. JjCheckNAddTwoStates(21, 22);
  221. break;
  223. case 22: 
  224. if ((0xf00000000000L & l) != (ulong) 0L)
  225. JjCheckNAddTwoStates(23, 24);
  226. break;
  228. case 23: 
  229. if ((0x3ff000000000000L & l) != (ulong) 0L)
  230. JjCheckNAddTwoStates(23, 24);
  231. break;
  233. case 24: 
  234. case 25: 
  235. if ((0x3ff000000000000L & l) != (ulong) 0L)
  236. JjCheckNAddTwoStates(25, 26);
  237. break;
  239. case 26: 
  240. if ((0xf00000000000L & l) != (ulong) 0L)
  241. JjCheckNAdd(27);
  242. break;
  244. case 27: 
  245. if ((0x3ff000000000000L & l) == (ulong) 0L)
  246. break;
  247. if (kind > 7)
  248. kind = 7;
  249. JjCheckNAddTwoStates(22, 27);
  250. break;
  252. case 28: 
  253. if ((0x3ff000000000000L & l) != (ulong) 0L)
  254. JjCheckNAddStates(12, 17);
  255. break;
  257. case 29: 
  258. if ((0x3ff000000000000L & l) == (ulong) 0L)
  259. break;
  260. if (kind > 1)
  261. kind = 1;
  262. JjCheckNAddStates(0, 11);
  263. break;
  265. case 30: 
  266. if ((0x3ff000000000000L & l) == (ulong) 0L)
  267. break;
  268. if (kind > 1)
  269. kind = 1;
  270. JjCheckNAdd(30);
  271. break;
  273. case 31: 
  274. if ((0x3ff000000000000L & l) != (ulong) 0L)
  275. JjCheckNAddStates(24, 26);
  276. break;
  278. case 32: 
  279. if ((0x600000000000L & l) != (ulong) 0L)
  280. JjCheckNAdd(33);
  281. break;
  283. case 33: 
  284. if ((0x3ff000000000000L & l) != (ulong) 0L)
  285. JjCheckNAddStates(27, 29);
  286. break;
  288. case 35: 
  289. if ((0x3ff000000000000L & l) != (ulong) 0L)
  290. JjCheckNAddTwoStates(35, 36);
  291. break;
  293. case 36: 
  294. if ((0x600000000000L & l) != (ulong) 0L)
  295. JjCheckNAdd(37);
  296. break;
  298. case 37: 
  299. if ((0x3ff000000000000L & l) == (ulong) 0L)
  300. break;
  301. if (kind > 5)
  302. kind = 5;
  303. JjCheckNAddTwoStates(36, 37);
  304. break;
  306. case 38: 
  307. if ((0x3ff000000000000L & l) != (ulong) 0L)
  308. JjCheckNAddTwoStates(38, 39);
  309. break;
  311. case 39: 
  312. if (curChar == 46)
  313. JjCheckNAdd(40);
  314. break;
  316. case 40: 
  317. if ((0x3ff000000000000L & l) == (ulong) 0L)
  318. break;
  319. if (kind > 6)
  320. kind = 6;
  321. JjCheckNAddTwoStates(39, 40);
  322. break;
  324. case 41: 
  325. if ((0x3ff000000000000L & l) != (ulong) 0L)
  326. JjCheckNAddTwoStates(41, 42);
  327. break;
  329. case 42: 
  330. if ((0xf00000000000L & l) != (ulong) 0L)
  331. JjCheckNAddTwoStates(43, 44);
  332. break;
  334. case 43: 
  335. if ((0x3ff000000000000L & l) != (ulong) 0L)
  336. JjCheckNAddTwoStates(43, 44);
  337. break;
  339. case 44: 
  340. case 45: 
  341. if ((0x3ff000000000000L & l) == (ulong) 0L)
  342. break;
  343. if (kind > 7)
  344. kind = 7;
  345. JjCheckNAdd(45);
  346. break;
  348. case 46: 
  349. if ((0x3ff000000000000L & l) != (ulong) 0L)
  350. JjCheckNAddTwoStates(46, 47);
  351. break;
  353. case 47: 
  354. if ((0xf00000000000L & l) != (ulong) 0L)
  355. JjCheckNAddTwoStates(48, 49);
  356. break;
  358. case 48: 
  359. if ((0x3ff000000000000L & l) != (ulong) 0L)
  360. JjCheckNAddTwoStates(48, 49);
  361. break;
  363. case 49: 
  364. case 50: 
  365. if ((0x3ff000000000000L & l) != (ulong) 0L)
  366. JjCheckNAddTwoStates(50, 51);
  367. break;
  369. case 51: 
  370. if ((0xf00000000000L & l) != (ulong) 0L)
  371. JjCheckNAdd(52);
  372. break;
  374. case 52: 
  375. if ((0x3ff000000000000L & l) == (ulong) 0L)
  376. break;
  377. if (kind > 7)
  378. kind = 7;
  379. JjCheckNAddTwoStates(47, 52);
  380. break;
  382. case 53: 
  383. if ((0x3ff000000000000L & l) != (ulong) 0L)
  384. JjCheckNAddTwoStates(53, 54);
  385. break;
  387. case 54: 
  388. if ((0xf00000000000L & l) != (ulong) 0L)
  389. JjCheckNAddTwoStates(55, 56);
  390. break;
  392. case 55: 
  393. if ((0x3ff000000000000L & l) != (ulong) 0L)
  394. JjCheckNAddTwoStates(55, 56);
  395. break;
  397. case 56: 
  398. case 57: 
  399. if ((0x3ff000000000000L & l) != (ulong) 0L)
  400. JjCheckNAddTwoStates(57, 58);
  401. break;
  403. case 58: 
  404. if ((0xf00000000000L & l) != (ulong) 0L)
  405. JjCheckNAdd(59);
  406. break;
  408. case 59: 
  409. if ((0x3ff000000000000L & l) != (ulong) 0L)
  410. JjCheckNAddTwoStates(59, 60);
  411. break;
  413. case 60: 
  414. if ((0xf00000000000L & l) != (ulong) 0L)
  415. JjCheckNAddTwoStates(61, 62);
  416. break;
  418. case 61: 
  419. if ((0x3ff000000000000L & l) != (ulong) 0L)
  420. JjCheckNAddTwoStates(61, 62);
  421. break;
  423. case 62: 
  424. case 63: 
  425. if ((0x3ff000000000000L & l) == (ulong) 0L)
  426. break;
  427. if (kind > 7)
  428. kind = 7;
  429. JjCheckNAddTwoStates(58, 63);
  430. break;
  432. case 66: 
  433. if (curChar == 39)
  434. jjstateSet[jjnewStateCnt++] = 67;
  435. break;
  437. case 69: 
  438. if (curChar == 46)
  439. JjCheckNAdd(70);
  440. break;
  442. case 71: 
  443. if (curChar != 46)
  444. break;
  445. if (kind > 3)
  446. kind = 3;
  447. JjCheckNAdd(70);
  448. break;
  450. case 73: 
  451. if (curChar == 38)
  452. jjstateSet[jjnewStateCnt++] = 74;
  453. break;
  455. default:  break;
  457. }
  458. }
  459. while (i != startsAt);
  460. }
  461. else if (curChar < 128)
  462. {
  463. ulong l = ((ulong) 1L) << (curChar & 63);
  464. MatchLoop1: 
  465. do 
  466. {
  467. switch (jjstateSet[--i])
  468. {
  470. case 0: 
  471. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  472. JjCheckNAddStates(30, 35);
  473. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  474. {
  475. if (kind > 1)
  476. kind = 1;
  477. JjCheckNAddStates(0, 11);
  478. }
  479. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  480. JjCheckNAddStates(18, 23);
  481. break;
  483. case 2: 
  484. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  485. JjCheckNAddStates(18, 23);
  486. break;
  488. case 3: 
  489. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  490. JjCheckNAddTwoStates(3, 4);
  491. break;
  493. case 5: 
  494. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  495. JjAddStates(36, 37);
  496. break;
  498. case 6: 
  499. if (curChar == 95)
  500. JjCheckNAdd(7);
  501. break;
  503. case 7: 
  504. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  505. break;
  506. if (kind > 7)
  507. kind = 7;
  508. JjCheckNAdd(7);
  509. break;
  511. case 8: 
  512. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  513. JjCheckNAddTwoStates(8, 9);
  514. break;
  516. case 10: 
  517. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  518. JjCheckNAddTwoStates(10, 11);
  519. break;
  521. case 11: 
  522. if (curChar == 95)
  523. JjCheckNAdd(12);
  524. break;
  526. case 12: 
  527. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  528. JjCheckNAddTwoStates(12, 13);
  529. break;
  531. case 13: 
  532. if (curChar == 95)
  533. JjCheckNAddTwoStates(14, 15);
  534. break;
  536. case 14: 
  537. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  538. JjCheckNAddTwoStates(14, 15);
  539. break;
  541. case 16: 
  542. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  543. break;
  544. if (kind > 7)
  545. kind = 7;
  546. JjCheckNAddTwoStates(11, 16);
  547. break;
  549. case 17: 
  550. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  551. JjCheckNAddTwoStates(17, 18);
  552. break;
  554. case 19: 
  555. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  556. JjAddStates(38, 39);
  557. break;
  559. case 20: 
  560. if (curChar == 95)
  561. JjCheckNAdd(21);
  562. break;
  564. case 21: 
  565. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  566. JjCheckNAddTwoStates(21, 22);
  567. break;
  569. case 22: 
  570. if (curChar == 95)
  571. JjCheckNAddTwoStates(23, 24);
  572. break;
  574. case 23: 
  575. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  576. JjCheckNAddTwoStates(23, 24);
  577. break;
  579. case 25: 
  580. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  581. JjAddStates(40, 41);
  582. break;
  584. case 26: 
  585. if (curChar == 95)
  586. JjCheckNAdd(27);
  587. break;
  589. case 27: 
  590. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  591. break;
  592. if (kind > 7)
  593. kind = 7;
  594. JjCheckNAddTwoStates(22, 27);
  595. break;
  597. case 29: 
  598. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  599. break;
  600. if (kind > 1)
  601. kind = 1;
  602. JjCheckNAddStates(0, 11);
  603. break;
  605. case 30: 
  606. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  607. break;
  608. if (kind > 1)
  609. kind = 1;
  610. JjCheckNAdd(30);
  611. break;
  613. case 31: 
  614. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  615. JjCheckNAddStates(24, 26);
  616. break;
  618. case 32: 
  619. if (curChar == 95)
  620. JjCheckNAdd(33);
  621. break;
  623. case 33: 
  624. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  625. JjCheckNAddStates(27, 29);
  626. break;
  628. case 34: 
  629. if (curChar == 64)
  630. JjCheckNAdd(35);
  631. break;
  633. case 35: 
  634. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  635. JjCheckNAddTwoStates(35, 36);
  636. break;
  638. case 37: 
  639. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  640. break;
  641. if (kind > 5)
  642. kind = 5;
  643. JjCheckNAddTwoStates(36, 37);
  644. break;
  646. case 38: 
  647. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  648. JjCheckNAddTwoStates(38, 39);
  649. break;
  651. case 40: 
  652. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  653. break;
  654. if (kind > 6)
  655. kind = 6;
  656. JjCheckNAddTwoStates(39, 40);
  657. break;
  659. case 41: 
  660. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  661. JjCheckNAddTwoStates(41, 42);
  662. break;
  664. case 42: 
  665. if (curChar == 95)
  666. JjCheckNAddTwoStates(43, 44);
  667. break;
  669. case 43: 
  670. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  671. JjCheckNAddTwoStates(43, 44);
  672. break;
  674. case 45: 
  675. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  676. break;
  677. if (kind > 7)
  678. kind = 7;
  679. jjstateSet[jjnewStateCnt++] = 45;
  680. break;
  682. case 46: 
  683. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  684. JjCheckNAddTwoStates(46, 47);
  685. break;
  687. case 47: 
  688. if (curChar == 95)
  689. JjCheckNAddTwoStates(48, 49);
  690. break;
  692. case 48: 
  693. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  694. JjCheckNAddTwoStates(48, 49);
  695. break;
  697. case 50: 
  698. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  699. JjAddStates(42, 43);
  700. break;
  702. case 51: 
  703. if (curChar == 95)
  704. JjCheckNAdd(52);
  705. break;
  707. case 52: 
  708. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  709. break;
  710. if (kind > 7)
  711. kind = 7;
  712. JjCheckNAddTwoStates(47, 52);
  713. break;
  715. case 53: 
  716. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  717. JjCheckNAddTwoStates(53, 54);
  718. break;
  720. case 54: 
  721. if (curChar == 95)
  722. JjCheckNAddTwoStates(55, 56);
  723. break;
  725. case 55: 
  726. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  727. JjCheckNAddTwoStates(55, 56);
  728. break;
  730. case 57: 
  731. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  732. JjCheckNAddTwoStates(57, 58);
  733. break;
  735. case 58: 
  736. if (curChar == 95)
  737. JjCheckNAdd(59);
  738. break;
  740. case 59: 
  741. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  742. JjCheckNAddTwoStates(59, 60);
  743. break;
  745. case 60: 
  746. if (curChar == 95)
  747. JjCheckNAddTwoStates(61, 62);
  748. break;
  750. case 61: 
  751. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  752. JjCheckNAddTwoStates(61, 62);
  753. break;
  755. case 63: 
  756. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  757. break;
  758. if (kind > 7)
  759. kind = 7;
  760. JjCheckNAddTwoStates(58, 63);
  761. break;
  763. case 64: 
  764. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  765. JjCheckNAddStates(30, 35);
  766. break;
  768. case 65: 
  769. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  770. JjCheckNAddTwoStates(65, 66);
  771. break;
  773. case 67: 
  774. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  775. break;
  776. if (kind > 2)
  777. kind = 2;
  778. JjCheckNAddTwoStates(66, 67);
  779. break;
  781. case 68: 
  782. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  783. JjCheckNAddTwoStates(68, 69);
  784. break;
  786. case 70: 
  787. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  788. JjAddStates(44, 45);
  789. break;
  791. case 72: 
  792. if ((0x7fffffe07fffffeL & l) != (ulong) 0L)
  793. JjCheckNAddTwoStates(72, 73);
  794. break;
  796. case 73: 
  797. if (curChar == 64)
  798. JjCheckNAdd(74);
  799. break;
  801. case 74: 
  802. if ((0x7fffffe07fffffeL & l) == (ulong) 0L)
  803. break;
  804. if (kind > 4)
  805. kind = 4;
  806. JjCheckNAdd(74);
  807. break;
  809. default:  break;
  811. }
  812. }
  813. while (i != startsAt);
  814. }
  815. else
  816. {
  817. int hiByte = (int) (curChar >> 8);
  818. int i1 = hiByte >> 6;
  819. ulong l1 = ((ulong) 1L) << (hiByte & 63);
  820. int i2 = (curChar & 0xff) >> 6;
  821. ulong l2 = ((ulong) 1L) << (curChar & 63);
  822. MatchLoop1: 
  823. do 
  824. {
  825. switch (jjstateSet[--i])
  826. {
  828. case 0: 
  829. if (JjCanMove_0(hiByte, i1, i2, l1, l2))
  830. {
  831. if (kind > 12)
  832. kind = 12;
  833. }
  834. if (JjCanMove_1(hiByte, i1, i2, l1, l2))
  835. {
  836. if (kind > 13)
  837. kind = 13;
  838. }
  839. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  840. JjCheckNAddStates(18, 23);
  841. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  842. JjCheckNAddStates(12, 17);
  843. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  844. {
  845. if (kind > 1)
  846. kind = 1;
  847. JjCheckNAddStates(0, 11);
  848. }
  849. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  850. JjCheckNAddStates(30, 35);
  851. break;
  853. case 1: 
  854. if (JjCanMove_1(hiByte, i1, i2, l1, l2) && kind > 13)
  855. kind = 13;
  856. break;
  858. case 2: 
  859. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  860. JjCheckNAddStates(18, 23);
  861. break;
  863. case 3: 
  864. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  865. JjCheckNAddTwoStates(3, 4);
  866. break;
  868. case 4: 
  869. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  870. JjCheckNAddTwoStates(5, 6);
  871. break;
  873. case 5: 
  874. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  875. JjCheckNAddTwoStates(5, 6);
  876. break;
  878. case 7: 
  879. if (!JjCanMove_4(hiByte, i1, i2, l1, l2))
  880. break;
  881. if (kind > 7)
  882. kind = 7;
  883. jjstateSet[jjnewStateCnt++] = 7;
  884. break;
  886. case 8: 
  887. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  888. JjCheckNAddTwoStates(8, 9);
  889. break;
  891. case 9: 
  892. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  893. JjCheckNAddTwoStates(10, 11);
  894. break;
  896. case 10: 
  897. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  898. JjCheckNAddTwoStates(10, 11);
  899. break;
  901. case 12: 
  902. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  903. JjAddStates(46, 47);
  904. break;
  906. case 14: 
  907. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  908. JjAddStates(48, 49);
  909. break;
  911. case 15: 
  912. if (!JjCanMove_3(hiByte, i1, i2, l1, l2))
  913. break;
  914. if (kind > 7)
  915. kind = 7;
  916. JjCheckNAddTwoStates(11, 16);
  917. break;
  919. case 16: 
  920. if (!JjCanMove_2(hiByte, i1, i2, l1, l2))
  921. break;
  922. if (kind > 7)
  923. kind = 7;
  924. JjCheckNAddTwoStates(11, 16);
  925. break;
  927. case 17: 
  928. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  929. JjCheckNAddTwoStates(17, 18);
  930. break;
  932. case 18: 
  933. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  934. JjCheckNAddTwoStates(19, 20);
  935. break;
  937. case 19: 
  938. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  939. JjCheckNAddTwoStates(19, 20);
  940. break;
  942. case 21: 
  943. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  944. JjCheckNAddTwoStates(21, 22);
  945. break;
  947. case 23: 
  948. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  949. JjAddStates(50, 51);
  950. break;
  952. case 24: 
  953. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  954. JjCheckNAddTwoStates(25, 26);
  955. break;
  957. case 25: 
  958. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  959. JjCheckNAddTwoStates(25, 26);
  960. break;
  962. case 27: 
  963. if (!JjCanMove_4(hiByte, i1, i2, l1, l2))
  964. break;
  965. if (kind > 7)
  966. kind = 7;
  967. JjCheckNAddTwoStates(22, 27);
  968. break;
  970. case 28: 
  971. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  972. JjCheckNAddStates(12, 17);
  973. break;
  975. case 29: 
  976. if (!JjCanMove_4(hiByte, i1, i2, l1, l2))
  977. break;
  978. if (kind > 1)
  979. kind = 1;
  980. JjCheckNAddStates(0, 11);
  981. break;
  983. case 30: 
  984. if (!JjCanMove_4(hiByte, i1, i2, l1, l2))
  985. break;
  986. if (kind > 1)
  987. kind = 1;
  988. JjCheckNAdd(30);
  989. break;
  991. case 31: 
  992. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  993. JjCheckNAddStates(24, 26);
  994. break;
  996. case 33: 
  997. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  998. JjCheckNAddStates(27, 29);
  999. break;
  1001. case 35: 
  1002. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  1003. JjCheckNAddTwoStates(35, 36);
  1004. break;
  1006. case 37: 
  1007. if (!JjCanMove_4(hiByte, i1, i2, l1, l2))
  1008. break;
  1009. if (kind > 5)
  1010. kind = 5;
  1011. JjCheckNAddTwoStates(36, 37);
  1012. break;
  1014. case 38: 
  1015. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  1016. JjCheckNAddTwoStates(38, 39);
  1017. break;
  1019. case 40: 
  1020. if (!JjCanMove_4(hiByte, i1, i2, l1, l2))
  1021. break;
  1022. if (kind > 6)
  1023. kind = 6;
  1024. JjCheckNAddTwoStates(39, 40);
  1025. break;
  1027. case 41: 
  1028. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  1029. JjCheckNAddTwoStates(41, 42);
  1030. break;
  1032. case 43: 
  1033. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1034. JjAddStates(52, 53);
  1035. break;
  1037. case 44: 
  1038. if (!JjCanMove_3(hiByte, i1, i2, l1, l2))
  1039. break;
  1040. if (kind > 7)
  1041. kind = 7;
  1042. JjCheckNAdd(45);
  1043. break;
  1045. case 45: 
  1046. if (!JjCanMove_2(hiByte, i1, i2, l1, l2))
  1047. break;
  1048. if (kind > 7)
  1049. kind = 7;
  1050. JjCheckNAdd(45);
  1051. break;
  1053. case 46: 
  1054. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  1055. JjCheckNAddTwoStates(46, 47);
  1056. break;
  1058. case 48: 
  1059. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1060. JjAddStates(54, 55);
  1061. break;
  1063. case 49: 
  1064. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  1065. JjCheckNAddTwoStates(50, 51);
  1066. break;
  1068. case 50: 
  1069. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1070. JjCheckNAddTwoStates(50, 51);
  1071. break;
  1073. case 52: 
  1074. if (!JjCanMove_4(hiByte, i1, i2, l1, l2))
  1075. break;
  1076. if (kind > 7)
  1077. kind = 7;
  1078. JjCheckNAddTwoStates(47, 52);
  1079. break;
  1081. case 53: 
  1082. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  1083. JjCheckNAddTwoStates(53, 54);
  1084. break;
  1086. case 55: 
  1087. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1088. JjAddStates(56, 57);
  1089. break;
  1091. case 56: 
  1092. if (JjCanMove_3(hiByte, i1, i2, l1, l2))
  1093. JjCheckNAddTwoStates(57, 58);
  1094. break;
  1096. case 57: 
  1097. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1098. JjCheckNAddTwoStates(57, 58);
  1099. break;
  1101. case 59: 
  1102. if (JjCanMove_4(hiByte, i1, i2, l1, l2))
  1103. JjAddStates(58, 59);
  1104. break;
  1106. case 61: 
  1107. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1108. JjAddStates(60, 61);
  1109. break;
  1111. case 62: 
  1112. if (!JjCanMove_3(hiByte, i1, i2, l1, l2))
  1113. break;
  1114. if (kind > 7)
  1115. kind = 7;
  1116. JjCheckNAddTwoStates(58, 63);
  1117. break;
  1119. case 63: 
  1120. if (!JjCanMove_2(hiByte, i1, i2, l1, l2))
  1121. break;
  1122. if (kind > 7)
  1123. kind = 7;
  1124. JjCheckNAddTwoStates(58, 63);
  1125. break;
  1127. case 64: 
  1128. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1129. JjCheckNAddStates(30, 35);
  1130. break;
  1132. case 65: 
  1133. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1134. JjCheckNAddTwoStates(65, 66);
  1135. break;
  1137. case 67: 
  1138. if (!JjCanMove_2(hiByte, i1, i2, l1, l2))
  1139. break;
  1140. if (kind > 2)
  1141. kind = 2;
  1142. JjCheckNAddTwoStates(66, 67);
  1143. break;
  1145. case 68: 
  1146. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1147. JjCheckNAddTwoStates(68, 69);
  1148. break;
  1150. case 70: 
  1151. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1152. JjAddStates(44, 45);
  1153. break;
  1155. case 72: 
  1156. if (JjCanMove_2(hiByte, i1, i2, l1, l2))
  1157. JjCheckNAddTwoStates(72, 73);
  1158. break;
  1160. case 74: 
  1161. if (!JjCanMove_2(hiByte, i1, i2, l1, l2))
  1162. break;
  1163. if (kind > 4)
  1164. kind = 4;
  1165. jjstateSet[jjnewStateCnt++] = 74;
  1166. break;
  1168. default:  break;
  1170. }
  1171. }
  1172. while (i != startsAt);
  1173. }
  1174. if (kind != 0x7fffffff)
  1175. {
  1176. jjmatchedKind = kind;
  1177. jjmatchedPos = curPos;
  1178. kind = 0x7fffffff;
  1179. }
  1180. ++curPos;
  1181. if ((i = jjnewStateCnt) == (startsAt = 75 - (jjnewStateCnt = startsAt)))
  1182. return curPos;
  1183. try
  1184. {
  1185. curChar = input_stream.ReadChar();
  1186. }
  1187. catch (System.IO.IOException)
  1188. {
  1189. return curPos;
  1190. }
  1191. }
  1192. }
  1193. internal static readonly int[] jjnextStates = new int[]{30, 31, 32, 34, 38, 39, 41, 42, 46, 47, 53, 54, 5, 6, 10, 11, 19, 20, 3, 4, 8, 9, 17, 18, 31, 32, 34, 32, 33, 34, 65, 66, 68, 69, 72, 73, 5, 6, 19, 20, 25, 26, 50, 51, 70, 71, 12, 13, 14, 15, 23, 24, 43, 44, 48, 49, 55, 56, 59, 60, 61, 62};
  1194. private static bool JjCanMove_0(int hiByte, int i1, int i2, ulong l1, ulong l2)
  1195. {
  1196. switch (hiByte)
  1197. {
  1199. case 48: 
  1200. return ((jjbitVec2[i2] & l2) != (ulong) 0L);
  1202. case 49: 
  1203. return ((jjbitVec3[i2] & l2) != (ulong) 0L);
  1205. case 51: 
  1206. return ((jjbitVec4[i2] & l2) != (ulong) 0L);
  1208. case 61: 
  1209. return ((jjbitVec5[i2] & l2) != (ulong) 0L);
  1211. default: 
  1212. if ((jjbitVec0[i1] & l1) != (ulong) 0L)
  1213. return true;
  1214. return false;
  1216. }
  1217. }
  1218. private static bool JjCanMove_1(int hiByte, int i1, int i2, ulong l1, ulong l2)
  1219. {
  1220. switch (hiByte)
  1221. {
  1223. case 215: 
  1224. return ((jjbitVec7[i2] & l2) != (ulong) 0L);
  1226. default: 
  1227. if ((jjbitVec6[i1] & l1) != (ulong) 0L)
  1228. return true;
  1229. return false;
  1231. }
  1232. }
  1233. private static bool JjCanMove_2(int hiByte, int i1, int i2, ulong l1, ulong l2)
  1234. {
  1235. switch (hiByte)
  1236. {
  1238. case 0: 
  1239. return ((jjbitVec9[i2] & l2) != (ulong) 0L);
  1241. default: 
  1242. if ((jjbitVec8[i1] & l1) != (ulong) 0L)
  1243. return true;
  1244. return false;
  1246. }
  1247. }
  1248. private static bool JjCanMove_3(int hiByte, int i1, int i2, ulong l1, ulong l2)
  1249. {
  1250. switch (hiByte)
  1251. {
  1253. case 6: 
  1254. return ((jjbitVec12[i2] & l2) != (ulong) 0L);
  1256. case 11: 
  1257. return ((jjbitVec13[i2] & l2) != (ulong) 0L);
  1259. case 13: 
  1260. return ((jjbitVec14[i2] & l2) != (ulong) 0L);
  1262. case 14: 
  1263. return ((jjbitVec15[i2] & l2) != (ulong) 0L);
  1265. case 16: 
  1266. return ((jjbitVec16[i2] & l2) != (ulong) 0L);
  1268. default: 
  1269. if ((jjbitVec10[i1] & l1) != (ulong) 0L)
  1270. if ((jjbitVec11[i2] & l2) == (ulong) 0L)
  1271. return false;
  1272. else
  1273. return true;
  1274. return false;
  1276. }
  1277. }
  1278. private static bool JjCanMove_4(int hiByte, int i1, int i2, ulong l1, ulong l2)
  1279. {
  1280. switch (hiByte)
  1281. {
  1283. case 0: 
  1284. return ((jjbitVec9[i2] & l2) != (ulong) 0L);
  1286. case 215: 
  1287. return ((jjbitVec7[i2] & l2) != (ulong) 0L);
  1289. default: 
  1290. if ((jjbitVec17[i1] & l1) != (ulong) 0L)
  1291. return true;
  1292. return false;
  1294. }
  1295. }
  1296. public static readonly System.String[] jjstrLiteralImages = new System.String[]{"", null, null, null, null, null, null, null, null, null, null, null, null, null, null, null};
  1297. public static readonly System.String[] lexStateNames = new System.String[]{"DEFAULT"};
  1298. internal static readonly long[] jjtoToken = new long[]{0x30ffL};
  1299. internal static readonly long[] jjtoSkip = new long[]{0x8000L};
  1300. protected internal CharStream input_stream;
  1301. private uint[] jjrounds = new uint[75];
  1302. private int[] jjstateSet = new int[150];
  1303. protected internal char curChar;
  1304. public StandardTokenizerTokenManager(CharStream stream)
  1305. {
  1306. InitBlock();
  1307. input_stream = stream;
  1308. }
  1309. public StandardTokenizerTokenManager(CharStream stream, int lexState) : this(stream)
  1310. {
  1311. SwitchTo(lexState);
  1312. }
  1313. public virtual void  ReInit(CharStream stream)
  1314. {
  1315. jjmatchedPos = jjnewStateCnt = 0;
  1316. curLexState = defaultLexState;
  1317. input_stream = stream;
  1318. ReInitRounds();
  1319. }
  1320. private void  ReInitRounds()
  1321. {
  1322. int i;
  1323. jjround = 0x80000001;
  1324. for (i = 75; i-- > 0; )
  1325. jjrounds[i] = 0x80000000;
  1326. }
  1327. public virtual void  ReInit(CharStream stream, int lexState)
  1328. {
  1329. ReInit(stream);
  1330. SwitchTo(lexState);
  1331. }
  1332. public virtual void  SwitchTo(int lexState)
  1333. {
  1334. if (lexState >= 1 || lexState < 0)
  1335. throw new TokenMgrError("Error: Ignoring invalid lexical state : " + lexState + ". State unchanged.", TokenMgrError.INVALID_LEXICAL_STATE);
  1336. else
  1337. curLexState = lexState;
  1338. }
  1340. protected internal virtual Token JjFillToken()
  1341. {
  1342. Token t = Token.NewToken(jjmatchedKind);
  1343. t.kind = jjmatchedKind;
  1344. System.String im = jjstrLiteralImages[jjmatchedKind];
  1345. t.image = (im == null) ? input_stream.GetImage() : im;
  1346. t.beginLine = input_stream.GetBeginLine();
  1347. t.beginColumn = input_stream.GetBeginColumn();
  1348. t.endLine = input_stream.GetEndLine();
  1349. t.endColumn = input_stream.GetEndColumn();
  1350. return t;
  1351. }
  1353. internal int curLexState = 0;
  1354. internal int defaultLexState = 0;
  1355. internal int jjnewStateCnt;
  1356. internal uint jjround;
  1357. internal int jjmatchedPos;
  1358. internal int jjmatchedKind;
  1360. public virtual Token GetNextToken()
  1361. {
  1362. int kind;
  1363. Token specialToken = null;
  1364. Token matchedToken;
  1365. int curPos = 0;
  1367. for (; ; )
  1368. {
  1369. try
  1370. {
  1371. curChar = input_stream.BeginToken();
  1372. }
  1373. catch (System.IO.IOException)
  1374. {
  1375. jjmatchedKind = 0;
  1376. matchedToken = JjFillToken();
  1377. return matchedToken;
  1378. }
  1380. jjmatchedKind = 0x7fffffff;
  1381. jjmatchedPos = 0;
  1382. curPos = JjMoveStringLiteralDfa0_0();
  1383. if (jjmatchedPos == 0 && jjmatchedKind > 15)
  1384. {
  1385. jjmatchedKind = 15;
  1386. }
  1387. if (jjmatchedKind != 0x7fffffff)
  1388. {
  1389. if (jjmatchedPos + 1 < curPos)
  1390. input_stream.Backup(curPos - jjmatchedPos - 1);
  1391. if ((jjtoToken[jjmatchedKind >> 6] & (1L << (jjmatchedKind & 63))) != 0L)
  1392. {
  1393. matchedToken = JjFillToken();
  1394. return matchedToken;
  1395. }
  1396. else
  1397. {
  1398. goto EOFLoop;
  1399. }
  1400. }
  1401. int error_line = input_stream.GetEndLine();
  1402. int error_column = input_stream.GetEndColumn();
  1403. System.String error_after = null;
  1404. bool EOFSeen = false;
  1405. try
  1406. {
  1407. input_stream.ReadChar(); input_stream.Backup(1);
  1408. }
  1409. catch (System.IO.IOException)
  1410. {
  1411. EOFSeen = true;
  1412. error_after = curPos <= 1?"":input_stream.GetImage();
  1413. if (curChar == 'n' || curChar == 'r')
  1414. {
  1415. error_line++;
  1416. error_column = 0;
  1417. }
  1418. else
  1419. error_column++;
  1420. }
  1421. if (!EOFSeen)
  1422. {
  1423. input_stream.Backup(1);
  1424. error_after = curPos <= 1?"":input_stream.GetImage();
  1425. }
  1426. throw new TokenMgrError(EOFSeen, curLexState, error_line, error_column, error_after, curChar, TokenMgrError.LEXICAL_ERROR);
  1428. EOFLoop: ;
  1429. }
  1430. }
  1431. }
  1432. }