alexer.hpp
上传用户:yhdzpy8989
上传日期:2007-06-13
资源大小:13604k
文件大小:7k
源码类别:

生物技术

开发平台:

C/C++

  1. /*
  2.  * ===========================================================================
  3.  * PRODUCTION $Log: alexer.hpp,v $
  4.  * PRODUCTION Revision 1000.0  2003/10/29 17:33:25  gouriano
  5.  * PRODUCTION PRODUCTION: IMPORTED [ORIGINAL] Dev-tree R1.10
  6.  * PRODUCTION
  7.  * ===========================================================================
  8.  */
  9. #ifndef ABSTRACT_LEXER_HPP
  10. #define ABSTRACT_LEXER_HPP
  11. /*  $Id: alexer.hpp,v 1000.0 2003/10/29 17:33:25 gouriano Exp $
  12. * ===========================================================================
  13. *
  14. *                            PUBLIC DOMAIN NOTICE
  15. *               National Center for Biotechnology Information
  16. *
  17. *  This software/database is a "United States Government Work" under the
  18. *  terms of the United States Copyright Act.  It was written as part of
  19. *  the author's official duties as a United States Government employee and
  20. *  thus cannot be copyrighted.  This software/database is freely available
  21. *  to the public for use. The National Library of Medicine and the U.S.
  22. *  Government have not placed any restriction on its use or reproduction.
  23. *
  24. *  Although all reasonable efforts have been taken to ensure the accuracy
  25. *  and reliability of the software and data, the NLM and the U.S.
  26. *  Government do not and cannot warrant the performance or results that
  27. *  may be obtained by using this software or data. The NLM and the U.S.
  28. *  Government disclaim all warranties, express or implied, including
  29. *  warranties of performance, merchantability or fitness for any particular
  30. *  purpose.
  31. *
  32. *  Please cite the author in any work or product based on this material.
  33. *
  34. * ===========================================================================
  35. *
  36. * Author: Eugene Vasilchenko
  37. *
  38. * File Description:
  39. *   Abstract lexer
  40. *
  41. * ---------------------------------------------------------------------------
  42. * $Log: alexer.hpp,v $
  43. * Revision 1000.0  2003/10/29 17:33:25  gouriano
  44. * PRODUCTION: IMPORTED [ORIGINAL] Dev-tree R1.10
  45. *
  46. * Revision 1.10  2001/05/17 15:00:42  lavr
  47. * Typos corrected
  48. *
  49. * Revision 1.9  2000/12/24 00:04:13  vakatov
  50. * Fixed the list of included headers
  51. *
  52. * Revision 1.8  2000/11/29 17:42:29  vasilche
  53. * Added CComment class for storing/printing ASN.1/XML module comments.
  54. * Added srcutil.hpp file to reduce file dependency.
  55. *
  56. * Revision 1.7  2000/11/20 17:26:10  vasilche
  57. * Fixed warnings on 64 bit platforms.
  58. *
  59. * Revision 1.6  2000/11/15 21:02:13  vasilche
  60. * Fixed error.
  61. *
  62. * Revision 1.5  2000/11/15 20:34:40  vasilche
  63. * Added user comments to ENUMERATED types.
  64. * Added storing of user comments to ASN.1 module definition.
  65. *
  66. * Revision 1.4  2000/11/14 21:41:11  vasilche
  67. * Added preserving of ASN.1 definition comments.
  68. *
  69. * Revision 1.3  2000/08/25 15:58:45  vasilche
  70. * Renamed directory tool -> datatool.
  71. *
  72. * Revision 1.2  2000/04/07 19:26:06  vasilche
  73. * Added namespace support to datatool.
  74. * By default with argument -oR datatool will generate objects in namespace
  75. * NCBI_NS_NCBI::objects (aka ncbi::objects).
  76. * Datatool's classes also moved to NCBI namespace.
  77. *
  78. * Revision 1.1  2000/02/01 21:46:12  vasilche
  79. * Added CGeneratedChoiceTypeInfo for generated choice classes.
  80. * Removed CMemberInfo subclasses.
  81. * Added support for DEFAULT/OPTIONAL members.
  82. * Changed class generation.
  83. * Moved datatool headers to include/internal/serial/tool.
  84. *
  85. * Revision 1.6  1999/11/19 15:48:09  vasilche
  86. * Modified AutoPtr template to allow its use in STL containers (map, vector etc.)
  87. *
  88. * Revision 1.5  1999/11/15 19:36:12  vasilche
  89. * Fixed warnings on GCC
  90. *
  91. * ===========================================================================
  92. */
  93. #include <corelib/ncbistd.hpp>
  94. #include <serial/datatool/atoken.hpp>
  95. #include <list>
  96. BEGIN_NCBI_SCOPE
  97. class CComments;
  98. class AbstractLexer {
  99. public:
  100.     AbstractLexer(CNcbiIstream& in);
  101.     virtual ~AbstractLexer(void);
  102.     
  103.     const AbstractToken& NextToken(void)
  104.         {
  105.             if ( TokenStarted() )
  106.                 return m_NextToken;
  107.             else
  108.                 return FillNextToken();
  109.         }
  110.     void FillComments(void)
  111.         {
  112.             if ( !TokenStarted() )
  113.                 LookupComments();
  114.         }
  115.     bool CheckSymbol(char symbol);
  116.     void Consume(void)
  117.         {
  118.             if ( !TokenStarted() )
  119.                 LexerError("illegal call: Consume() without NextToken()");
  120.             m_TokenStart = 0;
  121.         }
  122.     const string& ConsumeAndValue(void);
  123.     int CurrentLine(void) const
  124.         {
  125.             return m_Line;
  126.         }
  127.     int LastTokenLine(void) const
  128.         {
  129.             return m_NextToken.GetLine();
  130.         }
  131.     virtual void LexerError(const char* error);
  132.     virtual void LexerWarning(const char* error);
  133.     class CComment
  134.     {
  135.     public:
  136.         CComment(int line)
  137.             : m_Line(line)
  138.             {
  139.             }
  140.         int GetLine(void) const
  141.             {
  142.                 return m_Line;
  143.             }
  144.         const string& GetValue(void) const
  145.             {
  146.                 return m_Value;
  147.             }
  148.         void AddChar(char c);
  149.     private:
  150.         int m_Line;
  151.         string m_Value;
  152.     };
  153.     bool HaveComments(void) const
  154.         {
  155.             return !m_Comments.empty();
  156.         }
  157.     const CComment& NextComment(void) const
  158.         {
  159.             return m_Comments.front();
  160.         }
  161.     void SkipNextComment(void);
  162.     void FlushComments(void);
  163.     void FlushCommentsTo(CComments& comments);
  164. protected:
  165.     virtual TToken LookupToken(void) = 0;
  166.     virtual void LookupComments(void) = 0;
  167.     void NextLine(void)
  168.         {
  169.             ++m_Line;
  170.         }
  171.     void StartToken(void)
  172.         {
  173.             _ASSERT(!TokenStarted());
  174.             m_TokenStart = m_Position;
  175.             m_NextToken.line = CurrentLine();
  176.         }
  177.     void AddChars(size_t count)
  178.         {
  179.             _ASSERT(TokenStarted());
  180.             m_Position += count;
  181.             _ASSERT(m_Position <= m_DataEnd);
  182.         }
  183.     void AddChar(void)
  184.         {
  185.             AddChars(1);
  186.         }
  187.     void SkipChars(size_t count)
  188.         {
  189.             _ASSERT(!TokenStarted());
  190.             m_Position += count;
  191.             _ASSERT(m_Position <= m_DataEnd);
  192.         }
  193.     void SkipChar(void)
  194.         {
  195.             SkipChars(1);
  196.         }
  197.     char Char(size_t index)
  198.         {
  199.             char* pos = m_Position + index;
  200.             if ( pos < m_DataEnd )
  201.                 return *pos;
  202.             else
  203.                 return FillChar(index);
  204.         }
  205.     char Char(void)
  206.         {
  207.             return Char(0);
  208.         }
  209.     bool Eof(void)
  210.         {
  211.             return !m_Input;
  212.         }
  213.     const char* CurrentTokenStart(void) const
  214.         {
  215.             return m_TokenStart;
  216.         }
  217.     const char* CurrentTokenEnd(void) const
  218.         {
  219.             return m_Position;
  220.         }
  221.     size_t CurrentTokenLength(void) const
  222.         {
  223.             return CurrentTokenEnd() - CurrentTokenStart();
  224.         }
  225. protected:
  226.     bool TokenStarted(void) const
  227.         {
  228.             return m_TokenStart != 0;
  229.         }
  230.     CComment& AddComment(void);
  231. private:
  232.     const AbstractToken& FillNextToken(void);
  233.     char FillChar(size_t index);
  234.     CNcbiIstream& m_Input;
  235.     int m_Line;  // current line in source
  236.     char* m_Buffer;
  237.     char* m_AllocEnd;
  238.     char* m_Position; // current position in buffer
  239.     char* m_DataEnd; // end of read data in buffer
  240.     char* m_TokenStart; // token start in buffer (0: not parsed yet)
  241.     AbstractToken m_NextToken;
  242.     string m_TokenText;
  243.     list<CComment> m_Comments;
  244. };
  245. END_NCBI_SCOPE
  246. #endif