开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 数值算法/人工智能 > 生物技术 > 查看源码
reader_id1.cpp
资源名称：ncbi_cxx_win--Jul_08_2004.zip　[点击查看]
上传用户：yhdzpy8989
上传日期：2007-06-13
资源大小：13604k
文件大小：36k
源码类别：

生物技术

开发平台：

C/C++

reader_id1.cpp：源码内容
  1. /*
  2.  * ===========================================================================
  3.  * PRODUCTION $Log: reader_id1.cpp,v $
  4.  * PRODUCTION Revision 1000.1  2004/06/01 19:41:56  gouriano
  5.  * PRODUCTION PRODUCTION: UPGRADED [GCC34_MSVC7] Dev-tree R1.81
  6.  * PRODUCTION
  7.  * ===========================================================================
  8.  */
  10. /*  $Id: reader_id1.cpp,v 1000.1 2004/06/01 19:41:56 gouriano Exp $
  11.  * ===========================================================================
  12.  *                            PUBLIC DOMAIN NOTICE
  13.  *               National Center for Biotechnology Information
  14.  *
  15.  *  This software/database is a "United States Government Work" under the
  16.  *  terms of the United States Copyright Act.  It was written as part of
  17.  *  the author's official duties as a United States Government employee and
  18.  *  thus cannot be copyrighted.  This software/database is freely available
  19.  *  to the public for use. The National Library of Medicine and the U.S.
  20.  *  Government have not placed any restriction on its use or reproduction.
  21.  *
  22.  *  Although all reasonable efforts have been taken to ensure the accuracy
  23.  *  and reliability of the software and data, the NLM and the U.S.
  24.  *  Government do not and cannot warrant the performance or results that
  25.  *  may be obtained by using this software or data. The NLM and the U.S.
  26.  *  Government disclaim all warranties, express or implied, including
  27.  *  warranties of performance, merchantability or fitness for any particular
  28.  *  purpose.
  29.  *
  30.  *  Please cite the author in any work or product based on this material.
  31.  *
  32.  * ===========================================================================
  33.  *
  34.  *  Author:  Anton Butanaev, Eugene Vasilchenko
  35.  *
  36.  *  File Description: Data reader from ID1
  37.  *
  38.  */
  40. #include <ncbi_pch.hpp>
  41. #include <corelib/ncbiapp.hpp>
  42. #include <corelib/ncbienv.hpp>
  44. #include <objtools/data_loaders/genbank/readers/id1/reader_id1.hpp>
  46. #include <objmgr/objmgr_exception.hpp>
  47. #include <objmgr/impl/tse_info.hpp>
  48. #include <objmgr/impl/tse_chunk_info.hpp>
  50. #include <objtools/data_loaders/genbank/reader_snp.hpp>
  51. #include <objtools/data_loaders/genbank/split_parser.hpp>
  53. #include <corelib/ncbistre.hpp>
  55. #define ID1_COLLECT_STATS
  56. #ifdef ID1_COLLECT_STATS
  57. # include <corelib/ncbitime.hpp>
  58. #endif
  59. #include <corelib/plugin_manager_impl.hpp>
  61. #include <objects/general/Dbtag.hpp>
  62. #include <objects/general/Object_id.hpp>
  63. #include <objects/seqloc/Seq_id.hpp>
  64. #include <objects/seqset/Seq_entry.hpp>
  65. #include <objects/seqset/Bioseq_set.hpp>
  66. #include <objects/seq/Seq_annot.hpp>
  67. #include <objects/id1/id1__.hpp>
  68. #include <objects/seqsplit/ID2S_Split_Info.hpp>
  70. #include <serial/enumvalues.hpp>
  71. #include <serial/iterator.hpp>
  72. #include <serial/objistrasnb.hpp>
  73. #include <serial/objostrasn.hpp>
  74. #include <serial/objostrasnb.hpp>
  75. #include <serial/serial.hpp>
  77. #include <connect/ncbi_conn_stream.hpp>
  79. #include <util/compress/reader_zlib.hpp>
  80. #include <util/stream_utils.hpp>
  81. #include <util/static_map.hpp>
  83. #include <memory>
  84. #include <iomanip>
  86. BEGIN_NCBI_SCOPE
  87. BEGIN_SCOPE(objects)
  89. #ifdef ID1_COLLECT_STATS
  90. static int resolve_id_count = 0;
  91. static double resolve_id_time = 0;
  93. static int resolve_gi_count = 0;
  94. static double resolve_gi_time = 0;
  96. static int resolve_ver_count = 0;
  97. static double resolve_ver_time = 0;
  99. static double last_object_bytes = 0;
  101. static int main_blob_count = 0;
  102. static double main_bytes = 0;
  103. static double main_time = 0;
  105. static int snp_blob_count = 0;
  106. static double snp_compressed = 0;
  107. static double snp_uncompressed = 0;
  108. static double snp_time = 0;
  109. static double snp_total_read_time = 0;
  110. static double snp_decompression_time = 0;
  112. static int s_GetCollectStatistics(void)
  113. {
  114.     const char* env = getenv("GENBANK_ID1_STATS");
  115.     if ( !env || !*env ) {
  116.         return 0;
  117.     }
  118.     try {
  119.         return NStr::StringToInt(env);
  120.     }
  121.     catch ( ... ) {
  122.         return 0;
  123.     }
  124. }
  125. #endif
  127. int CId1Reader::CollectStatistics(void)
  128. {
  129. #ifdef ID1_COLLECT_STATS
  130.     static int ret = s_GetCollectStatistics();
  131.     return ret;
  132. #else
  133.     return 0;
  134. #endif
  135. }
  138. CId1Reader::CId1Reader(TConn noConn)
  139.     : m_NoMoreConnections(false)
  140. {
  141.     
  142.     noConn=1; // limit number of simultaneous connections to one
  143. #if !defined(NCBI_THREADS)
  144.     noConn=1;
  145. #endif
  146.     try {
  147.         SetParallelLevel(noConn);
  148.     }
  149.     catch ( ... ) {
  150.         SetParallelLevel(0);
  151.         throw;
  152.     }
  153. }
  156. CId1Reader::~CId1Reader()
  157. {
  158.     SetParallelLevel(0);
  159. #ifdef ID1_COLLECT_STATS
  160.     if ( CollectStatistics() ) {
  161.         PrintStatistics();
  162.     }
  163. #endif
  164. }
  167. void CId1Reader::PrintStat(const char* type,
  168.                            size_t count,
  169.                            const char* what,
  170.                            double time)
  171. {
  172. #ifdef ID1_COLLECT_STATS
  173.     if ( !count ) {
  174.         return;
  175.     }
  176.     LOG_POST(type <<' '<<count<<' '<<what<<" in "<<
  177.              setiosflags(ios::fixed)<<
  178.              setprecision(3)<<
  179.              (time)<<" s "<<
  180.              (time*1000/count)<<" ms/one");
  181. #endif
  182. }
  185. void CId1Reader::PrintBlobStat(const char* type,
  186.                                size_t count,
  187.                                double bytes,
  188.                                double time)
  189. {
  190. #ifdef ID1_COLLECT_STATS
  191.     if ( !count ) {
  192.         return;
  193.     }
  194.     LOG_POST(type<<' '<<count<<" blobs "<<
  195.              setiosflags(ios::fixed)<<
  196.              setprecision(2)<<
  197.              (bytes/1024)<<" kB in "<<
  198.              setprecision(3)<<
  199.              (time)<<" s "<<
  200.              setprecision(2)<<
  201.              (bytes/time/1024)<<" kB/s");
  202. #endif
  203. }
  206. void CId1Reader::LogStat(const char* type, const string& name, double time)
  207. {
  208. #ifdef ID1_COLLECT_STATS
  209.     if ( CollectStatistics() <= 1 ) {
  210.         return;
  211.     }
  212.     LOG_POST(type<<' '<<name<<" in "<<
  213.              setiosflags(ios::fixed)<<
  214.              setprecision(3)<<
  215.              (time*1000)<<" ms");
  216. #endif
  217. }
  220. void CId1Reader::LogStat(const char* type,
  221.                          const string& name, const string& subkey, double time)
  222. {
  223. #ifdef ID1_COLLECT_STATS
  224.     if ( CollectStatistics() <= 1 ) {
  225.         return;
  226.     }
  227.     LOG_POST(type<<' '<<name<<" ("<<subkey<<") in "<<
  228.              setiosflags(ios::fixed)<<
  229.              setprecision(3)<<
  230.              (time*1000)<<" ms");
  231. #endif
  232. }
  235. void CId1Reader::LogStat(const char* type, const CSeq_id& id, double time)
  236. {
  237. #ifdef ID1_COLLECT_STATS
  238.     if ( CollectStatistics() <= 1 ) {
  239.         return;
  240.     }
  241.     LOG_POST(type<<' '<<id.AsFastaString()<<" in "<<
  242.              setiosflags(ios::fixed)<<
  243.              setprecision(3)<<
  244.              (time*1000)<<" ms");
  245. #endif
  246. }
  249. void CId1Reader::LogStat(const char* type,
  250.                          const CID1server_maxcomplex& maxplex, double time)
  251. {
  252. #ifdef ID1_COLLECT_STATS
  253.     if ( CollectStatistics() <= 1 ) {
  254.         return;
  255.     }
  256.     LOG_POST(type<<" TSE("<<maxplex.GetSat()<<','<<maxplex.GetEnt()<<") in "<<
  257.              setiosflags(ios::fixed)<<
  258.              setprecision(3)<<
  259.              (time*1000)<<" ms");
  260. #endif
  261. }
  264. void CId1Reader::LogStat(const char* type, int gi, double time)
  265. {
  266. #ifdef ID1_COLLECT_STATS
  267.     if ( CollectStatistics() <= 1 ) {
  268.         return;
  269.     }
  270.     LOG_POST(type<<' '<<gi<<" in "<<
  271.              setiosflags(ios::fixed)<<
  272.              setprecision(3)<<
  273.              (time*1000)<<" ms");
  274. #endif
  275. }
  278. void CId1Reader::LogBlobStat(const char* type,
  279.                              const CSeqref& seqref, double bytes, double time)
  280. {
  281. #ifdef ID1_COLLECT_STATS
  282.     if ( CollectStatistics() <= 1 ) {
  283.         return;
  284.     }
  285.     LOG_POST(type<<' '<<seqref.printTSE()<<' '<<
  286.              setiosflags(ios::fixed)<<
  287.              setprecision(2)<<
  288.              (bytes/1024)<<" kB in "<<
  289.              setprecision(3)<<
  290.              (time*1000)<<" ms "<<
  291.              setprecision(2)<<
  292.              (bytes/1024/time)<<" kB/s");
  293. #endif
  294. }
  297. void CId1Reader::PrintStatistics(void) const
  298. {
  299. #ifdef ID1_COLLECT_STATS
  300.     PrintStat("ID1 resolution: resolved",
  301.               resolve_id_count, "ids", resolve_id_time);
  302.     PrintStat("ID1 resolution: resolved",
  303.               resolve_gi_count, "gis", resolve_gi_time);
  304.     PrintStat("ID1 resolution: resolved",
  305.               resolve_ver_count, "vers", resolve_ver_time);
  306.     PrintBlobStat("ID1 non-SNP: loaded",
  307.                   main_blob_count, main_bytes, main_time);
  308.     PrintBlobStat("ID1 SNP: loaded",
  309.                   snp_blob_count, snp_compressed, snp_time);
  310.     if ( snp_blob_count ) {
  311.         LOG_POST("ID1 SNP decompression: "<<
  312.                  setiosflags(ios::fixed)<<
  313.                  setprecision(2)<<
  314.                  (snp_compressed/1024)<<" kB -> "<<
  315.                  (snp_uncompressed/1024)<<" kB, compession ratio: "<<
  316.                  setprecision(1)<<
  317.                  (snp_uncompressed/snp_compressed));
  318.         double snp_parse_time = snp_time - snp_total_read_time;
  319.         LOG_POST("ID1 SNP times: decompression : "<<
  320.                  setiosflags(ios::fixed)<<
  321.                  setprecision(3)<<
  322.                  (snp_decompression_time)<<" s, total read time: "<<
  323.                  (snp_total_read_time)<<" s, parse time: "<<
  324.                  (snp_parse_time)<<" s");
  325.     }
  326.     PrintBlobStat("ID1 total: loaded",
  327.                   main_blob_count + snp_blob_count,
  328.                   main_bytes + snp_compressed,
  329.                   main_time + snp_time);
  330. #endif
  331. }
  334. CReader::TConn CId1Reader::GetParallelLevel(void) const
  335. {
  336.     return m_Pool.size();
  337. }
  340. void CId1Reader::SetParallelLevel(TConn size)
  341. {
  342.     size_t oldSize = m_Pool.size();
  343.     for (size_t i = size; i < oldSize; ++i) {
  344.         delete m_Pool[i];
  345.         m_Pool[i] = 0;
  346.     }
  348.     m_Pool.resize(size);
  349.     for (size_t i = oldSize; i < min(1u, size); ++i) {
  350.         m_Pool[i] = x_NewConnection();
  351.     }
  352. }
  355. CConn_ServiceStream* CId1Reader::x_GetConnection(TConn conn)
  356. {
  357.     conn = conn % m_Pool.size();
  358.     CConn_ServiceStream* ret = m_Pool[conn];
  359.     if ( !ret ) {
  360.         ret = x_NewConnection();
  362.         if ( !ret ) {
  363.             NCBI_THROW(CLoaderException, eNoConnection,
  364.                        "too many connections failed: probably server is dead");
  365.         }
  367.         m_Pool[conn] = ret;
  368.     }
  369.     return ret;
  370. }
  373. void CId1Reader::Reconnect(TConn conn)
  374. {
  375.     _TRACE("Reconnect(" << conn << ")");
  376.     conn = conn % m_Pool.size();
  377.     delete m_Pool[conn];
  378.     m_Pool[conn] = 0;
  379. }
  382. CConn_ServiceStream* CId1Reader::x_NewConnection(void)
  383. {
  384.     for ( int i = 0; !m_NoMoreConnections && i < 3; ++i ) {
  385.         try {
  386.             _TRACE("CId1Reader(" << this << ")->x_NewConnection()");
  388.             string id1_svc;
  389.             {{
  390.                 CNcbiApplication* app = CNcbiApplication::Instance();
  391.                 static const char* env_var = "NCBI_SERVICE_NAME_ID1";
  392.                 if (app) { 
  393.                     id1_svc = app->GetEnvironment().Get(env_var);
  394.                 } else {
  395.                     char* s = ::getenv(env_var);
  396.                     if (s) {
  397.                         id1_svc = s;
  398.                     }
  399.                 }
  400.             }}
  401.             if ( id1_svc.empty() ) {
  402.                 id1_svc = "ID1";
  403.             }
  405.             STimeout tmout;
  406.             tmout.sec = 20;
  407.             tmout.usec = 0;
  408.             auto_ptr<CConn_ServiceStream> stream
  409.                 (new CConn_ServiceStream(id1_svc, fSERV_Any, 0, 0, &tmout));
  410.             if ( !stream->bad() ) {
  411.                 return stream.release();
  412.             }
  413.             ERR_POST("CId1Reader::x_NewConnection: cannot connect.");
  414.         }
  415.         catch ( CException& exc ) {
  416.             ERR_POST("CId1Reader::x_NewConnection: cannot connect: " <<
  417.                      exc.what());
  418.         }
  419.     }
  420.     m_NoMoreConnections = true;
  421.     return 0;
  422. }
  425. int CId1Reader::ResolveSeq_id_to_gi(const CSeq_id& seqId, TConn conn)
  426. {
  427.     CID1server_request id1_request;
  428.     id1_request.SetGetgi(const_cast<CSeq_id&>(seqId));
  430.     CID1server_back id1_reply;
  431.     x_ResolveId(id1_reply, id1_request, conn);
  433.     return id1_reply.IsGotgi()? id1_reply.GetGotgi(): 0;
  434. }
  437. typedef pair<const char*, CReader::ESatellite> TSatPair;
  438. static const TSatPair sc_SatArray[] = {
  439.     TSatPair("SNP",        CReader::eSatellite_SNP),
  440.     TSatPair("ti",         CReader::eSatellite_TRACE),
  441.     TSatPair("TR_ASSM_CH", CReader::eSatellite_TR_ASSM_CH),
  442.     TSatPair("TRACE_ASSM", CReader::eSatellite_TRACE_ASSM),
  443.     TSatPair("TRACE_CHGR", CReader::eSatellite_TRACE_CHGR)
  444. };
  445. typedef CStaticArrayMap<const char*, CReader::ESatellite, PNocase> TSatMap;
  446. static const TSatMap sc_SatMap(sc_SatArray, sizeof (sc_SatArray));
  449. void CId1Reader::ResolveSeq_id(TSeqrefs& srs, const CSeq_id& id, TConn conn)
  450. {
  451.     if ( id.IsGeneral()  &&  id.GetGeneral().GetTag().IsId() ) {
  452.         const CDbtag& dbtag = id.GetGeneral();
  453.         const CObject_id& objid = dbtag.GetTag();
  455.         int sat = 0;
  456.         int sat_key = objid.GetId();
  457.         if (sat_key != 0) {
  458.             TSatMap::const_iterator iter =
  459.                 sc_SatMap.find(dbtag.GetDb().c_str());
  460.             if (iter != sc_SatMap.end()) {
  461.                 sat = iter->second;
  462.             } else {
  463.                 try {
  464.                     sat = NStr::StringToInt(dbtag.GetDb());
  465.                 }
  466.                 catch (...) {
  467.                 }
  468.             }
  470.             if (sat != 0) {
  471.                 srs.push_back(Ref(new CSeqref(0, sat, sat_key)));
  472.                 return;
  473.             }
  474.         }
  475.     }
  476.     CReader::ResolveSeq_id(srs, id, conn);
  477. }
  480. void CId1Reader::RetrieveSeqrefs(TSeqrefs& srs, int gi, TConn conn)
  481. {
  482.     CID1server_request id1_request;
  483.     {{
  484.         CID1server_maxcomplex& blob = id1_request.SetGetblobinfo();
  485.         blob.SetMaxplex(eEntry_complexities_entry);
  486.         blob.SetGi(gi);
  487.     }}
  488.     
  489.     CID1server_back id1_reply;
  490.     x_ResolveId(id1_reply, id1_request, conn);
  492.     if ( !id1_reply.IsGotblobinfo() ) {
  493.         return;
  494.     }
  496.     const CID1blob_info& info = id1_reply.GetGotblobinfo();
  497.     if ( info.GetWithdrawn() > 0 || info.GetConfidential() > 0 ) {
  498.         LOG_POST(Warning<<"CId1Reader::RetrieveSeqrefs("<<gi<<"): "
  499.                  "gi is private");
  500.         return;
  501.     }
  502.     if ( info.GetSat() < 0 || info.GetSat_key() < 0 ) {
  503.         LOG_POST(Warning<<"CId1Reader::RetrieveSeqrefs("<<gi<<"): "
  504.                  "negative sat/satkey");
  505.         return;
  506.     }
  507.     CRef<CSeqref> ref(new CSeqref(gi, info.GetSat(), info.GetSat_key()));
  508.     ref->SetVersion(x_GetVersion(info));
  509.     srs.push_back(ref);
  510.    
  511.     if ( TrySNPSplit() ) {
  512.         if ( !info.IsSetExtfeatmask() ) {
  513.             AddSNPSeqref(srs, gi, CSeqref::fPossible);
  514.         }
  515.         else if ( info.GetExtfeatmask() & 1 ) {
  516.             AddSNPSeqref(srs, gi);
  517.         }
  518.     }
  519. }
  522. int CId1Reader::GetVersion(const CSeqref& seqref, TConn conn)
  523. {
  524.     if ( seqref.GetVersion() == 0 ) {
  525.         const_cast<CSeqref&>(seqref).SetVersion(x_GetVersion(seqref, conn));
  526.     }
  527.     return seqref.GetVersion();
  528. }
  531. int CId1Reader::x_GetVersion(const CSeqref& seqref, TConn conn)
  532. {
  533.     CID1server_request id1_request;
  534.     x_SetParams(seqref, id1_request.SetGetblobinfo(), IsSNPSeqref(seqref));
  535.     
  536.     CID1server_back    id1_reply;
  537.     x_ResolveId(id1_reply, id1_request, conn);
  538.     
  539.     if ( id1_reply.IsGotblobinfo() ) {
  540.         return x_GetVersion(id1_reply.GetGotblobinfo());
  541.     }
  542.     else {
  543.         return 1; // default non-zero version
  544.     }
  545. }
  548. void CId1Reader::x_ResolveId(CID1server_back& id1_reply,
  549.                              const CID1server_request& id1_request,
  550.                              TConn conn)
  551. {
  552. #ifdef ID1_COLLECT_STATS
  553.     CStopWatch sw;
  554.     if ( CollectStatistics() ) {
  555.         sw.Start();
  556.     }
  557. #endif
  559.     CConn_ServiceStream* stream = x_GetConnection(conn);
  560.     {{
  561.         CObjectOStreamAsnBinary out(*stream);
  562.         out << id1_request;
  563.         out.Flush();
  564.     }}
  565.     
  566.     {{
  567.         CObjectIStreamAsnBinary in(*stream);
  568.         in >> id1_reply;
  569.     }}
  570.     /*
  571.     if ( id1_reply.IsError() && id1_reply.GetError() == 0 ) {
  572.         char next_byte;
  573.         if ( CStreamUtils::Readsome(*stream, &next_byte, 1) ) {
  574.             CStreamUtils::Pushback(*stream, &next_byte, 1);
  575.             ERR_POST("Extra reply from ID1 server: ERROR 0");
  576.             CObjectIStreamAsnBinary in(*stream);
  577.             in >> id1_reply;
  578.         }
  579.     }
  580.     */
  582. #ifdef ID1_COLLECT_STATS
  583.     if ( CollectStatistics() ) {
  584.         double time = sw.Elapsed();
  585.         if ( id1_request.Which() == CID1server_request::e_Getgi ) {
  586.             LogStat("CId1Reader: resolved id", id1_request.GetGetgi(), time);
  587.             resolve_id_count++;
  588.             resolve_id_time += time;
  589.         }
  590.         else if ( id1_request.Which() == CID1server_request::e_Getblobinfo ) {
  591.             const CID1server_maxcomplex& req = id1_request.GetGetblobinfo();
  592.             if ( req.IsSetSat() ) {
  593.                 LogStat("CId1Reader: got blob version", req, time);
  594.                 resolve_ver_count++;
  595.                 resolve_ver_time += time;
  596.             }
  597.             else {
  598.                 LogStat("CId1Reader: resolved gi", req.GetGi(), time);
  599.                 resolve_gi_count++;
  600.                 resolve_gi_time += time;
  601.             }
  602.         }
  603.     }
  604. #endif
  605. }
  608. CRef<CTSE_Info> CId1Reader::GetTSEBlob(const CSeqref& seqref,
  609.                                        TConn conn)
  610. {
  611.     if ( seqref.GetFlags() & CSeqref::fPrivate ) {
  612.         NCBI_THROW(CLoaderException, ePrivateData, "gi is private");
  613.     }
  614.     CID1server_back id1_reply;
  615.     CRef<CID2S_Split_Info> split_info;
  616.     x_GetTSEBlob(id1_reply, split_info, seqref, conn);
  618.     CRef<CSeq_entry> seq_entry;
  619.     bool dead = false;
  620.     switch ( id1_reply.Which() ) {
  621.     case CID1server_back::e_Gotseqentry:
  622.         seq_entry.Reset(&id1_reply.SetGotseqentry());
  623.         break;
  624.     case CID1server_back::e_Gotdeadseqentry:
  625.         dead = true;
  626.         seq_entry.Reset(&id1_reply.SetGotdeadseqentry());
  627.         break;
  628.     case CID1server_back::e_Error:
  629.         switch ( id1_reply.GetError() ) {
  630.         case 1:
  631.             NCBI_THROW(CLoaderException, ePrivateData, "id is withdrawn");
  632.         case 2:
  633.             NCBI_THROW(CLoaderException, ePrivateData, "id is private");
  634.         case 10:
  635.             NCBI_THROW(CLoaderException, eNoData, "invalid args");
  636.         }
  637.         ERR_POST("CId1Reader::GetMainBlob: ID1server-back.error "<<
  638.                  id1_reply.GetError());
  639.         NCBI_THROW(CLoaderException, eLoaderFailed,
  640.                    "ID1server-back.error");
  641.         break;
  642.     default:
  643.         // no data
  644.         NCBI_THROW(CLoaderException, eLoaderFailed,
  645.                    "bad ID1server-back type");
  646.     }
  647.     CRef<CTSE_Info> ret(new CTSE_Info(*seq_entry, dead));
  648.     if ( split_info ) {
  649.         CSplitParser::Attach(*ret, *split_info);
  650.     }
  651.     return ret;
  652. }
  655. CRef<CSeq_annot_SNP_Info> CId1Reader::GetSNPAnnot(const CSeqref& seqref,
  656.                                                   TConn conn)
  657. {
  658.     CRef<CSeq_annot_SNP_Info> ret(new CSeq_annot_SNP_Info);
  660.     x_GetSNPAnnot(*ret, seqref, conn);
  662.     return ret;
  663. }
  666. void Id1ReaderSkipBytes(CByteSourceReader& reader, size_t to_skip)
  667. {
  668.     // skip 2 bytes of hacked header
  669.     const size_t kBufferSize = 128;
  670.     char buffer[kBufferSize];
  671.     while ( to_skip ) {
  672.         size_t cnt = reader.Read(buffer, min(to_skip, sizeof(buffer)));
  673.         if ( cnt == 0 ) {
  674.             NCBI_THROW(CEofException, eEof,
  675.                        "unexpected EOF while skipping ID1 SNP wrapper bytes");
  676.         }
  677.         to_skip -= cnt;
  678.     }
  679. }
  682. void CId1Reader::x_GetTSEBlob(CID1server_back& id1_reply,
  683.                               CRef<CID2S_Split_Info>& /*split_info*/,
  684.                               const CSeqref& seqref,
  685.                               TConn conn)
  686. {
  687. #ifdef ID1_COLLECT_STATS
  688.     CStopWatch sw;
  689.     if ( CollectStatistics() ) {
  690.         sw.Start();
  691.     }
  692.     
  693.     try {
  694. #endif
  695.         CConn_ServiceStream* stream = x_GetConnection(conn);
  696.         x_SendRequest(seqref, stream, false);
  697.         x_ReadTSEBlob(id1_reply, seqref, *stream);
  698.         
  699. #ifdef ID1_COLLECT_STATS
  700.         if ( CollectStatistics() ) {
  701.             double time = sw.Elapsed();
  702.             LogBlobStat("CId1Reader: read blob",
  703.                         seqref, last_object_bytes, time);
  704.             main_blob_count++;
  705.             main_bytes += last_object_bytes;
  706.             main_time += time;
  707.         }
  708.     }
  709.     catch ( ... ) {
  710.         if ( CollectStatistics() ) {
  711.             double time = sw.Elapsed();
  712.             LogBlobStat("CId1Reader: read fail blob",
  713.                         seqref, 0, time);
  714.             main_blob_count++;
  715.             main_time += time;
  716.         }
  717.         throw;
  718.     }
  719. #endif
  720. }
  723. void CId1Reader::x_GetSNPAnnot(CSeq_annot_SNP_Info& snp_info,
  724.                                const CSeqref& seqref,
  725.                                TConn conn)
  726. {
  727. #ifdef ID1_COLLECT_STATS
  728.     CStopWatch sw;
  730.     if ( CollectStatistics() ) {
  731.         sw.Start();
  732.     }
  734.     try {
  735. #endif
  736.         CConn_ServiceStream* stream = x_GetConnection(conn);
  737.         x_SendRequest(seqref, stream, true);
  739. #ifdef ID1_COLLECT_STATS
  740.         size_t compressed;
  741.         double decompression_time;
  742.         double total_read_time;
  743. #endif
  744.         {{
  745.             const size_t kSkipHeader = 2, kSkipFooter = 2;
  746.         
  747.             CStreamByteSourceReader src(0, stream);
  748.         
  749.             Id1ReaderSkipBytes(src, kSkipHeader);
  750.         
  751.             CNlmZipBtRdr src2(&src);
  752.         
  753.             x_ReadSNPAnnot(snp_info, seqref, src2);
  755. #ifdef ID1_COLLECT_STATS
  756.             compressed = src2.GetCompressedSize();
  757.             decompression_time = src2.GetDecompressionTime();
  758.             total_read_time = src2.GetTotalReadTime();
  759. #endif
  760.         
  761.             Id1ReaderSkipBytes(src, kSkipFooter);
  762.         }}
  764. #ifdef ID1_COLLECT_STATS
  765.         if ( CollectStatistics() ) {
  766.             double time = sw.Elapsed();
  767.             LogBlobStat("CId1Reader: read SNP blob",
  768.                         seqref, compressed, time);
  769.             snp_blob_count++;
  770.             snp_compressed += compressed;
  771.             snp_uncompressed += last_object_bytes;
  772.             snp_time += time;
  773.             snp_decompression_time += decompression_time;
  774.             snp_total_read_time += total_read_time;
  775.         }
  776.     }
  777.     catch ( ... ) {
  778.         if ( CollectStatistics() ) {
  779.             double time = sw.Elapsed();
  780.             LogBlobStat("CId1Reader: read fail SNP blob",
  781.                         seqref, 0, time);
  782.             snp_blob_count++;
  783.             snp_time += time;
  784.         }
  785.         throw;
  786.     }
  787. #endif
  788. }
  791. void CId1Reader::x_SetParams(const CSeqref& seqref,
  792.                              CID1server_maxcomplex& params,
  793.                              bool is_snp)
  794. {
  795.     bool is_external = is_snp;
  796.     bool skip_extfeat = !is_external && TrySNPSplit();
  797.     enum {
  798.         kNoExtFeat = 1<<4
  799.     };
  800.     EEntry_complexities maxplex = eEntry_complexities_entry;
  801.     if ( skip_extfeat ) {
  802.         maxplex = EEntry_complexities(int(maxplex) | kNoExtFeat);
  803.     }
  804.     params.SetMaxplex(maxplex);
  805.     params.SetGi(seqref.GetGi());
  806.     params.SetEnt(seqref.GetSatKey());
  807.     params.SetSat(NStr::IntToString(seqref.GetSat()));
  808. }
  811. int CId1Reader::x_GetVersion(const CID1blob_info& info) const
  812. {
  813.     int version = info.GetBlob_state();
  814.     if ( version < 0 ) {
  815.         version = -version;
  816.     }
  817.     if ( version == 0 ) {
  818.         // set to default: 1
  819.         // so that we will not reask version in future
  820.         version = 1;
  821.     }
  822.     return version;
  823. }
  826. void CId1Reader::x_SendRequest(const CSeqref& seqref,
  827.                                CConn_ServiceStream* stream,
  828.                                bool is_snp)
  829. {
  830.     CID1server_request id1_request;
  831.     x_SetParams(seqref, id1_request.SetGetsefromgi(), is_snp);
  832.     CObjectOStreamAsnBinary out(*stream);
  833.     out << id1_request;
  834.     out.Flush();
  835. }
  838. void CId1Reader::x_ReadTSEBlob(CID1server_back& id1_reply,
  839.                                const CSeqref& /*seqref*/,
  840.                                CNcbiIstream& stream)
  841. {
  842.     CObjectIStreamAsnBinary obj_stream(stream);
  843.     
  844.     x_ReadTSEBlob(id1_reply, obj_stream);
  845. }
  848. void CId1Reader::x_ReadTSEBlob(CID1server_back& id1_reply,
  849.                                CObjectIStream& stream)
  850. {
  851.     CReader::SetSeqEntryReadHooks(stream);
  853.     stream >> id1_reply;
  855. #ifdef ID1_COLLECT_STATS
  856.     last_object_bytes = stream.GetStreamOffset();
  857. #endif
  858. }
  861. void CId1Reader::x_ReadSNPAnnot(CSeq_annot_SNP_Info& snp_info,
  862.                                 const CSeqref& /*seqref*/,
  863.                                 CByteSourceReader& reader)
  864. {
  865.     CObjectIStreamAsnBinary in(reader);
  867.     CSeq_annot_SNP_Info_Reader::Parse(in, snp_info);
  869. #ifdef ID1_COLLECT_STATS
  870.     last_object_bytes = in.GetStreamOffset();
  871. #endif
  872. }
  875. END_SCOPE(objects)
  877. const string kId1ReaderDriverName("id1_reader");
  880. /// Class factory for ID1 reader
  881. ///
  882. /// @internal
  883. ///
  884. class CId1ReaderCF : 
  885.     public CSimpleClassFactoryImpl<objects::CReader, objects::CId1Reader>
  886. {
  887. public:
  888.     typedef 
  889.       CSimpleClassFactoryImpl<objects::CReader, objects::CId1Reader> TParent;
  890. public:
  891.     CId1ReaderCF() : TParent(kId1ReaderDriverName, 0)
  892.     {
  893.     }
  894.     ~CId1ReaderCF()
  895.     {
  896.     }
  897. };
  899. void NCBI_EntryPoint_Id1Reader(
  900.      CPluginManager<objects::CReader>::TDriverInfoList&   info_list,
  901.      CPluginManager<objects::CReader>::EEntryPointRequest method)
  902. {
  903.     CHostEntryPointImpl<CId1ReaderCF>::NCBI_EntryPointImpl(info_list, method);
  904. }
  908. END_NCBI_SCOPE
  911. /*
  912.  * $Log: reader_id1.cpp,v $
  913.  * Revision 1000.1  2004/06/01 19:41:56  gouriano
  914.  * PRODUCTION: UPGRADED [GCC34_MSVC7] Dev-tree R1.81
  915.  *
  916.  * Revision 1.81  2004/05/21 21:42:52  gorelenk
  917.  * Added PCH ncbi_pch.hpp
  918.  *
  919.  * Revision 1.80  2004/03/16 17:49:18  vasilche
  920.  * Use enum constant for TRACE_CHGR entries
  921.  *
  922.  * Revision 1.79  2004/03/16 15:47:29  vasilche
  923.  * Added CBioseq_set_Handle and set of EditHandles
  924.  *
  925.  * Revision 1.78  2004/03/05 17:43:52  dicuccio
  926.  * Added support for satellite 31: TRACE_CHGR
  927.  *
  928.  * Revision 1.77  2004/03/03 22:59:47  ucko
  929.  * Gracefully handle CNcbiApplication::Instance returning NULL, as it
  930.  * *is* possible to use other frameworks.
  931.  *
  932.  * Revision 1.76  2004/02/19 19:24:09  vasilche
  933.  * Added conditional compilation of statistics collection code.
  934.  *
  935.  * Revision 1.75  2004/02/19 17:06:57  dicuccio
  936.  * Use sat, sat-key in seq-ref, not sat-key, sat
  937.  *
  938.  * Revision 1.74  2004/02/18 14:01:25  dicuccio
  939.  * Added new satellites for TRACE_ASSM, TR_ASSM_CH.  Added support for overloading
  940.  * the ID1 named service
  941.  *
  942.  * Revision 1.73  2004/02/04 17:47:41  kuznets
  943.  * Fixed naming of entry points
  944.  *
  945.  * Revision 1.72  2004/01/28 20:53:43  vasilche
  946.  * Added CSplitParser::Attach().
  947.  *
  948.  * Revision 1.71  2004/01/22 20:53:30  vasilche
  949.  * Fixed include path.
  950.  *
  951.  * Revision 1.70  2004/01/22 20:10:36  vasilche
  952.  * 1. Splitted ID2 specs to two parts.
  953.  * ID2 now specifies only protocol.
  954.  * Specification of ID2 split data is moved to seqsplit ASN module.
  955.  * For now they are still reside in one resulting library as before - libid2.
  956.  * As the result split specific headers are now in objects/seqsplit.
  957.  * 2. Moved ID2 and ID1 specific code out of object manager.
  958.  * Protocol is processed by corresponding readers.
  959.  * ID2 split parsing is processed by ncbi_xreader library - used by all readers.
  960.  * 3. Updated OBJMGR_LIBS correspondingly.
  961.  *
  962.  * Revision 1.69  2004/01/13 21:54:49  vasilche
  963.  * Requrrected new version
  964.  *
  965.  * Revision 1.5  2004/01/13 16:55:56  vasilche
  966.  * CReader, CSeqref and some more classes moved from xobjmgr to separate lib.
  967.  * Headers moved from include/objmgr to include/objtools/data_loaders/genbank.
  968.  *
  969.  * Revision 1.4  2003/12/30 22:14:42  vasilche
  970.  * Updated genbank loader and readers plugins.
  971.  *
  972.  * Revision 1.67  2003/12/30 16:00:24  vasilche
  973.  * Added support for new ICache (CBDB_Cache) interface.
  974.  *
  975.  * Revision 1.66  2003/12/19 19:47:44  vasilche
  976.  * Added support for TRACE data, Seq-id ::= general { db "ti", tag id NNN }.
  977.  *
  978.  * Revision 1.65  2003/12/03 14:30:02  kuznets
  979.  * Code clean up.
  980.  * Made use of driver name constant instead of immediate in-place string.
  981.  *
  982.  * Revision 1.64  2003/12/02 16:18:16  kuznets
  983.  * Added plugin manager support for CReader interface and implementaions
  984.  * (id1 reader, pubseq reader)
  985.  *
  986.  * Revision 1.63  2003/11/26 17:55:59  vasilche
  987.  * Implemented ID2 split in ID1 cache.
  988.  * Fixed loading of splitted annotations.
  989.  *
  990.  * Revision 1.62  2003/11/21 16:32:52  vasilche
  991.  * Cleaned code avoiding ERROR 0 packets.
  992.  *
  993.  * Revision 1.61  2003/11/19 15:43:03  vasilche
  994.  * Temporary fix for extra ERROR 0 packed from ID1 server.
  995.  *  CVS: ----------------------------------------------------------------------
  996.  *
  997.  * Revision 1.60  2003/11/07 16:59:01  vasilche
  998.  * Fixed stats message.
  999.  *
  1000.  * Revision 1.59  2003/11/04 21:53:32  vasilche
  1001.  * Check only SNP bit in extfeat field in ID1 response.
  1002.  *
  1003.  * Revision 1.58  2003/10/27 18:50:49  vasilche
  1004.  * Detect 'private' blobs in ID1 reader.
  1005.  * Avoid reconnecting after ID1 server replied with error packet.
  1006.  *
  1007.  * Revision 1.57  2003/10/27 15:05:41  vasilche
  1008.  * Added correct recovery of cached ID1 loader if gi->sat/satkey cache is invalid.
  1009.  * Added recognition of ID1 error codes: private, etc.
  1010.  * Some formatting of old code.
  1011.  *
  1012.  * Revision 1.56  2003/10/24 13:27:40  vasilche
  1013.  * Cached ID1 reader made more safe. Process errors and exceptions correctly.
  1014.  * Cleaned statistics printing methods.
  1015.  *
  1016.  * Revision 1.55  2003/10/22 16:36:25  vasilche
  1017.  * Fixed typo.
  1018.  *
  1019.  * Revision 1.54  2003/10/22 16:32:42  vasilche
  1020.  * MSVC forces to use stream::bad() method.
  1021.  *
  1022.  * Revision 1.53  2003/10/22 16:12:38  vasilche
  1023.  * Added CLoaderException::eNoConnection.
  1024.  * Added check for 'fail' state of ID1 connection stream.
  1025.  * CLoaderException::eNoConnection will be rethrown from CGBLoader.
  1026.  *
  1027.  * Revision 1.52  2003/10/21 16:32:50  vasilche
  1028.  * Cleaned ID1 statistics messages.
  1029.  * Now by setting GENBANK_ID1_STATS=1 CId1Reader collects and displays stats.
  1030.  * And by setting GENBANK_ID1_STATS=2 CId1Reader logs all activities.
  1031.  *
  1032.  * Revision 1.51  2003/10/21 14:27:35  vasilche
  1033.  * Added caching of gi -> sat,satkey,version resolution.
  1034.  * SNP blobs are stored in cache in preprocessed format (platform dependent).
  1035.  * Limit number of connections to GenBank servers.
  1036.  * Added collection of ID1 loader statistics.
  1037.  *
  1038.  * Revision 1.50  2003/10/14 21:06:25  vasilche
  1039.  * Fixed compression statistics.
  1040.  * Disabled caching of SNP blobs.
  1041.  *
  1042.  * Revision 1.49  2003/10/14 18:59:55  vasilche
  1043.  * Temporarily remove collection of compression statistics.
  1044.  *
  1045.  * Revision 1.48  2003/10/14 18:31:54  vasilche
  1046.  * Added caching support for SNP blobs.
  1047.  * Added statistics collection of ID1 connection.
  1048.  *
  1049.  * Revision 1.47  2003/10/08 14:16:13  vasilche
  1050.  * Added version of blobs loaded from ID1.
  1051.  *
  1052.  * Revision 1.46  2003/10/01 18:08:14  kuznets
  1053.  * s_SkipBytes renamed to Id1ReaderSkipBytes (made non static)
  1054.  *
  1055.  * Revision 1.45  2003/09/30 19:38:26  vasilche
  1056.  * Added support for cached id1 reader.
  1057.  *
  1058.  * Revision 1.44  2003/09/30 16:22:02  vasilche
  1059.  * Updated internal object manager classes to be able to load ID2 data.
  1060.  * SNP blobs are loaded as ID2 split blobs - readers convert them automatically.
  1061.  * Scope caches results of requests for data to data loaders.
  1062.  * Optimized CSeq_id_Handle for gis.
  1063.  * Optimized bioseq lookup in scope.
  1064.  * Reduced object allocations in annotation iterators.
  1065.  * CScope is allowed to be destroyed before other objects using this scope are
  1066.  * deleted (feature iterators, bioseq handles etc).
  1067.  * Optimized lookup for matching Seq-ids in CSeq_id_Mapper.
  1068.  * Added 'adaptive' option to objmgr_demo application.
  1069.  *
  1070.  * Revision 1.43  2003/08/27 14:25:22  vasilche
  1071.  * Simplified CCmpTSE class.
  1072.  *
  1073.  * Revision 1.42  2003/08/19 18:34:40  vasilche
  1074.  * Fixed warning about enum conversion.
  1075.  *
  1076.  * Revision 1.41  2003/08/14 20:05:19  vasilche
  1077.  * Simple SNP features are stored as table internally.
  1078.  * They are recreated when needed using CFeat_CI.
  1079.  *
  1080.  * Revision 1.40  2003/07/24 19:28:09  vasilche
  1081.  * Implemented SNP split for ID1 loader.
  1082.  *
  1083.  * Revision 1.39  2003/07/17 20:07:56  vasilche
  1084.  * Reduced memory usage by feature indexes.
  1085.  * SNP data is loaded separately through PUBSEQ_OS.
  1086.  * String compression for SNP data.
  1087.  *
  1088.  * Revision 1.38  2003/06/02 16:06:38  dicuccio
  1089.  * Rearranged src/objects/ subtree.  This includes the following shifts:
  1090.  *     - src/objects/asn2asn --> arc/app/asn2asn
  1091.  *     - src/objects/testmedline --> src/objects/ncbimime/test
  1092.  *     - src/objects/objmgr --> src/objmgr
  1093.  *     - src/objects/util --> src/objmgr/util
  1094.  *     - src/objects/alnmgr --> src/objtools/alnmgr
  1095.  *     - src/objects/flat --> src/objtools/flat
  1096.  *     - src/objects/validator --> src/objtools/validator
  1097.  *     - src/objects/cddalignview --> src/objtools/cddalignview
  1098.  * In addition, libseq now includes six of the objects/seq... libs, and libmmdb
  1099.  * replaces the three libmmdb? libs.
  1100.  *
  1101.  * Revision 1.37  2003/05/13 20:14:40  vasilche
  1102.  * Catching exceptions and reconnection were moved from readers to genbank loader.
  1103.  *
  1104.  * Revision 1.36  2003/04/24 16:12:38  vasilche
  1105.  * Object manager internal structures are splitted more straightforward.
  1106.  * Removed excessive header dependencies.
  1107.  *
  1108.  * Revision 1.35  2003/04/15 15:30:15  vasilche
  1109.  * Added include <memory> when needed.
  1110.  * Removed buggy buffer in printing methods.
  1111.  * Removed unnecessary include of stream_util.hpp.
  1112.  *
  1113.  * Revision 1.34  2003/04/15 14:24:08  vasilche
  1114.  * Changed CReader interface to not to use fake streams.
  1115.  *
  1116.  * Revision 1.33  2003/04/07 16:56:57  vasilche
  1117.  * Fixed unassigned member in ID1 request.
  1118.  *
  1119.  * Revision 1.32  2003/03/31 17:02:03  lavr
  1120.  * Some code reformatting to [more closely] meet coding requirements
  1121.  *
  1122.  * Revision 1.31  2003/03/30 07:00:29  lavr
  1123.  * MIPS-specific workaround for lame-designed stream read ops
  1124.  *
  1125.  * Revision 1.30  2003/03/28 03:28:14  lavr
  1126.  * CId1Reader::xsgetn() added; code heavily reformatted
  1127.  *
  1128.  * Revision 1.29  2003/03/27 19:38:13  vasilche
  1129.  * Use safe NStr::IntToString() instead of sprintf().
  1130.  *
  1131.  * Revision 1.28  2003/03/03 20:34:51  vasilche
  1132.  * Added NCBI_THREADS macro - it's opposite to NCBI_NO_THREADS.
  1133.  * Avoid using _REENTRANT macro - use NCBI_THREADS instead.
  1134.  *
  1135.  * Revision 1.27  2003/03/01 22:26:56  kimelman
  1136.  * performance fixes
  1137.  *
  1138.  * Revision 1.26  2003/02/04 18:53:36  dicuccio
  1139.  * Include file clean-up
  1140.  *
  1141.  * Revision 1.25  2002/12/26 20:53:25  dicuccio
  1142.  * Minor tweaks to relieve compiler warnings in MSVC
  1143.  *
  1144.  * Revision 1.24  2002/12/26 16:39:24  vasilche
  1145.  * Object manager class CSeqMap rewritten.
  1146.  *
  1147.  * Revision 1.23  2002/11/18 19:48:43  grichenk
  1148.  * Removed "const" from datatool-generated setters
  1149.  *
  1150.  * Revision 1.22  2002/07/25 15:01:51  grichenk
  1151.  * Replaced non-const GetXXX() with SetXXX()
  1152.  *
  1153.  * Revision 1.21  2002/05/09 21:40:59  kimelman
  1154.  * MT tuning
  1155.  *
  1156.  * Revision 1.20  2002/05/06 03:28:47  vakatov
  1157.  * OM/OM1 renaming
  1158.  *
  1159.  * Revision 1.19  2002/05/03 21:28:10  ucko
  1160.  * Introduce T(Signed)SeqPos.
  1161.  *
  1162.  * Revision 1.18  2002/04/17 19:52:02  kimelman
  1163.  * fix: no gi found
  1164.  *
  1165.  * Revision 1.17  2002/04/09 16:10:56  ucko
  1166.  * Split CStrStreamBuf out into a common location.
  1167.  *
  1168.  * Revision 1.16  2002/04/08 20:52:26  butanaev
  1169.  * Added PUBSEQ reader.
  1170.  *
  1171.  * Revision 1.15  2002/03/29 02:47:05  kimelman
  1172.  * gbloader: MT scalability fixes
  1173.  *
  1174.  * Revision 1.14  2002/03/27 20:23:50  butanaev
  1175.  * Added connection pool.
  1176.  *
  1177.  * Revision 1.13  2002/03/26 23:31:08  gouriano
  1178.  * memory leaks and garbage collector fix
  1179.  *
  1180.  * Revision 1.12  2002/03/26 18:48:58  butanaev
  1181.  * Fixed bug not deleting streambuf.
  1182.  *
  1183.  * Revision 1.11  2002/03/26 17:17:02  kimelman
  1184.  * reader stream fixes
  1185.  *
  1186.  * Revision 1.10  2002/03/26 15:39:25  kimelman
  1187.  * GC fixes
  1188.  *
  1189.  * Revision 1.9  2002/03/25 18:12:48  grichenk
  1190.  * Fixed bool convertion
  1191.  *
  1192.  * Revision 1.8  2002/03/25 17:49:13  kimelman
  1193.  * ID1 failure handling
  1194.  *
  1195.  * Revision 1.7  2002/03/25 15:44:47  kimelman
  1196.  * proper logging and exception handling
  1197.  *
  1198.  * Revision 1.6  2002/03/22 21:50:21  kimelman
  1199.  * bugfix: avoid history rtequest for nonexistent sequence
  1200.  *
  1201.  * Revision 1.5  2002/03/21 19:14:54  kimelman
  1202.  * GB related bugfixes
  1203.  *
  1204.  * Revision 1.4  2002/03/21 01:34:55  kimelman
  1205.  * gbloader related bugfixes
  1206.  *
  1207.  * Revision 1.3  2002/03/20 04:50:13  kimelman
  1208.  * GB loader added
  1209.  *
  1210.  * Revision 1.2  2002/01/16 18:56:28  grichenk
  1211.  * Removed CRef<> argument from choice variant setter, updated sources to
  1212.  * use references instead of CRef<>s
  1213.  *
  1214.  * Revision 1.1  2002/01/11 19:06:22  gouriano
  1215.  * restructured objmgr
  1216.  *
  1217.  * Revision 1.7  2001/12/17 21:38:24  butanaev
  1218.  * Code cleanup.
  1219.  *
  1220.  * Revision 1.6  2001/12/13 00:19:25  kimelman
  1221.  * bugfixes:
  1222.  *
  1223.  * Revision 1.5  2001/12/12 21:46:40  kimelman
  1224.  * Compare interface fix
  1225.  *
  1226.  * Revision 1.4  2001/12/10 20:08:02  butanaev
  1227.  * Code cleanup.
  1228.  *
  1229.  * Revision 1.3  2001/12/07 21:24:59  butanaev
  1230.  * Interface development, code beautyfication.
  1231.  *
  1232.  * Revision 1.2  2001/12/07 16:43:58  butanaev
  1233.  * Fixed includes.
  1234.  *
  1235.  * Revision 1.1  2001/12/07 16:10:23  butanaev
  1236.  * Switching to new reader interfaces.
  1237.  *
  1238.  * Revision 1.3  2001/12/06 20:37:05  butanaev
  1239.  * Fixed timeout problem.
  1240.  *
  1241.  * Revision 1.2  2001/12/06 18:06:22  butanaev
  1242.  * Ported to linux.
  1243.  *
  1244.  * Revision 1.1  2001/12/06 14:35:23  butanaev
  1245.  * New streamable interfaces designed, ID1 reimplemented.
  1246.  *
  1247.  */