SConsign.py
上传用户:market2
上传日期:2018-11-18
资源大小:18786k
文件大小:12k
源码类别:

外挂编程

开发平台:

Windows_Unix

  1. """SCons.SConsign
  2. Writing and reading information to the .sconsign file or files.
  3. """
  4. #
  5. # Copyright (c) 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008 The SCons Foundation
  6. #
  7. # Permission is hereby granted, free of charge, to any person obtaining
  8. # a copy of this software and associated documentation files (the
  9. # "Software"), to deal in the Software without restriction, including
  10. # without limitation the rights to use, copy, modify, merge, publish,
  11. # distribute, sublicense, and/or sell copies of the Software, and to
  12. # permit persons to whom the Software is furnished to do so, subject to
  13. # the following conditions:
  14. #
  15. # The above copyright notice and this permission notice shall be included
  16. # in all copies or substantial portions of the Software.
  17. #
  18. # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY
  19. # KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE
  20. # WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  21. # NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  22. # LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  23. # OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  24. # WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  25. #
  26. __revision__ = "src/engine/SCons/SConsign.py 3057 2008/06/09 22:21:00 knight"
  27. import SCons.compat
  28. import cPickle
  29. import os
  30. import os.path
  31. import SCons.dblite
  32. import SCons.Warnings
  33. def corrupt_dblite_warning(filename):
  34.     SCons.Warnings.warn(SCons.Warnings.CorruptSConsignWarning,
  35.                         "Ignoring corrupt .sconsign file: %s"%filename)
  36. SCons.dblite.ignore_corrupt_dbfiles = 1
  37. SCons.dblite.corruption_warning = corrupt_dblite_warning
  38. #XXX Get rid of the global array so this becomes re-entrant.
  39. sig_files = []
  40. # Info for the database SConsign implementation (now the default):
  41. # "DataBase" is a dictionary that maps top-level SConstruct directories
  42. # to open database handles.
  43. # "DB_Module" is the Python database module to create the handles.
  44. # "DB_Name" is the base name of the database file (minus any
  45. # extension the underlying DB module will add).
  46. DataBase = {}
  47. DB_Module = SCons.dblite
  48. DB_Name = ".sconsign"
  49. DB_sync_list = []
  50. def Get_DataBase(dir):
  51.     global DataBase, DB_Module, DB_Name
  52.     top = dir.fs.Top
  53.     if not os.path.isabs(DB_Name) and top.repositories:
  54.         mode = "c"
  55.         for d in [top] + top.repositories:
  56.             if dir.is_under(d):
  57.                 try:
  58.                     return DataBase[d], mode
  59.                 except KeyError:
  60.                     path = d.entry_abspath(DB_Name)
  61.                     try: db = DataBase[d] = DB_Module.open(path, mode)
  62.                     except (IOError, OSError): pass
  63.                     else:
  64.                         if mode != "r":
  65.                             DB_sync_list.append(db)
  66.                         return db, mode
  67.             mode = "r"
  68.     try:
  69.         return DataBase[top], "c"
  70.     except KeyError:
  71.         db = DataBase[top] = DB_Module.open(DB_Name, "c")
  72.         DB_sync_list.append(db)
  73.         return db, "c"
  74.     except TypeError:
  75.         print "DataBase =", DataBase
  76.         raise
  77. def Reset():
  78.     """Reset global state.  Used by unit tests that end up using
  79.     SConsign multiple times to get a clean slate for each test."""
  80.     global sig_files, DB_sync_list
  81.     sig_files = []
  82.     DB_sync_list = []
  83. normcase = os.path.normcase
  84. def write():
  85.     global sig_files
  86.     for sig_file in sig_files:
  87.         sig_file.write(sync=0)
  88.     for db in DB_sync_list:
  89.         try:
  90.             syncmethod = db.sync
  91.         except AttributeError:
  92.             pass # Not all anydbm modules have sync() methods.
  93.         else:
  94.             syncmethod()
  95. class SConsignEntry:
  96.     """
  97.     Wrapper class for the generic entry in a .sconsign file.
  98.     The Node subclass populates it with attributes as it pleases.
  99.     XXX As coded below, we do expect a '.binfo' attribute to be added,
  100.     but we'll probably generalize this in the next refactorings.
  101.     """
  102.     current_version_id = 1
  103.     def __init__(self):
  104.         # Create an object attribute from the class attribute so it ends up
  105.         # in the pickled data in the .sconsign file.
  106.         _version_id = self.current_version_id
  107.     def convert_to_sconsign(self):
  108.         self.binfo.convert_to_sconsign()
  109.     def convert_from_sconsign(self, dir, name):
  110.         self.binfo.convert_from_sconsign(dir, name)
  111. class Base:
  112.     """
  113.     This is the controlling class for the signatures for the collection of
  114.     entries associated with a specific directory.  The actual directory
  115.     association will be maintained by a subclass that is specific to
  116.     the underlying storage method.  This class provides a common set of
  117.     methods for fetching and storing the individual bits of information
  118.     that make up signature entry.
  119.     """
  120.     def __init__(self):
  121.         self.entries = {}
  122.         self.dirty = False
  123.         self.to_be_merged = {}
  124.     def get_entry(self, filename):
  125.         """
  126.         Fetch the specified entry attribute.
  127.         """
  128.         return self.entries[filename]
  129.     def set_entry(self, filename, obj):
  130.         """
  131.         Set the entry.
  132.         """
  133.         self.entries[filename] = obj
  134.         self.dirty = True
  135.     def do_not_set_entry(self, filename, obj):
  136.         pass
  137.     def store_info(self, filename, node):
  138.         entry = node.get_stored_info()
  139.         entry.binfo.merge(node.get_binfo())
  140.         self.to_be_merged[filename] = node
  141.         self.dirty = True
  142.     def do_not_store_info(self, filename, node):
  143.         pass
  144.     def merge(self):
  145.         for key, node in self.to_be_merged.items():
  146.             entry = node.get_stored_info()
  147.             try:
  148.                 ninfo = entry.ninfo
  149.             except AttributeError:
  150.                 # This happens with SConf Nodes, because the configuration
  151.                 # subsystem takes direct control over how the build decision
  152.                 # is made and its information stored.
  153.                 pass
  154.             else:
  155.                 ninfo.merge(node.get_ninfo())
  156.             self.entries[key] = entry
  157.         self.to_be_merged = {}
  158. class DB(Base):
  159.     """
  160.     A Base subclass that reads and writes signature information
  161.     from a global .sconsign.db* file--the actual file suffix is
  162.     determined by the database module.
  163.     """
  164.     def __init__(self, dir):
  165.         Base.__init__(self)
  166.         self.dir = dir
  167.         db, mode = Get_DataBase(dir)
  168.         # Read using the path relative to the top of the Repository
  169.         # (self.dir.tpath) from which we're fetching the signature
  170.         # information.
  171.         path = normcase(dir.tpath)
  172.         try:
  173.             rawentries = db[path]
  174.         except KeyError:
  175.             pass
  176.         else:
  177.             try:
  178.                 self.entries = cPickle.loads(rawentries)
  179.                 if type(self.entries) is not type({}):
  180.                     self.entries = {}
  181.                     raise TypeError
  182.             except KeyboardInterrupt:
  183.                 raise
  184.             except Exception, e:
  185.                 SCons.Warnings.warn(SCons.Warnings.CorruptSConsignWarning,
  186.                                     "Ignoring corrupt sconsign entry : %s (%s)n"%(self.dir.tpath, e))
  187.             for key, entry in self.entries.items():
  188.                 entry.convert_from_sconsign(dir, key)
  189.         if mode == "r":
  190.             # This directory is actually under a repository, which means
  191.             # likely they're reaching in directly for a dependency on
  192.             # a file there.  Don't actually set any entry info, so we
  193.             # won't try to write to that .sconsign.dblite file.
  194.             self.set_entry = self.do_not_set_entry
  195.             self.store_info = self.do_not_store_info
  196.         global sig_files
  197.         sig_files.append(self)
  198.     def write(self, sync=1):
  199.         if not self.dirty:
  200.             return
  201.         self.merge()
  202.         db, mode = Get_DataBase(self.dir)
  203.         # Write using the path relative to the top of the SConstruct
  204.         # directory (self.dir.path), not relative to the top of
  205.         # the Repository; we only write to our own .sconsign file,
  206.         # not to .sconsign files in Repositories.
  207.         path = normcase(self.dir.path)
  208.         for key, entry in self.entries.items():
  209.             entry.convert_to_sconsign()
  210.         db[path] = cPickle.dumps(self.entries, 1)
  211.         if sync:
  212.             try:
  213.                 syncmethod = db.sync
  214.             except AttributeError:
  215.                 # Not all anydbm modules have sync() methods.
  216.                 pass
  217.             else:
  218.                 syncmethod()
  219. class Dir(Base):
  220.     def __init__(self, fp=None, dir=None):
  221.         """
  222.         fp - file pointer to read entries from
  223.         """
  224.         Base.__init__(self)
  225.         if not fp:
  226.             return
  227.         self.entries = cPickle.load(fp)
  228.         if type(self.entries) is not type({}):
  229.             self.entries = {}
  230.             raise TypeError
  231.         if dir:
  232.             for key, entry in self.entries.items():
  233.                 entry.convert_from_sconsign(dir, key)
  234. class DirFile(Dir):
  235.     """
  236.     Encapsulates reading and writing a per-directory .sconsign file.
  237.     """
  238.     def __init__(self, dir):
  239.         """
  240.         dir - the directory for the file
  241.         """
  242.         self.dir = dir
  243.         self.sconsign = os.path.join(dir.path, '.sconsign')
  244.         try:
  245.             fp = open(self.sconsign, 'rb')
  246.         except IOError:
  247.             fp = None
  248.         try:
  249.             Dir.__init__(self, fp, dir)
  250.         except KeyboardInterrupt:
  251.             raise
  252.         except:
  253.             SCons.Warnings.warn(SCons.Warnings.CorruptSConsignWarning,
  254.                                 "Ignoring corrupt .sconsign file: %s"%self.sconsign)
  255.         global sig_files
  256.         sig_files.append(self)
  257.     def write(self, sync=1):
  258.         """
  259.         Write the .sconsign file to disk.
  260.         Try to write to a temporary file first, and rename it if we
  261.         succeed.  If we can't write to the temporary file, it's
  262.         probably because the directory isn't writable (and if so,
  263.         how did we build anything in this directory, anyway?), so
  264.         try to write directly to the .sconsign file as a backup.
  265.         If we can't rename, try to copy the temporary contents back
  266.         to the .sconsign file.  Either way, always try to remove
  267.         the temporary file at the end.
  268.         """
  269.         if not self.dirty:
  270.             return
  271.         self.merge()
  272.         temp = os.path.join(self.dir.path, '.scons%d' % os.getpid())
  273.         try:
  274.             file = open(temp, 'wb')
  275.             fname = temp
  276.         except IOError:
  277.             try:
  278.                 file = open(self.sconsign, 'wb')
  279.                 fname = self.sconsign
  280.             except IOError:
  281.                 return
  282.         for key, entry in self.entries.items():
  283.             entry.convert_to_sconsign()
  284.         cPickle.dump(self.entries, file, 1)
  285.         file.close()
  286.         if fname != self.sconsign:
  287.             try:
  288.                 mode = os.stat(self.sconsign)[0]
  289.                 os.chmod(self.sconsign, 0666)
  290.                 os.unlink(self.sconsign)
  291.             except (IOError, OSError):
  292.                 # Try to carry on in the face of either OSError
  293.                 # (things like permission issues) or IOError (disk
  294.                 # or network issues).  If there's a really dangerous
  295.                 # issue, it should get re-raised by the calls below.
  296.                 pass
  297.             try:
  298.                 os.rename(fname, self.sconsign)
  299.             except OSError:
  300.                 # An OSError failure to rename may indicate something
  301.                 # like the directory has no write permission, but
  302.                 # the .sconsign file itself might still be writable,
  303.                 # so try writing on top of it directly.  An IOError
  304.                 # here, or in any of the following calls, would get
  305.                 # raised, indicating something like a potentially
  306.                 # serious disk or network issue.
  307.                 open(self.sconsign, 'wb').write(open(fname, 'rb').read())
  308.                 os.chmod(self.sconsign, mode)
  309.         try:
  310.             os.unlink(temp)
  311.         except (IOError, OSError):
  312.             pass
  313. ForDirectory = DB
  314. def File(name, dbm_module=None):
  315.     """
  316.     Arrange for all signatures to be stored in a global .sconsign.db*
  317.     file.
  318.     """
  319.     global ForDirectory, DB_Name, DB_Module
  320.     if name is None:
  321.         ForDirectory = DirFile
  322.         DB_Module = None
  323.     else:
  324.         ForDirectory = DB
  325.         DB_Name = name
  326.         if not dbm_module is None:
  327.             DB_Module = dbm_module