Memoize.py
上传用户:market2
上传日期:2018-11-18
资源大小:18786k
文件大小:11k
源码类别:

外挂编程

开发平台:

Windows_Unix

  1. #
  2. # Copyright (c) 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008 The SCons Foundation
  3. #
  4. # Permission is hereby granted, free of charge, to any person obtaining
  5. # a copy of this software and associated documentation files (the
  6. # "Software"), to deal in the Software without restriction, including
  7. # without limitation the rights to use, copy, modify, merge, publish,
  8. # distribute, sublicense, and/or sell copies of the Software, and to
  9. # permit persons to whom the Software is furnished to do so, subject to
  10. # the following conditions:
  11. #
  12. # The above copyright notice and this permission notice shall be included
  13. # in all copies or substantial portions of the Software.
  14. #
  15. # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY
  16. # KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE
  17. # WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  18. # NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
  19. # LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
  20. # OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  21. # WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  22. #
  23. __revision__ = "src/engine/SCons/Memoize.py 3057 2008/06/09 22:21:00 knight"
  24. __doc__ = """Memoizer
  25. A metaclass implementation to count hits and misses of the computed
  26. values that various methods cache in memory.
  27. Use of this modules assumes that wrapped methods be coded to cache their
  28. values in a consistent way.  Here is an example of wrapping a method
  29. that returns a computed value, with no input parameters:
  30.     memoizer_counters = []                                      # Memoization
  31.     memoizer_counters.append(SCons.Memoize.CountValue('foo'))   # Memoization
  32.     def foo(self):
  33.         try:                                                    # Memoization
  34.             return self._memo['foo']                            # Memoization
  35.         except KeyError:                                        # Memoization
  36.             pass                                                # Memoization
  37.         result = self.compute_foo_value()
  38.         self._memo['foo'] = result                              # Memoization
  39.         return result
  40. Here is an example of wrapping a method that will return different values
  41. based on one or more input arguments:
  42.     def _bar_key(self, argument):                               # Memoization
  43.         return argument                                         # Memoization
  44.     memoizer_counters.append(SCons.Memoize.CountDict('bar', _bar_key)) # Memoization
  45.     def bar(self, argument):
  46.         memo_key = argument                                     # Memoization
  47.         try:                                                    # Memoization
  48.             memo_dict = self._memo['bar']                       # Memoization
  49.         except KeyError:                                        # Memoization
  50.             memo_dict = {}                                      # Memoization
  51.             self._memo['dict'] = memo_dict                      # Memoization
  52.         else:                                                   # Memoization
  53.             try:                                                # Memoization
  54.                 return memo_dict[memo_key]                      # Memoization
  55.             except KeyError:                                    # Memoization
  56.                 pass                                            # Memoization
  57.         result = self.compute_bar_value(argument)
  58.         memo_dict[memo_key] = result                            # Memoization
  59.         return result
  60. At one point we avoided replicating this sort of logic in all the methods
  61. by putting it right into this module, but we've moved away from that at
  62. present (see the "Historical Note," below.).
  63. Deciding what to cache is tricky, because different configurations
  64. can have radically different performance tradeoffs, and because the
  65. tradeoffs involved are often so non-obvious.  Consequently, deciding
  66. whether or not to cache a given method will likely be more of an art than
  67. a science, but should still be based on available data from this module.
  68. Here are some VERY GENERAL guidelines about deciding whether or not to
  69. cache return values from a method that's being called a lot:
  70.     --  The first question to ask is, "Can we change the calling code
  71.         so this method isn't called so often?"  Sometimes this can be
  72.         done by changing the algorithm.  Sometimes the *caller* should
  73.         be memoized, not the method you're looking at.
  74.     --  The memoized function should be timed with multiple configurations
  75.         to make sure it doesn't inadvertently slow down some other
  76.         configuration.
  77.     --  When memoizing values based on a dictionary key composed of
  78.         input arguments, you don't need to use all of the arguments
  79.         if some of them don't affect the return values.
  80. Historical Note:  The initial Memoizer implementation actually handled
  81. the caching of values for the wrapped methods, based on a set of generic
  82. algorithms for computing hashable values based on the method's arguments.
  83. This collected caching logic nicely, but had two drawbacks:
  84.     Running arguments through a generic key-conversion mechanism is slower
  85.     (and less flexible) than just coding these things directly.  Since the
  86.     methods that need memoized values are generally performance-critical,
  87.     slowing them down in order to collect the logic isn't the right
  88.     tradeoff.
  89.     Use of the memoizer really obscured what was being called, because
  90.     all the memoized methods were wrapped with re-used generic methods.
  91.     This made it more difficult, for example, to use the Python profiler
  92.     to figure out how to optimize the underlying methods.
  93. """
  94. import new
  95. # A flag controlling whether or not we actually use memoization.
  96. use_memoizer = None
  97. CounterList = []
  98. class Counter:
  99.     """
  100.     Base class for counting memoization hits and misses.
  101.     We expect that the metaclass initialization will have filled in
  102.     the .name attribute that represents the name of the function
  103.     being counted.
  104.     """
  105.     def __init__(self, method_name):
  106.         """
  107.         """
  108.         self.method_name = method_name
  109.         self.hit = 0
  110.         self.miss = 0
  111.         CounterList.append(self)
  112.     def display(self):
  113.         fmt = "    %7d hits %7d misses    %s()"
  114.         print fmt % (self.hit, self.miss, self.name)
  115.     def __cmp__(self, other):
  116.         try:
  117.             return cmp(self.name, other.name)
  118.         except AttributeError:
  119.             return 0
  120. class CountValue(Counter):
  121.     """
  122.     A counter class for simple, atomic memoized values.
  123.     A CountValue object should be instantiated in a class for each of
  124.     the class's methods that memoizes its return value by simply storing
  125.     the return value in its _memo dictionary.
  126.     We expect that the metaclass initialization will fill in the
  127.     .underlying_method attribute with the method that we're wrapping.
  128.     We then call the underlying_method method after counting whether
  129.     its memoized value has already been set (a hit) or not (a miss).
  130.     """
  131.     def __call__(self, *args, **kw):
  132.         obj = args[0]
  133.         if obj._memo.has_key(self.method_name):
  134.             self.hit = self.hit + 1
  135.         else:
  136.             self.miss = self.miss + 1
  137.         return apply(self.underlying_method, args, kw)
  138. class CountDict(Counter):
  139.     """
  140.     A counter class for memoized values stored in a dictionary, with
  141.     keys based on the method's input arguments.
  142.     A CountDict object is instantiated in a class for each of the
  143.     class's methods that memoizes its return value in a dictionary,
  144.     indexed by some key that can be computed from one or more of
  145.     its input arguments.
  146.     We expect that the metaclass initialization will fill in the
  147.     .underlying_method attribute with the method that we're wrapping.
  148.     We then call the underlying_method method after counting whether the
  149.     computed key value is already present in the memoization dictionary
  150.     (a hit) or not (a miss).
  151.     """
  152.     def __init__(self, method_name, keymaker):
  153.         """
  154.         """
  155.         Counter.__init__(self, method_name)
  156.         self.keymaker = keymaker
  157.     def __call__(self, *args, **kw):
  158.         obj = args[0]
  159.         try:
  160.             memo_dict = obj._memo[self.method_name]
  161.         except KeyError:
  162.             self.miss = self.miss + 1
  163.         else:
  164.             key = apply(self.keymaker, args, kw)
  165.             if memo_dict.has_key(key):
  166.                 self.hit = self.hit + 1
  167.             else:
  168.                 self.miss = self.miss + 1
  169.         return apply(self.underlying_method, args, kw)
  170. class Memoizer:
  171.     """Object which performs caching of method calls for its 'primary'
  172.     instance."""
  173.     def __init__(self):
  174.         pass
  175. # Find out if we support metaclasses (Python 2.2 and later).
  176. class M:
  177.     def __init__(cls, name, bases, cls_dict):
  178.         cls.use_metaclass = 1
  179.         def fake_method(self):
  180.             pass
  181.         new.instancemethod(fake_method, None, cls)
  182. try:
  183.     class A:
  184.         __metaclass__ = M
  185.     use_metaclass = A.use_metaclass
  186. except AttributeError:
  187.     use_metaclass = None
  188.     reason = 'no metaclasses'
  189. except TypeError:
  190.     use_metaclass = None
  191.     reason = 'new.instancemethod() bug'
  192. else:
  193.     del A
  194. del M
  195. if not use_metaclass:
  196.     def Dump(title):
  197.         pass
  198.     try:
  199.         class Memoized_Metaclass(type):
  200.             # Just a place-holder so pre-metaclass Python versions don't
  201.             # have to have special code for the Memoized classes.
  202.             pass
  203.     except TypeError:
  204.         class Memoized_Metaclass:
  205.             # A place-holder so pre-metaclass Python versions don't
  206.             # have to have special code for the Memoized classes.
  207.             pass
  208.     def EnableMemoization():
  209.         import SCons.Warnings
  210.         msg = 'memoization is not supported in this version of Python (%s)'
  211.         raise SCons.Warnings.NoMetaclassSupportWarning, msg % reason
  212. else:
  213.     def Dump(title=None):
  214.         if title:
  215.             print title
  216.         CounterList.sort()
  217.         for counter in CounterList:
  218.             counter.display()
  219.     class Memoized_Metaclass(type):
  220.         def __init__(cls, name, bases, cls_dict):
  221.             super(Memoized_Metaclass, cls).__init__(name, bases, cls_dict)
  222.             for counter in cls_dict.get('memoizer_counters', []):
  223.                 method_name = counter.method_name
  224.                 counter.name = cls.__name__ + '.' + method_name
  225.                 counter.underlying_method = cls_dict[method_name]
  226.                 replacement_method = new.instancemethod(counter, None, cls)
  227.                 setattr(cls, method_name, replacement_method)
  228.     def EnableMemoization():
  229.         global use_memoizer
  230.         use_memoizer = 1