_scons_textwrap.py
上传用户:market2
上传日期:2018-11-18
资源大小:18786k
文件大小:14k
源码类别:

外挂编程

开发平台:

Windows_Unix

  1. """Text wrapping and filling.
  2. """
  3. # Copyright (C) 1999-2001 Gregory P. Ward.
  4. # Copyright (C) 2002, 2003 Python Software Foundation.
  5. # Written by Greg Ward <gward@python.net>
  6. __revision__ = "$Id: textwrap.py,v 1.32.8.2 2004/05/13 01:48:15 gward Exp $"
  7. import string, re
  8. try:
  9.    unicode
  10. except NameError:
  11.    class unicode:
  12.        pass
  13. # Do the right thing with boolean values for all known Python versions
  14. # (so this module can be copied to projects that don't depend on Python
  15. # 2.3, e.g. Optik and Docutils).
  16. try:
  17.     True, False
  18. except NameError:
  19.     (True, False) = (1, 0)
  20. __all__ = ['TextWrapper', 'wrap', 'fill']
  21. # Hardcode the recognized whitespace characters to the US-ASCII
  22. # whitespace characters.  The main reason for doing this is that in
  23. # ISO-8859-1, 0xa0 is non-breaking whitespace, so in certain locales
  24. # that character winds up in string.whitespace.  Respecting
  25. # string.whitespace in those cases would 1) make textwrap treat 0xa0 the
  26. # same as any other whitespace char, which is clearly wrong (it's a
  27. # *non-breaking* space), 2) possibly cause problems with Unicode,
  28. # since 0xa0 is not in range(128).
  29. _whitespace = 'tnx0bx0cr '
  30. class TextWrapper:
  31.     """
  32.     Object for wrapping/filling text.  The public interface consists of
  33.     the wrap() and fill() methods; the other methods are just there for
  34.     subclasses to override in order to tweak the default behaviour.
  35.     If you want to completely replace the main wrapping algorithm,
  36.     you'll probably have to override _wrap_chunks().
  37.     Several instance attributes control various aspects of wrapping:
  38.       width (default: 70)
  39.         the maximum width of wrapped lines (unless break_long_words
  40.         is false)
  41.       initial_indent (default: "")
  42.         string that will be prepended to the first line of wrapped
  43.         output.  Counts towards the line's width.
  44.       subsequent_indent (default: "")
  45.         string that will be prepended to all lines save the first
  46.         of wrapped output; also counts towards each line's width.
  47.       expand_tabs (default: true)
  48.         Expand tabs in input text to spaces before further processing.
  49.         Each tab will become 1 .. 8 spaces, depending on its position in
  50.         its line.  If false, each tab is treated as a single character.
  51.       replace_whitespace (default: true)
  52.         Replace all whitespace characters in the input text by spaces
  53.         after tab expansion.  Note that if expand_tabs is false and
  54.         replace_whitespace is true, every tab will be converted to a
  55.         single space!
  56.       fix_sentence_endings (default: false)
  57.         Ensure that sentence-ending punctuation is always followed
  58.         by two spaces.  Off by default because the algorithm is
  59.         (unavoidably) imperfect.
  60.       break_long_words (default: true)
  61.         Break words longer than 'width'.  If false, those words will not
  62.         be broken, and some lines might be longer than 'width'.
  63.     """
  64.     whitespace_trans = string.maketrans(_whitespace, ' ' * len(_whitespace))
  65.     unicode_whitespace_trans = {}
  66.     try:
  67.         uspace = eval("ord(u' ')")
  68.     except SyntaxError:
  69.         # Python1.5 doesn't understand u'' syntax, in which case we
  70.         # won't actually use the unicode translation below, so it
  71.         # doesn't matter what value we put in the table.
  72.         uspace = ord(' ')
  73.     for x in map(ord, _whitespace):
  74.         unicode_whitespace_trans[x] = uspace
  75.     # This funky little regex is just the trick for splitting
  76.     # text up into word-wrappable chunks.  E.g.
  77.     #   "Hello there -- you goof-ball, use the -b option!"
  78.     # splits into
  79.     #   Hello/ /there/ /--/ /you/ /goof-/ball,/ /use/ /the/ /-b/ /option!
  80.     # (after stripping out empty strings).
  81.     try:
  82.         wordsep_re = re.compile(r'(s+|'                  # any whitespace
  83.                                 r'[^sw]*w{2,}-(?=w{2,})|' # hyphenated words
  84.                                 r'(?<=[w!"'&.,?])-{2,}(?=w))')   # em-dash
  85.     except re.error:
  86.         # Pre-2.0 Python versions don't have the (?<= negative look-behind
  87.         # assertion.  It mostly doesn't matter for the simple input
  88.         # SCons is going to give it, so just leave it out.
  89.         wordsep_re = re.compile(r'(s+|'                    # any whitespace
  90.                                 r'-*w{2,}-(?=w{2,}))')    # hyphenated words
  91.     # XXX will there be a locale-or-charset-aware version of
  92.     # string.lowercase in 2.3?
  93.     sentence_end_re = re.compile(r'[%s]'              # lowercase letter
  94.                                  r'[.!?]'          # sentence-ending punct.
  95.                                  r'["']?'           # optional end-of-quote
  96.                                  % string.lowercase)
  97.     def __init__(self,
  98.                  width=70,
  99.                  initial_indent="",
  100.                  subsequent_indent="",
  101.                  expand_tabs=True,
  102.                  replace_whitespace=True,
  103.                  fix_sentence_endings=False,
  104.                  break_long_words=True):
  105.         self.width = width
  106.         self.initial_indent = initial_indent
  107.         self.subsequent_indent = subsequent_indent
  108.         self.expand_tabs = expand_tabs
  109.         self.replace_whitespace = replace_whitespace
  110.         self.fix_sentence_endings = fix_sentence_endings
  111.         self.break_long_words = break_long_words
  112.     # -- Private methods -----------------------------------------------
  113.     # (possibly useful for subclasses to override)
  114.     def _munge_whitespace(self, text):
  115.         """_munge_whitespace(text : string) -> string
  116.         Munge whitespace in text: expand tabs and convert all other
  117.         whitespace characters to spaces.  Eg. " footbarnnbaz"
  118.         becomes " foo    bar  baz".
  119.         """
  120.         if self.expand_tabs:
  121.             text = string.expandtabs(text)
  122.         if self.replace_whitespace:
  123.             if type(text) == type(''):
  124.                 text = string.translate(text, self.whitespace_trans)
  125.             elif isinstance(text, unicode):
  126.                 text = string.translate(text, self.unicode_whitespace_trans)
  127.         return text
  128.     def _split(self, text):
  129.         """_split(text : string) -> [string]
  130.         Split the text to wrap into indivisible chunks.  Chunks are
  131.         not quite the same as words; see wrap_chunks() for full
  132.         details.  As an example, the text
  133.           Look, goof-ball -- use the -b option!
  134.         breaks into the following chunks:
  135.           'Look,', ' ', 'goof-', 'ball', ' ', '--', ' ',
  136.           'use', ' ', 'the', ' ', '-b', ' ', 'option!'
  137.         """
  138.         chunks = self.wordsep_re.split(text)
  139.         chunks = filter(None, chunks)
  140.         return chunks
  141.     def _fix_sentence_endings(self, chunks):
  142.         """_fix_sentence_endings(chunks : [string])
  143.         Correct for sentence endings buried in 'chunks'.  Eg. when the
  144.         original text contains "... foo.nBar ...", munge_whitespace()
  145.         and split() will convert that to [..., "foo.", " ", "Bar", ...]
  146.         which has one too few spaces; this method simply changes the one
  147.         space to two.
  148.         """
  149.         i = 0
  150.         pat = self.sentence_end_re
  151.         while i < len(chunks)-1:
  152.             if chunks[i+1] == " " and pat.search(chunks[i]):
  153.                 chunks[i+1] = "  "
  154.                 i = i + 2
  155.             else:
  156.                 i = i + 1
  157.     def _handle_long_word(self, chunks, cur_line, cur_len, width):
  158.         """_handle_long_word(chunks : [string],
  159.                              cur_line : [string],
  160.                              cur_len : int, width : int)
  161.         Handle a chunk of text (most likely a word, not whitespace) that
  162.         is too long to fit in any line.
  163.         """
  164.         space_left = max(width - cur_len, 1)
  165.         # If we're allowed to break long words, then do so: put as much
  166.         # of the next chunk onto the current line as will fit.
  167.         if self.break_long_words:
  168.             cur_line.append(chunks[0][0:space_left])
  169.             chunks[0] = chunks[0][space_left:]
  170.         # Otherwise, we have to preserve the long word intact.  Only add
  171.         # it to the current line if there's nothing already there --
  172.         # that minimizes how much we violate the width constraint.
  173.         elif not cur_line:
  174.             cur_line.append(chunks.pop(0))
  175.         # If we're not allowed to break long words, and there's already
  176.         # text on the current line, do nothing.  Next time through the
  177.         # main loop of _wrap_chunks(), we'll wind up here again, but
  178.         # cur_len will be zero, so the next line will be entirely
  179.         # devoted to the long word that we can't handle right now.
  180.     def _wrap_chunks(self, chunks):
  181.         """_wrap_chunks(chunks : [string]) -> [string]
  182.         Wrap a sequence of text chunks and return a list of lines of
  183.         length 'self.width' or less.  (If 'break_long_words' is false,
  184.         some lines may be longer than this.)  Chunks correspond roughly
  185.         to words and the whitespace between them: each chunk is
  186.         indivisible (modulo 'break_long_words'), but a line break can
  187.         come between any two chunks.  Chunks should not have internal
  188.         whitespace; ie. a chunk is either all whitespace or a "word".
  189.         Whitespace chunks will be removed from the beginning and end of
  190.         lines, but apart from that whitespace is preserved.
  191.         """
  192.         lines = []
  193.         if self.width <= 0:
  194.             raise ValueError("invalid width %r (must be > 0)" % self.width)
  195.         while chunks:
  196.             # Start the list of chunks that will make up the current line.
  197.             # cur_len is just the length of all the chunks in cur_line.
  198.             cur_line = []
  199.             cur_len = 0
  200.             # Figure out which static string will prefix this line.
  201.             if lines:
  202.                 indent = self.subsequent_indent
  203.             else:
  204.                 indent = self.initial_indent
  205.             # Maximum width for this line.
  206.             width = self.width - len(indent)
  207.             # First chunk on line is whitespace -- drop it, unless this
  208.             # is the very beginning of the text (ie. no lines started yet).
  209.             if string.strip(chunks[0]) == '' and lines:
  210.                 del chunks[0]
  211.             while chunks:
  212.                 l = len(chunks[0])
  213.                 # Can at least squeeze this chunk onto the current line.
  214.                 if cur_len + l <= width:
  215.                     cur_line.append(chunks.pop(0))
  216.                     cur_len = cur_len + l
  217.                 # Nope, this line is full.
  218.                 else:
  219.                     break
  220.             # The current line is full, and the next chunk is too big to
  221.             # fit on *any* line (not just this one).
  222.             if chunks and len(chunks[0]) > width:
  223.                 self._handle_long_word(chunks, cur_line, cur_len, width)
  224.             # If the last chunk on this line is all whitespace, drop it.
  225.             if cur_line and string.strip(cur_line[-1]) == '':
  226.                 del cur_line[-1]
  227.             # Convert current line back to a string and store it in list
  228.             # of all lines (return value).
  229.             if cur_line:
  230.                 lines.append(indent + string.join(cur_line, ''))
  231.         return lines
  232.     # -- Public interface ----------------------------------------------
  233.     def wrap(self, text):
  234.         """wrap(text : string) -> [string]
  235.         Reformat the single paragraph in 'text' so it fits in lines of
  236.         no more than 'self.width' columns, and return a list of wrapped
  237.         lines.  Tabs in 'text' are expanded with string.expandtabs(),
  238.         and all other whitespace characters (including newline) are
  239.         converted to space.
  240.         """
  241.         text = self._munge_whitespace(text)
  242.         indent = self.initial_indent
  243.         chunks = self._split(text)
  244.         if self.fix_sentence_endings:
  245.             self._fix_sentence_endings(chunks)
  246.         return self._wrap_chunks(chunks)
  247.     def fill(self, text):
  248.         """fill(text : string) -> string
  249.         Reformat the single paragraph in 'text' to fit in lines of no
  250.         more than 'self.width' columns, and return a new string
  251.         containing the entire wrapped paragraph.
  252.         """
  253.         return string.join(self.wrap(text), "n")
  254. # -- Convenience interface ---------------------------------------------
  255. def wrap(text, width=70, **kwargs):
  256.     """Wrap a single paragraph of text, returning a list of wrapped lines.
  257.     Reformat the single paragraph in 'text' so it fits in lines of no
  258.     more than 'width' columns, and return a list of wrapped lines.  By
  259.     default, tabs in 'text' are expanded with string.expandtabs(), and
  260.     all other whitespace characters (including newline) are converted to
  261.     space.  See TextWrapper class for available keyword args to customize
  262.     wrapping behaviour.
  263.     """
  264.     kw = kwargs.copy()
  265.     kw['width'] = width
  266.     w = apply(TextWrapper, (), kw)
  267.     return w.wrap(text)
  268. def fill(text, width=70, **kwargs):
  269.     """Fill a single paragraph of text, returning a new string.
  270.     Reformat the single paragraph in 'text' to fit in lines of no more
  271.     than 'width' columns, and return a new string containing the entire
  272.     wrapped paragraph.  As with wrap(), tabs are expanded and other
  273.     whitespace characters converted to space.  See TextWrapper class for
  274.     available keyword args to customize wrapping behaviour.
  275.     """
  276.     kw = kwargs.copy()
  277.     kw['width'] = width
  278.     w = apply(TextWrapper, (), kw)
  279.     return w.fill(text)
  280. # -- Loosely related functionality -------------------------------------
  281. def dedent(text):
  282.     """dedent(text : string) -> string
  283.     Remove any whitespace than can be uniformly removed from the left
  284.     of every line in `text`.
  285.     This can be used e.g. to make triple-quoted strings line up with
  286.     the left edge of screen/whatever, while still presenting it in the
  287.     source code in indented form.
  288.     For example:
  289.         def test():
  290.             # end first line with  to avoid the empty line!
  291.             s = '''
  292.             hello
  293.               world
  294.             '''
  295.             print repr(s)          # prints '    hellon      worldn    '
  296.             print repr(dedent(s))  # prints 'hellon  worldn'
  297.     """
  298.     lines = text.expandtabs().split('n')
  299.     margin = None
  300.     for line in lines:
  301.         content = line.lstrip()
  302.         if not content:
  303.             continue
  304.         indent = len(line) - len(content)
  305.         if margin is None:
  306.             margin = indent
  307.         else:
  308.             margin = min(margin, indent)
  309.     if margin is not None and margin > 0:
  310.         for i in range(len(lines)):
  311.             lines[i] = lines[i][margin:]
  312.     return string.join(lines, 'n')