README.maildirquota.txt
上传用户:s81996212
上传日期:2007-01-04
资源大小:722k
文件大小:20k
源码类别:

WEB邮件程序

开发平台:

C/C++

  1.                                    Maildir++
  2.                                        
  3.    In this document:
  4.      * HOWTO.maildirquota
  5.      * Mission statement
  6.      * Definitions and goals
  7.      * Contents of a maildirsize
  8.      * Calculating maildirsize
  9.      * Calculating the quota for a Maildir++
  10.      * Delivering to a Maildir++
  11.      * Reading from a Maildir++
  12.      * Bugs
  13.        
  14. HOWTO.maildirquota
  15.    The remaining portion of this document is a technical description of
  16.    the maildir quota extension. This section is a brief overview of this
  17.    extension.
  18.    
  19.   What is a maildirquota?
  20.   
  21.    If you would like to have a quota on your maildir mailboxes, the best
  22.    solution is to always use filesystem-based quotas: per-user usage
  23.    quotas that is enforced by the operating system.
  24.    
  25.    This is the best solution when the default Maildir is located in each
  26.    account's home directory. This solution will NOT work if Maildirs are
  27.    stored elsewhere, or if you have a large virtual domain setup where a
  28.    single userid is used to hold many individual Maildirs, one for each
  29.    virtual user.
  30.    
  31.    This extension to the maildir format allows a "voluntary" maildir
  32.    quota implementation that does not rely on filesystem-based quotas.
  33.    
  34.   When maildirquota will not work.
  35.   
  36.    For this quota mechanism to work, all software that accesses a maildir
  37.    must observe this quota protocol. It follows that this quota mechanism
  38.    can be easily circumvented if users have direct (shell) access to the
  39.    filesystem containing the users' maildirs.
  40.    
  41.    Furthermore, this quota mechanism is not 100% effective. It is
  42.    possible to have a situation where someone may go over quota. This
  43.    quota implementation uses a deliverate trade-off. It is necessary to
  44.    use some form of locking in order to have a complete bulletproof quota
  45.    enforcement, but maildirs mail stores were explicitly designed to
  46.    avoid any kind of locking. This quota approach does not use locking,
  47.    and the tradeoff is that sometimes it is possible for a few extra
  48.    messages to be delivered to the maildir, before the door is
  49.    permanently shot.
  50.    
  51.    For best performance, all maildir clients should support this quota
  52.    extension, however there's a wide degree of tolerance here. As long as
  53.    the mail delivery agent that puts new messages into a Maildir uses
  54.    this extension, the quota will be enforced without excessive
  55.    degradation.
  56.    
  57.    In the worst case scenario, quotas are automatically recalculated
  58.    every fifteen minutes. If a maildir goes over quota, and a mail client
  59.    that does not support this quota extension removes enough mail from
  60.    the maildir, the mail delivery agent will not be immediately informed
  61.    that the maildir is now under quota. However, eventually the correct
  62.    quota will be recalculated and mail delivery will resume.
  63.    
  64.    Mail user agents sometimes put messages into the maildir themselves.
  65.    Messages added to a maildir by a mail user agent that does not
  66.    understand the quota extension will not be immediately counted towards
  67.    the overall quota, and may not be counted for an extensive period of
  68.    time. Additionally, if there are a lot of messages that have been
  69.    added to a maildir from these mail user agents, quota recalculation
  70.    may impose non-trivial load on the system, as the quota recalculator
  71.    will have to issue the stat system call for each message.
  72.    
  73.   How to implement the quota
  74.   
  75.    The best way to do that is to modify your mail server to implement the
  76.    protocol defined by this document. Not everyone, of course, has this
  77.    ability. Therefore, an alternate approach is available.
  78.    
  79.    This package creates a very short utility called "deliverquota". It
  80.    will NOT be installed anywhere by default, unless this maildir quota
  81.    implementation is a part of a larger package, in which case the parent
  82.    package may install this utility somewhere. If you obtained the
  83.    maildir package separately, you will need to compile it by running the
  84.    configure script, then by running make.
  85.    
  86.    deliverquota takes two arguments. deliverquota reads the message from
  87.    standard input, then delivers it to the maildir specified by the first
  88.    argument to deliverquota. The second argument specifies the actual
  89.    quota for this maildir, as defined elsewhere in this document.
  90.    deliverquota will deliver the message to the maildir, making a best
  91.    effort not to exceed the stated quota. If the maildir is over quota,
  92.    deliverquota terminates with exit code 77. Otherwise, it delivers the
  93.    message, updates the quota, and terminates with exit code 0.
  94.    
  95.    Therefore, proceed as follows:
  96.      * Copy deliverquota to some convenient location, say /usr/local/bin.
  97.      * Configure your mail server to use deliverquota. For example, if
  98.        you use Qmail and your maildirs are all located in $HOME/Maildir,
  99.        replace the './Maildir/' argument to qmail-start with the
  100.        following:
  101. '| /usr/local/bin/deliverquota ./Maildir 1000000S'
  102.     
  103.        This sets a one million byte limit on all Maildirs. As I
  104.        mentioned, this is meaningless if login access is available,
  105.        because the individual account owner can create his own
  106.        $HOME/.qmail file, and ignore deliverquota. Note that in this
  107.        case, you MUST use apostrophes on the qmail-start command line, in
  108.        order to quote this as one argument.
  109.        
  110.    If you would like to use different quotas for different users, you
  111.    will have to put together a separate process or a script that looks up
  112.    the appropriate quota for the recipient, and runs deliverquota
  113.    specifying the quota. If no login access to the mail server is
  114.    available, you can simply create a separate $HOME/.qmail for every
  115.    recipient.
  116.    
  117.    That's pretty much it. If you handle a moderate amount of mail, I have
  118.    one more suggestion. For the first couple of weeks, run deliverquota
  119.    setting the second argument to an empty string. This disables quota
  120.    enforcement, however it still activates certain optimizations that
  121.    permit very fast quota recalculation. Messages delivered by
  122.    deliverquota have their message size encoded in their filename; this
  123.    makes it possible to avoid stat-ing the message in the Maildir, when
  124.    recalculating the quota. Then, after most messages in your maildirs
  125.    have been delivered by deliverquota, activate the quotas!!!
  126.    
  127.   maildirquota-enhanced applications
  128.   
  129.    This is a list of applications that have been enhanced to support the
  130.    maildirquota extension:
  131.      * maildrop - mail delivery agent/mail filter.
  132.      * SqWebmail - webmail CGI binary.
  133.        
  134.    These applications fall into two classes:
  135.      * Mail delivery agents. These applications read some externally
  136.        defined table of mail recipients and their maildir quota.
  137.      * Mail clients. These applications read maildir quota information
  138.        that has been defined by the mail delivery agent.
  139.        
  140.    Mail clients generally do not need any additional setup in order to
  141.    use the maildirquota extension. They will automatically read and
  142.    implement any quota specification set by the mail delivery agent.
  143.    
  144.    On the other hand, mail delivery agents will require some kind of
  145.    configuration in order to activate the maildirquota extension for some
  146.    or all recipients. The instructions for doing that depends upon the
  147.    mail delivery agent. The documentation for the mail delivery agent
  148.    should be consulted for additional information.
  149.      _________________________________________________________________
  150.    
  151. Mission statement
  152.    Maildir++ is a mail storage structure that's based on the Maildir
  153.    structure, first used in the Qmail mail server. Actually, Maildir++ is
  154.    just a minor extension to the standard Maildir structure.
  155.    
  156.    For more information, see http://www.qmail.org/man/man5/maildir.html.
  157.    I am not going to include the definition of a Maildir in this
  158.    document. Consider it included right here. This document only
  159.    describes the differences.
  160.    
  161.    Maildir++ adds a couple of things to a standard Maildir: folders and
  162.    quotas.
  163.    
  164.    Quotas enforce a maximum allowable size of a Maildir. In many
  165.    situations, using the quota mechanism of the underlying filesystem
  166.    won't work very well. If a filesystem quota mechanism is used, then
  167.    when a Maildir goes over quota, Qmail does not bounce additional mail,
  168.    but keeps it queued, changing one bad situation into another bad
  169.    situation. Not only know you have an account that's backed up, but now
  170.    your queue starts to back up too.
  171.    
  172. Definitions, and goals
  173.    Maildir++ and Maildir shall be completely interchangeable. A Maildir++
  174.    client will be able to use a standard Maildir, automatically
  175.    "upgrading" it in the process. A Maildir client will be able to use a
  176.    Maildir++ just like a regular Maildir. Of course, a plain Maildir
  177.    client won't be able to enforce a quota, and won't be able to access
  178.    messages stored in folders.
  179.    
  180.    Folders are created as subdirectories under the main Maildir. The name
  181.    of the subdirectory always starts with a period. For example, a folder
  182.    named "Important" will be a subdirectory called ".Important". You
  183.    can't have subdirectories that start with two periods.
  184.    
  185.    A Maildir++ client ignores anything in the main Maildir that starts
  186.    with a period, but is not a subdirectory.
  187.    
  188.    Each subdirectory is a fully-fledged Maildir of its own, that is you
  189.    have .Important/tmp, .Important/new, and .Important/cur. Everything
  190.    that applies to the main Maildir applies equally well to the
  191.    subdirectory, including automatically cleaning up old files in tmp. A
  192.    Maildir++ enhancement is that a message can be moved between folders
  193.    and/or the main Maildir simply by moving/renaming the file (into the
  194.    cur subdirectory of the destination folder). Therefore, the entire
  195.    Maildir++ must reside on the same filesystem.
  196.    
  197.    Within each subdirectory there's an empty file, maildirfolder. Its
  198.    existence tells the mail delivery agent that this Maildir is a really
  199.    a folder underneath a parent Maildir++.
  200.    
  201.    Only one special folder is reserved: Trash (subdirectory .Trash).
  202.    Instead of marking deleted messages with the D flag, Maildir++ clients
  203.    move the message into the Trash folder. Maildir++ readers are
  204.    responsible for expunging messages from Trash after a system-defined
  205.    retention interval.
  206.    
  207.    When a Maildir++ reader sees a message marked with a D flag it may at
  208.    its option: remove the message immediately, move it into Trash, or
  209.    ignore it.
  210.    
  211.    Can folders have subfolders, defined in a recursive fashion? The
  212.    answer is no. If you want to have a client with a hierarchy of
  213.    folders, emulate it. Pick a hierarchy separator character, say ":".
  214.    Then, folder foo/bar is subdirectory .foo:bar.
  215.    
  216.    This is all that there's to say about folders. The rest of this
  217.    document deals with quotas.
  218.    
  219.    The purpose of quotas is to temporarily disable a Maildir, if it goes
  220.    over the quota. There is one and only major goal that this quota
  221.    implementation tries to achieve:
  222.      * Place as little overhead as possible on the mail system that's
  223.        delivering to the Maildir++
  224.        
  225.    That's it. To achieve that goal, certain compromises are made:
  226.      * Mail delivery will stop as soon as possible after Maildir++'s size
  227.        goes over quota. Certain race conditions may happen with Maildir++
  228.        going a lot over quota, in rare circumstances. That is taken into
  229.        account, and the situation will eventually resolve itself, but you
  230.        should not simply take your systemwide quota, multiply it by the
  231.        number of mail accounts, and allocate that much disk space. Always
  232.        leave room to spare.
  233.      * How well the quota mechanism will work will depend on whether or
  234.        not everything that accesses the Maildir++ is a Maildir++ client.
  235.        You can have a transition period where some of your mail clients
  236.        are just Maildir clients, and things should run more or less well.
  237.        There will be some additional load because the size of the Maildir
  238.        will be recalculated more often, but the additional load shouldn't
  239.        be noticeable.
  240.        
  241.    This won't be a perfect solution, but it will hopefully be good
  242.    enough. Maildirs are simply designed to rely on the filesystem to
  243.    enforce individual quotas. If a filesystem-based quota works for you,
  244.    use it.
  245.    
  246.    A Maildir++ may contain the following additional file: maildirsize.
  247.    
  248. Contents of maildirsize
  249.    maildirsize contains two or more lines terminated by newline
  250.    characters.
  251.    
  252.    The first line contains a copy of the quota definition as used by the
  253.    system's mail server. Each application that uses the maildir must know
  254.    what it's quota is. Instead of configuring each application with the
  255.    quota logic, and making sure that every application's quota definition
  256.    for the same maildir is exactly the same, the quota specification used
  257.    by the system mail server is saved as the first line of the
  258.    maildirsize file. All other application that enforce the maildir quota
  259.    simply read the first line of maildirsize.
  260.    
  261.    The quota definition is a list, separate by commas. Each member of the
  262.    list consists of an integer followed by a letter, specifying the
  263.    nature of the quota. Currently defined quota types are 'S' - total
  264.    size of all messages, and 'C' - the maximum count of messages in the
  265.    maildir. For example, 10000000S,1000C specifies a quota of 10,000,000
  266.    bytes or 1,000 messages, whichever comes first.
  267.    
  268.    All remaining lines all contain two integers separated by a single
  269.    space. The first integer is interpreted as a byte count. The second
  270.    integer is interpreted as a file count. A Maildir++ writer can add up
  271.    all byte counts and file counts from maildirsize and enforce a quota
  272.    based either on number of messages or the total size of all the
  273.    messages.
  274.    
  275. Calculating maildirsize
  276.    In most cases, changes to maildirsize are recorded by appending an
  277.    additional line. Under some conditions maildirsize has to be
  278.    recalculated from scratch. These conditions are defined later. This is
  279.    the procedure that's used to recalculate maildirsize:
  280.     1. If we find a maildirfolder within the directory, we're delivering
  281.        to a folder, so back up to the parent directory, and start again.
  282.     2. Read the contents of the new and cur subdirectories. Also, read
  283.        the contents of the new and cur subdirectories in each Maildir++
  284.        folder, except Trash. Before reading each subdirectory, stat() the
  285.        subdirectory itself, and keep track of the latest timestamp you
  286.        get.
  287.     3. If the filename of each message is of the form xxxxx,S=nnnnn or
  288.        xxxxx,S=nnnnn:xxxxx where "xxxxx" represents arbitrary text, then
  289.        use nnnnn as the size of the file (which will be conveniently
  290.        recorded in the filename by a Maildir++ writer, within the
  291.        conventions of filename naming in a Maildir). If the message was
  292.        not written by a Maildir++ writer, stat() it to obtain the message
  293.        size. If stat() fails, a race condition removed the file, so just
  294.        ignore it and move on to the next one.
  295.     4. When done, you have the grand total of the number of messages and
  296.        their total size. Create a new maildirsize by: creating the file
  297.        in the tmp subdirectory, observing the conventions for writing to
  298.        a Maildir. Then rename the file as maildirsize.Afterwards, stat
  299.        all new and cur subdirectories again. If you find a timestamp
  300.        later than the saved timestamp, REMOVE maildirsize.
  301.     5. Before running this calculation procedure, the Maildir++ user
  302.        wanted to know the size of the Maildir++, so return the calculated
  303.        values. This is done even if maildirsize was removed.
  304.        
  305. Calculating the quota for a Maildir++
  306.    This is the procedure for reading the contents of maildirsize for the
  307.    purpose of determine if the Maildir++ is over quota.
  308.     1. If maildirsize does not exist, or if its size is at least 5120
  309.        bytes, recalculate it using the procedure defined above, and use
  310.        the recalculated numbers. Otherwise, read the contents of
  311.        maildirsize, and add up the totals.
  312.     2. The most efficient way of doing this is to: open maildirsize, then
  313.        start reading it into a 5120 byte buffer (some broken NFS
  314.        implementations may return less than 5120 bytes read even before
  315.        reaching the end of the file). If we fill it, which, in most
  316.        cases, will happen with one read, close it, and run the
  317.        recalculation procedure.
  318.     3. In many cases the quota calculation is for the purpose of adding
  319.        or removing messages from a Maildir++, so keep the file descriptor
  320.        to maildirsize open. A file descriptor will not be available if
  321.        quota recalculation ended up removing maildirsize due to a race
  322.        condition, so the caller may or may not get a file descriptor
  323.        together with the Maildir++ size.
  324.     4. If the numbers we got indicated that the Maidlir++ is over quota,
  325.        some additional logic is in order: if we did not recalculate
  326.        maildirsize, if the numbers in maildirsize indicated that we are
  327.        over quota, then if maildirsize was more than one line long, or if
  328.        the timestamp on maildirsize indicated that it's at least 15
  329.        minutes old, throw out the totals, and recalculate maildirsize
  330.        from scratch.
  331.        
  332.    Eventually the 5120 byte limitation will always cause maildirsize to
  333.    be recalculated, which will compensate for any race conditions which
  334.    previously threw off the totals. Each time a message is delivered or
  335.    removed from a Maildir++, one line is added to maildirsize (this is
  336.    described below in greater detail). Most messages are less than 10K
  337.    long, so each line appended to maildirsize will be either between
  338.    seven and nine bytes long (four bytes for message count, space, digit
  339.    1, newline, optional minus sign in front of both counts if the message
  340.    was removed). This results in about 640 Maildir++ operations before a
  341.    recalculation is forced. Since most messages are added once and
  342.    removed once from a Maildir, expect recalculation to happen
  343.    approximately every 320 messages, keeping the overhead of a
  344.    recalculation to a minimum. Even if most messages include large
  345.    attachments, most attachments are less than 100K long, which brings
  346.    down the average recalculation frequency to about 150 messages.
  347.    
  348.    Also, the effect of having non-Maildir++ clients accessing the
  349.    Maildir++ is reduced by forcing a recalculation when we're potentially
  350.    over quota. Even if non-Maildir++ clients are used to remove messages
  351.    from the Maildir, the fact that the Maildir++ is still over quota will
  352.    be verified every 15 minutes.
  353.    
  354. Delivering to a Maildir++
  355.    Delivering to a Maildir++ is like delivering to a Maildir, with the
  356.    following exceptions:
  357.     1. Follow the usual Maildir conventions for naming the filename used
  358.        to store the message, except that append ,S=nnnnn to the name of
  359.        the file, where nnnnn is the size of the file. This eliminates the
  360.        need to stat() most messages when calculating the quota. If the
  361.        size of the message is not known at the beginning, append ,S=nnnnn
  362.        when renaming the message from tmp to new.
  363.     2. As soon as the size of the message is known (hopefully before it
  364.        is written into tmp), calculate Maildir++'s quota, using the
  365.        procedure defined previously. If the message is over quota, back
  366.        out, cleaning up anything that was created in tmp.
  367.     3. If a file descriptor to maildirsize was opened for us, after
  368.        moving the file from tmp to new append a line to the file
  369.        containing the message size, and "1".
  370.        
  371. Reading from a Maildir++
  372.    Maildir++ readers should mind the following additional tasks:
  373.     1. Make sure to create the maildirfolder file in any new folders
  374.        created within the Maildir++.
  375.     2. When moving a message to the Trash folder, append a line to
  376.        maildirsize, containing a negative message size and a '-1'.
  377.     3. When moving a message from the Trash folder, follow the steps
  378.        described in "Delivering to Maildir++", as far as quota logic
  379.        goes. That is, refuse to move messages out of Trash if the
  380.        Maildir++ is over quota.
  381.     4. Moving a message between other folders carries no additional
  382.        requirements.