开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 数据库系统 > MySQL数据库 > 查看源码
cdb.c
资源名称：pvpgn-1.6.2.rar　[点击查看]
上传用户：tany51
上传日期：2013-06-12
资源大小：1397k
文件大小：12k
源码类别：

MySQL数据库

开发平台：

Visual C++

cdb.c：源码内容
  1. /*
  2.  * This file is a part of tinycdb package by Michael Tokarev, mjt@corpit.ru.
  3.  * Public domain.
  4.  */
  6. #include "common/setup_before.h"
  7. #include <stdio.h>
  8. #ifdef STDC_HEADERS
  9. # include <stdlib.h>
  10. #else
  11. # ifdef HAVE_MALLOC_H
  12. #  include <malloc.h>
  13. # endif
  14. #endif
  15. #ifdef HAVE_STRING_H
  16. # include <string.h>
  17. #else
  18. # ifdef HAVE_STRINGS_H
  19. #  include <strings.h>
  20. # endif
  21. #endif
  22. #include <stdarg.h>
  23. #include "compat/getopt.h"
  24. #include <errno.h>
  25. #include "cdb.h"
  26. #include "common/setup_after.h"
  28. #ifndef EPROTO
  29. # define EPROTO EINVAL
  30. #endif
  32. static char *progname;
  34. #define F_DUPMASK 0x000f
  35. #define F_WARNDUP 0x0100
  36. #define F_ERRDUP 0x0200
  37. #define F_MAP 0x1000 /* map format (or else CDB native format) */
  39. static char *buf;
  40. static unsigned blen;
  42. static void
  43. #ifdef __GNUC__
  44. __attribute__((noreturn,format(printf,2,3)))
  45. #endif
  46. error(int errnum, const char *fmt, ...)
  47. {
  48.   if (fmt) {
  49.     va_list ap;
  50.     fprintf(stderr, "%s: ", progname);
  51.     va_start(ap, fmt);
  52.     vfprintf(stderr, fmt, ap);
  53.     va_end(ap);
  54.   }
  55.   if (errnum)
  56.     fprintf(stderr, ": %sn", strerror(errnum));
  57.   else {
  58.     if (fmt) putc('n', stderr);
  59.     fprintf(stderr, "%s: try `%s -h' for helpn", progname, progname);
  60.   }
  61.   fflush(stderr);
  62.   exit(errnum ? 111 : 2);
  63. }
  65. static void allocbuf(unsigned len) {
  66.   if (blen < len) {
  67.     if (buf) buf = (char*)realloc(buf, len);
  68.     else buf = (char*)malloc(len);
  69.     if (!buf) error(ENOMEM, "unable to allocate %u bytes", len);
  70.     blen = len;
  71.   }
  72. }
  74. static int qmode(char *dbname, char *key, int num, int flags)
  75. {
  76.   struct cdb c;
  77.   struct cdb_find cf;
  78.   FILE *fd;
  79.   int r;
  80.   int n, found;
  82.   fd = fopen(dbname, "rb");
  83.   if (fd == NULL || cdb_init(&c, fd) != 0)
  84.     error(errno, "unable to open database `%s'", dbname);
  86.   r = cdb_findinit(&cf, &c, key, strlen(key));
  87.   if (!r)
  88.     return 100;
  89.   else if (r < 0)
  90.     error(errno, "%s", key);
  91.   n = 0; found = 0;
  92.   while((r = cdb_findnext(&cf)) > 0) {
  93.     ++n;
  94.     if (num && num != n) continue;
  95.     ++found;
  96.     allocbuf(cdb_datalen(&c));
  97.     if (cdb_read(&c, buf, cdb_datalen(&c), cdb_datapos(&c)) != 0)
  98.       error(errno, "unable to read value");
  99.     fwrite(buf, 1, cdb_datalen(&c), stdout);
  100.     if (flags & F_MAP) putchar('n');
  101.     if (num)
  102.       break;
  103.   }
  104.   if (r < 0)
  105.     error(0, "%s", key);
  106.   return found ? 0 : 100;
  107. }
  109. static void
  110. fget(FILE *f, unsigned char *b, unsigned len, unsigned *posp, unsigned limit)
  111. {
  112.   if (posp && limit - *posp < len)
  113.     error(EPROTO, "invalid database format");
  114.   if (fread(b, 1, len, f) != len) {
  115.     if (ferror(f)) error(errno, "unable to read");
  116.     fprintf(stderr, "%s: unable to read: short filen", progname);
  117.     exit(2);
  118.   }
  119.   if (posp) *posp += len;
  120. }
  122. static int
  123. fcpy(FILE *fi, FILE *fo, unsigned len, unsigned *posp, unsigned limit)
  124. {
  125.   while(len > blen) {
  126.     fget(fi, buf, blen, posp, limit);
  127.     if (fo && fwrite(buf, 1, blen, fo) != blen) return -1;
  128.     len -= blen;
  129.   }
  130.   if (len) {
  131.     fget(fi, buf, len, posp, limit);
  132.     if (fo && fwrite(buf, 1, len, fo) != len) return -1;
  133.   }
  134.   return 0;
  135. }
  137. static int
  138. dmode(char *dbname, char mode, int flags)
  139. {
  140.   unsigned eod, klen, vlen;
  141.   unsigned pos = 0;
  142.   FILE *f;
  143.   if (strcmp(dbname, "-") == 0)
  144.     f = stdin;
  145.   else if ((f = fopen(dbname, "rb")) == NULL)
  146.     error(errno, "open %s", dbname);
  147.   allocbuf(2048);
  148.   fget(f, buf, 2048, &pos, 2048);
  149.   eod = cdb_unpack(buf);
  150.   while(pos < eod) {
  151.     fget(f, buf, 8, &pos, eod);
  152.     klen = cdb_unpack(buf);
  153.     vlen = cdb_unpack(buf + 4);
  154.     if (!(flags & F_MAP))
  155.       if (printf(mode == 'd' ? "+%u,%u:" : "+%u:", klen, vlen) < 0) return -1;
  156.     if (fcpy(f, stdout, klen, &pos, eod) != 0) return -1;
  157.     if (mode == 'd')
  158.       if (fputs(flags & F_MAP ? " " : "->", stdout) < 0)
  159.         return -1;
  160.     if (fcpy(f, mode == 'd' ? stdout : NULL, vlen, &pos, eod) != 0)
  161.       return -1;
  162.     if (putc('n', stdout) < 0)
  163.       return -1;
  164.   }
  165.   if (pos != eod)
  166.     error(EPROTO, "invalid cdb file format");
  167.   if (!(flags & F_MAP))
  168.     if (putc('n', stdout) < 0)
  169.       return -1;
  170.   return 0;
  171. }
  173. static int smode(char *dbname) {
  174.   FILE *f;
  175.   unsigned pos, eod;
  176.   unsigned cnt = 0;
  177.   unsigned kmin = 0, kmax = 0, ktot = 0;
  178.   unsigned vmin = 0, vmax = 0, vtot = 0;
  179.   unsigned hmin = 0, hmax = 0, htot = 0, hcnt = 0;
  180. #define NDIST 11
  181.   unsigned dist[NDIST];
  182.   unsigned char toc[2048];
  183.   unsigned k;
  185.   if (strcmp(dbname, "-") == 0)
  186.     f = stdin;
  187.   else if ((f = fopen(dbname, "rb")) == NULL)
  188.     error(errno, "open %s", dbname);
  190.   pos = 0;
  191.   fget(f, toc, 2048, &pos, 2048);
  193.   allocbuf(2048);
  195.   eod = cdb_unpack(toc);
  196.   while(pos < eod) {
  197.     unsigned klen, vlen;
  198.     fget(f, buf, 8, &pos, eod);
  199.     klen = cdb_unpack(buf);
  200.     vlen = cdb_unpack(buf + 4);
  201.     fcpy(f, NULL, klen, &pos, eod);
  202.     fcpy(f, NULL, vlen, &pos, eod);
  203.     ++cnt;
  204.     ktot += klen;
  205.     if (!kmin || kmin > klen) kmin = klen;
  206.     if (kmax < klen) kmax = klen;
  207.     vtot += vlen;
  208.     if (!vmin || vmin > vlen) vmin = vlen;
  209.     if (vmax < vlen) vmax = vlen;
  210.     vlen += klen;
  211.   }
  212.   if (pos != eod) error(EPROTO, "invalid cdb file format");
  214.   for (k = 0; k < NDIST; ++k)
  215.     dist[k] = 0;
  216.   for (k = 0; k < 256; ++k) {
  217.     unsigned i = cdb_unpack(toc + (k << 3));
  218.     unsigned hlen = cdb_unpack(toc + (k << 3) + 4);
  219.     if (i != pos) error(EPROTO, "invalid cdb hash table");
  220.     if (!hlen) continue;
  221.     for (i = 0; i < hlen; ++i) {
  222.       unsigned h;
  223.       fget(f, buf, 8, &pos, 0xffffffff);
  224.       if (!cdb_unpack(buf + 4)) continue;
  225.       h = (cdb_unpack(buf) >> 8) % hlen;
  226.       if (h == i) h = 0;
  227.       else {
  228.         if (h < i) h = i - h;
  229.         else h = hlen - h + i;
  230.         if (h >= NDIST) h = NDIST - 1;
  231.       }
  232.       ++dist[h];
  233.     }
  234.     if (!hmin || hmin > hlen) hmin = hlen;
  235.     if (hmax < hlen) hmax = hlen;
  236.     htot += hlen;
  237.     ++hcnt;
  238.   }
  239.   printf("number of records: %un", cnt);
  240.   printf("key min/avg/max length: %u/%u/%un",
  241.          kmin, cnt ? (ktot + cnt / 2) / cnt : 0, kmax);
  242.   printf("val min/avg/max length: %u/%u/%un",
  243.          vmin, cnt ? (vtot + cnt / 2) / cnt : 0, vmax);
  244.   printf("hash tables/entries/collisions: %u/%u/%un",
  245.          hcnt, htot, cnt - dist[0]);
  246.   printf("hash table min/avg/max length: %u/%u/%un",
  247.          hmin, hcnt ? (htot + hcnt / 2) / hcnt : 0, hmax);
  248.   printf("hash table distances:n");
  249.   for(k = 0; k < NDIST; ++k)
  250.     printf(" %c%u: %6u %2u%%n",
  251.            k == NDIST - 1 ? '>' : 'd', k == NDIST - 1 ? k - 1 : k,
  252.            dist[k], cnt ? dist[k] * 100 / cnt : 0);
  253.   return 0;
  254. }
  256. static void badinput(const char *fn) {
  257.   fprintf(stderr, "%s: %s: bad formatn", progname, fn);
  258.   exit(2);
  259. }
  261. static int getnum(FILE *f, unsigned *np, const char *fn) {
  262.   unsigned n;
  263.   int c = getc(f);
  264.   if (c < '0' || c > '9') badinput(fn);
  265.   n = c - '0';
  266.   while((c = getc(f)) >= '0' && c <= '9') {
  267.     c -= '0';
  268.     if (0xffffffff / 10 - c < n) badinput(fn);
  269.     n = n * 10 + c;
  270.   }
  271.   *np = n;
  272.   return c;
  273. }
  275. static void
  276. addrec(struct cdb_make *cdbmp,
  277.        char *key, unsigned klen,
  278.        char *val, unsigned vlen,
  279.        int flags)
  280. {
  281.   int r = cdb_make_put(cdbmp, key, klen, val, vlen, flags & F_DUPMASK);
  282.   if (r < 0)
  283.     error(errno, "cdb_make_put");
  284.   else if (r && (flags & F_WARNDUP)) {
  285.     fprintf(stderr, "%s: key `", progname);
  286.     fwrite(key, 1, klen, stderr);
  287.     fputs("' duplicatedn", stderr);
  288.     if (flags & F_ERRDUP)
  289.       exit(1);
  290.   }
  291. }
  293. static void
  294. dofile_cdb(struct cdb_make *cdbmp, FILE *f, const char *fn, int flags)
  295. {
  296.   unsigned klen, vlen;
  297.   int c;
  298.   while((c = getc(f)) == '+') {
  299.     if ((c = getnum(f, &klen, fn)) != ',' ||
  300.         (c = getnum(f, &vlen, fn)) != ':' ||
  301.         0xffffffff - klen < vlen)
  302.       badinput(fn);
  303.     allocbuf(klen + vlen);
  304.     fget(f, buf, klen, NULL, 0);
  305.     if (getc(f) != '-' || getc(f) != '>') badinput(fn);
  306.     fget(f, buf + klen, vlen, NULL, 0);
  307.     if (getc(f) != 'n') badinput(fn);
  308.     addrec(cdbmp, buf, klen, buf + klen, vlen, flags);
  309.   }
  310.   if (c != 'n') badinput(fn);
  311. }
  313. static void
  314. dofile_ln(struct cdb_make *cdbmp, FILE *f, const char *fn, int flags)
  315. {
  316.   char *k, *v;
  317.   while(fgets(buf, blen, f) != NULL) {
  318.     unsigned l = 0;
  319.     for (;;) {
  320.       l += strlen(buf + l);
  321.       v = buf + l;
  322.       if (v > buf && v[-1] == 'n') {
  323.         v[-1] = '';
  324.         break;
  325.       }
  326.       if (l < blen)
  327.         allocbuf(l + 512);
  328.       if (!fgets(buf + l, blen - l, f))
  329.         break;
  330.     }
  331.     k = buf;
  332.     while(*k == ' ' || *k == 't') ++k;
  333.     if (!*k || *k == '#')
  334.       continue;
  335.     v = k;
  336.     while(*v && *v != ' ' && *v != 't') ++v;
  337.     if (*v) *v++ = '';
  338.     while(*v == ' ' || *v == 't') ++v;
  339.     addrec(cdbmp, k, strlen(k), v, strlen(v), flags);
  340.   }
  341. }
  343. static void
  344. dofile(struct cdb_make *cdbmp, FILE *f, const char *fn, int flags)
  345. {
  346.   if (flags & F_MAP)
  347.     dofile_ln(cdbmp, f, fn, flags);
  348.   else
  349.     dofile_cdb(cdbmp, f, fn, flags);
  350.   if (ferror(f))
  351.     error(errno, "read error");
  352. }
  354. static int
  355. cmode(char *dbname, char *tmpname, int argc, char **argv, int flags)
  356. {
  357.   struct cdb_make cdb;
  358.   FILE *fd;
  359.   if (!tmpname) {
  360.     tmpname = (char*)malloc(strlen(dbname) + 5);
  361.     if (!tmpname)
  362.       error(ENOMEM, "unable to allocate memory");
  363.     strcat(strcpy(tmpname, dbname), ".tmp");
  364.   }
  365.   fd = fopen(tmpname, "w+b");
  366.   if (fd == 0)
  367.     error(errno, "unable to create %s", tmpname);
  368.   cdb_make_start(&cdb, fd);
  369.   allocbuf(4096);
  370.   if (argc) {
  371.     int i;
  372.     for (i = 0; i < argc; ++i) {
  373.       if (strcmp(argv[i], "-") == 0)
  374.         dofile(&cdb, stdin, "(stdin)", flags);
  375.       else {
  376.         FILE *f = fopen(argv[i], "rb");
  377.         if (!f)
  378.           error(errno, "%s", argv[i]);
  379.         dofile(&cdb, f, argv[i], flags);
  380.         fclose(f);
  381.       }
  382.     }
  383.   }
  384.   else
  385.     dofile(&cdb, stdin, "(stdin)", flags);
  386.   if (cdb_make_finish(&cdb) != 0)
  387.     error(errno, "cdb_make_finish");
  388.   fclose(fd);
  389.   if (rename(tmpname, dbname) != 0)
  390.     error(errno, "rename %s->%s", tmpname, dbname);
  391.   return 0;
  392. }
  394. int main(int argc, char **argv)
  395. {
  396.   int c;
  397.   char mode = 0;
  398.   char *tmpname = NULL;
  399.   int flags = 0;
  400.   int num = 0;
  401.   int r;
  402.   extern char *optarg;
  403.   extern int optind;
  405.   if ((progname = strrchr(argv[0], '/')) != NULL)
  406.     argv[0] = ++progname;
  407.   else
  408.     progname = argv[0];
  410.   if (argc == 1)
  411.     error(0, "no arguments given");
  413.   while((c = getopt(argc, argv, "qdlcsht:n:mwrue")) != EOF)
  414.     switch(c) {
  415.     case 'q': case 'd':  case 'l': case 'c': case 's':
  416.       if (mode && mode != c)
  417.         error(0, "different modes of operation requested");
  418.       mode = c;
  419.       break;
  420.     case 't': tmpname = optarg; break;
  421.     case 'w': flags |= F_WARNDUP; break;
  422.     case 'e': flags |= F_WARNDUP | F_ERRDUP; break;
  423.     case 'r': flags = (flags & ~F_DUPMASK) | CDB_PUT_REPLACE; break;
  424.     case 'u': flags = (flags & ~F_DUPMASK) | CDB_PUT_INSERT; break;
  425.     case 'm': flags |= F_MAP; break;
  426.     case 'n':
  427.       if ((num = atoi(optarg)) <= 0)
  428.         error(0, "invalid record number `%s'", optarg);
  429.       break;
  430.     case 'h':
  431.       printf("
  432. %s: Constant DataBase (CDB) tool. Usage is:n
  433.  query:  %s -q [-m] [-n recno|-a] cdbfile keyn
  434.  dump:   %s -d [-m] [cdbfile|-]n
  435.  list:   %s -l [-m] [cdbfile|-]n
  436.  create: %s -c [-m] [-wrue] [-t tempfile] cdbfile [infile...]n
  437.  stats:  %s -s [cdbfile|-]n
  438.  help:   %s -hn
  439. ", progname, progname, progname, progname, progname, progname, progname);
  440.       return 0;
  442.     default:
  443.       error(0, NULL);
  444.     }
  446.   argv += optind;
  447.   argc -= optind;
  448.   switch(mode) {
  449.     case 'q':
  450.       if (argc < 2) error(0, "no database or key to query specified");
  451.       if (argc > 2) error(0, "extra arguments in command line");
  452.       r = qmode(argv[0], argv[1], num, flags);
  453.       break;
  454.     case 'c':
  455.       if (!argc) error(0, "no database name specified");
  456.       if ((flags & F_WARNDUP) && !(flags & F_DUPMASK))
  457.         flags |= CDB_PUT_WARN;
  458.       r = cmode(argv[0], tmpname, argc - 1, argv + 1, flags);
  459.       break;
  460.     case 'd':
  461.     case 'l':
  462.       if (argc > 1) error(0, "extra arguments for dump/list");
  463.       r = dmode(argc ? argv[0] : "-", mode, flags);
  464.       break;
  465.     case 's':
  466.       if (argc > 1) error(0, "extra argument(s) for stats");
  467.       r = smode(argc ? argv[0] : "-");
  468.       break;
  469.     default:
  470.       error(0, "no -q, -c, -d, -l or -s option specified");
  471.   }
  472.   if (r < 0 || fflush(stdout) < 0)
  473.     error(errno, "unable to write: %d", c);
  474.   return r;
  475. }