开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 数据库系统 > MySQL数据库 > 查看源码
replace.c
资源名称：mysql-4.1.16-win-src.zip　[点击查看]
上传用户：romrleung
上传日期：2022-05-23
资源大小：18897k
文件大小：28k
源码类别：

MySQL数据库

开发平台：

Visual C++

replace.c：源码内容
  1. /* Copyright (C) 2000 MySQL AB
  3.    This program is free software; you can redistribute it and/or modify
  4.    it under the terms of the GNU General Public License as published by
  5.    the Free Software Foundation; either version 2 of the License, or
  6.    (at your option) any later version.
  8.    This program is distributed in the hope that it will be useful,
  9.    but WITHOUT ANY WARRANTY; without even the implied warranty of
  10.    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  11.    GNU General Public License for more details.
  13.    You should have received a copy of the GNU General Public License
  14.    along with this program; if not, write to the Free Software
  15.    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA */
  17. /*
  18.   Replace strings in textfile
  20.   This program replaces strings in files or from stdin to stdout.
  21.   It accepts a list of from-string/to-string pairs and replaces
  22.   each occurrence of a from-string with the corresponding to-string.
  23.   The first occurrence of a found string is matched. If there is more
  24.   than one possibility for the string to replace, longer matches
  25.   are preferred before shorter matches.
  27.   Special characters in from string:
  28.   ^    Match start of line.
  29.   $ Match end of line.
  30.   b Match space-character, start of line or end of line.
  31.         For end b the next replace starts locking at the end space-character.
  32.         An b alone or in a string matches only a space-character.
  33.   r, t, v as in C.
  34.   The programs make a DFA-state-machine of the strings and the speed isn't
  35.   dependent on the count of replace-strings (only of the number of replaces).
  36.   A line is assumed ending with n or .
  37.   There are no limit exept memory on length of strings.
  39.   Written by Monty.
  40.   fill_buffer_retaining() is taken from gnu-grep and modified.
  41. */
  43. #define DONT_USE_RAID
  44. #include <my_global.h>
  45. #include <m_ctype.h>
  46. #include <my_sys.h>
  47. #include <m_string.h>
  48. #include <errno.h>
  50. #define PC_MALLOC 256 /* Bytes for pointers */
  51. #define PS_MALLOC 512 /* Bytes for data */
  53. typedef struct st_pointer_array { /* when using array-strings */
  54.   TYPELIB typelib; /* Pointer to strings */
  55.   byte *str; /* Strings is here */
  56.   int7 *flag; /* Flag about each var. */
  57.   uint  array_allocs,max_count,length,max_length;
  58. } POINTER_ARRAY;
  60. #define SPACE_CHAR 256
  61. #define START_OF_LINE 257
  62. #define END_OF_LINE 258
  63. #define LAST_CHAR_CODE 259
  65. typedef struct st_replace {
  66.   bool   found;
  67.   struct st_replace *next[256];
  68. } REPLACE;
  70. typedef struct st_replace_found {
  71.   bool found;
  72.   char *replace_string;
  73.   uint to_offset;
  74.   int from_offset;
  75. } REPLACE_STRING;
  77. #ifndef WORD_BIT
  78. #define WORD_BIT (8*sizeof(uint))
  79. #endif
  81. /* functions defined in this file */
  83. extern int main(int argc,char * *argv);
  84. static int static_get_options(int *argc,char * * *argv);
  85. static int get_replace_strings(int *argc,char * * *argv,
  86.    POINTER_ARRAY *from_array,
  87.    POINTER_ARRAY *to_array);
  88. int insert_pointer_name(POINTER_ARRAY *pa, my_string name);
  89. void free_pointer_array(POINTER_ARRAY *pa);
  90. static int convert_pipe(REPLACE *,FILE *,FILE *);
  91. static int convert_file(REPLACE *, my_string);
  92. REPLACE *init_replace(my_string *from, my_string *to,uint count, my_string
  93.       word_end_chars);
  94. uint replace_strings(REPLACE *rep, my_string *start,uint *max_length,
  95.      my_string from);
  96. static int initialize_buffer(void);
  97. static void reset_buffer(void);
  98. static void free_buffer(void);
  100. static int silent=0,verbose=0,updated=0;
  102. /* The main program */
  104. int main(argc,argv)
  105. int argc;
  106. char *argv[];
  107. {
  108.   int i,error;
  109.   char word_end_chars[256],*pos;
  110.   POINTER_ARRAY from,to;
  111.   REPLACE *replace;
  112.   MY_INIT(argv[0]);
  114.   if (static_get_options(&argc,&argv))
  115.     exit(1);
  116.   if (get_replace_strings(&argc,&argv,&from,&to))
  117.     exit(1);
  119.   for (i=1,pos=word_end_chars ; i < 256 ; i++)
  120.     if (my_isspace(&my_charset_latin1,i))
  121.       *pos++=i;
  122.   *pos=0;
  123.   if (!(replace=init_replace((char**) from.typelib.type_names,
  124.      (char**) to.typelib.type_names,
  125.      (uint) from.typelib.count,word_end_chars)))
  126.     exit(1);
  127.   free_pointer_array(&from);
  128.   free_pointer_array(&to);
  129.   if (initialize_buffer())
  130.     return 1;
  132.   error=0;
  133.   if (argc == 0)
  134.     error=convert_pipe(replace,stdin,stdout);
  135.   else
  136.   {
  137.     while (argc--)
  138.     {
  139.       error=convert_file(replace,*(argv++));
  140.     }
  141.   }
  142.   free_buffer();
  143.   my_end(verbose ? MY_CHECK_ERROR | MY_GIVE_INFO : MY_CHECK_ERROR);
  144.   exit(error ? 2 : 0);
  145.   return 0; /* No compiler warning */
  146. } /* main */
  149. /* reads options */
  150. /* Initiates DEBUG - but no debugging here ! */
  152. static int static_get_options(argc,argv)
  153. register int *argc;
  154. register char **argv[];
  155. {
  156.   int help,version,opt;
  157.   char *pos;
  159.   silent=verbose=help=0;
  161.   while (--*argc > 0 && *(pos = *(++*argv)) == '-' && pos[1] != '-') {
  162.     while (*++pos)
  163.     {
  164.       version=0;
  165.       switch((opt= *pos)) {
  166.       case 's':
  167. silent=1;
  168. break;
  169.       case 'v':
  170. verbose=1;
  171. break;
  172.       case '#':
  173. DBUG_PUSH (++pos);
  174. pos= (char*) " "; /* Skip rest of arguments */
  175. break;
  176.       case 'V':
  177. version=1;
  178.       case 'I':
  179.       case '?':
  180. help=1; /* Help text written */
  181. printf("%s  Ver 1.3 for %s at %sn",my_progname,SYSTEM_TYPE,
  182.        MACHINE_TYPE);
  183. if (version)
  184.   break;
  185. puts("This software comes with ABSOLUTELY NO WARRANTY. This is free software,nand you are welcome to modify and redistribute it under the GPL licensen");
  186. puts("This program replaces strings in files or from stdin to stdout.n"
  187.      "It accepts a list of from-string/to-string pairs and replacesn"
  188.      "each occurrence of a from-string with the corresponding to-string.n"
  189.          "The first occurrence of a found string is matched. If there isn"
  190.          "more than one possibility for the string to replace, longern"
  191.          "matches are preferred before shorter matches.nn"
  192.      "A from-string can contain these special characters:n"
  193.      "  \^      Match start of line.n"
  194.      "  \$      Match end of line.n"
  195.      "  \b      Match space-character, start of line or end of line.n"
  196.      "          For a end \b the next replace starts locking at the endn"
  197.      "          space-character. A \b alone in a string matches only an"
  198.      "          space-character.n");
  199.   printf("Usage: %s [-?svIV] from to from to ... -- [files]n", my_progname);
  200. puts("or");
  201.   printf("Usage: %s [-?svIV] from to from to ... < fromfile > tofilen", my_progname);
  202. puts("");
  203. puts("Options: -? or -I "Info"  -s "silent"      -v "verbose"");
  204. break;
  205.       default:
  206. fprintf(stderr,"illegal option: -%cn",*pos);
  207. break;
  208.       }
  209.     }
  210.   }
  211.   if (*argc == 0)
  212.   {
  213.     if (!help)
  214.       my_message(0,"No replace options given",MYF(ME_BELL));
  215.     exit(0); /* Don't use as pipe */
  216.   }
  217.   return(0);
  218. } /* static_get_options */
  221. static int get_replace_strings(argc,argv,from_array,to_array)
  222. register int *argc;
  223. register char **argv[];
  224. POINTER_ARRAY *from_array,*to_array;
  225. {
  226.   char *pos;
  228.   bzero((char*) from_array,sizeof(from_array[0]));
  229.   bzero((char*) to_array,sizeof(to_array[0]));
  230.   while (*argc > 0 && (*(pos = *(*argv)) != '-' || pos[1] != '-' || pos[2]))
  231.   {
  232.     insert_pointer_name(from_array,pos);
  233.     (*argc)--;
  234.     (*argv)++;
  235.     if (!*argc || !strcmp(**argv,"--"))
  236.     {
  237.       my_message(0,"No to-string for last from-string",MYF(ME_BELL));
  238.       return 1;
  239.     }
  240.     insert_pointer_name(to_array,**argv);
  241.     (*argc)--;
  242.     (*argv)++;
  243.   }
  244.   if (*argc)
  245.   { /* Skip "--" argument */
  246.     (*argc)--;
  247.     (*argv)++;
  248.   }
  249.   return 0;
  250. }
  252. int insert_pointer_name(reg1 POINTER_ARRAY *pa,my_string name)
  253. {
  254.   uint i,length,old_count;
  255.   byte *new_pos;
  256.   const char **new_array;
  257.   DBUG_ENTER("insert_pointer_name");
  259.   if (! pa->typelib.count)
  260.   {
  261.     if (!(pa->typelib.type_names=(const char **)
  262.   my_malloc(((PC_MALLOC-MALLOC_OVERHEAD)/
  263.      (sizeof(my_string)+sizeof(*pa->flag))*
  264.      (sizeof(my_string)+sizeof(*pa->flag))),MYF(MY_WME))))
  265.       DBUG_RETURN(-1);
  266.     if (!(pa->str= (byte*) my_malloc((uint) (PS_MALLOC-MALLOC_OVERHEAD),
  267.      MYF(MY_WME))))
  268.     {
  269.       my_free((gptr) pa->typelib.type_names,MYF(0));
  270.       DBUG_RETURN (-1);
  271.     }
  272.     pa->max_count=(PC_MALLOC-MALLOC_OVERHEAD)/(sizeof(byte*)+
  273.        sizeof(*pa->flag));
  274.     pa->flag= (int7*) (pa->typelib.type_names+pa->max_count);
  275.     pa->length=0;
  276.     pa->max_length=PS_MALLOC-MALLOC_OVERHEAD;
  277.     pa->array_allocs=1;
  278.   }
  279.   length=(uint) strlen(name)+1;
  280.   if (pa->length+length >= pa->max_length)
  281.   {
  282.     pa->max_length=(pa->length+length+MALLOC_OVERHEAD+PS_MALLOC-1)/PS_MALLOC;
  283.     pa->max_length=pa->max_length*PS_MALLOC-MALLOC_OVERHEAD;
  284.     if (!(new_pos= (byte*) my_realloc((gptr) pa->str,
  285.       (uint) pa->max_length,
  286.       MYF(MY_WME))))
  287.       DBUG_RETURN(1);
  288.     if (new_pos != pa->str)
  289.     {
  290.       my_ptrdiff_t diff=PTR_BYTE_DIFF(new_pos,pa->str);
  291.       for (i=0 ; i < pa->typelib.count ; i++)
  292. pa->typelib.type_names[i]= ADD_TO_PTR(pa->typelib.type_names[i],diff,
  293.       char*);
  294.       pa->str=new_pos;
  295.     }
  296.   }
  297.   if (pa->typelib.count >= pa->max_count-1)
  298.   {
  299.     int len;
  300.     pa->array_allocs++;
  301.     len=(PC_MALLOC*pa->array_allocs - MALLOC_OVERHEAD);
  302.     if (!(new_array=(const char **) my_realloc((gptr) pa->typelib.type_names,
  303.        (uint) len/
  304.  (sizeof(byte*)+sizeof(*pa->flag))*
  305.  (sizeof(byte*)+sizeof(*pa->flag)),
  306.  MYF(MY_WME))))
  307.       DBUG_RETURN(1);
  308.     pa->typelib.type_names=new_array;
  309.     old_count=pa->max_count;
  310.     pa->max_count=len/(sizeof(byte*) + sizeof(*pa->flag));
  311.     pa->flag= (int7*) (pa->typelib.type_names+pa->max_count);
  312.     memcpy((byte*) pa->flag,(my_string) (pa->typelib.type_names+old_count),
  313.    old_count*sizeof(*pa->flag));
  314.   }
  315.   pa->flag[pa->typelib.count]=0; /* Reset flag */
  316.   pa->typelib.type_names[pa->typelib.count++]= pa->str+pa->length;
  317.   pa->typelib.type_names[pa->typelib.count]= NullS; /* Put end-mark */
  318.   VOID(strmov(pa->str+pa->length,name));
  319.   pa->length+=length;
  320.   DBUG_RETURN(0);
  321. } /* insert_pointer_name */
  324. /* free pointer array */
  326. void free_pointer_array(pa)
  327. reg1 POINTER_ARRAY *pa;
  328. {
  329.   if (pa->typelib.count)
  330.   {
  331.     pa->typelib.count=0;
  332.     my_free((gptr) pa->typelib.type_names,MYF(0));
  333.     pa->typelib.type_names=0;
  334.     my_free((gptr) pa->str,MYF(0));
  335.   }
  336.   return;
  337. } /* free_pointer_array */
  340. /* Code for replace rutines */
  342. #define SET_MALLOC_HUNC 64
  344. typedef struct st_rep_set {
  345.   uint  *bits; /* Pointer to used sets */
  346.   short next[LAST_CHAR_CODE]; /* Pointer to next sets */
  347.   uint found_len; /* Best match to date */
  348.   int found_offset;
  349.   uint  table_offset;
  350.   uint  size_of_bits; /* For convinience */
  351. } REP_SET;
  353. typedef struct st_rep_sets {
  354.   uint count; /* Number of sets */
  355.   uint extra; /* Extra sets in buffer */
  356.   uint invisible; /* Sets not chown */
  357.   uint size_of_bits;
  358.   REP_SET *set,*set_buffer;
  359.   uint *bit_buffer;
  360. } REP_SETS;
  362. typedef struct st_found_set {
  363.   uint table_offset;
  364.   int found_offset;
  365. } FOUND_SET;
  367. typedef struct st_follow {
  368.   int chr;
  369.   uint table_offset;
  370.   uint len;
  371. } FOLLOWS;
  374. static int init_sets(REP_SETS *sets,uint states);
  375. static REP_SET *make_new_set(REP_SETS *sets);
  376. static void make_sets_invisible(REP_SETS *sets);
  377. static void free_last_set(REP_SETS *sets);
  378. static void free_sets(REP_SETS *sets);
  379. static void internal_set_bit(REP_SET *set, uint bit);
  380. static void internal_clear_bit(REP_SET *set, uint bit);
  381. static void or_bits(REP_SET *to,REP_SET *from);
  382. static void copy_bits(REP_SET *to,REP_SET *from);
  383. static int cmp_bits(REP_SET *set1,REP_SET *set2);
  384. static int get_next_bit(REP_SET *set,uint lastpos);
  385. static int find_set(REP_SETS *sets,REP_SET *find);
  386. static int find_found(FOUND_SET *found_set,uint table_offset,
  387.   int found_offset);
  388. static uint start_at_word(my_string pos);
  389. static uint end_of_word(my_string pos);
  390. static uint replace_len(my_string pos);
  392. static uint found_sets=0;
  395. /* Init a replace structure for further calls */
  397. REPLACE *init_replace(my_string *from, my_string *to,uint count,
  398.       my_string word_end_chars)
  399. {
  400.   uint i,j,states,set_nr,len,result_len,max_length,found_end,bits_set,bit_nr;
  401.   int used_sets,chr,default_state;
  402.   char used_chars[LAST_CHAR_CODE],is_word_end[256];
  403.   my_string pos,to_pos,*to_array;
  404.   REP_SETS sets;
  405.   REP_SET *set,*start_states,*word_states,*new_set;
  406.   FOLLOWS *follow,*follow_ptr;
  407.   REPLACE *replace;
  408.   FOUND_SET *found_set;
  409.   REPLACE_STRING *rep_str;
  410.   DBUG_ENTER("init_replace");
  412.   /* Count number of states */
  413.   for (i=result_len=max_length=0 , states=2 ; i < count ; i++)
  414.   {
  415.     len=replace_len(from[i]);
  416.     if (!len)
  417.     {
  418.       errno=EINVAL;
  419.       my_message(0,"No to-string for last from-string",MYF(ME_BELL));
  420.       DBUG_RETURN(0);
  421.     }
  422.     states+=len+1;
  423.     result_len+=(uint) strlen(to[i])+1;
  424.     if (len > max_length)
  425.       max_length=len;
  426.   }
  427.   bzero((char*) is_word_end,sizeof(is_word_end));
  428.   for (i=0 ; word_end_chars[i] ; i++)
  429.     is_word_end[(uchar) word_end_chars[i]]=1;
  431.   if (init_sets(&sets,states))
  432.     DBUG_RETURN(0);
  433.   found_sets=0;
  434.   if (!(found_set= (FOUND_SET*) my_malloc(sizeof(FOUND_SET)*max_length*count,
  435.   MYF(MY_WME))))
  436.   {
  437.     free_sets(&sets);
  438.     DBUG_RETURN(0);
  439.   }
  440.   VOID(make_new_set(&sets)); /* Set starting set */
  441.   make_sets_invisible(&sets); /* Hide previus sets */
  442.   used_sets=-1;
  443.   word_states=make_new_set(&sets); /* Start of new word */
  444.   start_states=make_new_set(&sets); /* This is first state */
  445.   if (!(follow=(FOLLOWS*) my_malloc((states+2)*sizeof(FOLLOWS),MYF(MY_WME))))
  446.   {
  447.     free_sets(&sets);
  448.     my_free((gptr) found_set,MYF(0));
  449.     DBUG_RETURN(0);
  450.   }
  452. /* Init follow_ptr[] */
  453.   for (i=0, states=1, follow_ptr=follow+1 ; i < count ; i++)
  454.   {
  455.     if (from[i][0] == '\' && from[i][1] == '^')
  456.     {
  457.       internal_set_bit(start_states,states+1);
  458.       if (!from[i][2])
  459.       {
  460. start_states->table_offset=i;
  461. start_states->found_offset=1;
  462.       }
  463.     }
  464.     else if (from[i][0] == '\' && from[i][1] == '$')
  465.     {
  466.       internal_set_bit(start_states,states);
  467.       internal_set_bit(word_states,states);
  468.       if (!from[i][2] && start_states->table_offset == (uint) ~0)
  469.       {
  470. start_states->table_offset=i;
  471. start_states->found_offset=0;
  472.       }
  473.     }
  474.     else
  475.     {
  476.       internal_set_bit(word_states,states);
  477.       if (from[i][0] == '\' && (from[i][1] == 'b' && from[i][2]))
  478. internal_set_bit(start_states,states+1);
  479.       else
  480. internal_set_bit(start_states,states);
  481.     }
  482.     for (pos=from[i], len=0; *pos ; pos++)
  483.     {
  484.       if (*pos == '\' && *(pos+1))
  485.       {
  486. pos++;
  487. switch (*pos) {
  488. case 'b':
  489.   follow_ptr->chr = SPACE_CHAR;
  490.   break;
  491. case '^':
  492.   follow_ptr->chr = START_OF_LINE;
  493.   break;
  494. case '$':
  495.   follow_ptr->chr = END_OF_LINE;
  496.   break;
  497. case 'r':
  498.   follow_ptr->chr = 'r';
  499.   break;
  500. case 't':
  501.   follow_ptr->chr = 't';
  502.   break;
  503. case 'v':
  504.   follow_ptr->chr = 'v';
  505.   break;
  506. default:
  507.   follow_ptr->chr = (uchar) *pos;
  508.   break;
  509. }
  510.       }
  511.       else
  512. follow_ptr->chr= (uchar) *pos;
  513.       follow_ptr->table_offset=i;
  514.       follow_ptr->len= ++len;
  515.       follow_ptr++;
  516.     }
  517.     follow_ptr->chr=0;
  518.     follow_ptr->table_offset=i;
  519.     follow_ptr->len=len;
  520.     follow_ptr++;
  521.     states+=(uint) len+1;
  522.   }
  525.   for (set_nr=0,pos=0 ; set_nr < sets.count ; set_nr++)
  526.   {
  527.     set=sets.set+set_nr;
  528.     default_state= 0; /* Start from beginning */
  530.     /* If end of found-string not found or start-set with current set */
  532.     for (i= (uint) ~0; (i=get_next_bit(set,i)) ;)
  533.     {
  534.       if (!follow[i].chr)
  535.       {
  536. if (! default_state)
  537.   default_state= find_found(found_set,set->table_offset,
  538.     set->found_offset+1);
  539.       }
  540.     }
  541.     copy_bits(sets.set+used_sets,set); /* Save set for changes */
  542.     if (!default_state)
  543.       or_bits(sets.set+used_sets,sets.set); /* Can restart from start */
  545.     /* Find all chars that follows current sets */
  546.     bzero((char*) used_chars,sizeof(used_chars));
  547.     for (i= (uint) ~0; (i=get_next_bit(sets.set+used_sets,i)) ;)
  548.     {
  549.       used_chars[follow[i].chr]=1;
  550.       if ((follow[i].chr == SPACE_CHAR && !follow[i+1].chr &&
  551.    follow[i].len > 1) || follow[i].chr == END_OF_LINE)
  552. used_chars[0]=1;
  553.     }
  555.     /* Mark word_chars used if b is in state */
  556.     if (used_chars[SPACE_CHAR])
  557.       for (pos= word_end_chars ; *pos ; pos++)
  558. used_chars[(int) (uchar) *pos] = 1;
  560.     /* Handle other used characters */
  561.     for (chr= 0 ; chr < 256 ; chr++)
  562.     {
  563.       if (! used_chars[chr])
  564. set->next[chr]= chr ? default_state : -1;
  565.       else
  566.       {
  567. new_set=make_new_set(&sets);
  568. set=sets.set+set_nr; /* if realloc */
  569. new_set->table_offset=set->table_offset;
  570. new_set->found_len=set->found_len;
  571. new_set->found_offset=set->found_offset+1;
  572. found_end=0;
  574. for (i= (uint) ~0 ; (i=get_next_bit(sets.set+used_sets,i)) ; )
  575. {
  576.   if (!follow[i].chr || follow[i].chr == chr ||
  577.       (follow[i].chr == SPACE_CHAR &&
  578.        (is_word_end[chr] ||
  579. (!chr && follow[i].len > 1 && ! follow[i+1].chr))) ||
  580.       (follow[i].chr == END_OF_LINE && ! chr))
  581.   {
  582.     if ((! chr || (follow[i].chr && !follow[i+1].chr)) &&
  583. follow[i].len > found_end)
  584.       found_end=follow[i].len;
  585.     if (chr && follow[i].chr)
  586.       internal_set_bit(new_set,i+1); /* To next set */
  587.     else
  588.       internal_set_bit(new_set,i);
  589.   }
  590. }
  591. if (found_end)
  592. {
  593.   new_set->found_len=0; /* Set for testing if first */
  594.   bits_set=0;
  595.   for (i= (uint) ~0; (i=get_next_bit(new_set,i)) ;)
  596.   {
  597.     if ((follow[i].chr == SPACE_CHAR ||
  598.  follow[i].chr == END_OF_LINE) && ! chr)
  599.       bit_nr=i+1;
  600.     else
  601.       bit_nr=i;
  602.     if (follow[bit_nr-1].len < found_end ||
  603. (new_set->found_len &&
  604.  (chr == 0 || !follow[bit_nr].chr)))
  605.       internal_clear_bit(new_set,i);
  606.     else
  607.     {
  608.       if (chr == 0 || !follow[bit_nr].chr)
  609.       { /* best match  */
  610. new_set->table_offset=follow[bit_nr].table_offset;
  611. if (chr || (follow[i].chr == SPACE_CHAR ||
  612.     follow[i].chr == END_OF_LINE))
  613.   new_set->found_offset=found_end; /* New match */
  614. new_set->found_len=found_end;
  615.       }
  616.       bits_set++;
  617.     }
  618.   }
  619.   if (bits_set == 1)
  620.   {
  621.     set->next[chr] = find_found(found_set,
  622. new_set->table_offset,
  623. new_set->found_offset);
  624.     free_last_set(&sets);
  625.   }
  626.   else
  627.     set->next[chr] = find_set(&sets,new_set);
  628. }
  629. else
  630.   set->next[chr] = find_set(&sets,new_set);
  631.       }
  632.     }
  633.   }
  635. /* Alloc replace structure for the replace-state-machine */
  637.   if ((replace=(REPLACE*) my_malloc(sizeof(REPLACE)*(sets.count)+
  638.     sizeof(REPLACE_STRING)*(found_sets+1)+
  639.     sizeof(my_string)*count+result_len,
  640.     MYF(MY_WME | MY_ZEROFILL))))
  641.   {
  642.     rep_str=(REPLACE_STRING*) (replace+sets.count);
  643.     to_array=(my_string*) (rep_str+found_sets+1);
  644.     to_pos=(my_string) (to_array+count);
  645.     for (i=0 ; i < count ; i++)
  646.     {
  647.       to_array[i]=to_pos;
  648.       to_pos=strmov(to_pos,to[i])+1;
  649.     }
  650.     rep_str[0].found=1;
  651.     rep_str[0].replace_string=0;
  652.     for (i=1 ; i <= found_sets ; i++)
  653.     {
  654.       pos=from[found_set[i-1].table_offset];
  655.       rep_str[i].found= !bcmp(pos,"\^",3) ? 2 : 1;
  656.       rep_str[i].replace_string=to_array[found_set[i-1].table_offset];
  657.       rep_str[i].to_offset=found_set[i-1].found_offset-start_at_word(pos);
  658.       rep_str[i].from_offset=found_set[i-1].found_offset-replace_len(pos)+
  659. end_of_word(pos);
  660.     }
  661.     for (i=0 ; i < sets.count ; i++)
  662.     {
  663.       for (j=0 ; j < 256 ; j++)
  664. if (sets.set[i].next[j] >= 0)
  665.   replace[i].next[j]=replace+sets.set[i].next[j];
  666. else
  667.   replace[i].next[j]=(REPLACE*) (rep_str+(-sets.set[i].next[j]-1));
  668.     }
  669.   }
  670.   my_free((gptr) follow,MYF(0));
  671.   free_sets(&sets);
  672.   my_free((gptr) found_set,MYF(0));
  673.   DBUG_PRINT("exit",("Replace table has %d states",sets.count));
  674.   DBUG_RETURN(replace);
  675. }
  678. static int init_sets(REP_SETS *sets,uint states)
  679. {
  680.   bzero((char*) sets,sizeof(*sets));
  681.   sets->size_of_bits=((states+7)/8);
  682.   if (!(sets->set_buffer=(REP_SET*) my_malloc(sizeof(REP_SET)*SET_MALLOC_HUNC,
  683.       MYF(MY_WME))))
  684.     return 1;
  685.   if (!(sets->bit_buffer=(uint*) my_malloc(sizeof(uint)*sets->size_of_bits*
  686.    SET_MALLOC_HUNC,MYF(MY_WME))))
  687.   {
  688.     my_free((gptr) sets->set,MYF(0));
  689.     return 1;
  690.   }
  691.   return 0;
  692. }
  694. /* Make help sets invisible for nicer codeing */
  696. static void make_sets_invisible(REP_SETS *sets)
  697. {
  698.   sets->invisible=sets->count;
  699.   sets->set+=sets->count;
  700.   sets->count=0;
  701. }
  703. static REP_SET *make_new_set(REP_SETS *sets)
  704. {
  705.   uint i,count,*bit_buffer;
  706.   REP_SET *set;
  707.   if (sets->extra)
  708.   {
  709.     sets->extra--;
  710.     set=sets->set+ sets->count++;
  711.     bzero((char*) set->bits,sizeof(uint)*sets->size_of_bits);
  712.     bzero((char*) &set->next[0],sizeof(set->next[0])*LAST_CHAR_CODE);
  713.     set->found_offset=0;
  714.     set->found_len=0;
  715.     set->table_offset= (uint) ~0;
  716.     set->size_of_bits=sets->size_of_bits;
  717.     return set;
  718.   }
  719.   count=sets->count+sets->invisible+SET_MALLOC_HUNC;
  720.   if (!(set=(REP_SET*) my_realloc((gptr) sets->set_buffer,
  721.    sizeof(REP_SET)*count,
  722.   MYF(MY_WME))))
  723.     return 0;
  724.   sets->set_buffer=set;
  725.   sets->set=set+sets->invisible;
  726.   if (!(bit_buffer=(uint*) my_realloc((gptr) sets->bit_buffer,
  727.       (sizeof(uint)*sets->size_of_bits)*count,
  728.       MYF(MY_WME))))
  729.     return 0;
  730.   sets->bit_buffer=bit_buffer;
  731.   for (i=0 ; i < count ; i++)
  732.   {
  733.     sets->set_buffer[i].bits=bit_buffer;
  734.     bit_buffer+=sets->size_of_bits;
  735.   }
  736.   sets->extra=SET_MALLOC_HUNC;
  737.   return make_new_set(sets);
  738. }
  740. static void free_last_set(REP_SETS *sets)
  741. {
  742.   sets->count--;
  743.   sets->extra++;
  744.   return;
  745. }
  747. static void free_sets(REP_SETS *sets)
  748. {
  749.   my_free((gptr)sets->set_buffer,MYF(0));
  750.   my_free((gptr)sets->bit_buffer,MYF(0));
  751.   return;
  752. }
  754. static void internal_set_bit(REP_SET *set, uint bit)
  755. {
  756.   set->bits[bit / WORD_BIT] |= 1 << (bit % WORD_BIT);
  757.   return;
  758. }
  760. static void internal_clear_bit(REP_SET *set, uint bit)
  761. {
  762.   set->bits[bit / WORD_BIT] &= ~ (1 << (bit % WORD_BIT));
  763.   return;
  764. }
  767. static void or_bits(REP_SET *to,REP_SET *from)
  768. {
  769.   reg1 uint i;
  770.   for (i=0 ; i < to->size_of_bits ; i++)
  771.     to->bits[i]|=from->bits[i];
  772.   return;
  773. }
  775. static void copy_bits(REP_SET *to,REP_SET *from)
  776. {
  777.   memcpy((byte*) to->bits,(byte*) from->bits,
  778.  (size_t) (sizeof(uint) * to->size_of_bits));
  779. }
  781. static int cmp_bits(REP_SET *set1,REP_SET *set2)
  782. {
  783.   return bcmp((byte*) set1->bits,(byte*) set2->bits,
  784.       sizeof(uint) * set1->size_of_bits);
  785. }
  788. /* Get next set bit from set. */
  790. static int get_next_bit(REP_SET *set,uint lastpos)
  791. {
  792.   uint pos,*start,*end,bits;
  794.   start=set->bits+ ((lastpos+1) / WORD_BIT);
  795.   end=set->bits + set->size_of_bits;
  796.   bits=start[0] & ~((1 << ((lastpos+1) % WORD_BIT)) -1);
  798.   while (! bits && ++start < end)
  799.     bits=start[0];
  800.   if (!bits)
  801.     return 0;
  802.   pos=(uint) (start-set->bits)*WORD_BIT;
  803.   while (! (bits & 1))
  804.   {
  805.     bits>>=1;
  806.     pos++;
  807.   }
  808.   return pos;
  809. }
  811. /* find if there is a same set in sets. If there is, use it and
  812.    free given set, else put in given set in sets and return it's
  813.    position */
  815. static int find_set(REP_SETS *sets,REP_SET *find)
  816. {
  817.   uint i;
  818.   for (i=0 ; i < sets->count-1 ; i++)
  819.   {
  820.     if (!cmp_bits(sets->set+i,find))
  821.     {
  822.       free_last_set(sets);
  823.       return i;
  824.     }
  825.   }
  826.   return i; /* return new postion */
  827. }
  829. /* find if there is a found_set with same table_offset & found_offset
  830.    If there is return offset to it, else add new offset and return pos.
  831.    Pos returned is -offset-2 in found_set_structure because it's is
  832.    saved in set->next and set->next[] >= 0 points to next set and
  833.    set->next[] == -1 is reserved for end without replaces.
  834.    */
  836. static int find_found(FOUND_SET *found_set,uint table_offset, int found_offset)
  837. {
  838.   int i;
  839.   for (i=0 ; (uint) i < found_sets ; i++)
  840.     if (found_set[i].table_offset == table_offset &&
  841. found_set[i].found_offset == found_offset)
  842.       return -i-2;
  843.   found_set[i].table_offset=table_offset;
  844.   found_set[i].found_offset=found_offset;
  845.   found_sets++;
  846.   return -i-2; /* return new postion */
  847. }
  849. /* Return 1 if regexp starts with b or ends with b*/
  851. static uint start_at_word(my_string pos)
  852. {
  853.   return (((!bcmp(pos,"\b",2) && pos[2]) || !bcmp(pos,"\^",2)) ? 1 : 0);
  854. }
  856. static uint end_of_word(my_string pos)
  857. {
  858.   my_string end=strend(pos);
  859.   return ((end > pos+2 && !bcmp(end-2,"\b",2)) ||
  860.   (end >= pos+2 && !bcmp(end-2,"\$",2))) ?
  861.     1 : 0;
  862. }
  865. static uint replace_len(my_string str)
  866. {
  867.   uint len=0;
  868.   while (*str)
  869.   {
  870.     if (str[0] == '\' && str[1])
  871.       str++;
  872.     str++;
  873.     len++;
  874.   }
  875.   return len;
  876. }
  879. /* The actual loop */
  881. uint replace_strings(REPLACE *rep, my_string *start,uint *max_length, my_string from)
  882. {
  883.   reg1 REPLACE *rep_pos;
  884.   reg2 REPLACE_STRING *rep_str;
  885.   my_string to,end,pos,new;
  887.   end=(to= *start) + *max_length-1;
  888.   rep_pos=rep+1;
  889.   for(;;)
  890.   {
  891.     while (!rep_pos->found)
  892.     {
  893.       rep_pos= rep_pos->next[(uchar) *from];
  894.       if (to == end)
  895.       {
  896. (*max_length)+=8192;
  897. if (!(new=my_realloc(*start,*max_length,MYF(MY_WME))))
  898.   return (uint) -1;
  899. to=new+(to - *start);
  900. end=(*start=new)+ *max_length-1;
  901.       }
  902.       *to++= *from++;
  903.     }
  904.     if (!(rep_str = ((REPLACE_STRING*) rep_pos))->replace_string)
  905.       return (uint) (to - *start)-1;
  906.     updated=1; /* Some my_string is replaced */
  907.     to-=rep_str->to_offset;
  908.     for (pos=rep_str->replace_string; *pos ; pos++)
  909.     {
  910.       if (to == end)
  911.       {
  912. (*max_length)*=2;
  913. if (!(new=my_realloc(*start,*max_length,MYF(MY_WME))))
  914.   return (uint) -1;
  915. to=new+(to - *start);
  916. end=(*start=new)+ *max_length-1;
  917.       }
  918.       *to++= *pos;
  919.     }
  920.     if (!*(from-=rep_str->from_offset) && rep_pos->found != 2)
  921.       return (uint) (to - *start);
  922.     rep_pos=rep;
  923.   }
  924. }
  926. static char *buffer; /* The buffer itself, grown as needed. */
  927. static int bufbytes; /* Number of bytes in the buffer. */
  928. static int bufread,my_eof; /* Number of bytes to get with each read(). */
  929. static uint bufalloc;
  930. static char *out_buff;
  931. static uint out_length;
  933. static int initialize_buffer()
  934. {
  935.   bufread = 8192;
  936.   bufalloc = bufread + bufread / 2;
  937.   if (!(buffer = my_malloc(bufalloc+1,MYF(MY_WME))))
  938.     return 1;
  939.   bufbytes=my_eof=0;
  940.   out_length=bufread;
  941.   if (!(out_buff=my_malloc(out_length,MYF(MY_WME))))
  942.     return(1);
  943.   return 0;
  944. }
  946. static void reset_buffer()
  947. {
  948.   bufbytes=my_eof=0;
  949. }
  951. static void free_buffer()
  952. {
  953.   my_free(buffer,MYF(MY_WME));
  954.   my_free(out_buff,MYF(MY_WME));
  955. }
  958. /*
  959.   Fill the buffer retaining the last n bytes at the beginning of the
  960.   newly filled buffer (for backward context).  Returns the number of new
  961.   bytes read from disk.
  962. */
  964. static int fill_buffer_retaining(fd,n)
  965. File fd;
  966. int n;
  967. {
  968.   int i;
  970.   /* See if we need to grow the buffer. */
  971.   if ((int) bufalloc - n <= bufread)
  972.   {
  973.     while ((int) bufalloc - n <= bufread)
  974.     {
  975.       bufalloc *= 2;
  976.       bufread *= 2;
  977.     }
  978.     buffer = my_realloc(buffer, bufalloc+1, MYF(MY_WME));
  979.     if (! buffer)
  980.       return(-1);
  981.   }
  983.   /* Shift stuff down. */
  984.   bmove(buffer,buffer+bufbytes-n,(uint) n);
  985.   bufbytes = n;
  987.   if (my_eof)
  988.     return 0;
  990.   /* Read in new stuff. */
  991.   if ((i=(int) my_read(fd, buffer + bufbytes, (uint) bufread,MYF(MY_WME))) < 0)
  992.     return -1;
  994.   /* Kludge to pretend every nonempty file ends with a newline. */
  995.   if (i == 0 && bufbytes > 0 && buffer[bufbytes - 1] != 'n')
  996.   {
  997.     my_eof = i = 1;
  998.     buffer[bufbytes] = 'n';
  999.   }
  1001.   bufbytes += i;
  1002.   return i;
  1003. }
  1005. /* Return 0 if convert is ok */
  1006. /* Global variable update is set if something was changed */
  1008. static int convert_pipe(rep,in,out)
  1009. REPLACE *rep;
  1010. FILE *in,*out;
  1011. {
  1012.   int retain,error;
  1013.   uint length;
  1014.   char save_char,*end_of_line,*start_of_line;
  1015.   DBUG_ENTER("convert_pipe");
  1017.   updated=retain=0;
  1018.   reset_buffer();
  1020.   while ((error=fill_buffer_retaining(fileno(in),retain)) > 0)
  1021.   {
  1022.     end_of_line=buffer ;
  1023.     buffer[bufbytes]=0; /* Sentinel  */
  1024.     for (;;)
  1025.     {
  1026.       start_of_line=end_of_line;
  1027.       while (end_of_line[0] != 'n' && end_of_line[0])
  1028. end_of_line++;
  1029.       if (end_of_line == buffer+bufbytes)
  1030.       {
  1031. retain= (int) (end_of_line - start_of_line);
  1032. break; /* No end of line, read more */
  1033.       }
  1034.       save_char=end_of_line[0];
  1035.       end_of_line[0]=0;
  1036.       end_of_line++;
  1037.       if ((length=replace_strings(rep,&out_buff,&out_length,start_of_line)) ==
  1038.   (uint) -1)
  1039. return 1;
  1040.       if (!my_eof)
  1041. out_buff[length++]=save_char; /* Don't write added newline */
  1042.       if (my_fwrite(out,out_buff,length,MYF(MY_WME | MY_NABP)))
  1043. DBUG_RETURN(1);
  1044.     }
  1045.   }
  1046.   DBUG_RETURN(error);
  1047. }
  1050. static int convert_file(rep,name)
  1051. REPLACE *rep;
  1052. my_string name;
  1053. {
  1054.   int error;
  1055.   FILE *in,*out;
  1056.   char dir_buff[FN_REFLEN],*tempname;
  1057.   DBUG_ENTER("convert_file");
  1059.   if (!(in=my_fopen(name,O_RDONLY,MYF(MY_WME))))
  1060.     DBUG_RETURN(1);
  1061.   dirname_part(dir_buff,name);
  1062.   tempname=my_tempnam(dir_buff,"PR",MYF(MY_WME));
  1063.   if (!(out=my_fopen(tempname,(int) (O_WRONLY | O_CREAT),
  1064.      MYF(MY_WME))))
  1065.   {
  1066.     (*free)(tempname);
  1067.     my_fclose(in,MYF(0));
  1068.     DBUG_RETURN(1);
  1069.   }
  1071.   error=convert_pipe(rep,in,out);
  1072.   my_fclose(in,MYF(0)); my_fclose(out,MYF(0));
  1074.   if (updated && ! error)
  1075.     my_redel(name,tempname,MYF(MY_WME | MY_LINK_WARNING));
  1076.   else
  1077.     my_delete(tempname,MYF(MY_WME));
  1078.   (*free)(tempname);
  1079.   if (!silent && ! error)
  1080.   {
  1081.     if (updated)
  1082.       printf("%s convertedn",name);
  1083.     else if (verbose)
  1084.       printf("%s left unchangedn",name);
  1085.   }
  1086.   DBUG_RETURN(error);
  1087. }