ft_boolean_search.c
上传用户:romrleung
上传日期:2022-05-23
资源大小:18897k
文件大小:20k
源码类别:

MySQL数据库

开发平台:

Visual C++

  1. /* Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
  2.    This program is free software; you can redistribute it and/or modify
  3.    it under the terms of the GNU General Public License as published by
  4.    the Free Software Foundation; either version 2 of the License, or
  5.    (at your option) any later version.
  6.    This program is distributed in the hope that it will be useful,
  7.    but WITHOUT ANY WARRANTY; without even the implied warranty of
  8.    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  9.    GNU General Public License for more details.
  10.    You should have received a copy of the GNU General Public License
  11.    along with this program; if not, write to the Free Software
  12.    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA */
  13. /* Written by Sergei A. Golubchik, who has a shared copyright to this code */
  14. /*  TODO: add caching - pre-read several index entries at once */
  15. #define FT_CORE
  16. #include "ftdefs.h"
  17. /* search with boolean queries */
  18. static double _wghts[11]=
  19. {
  20.   0.131687242798354,
  21.   0.197530864197531,
  22.   0.296296296296296,
  23.   0.444444444444444,
  24.   0.666666666666667,
  25.   1.000000000000000,
  26.   1.500000000000000,
  27.   2.250000000000000,
  28.   3.375000000000000,
  29.   5.062500000000000,
  30.   7.593750000000000};
  31. static double *wghts=_wghts+5; /* wghts[i] = 1.5**i */
  32. static double _nwghts[11]=
  33. {
  34.  -0.065843621399177,
  35.  -0.098765432098766,
  36.  -0.148148148148148,
  37.  -0.222222222222222,
  38.  -0.333333333333334,
  39.  -0.500000000000000,
  40.  -0.750000000000000,
  41.  -1.125000000000000,
  42.  -1.687500000000000,
  43.  -2.531250000000000,
  44.  -3.796875000000000};
  45. static double *nwghts=_nwghts+5; /* nwghts[i] = -0.5*1.5**i */
  46. #define FTB_FLAG_TRUNC 1
  47. /* At most one of the following flags can be set */
  48. #define FTB_FLAG_YES   2
  49. #define FTB_FLAG_NO    4
  50. #define FTB_FLAG_WONLY 8
  51. typedef struct st_ftb_expr FTB_EXPR;
  52. struct st_ftb_expr
  53. {
  54.   FTB_EXPR *up;
  55.   uint      flags;
  56. /* ^^^^^^^^^^^^^^^^^^ FTB_{EXPR,WORD} common section */
  57.   my_off_t  docid[2];
  58.   float     weight;
  59.   float     cur_weight;
  60.   byte     *quot, *qend;
  61.   uint      yesses;               /* number of "yes" words matched */
  62.   uint      nos;                  /* number of "no"  words matched */
  63.   uint      ythresh;              /* number of "yes" words in expr */
  64.   uint      yweaks;               /* number of "yes" words for scan only */
  65. };
  66. typedef struct st_ftb_word
  67. {
  68.   FTB_EXPR  *up;
  69.   uint       flags;
  70. /* ^^^^^^^^^^^^^^^^^^ FTB_{EXPR,WORD} common section */
  71.   my_off_t   docid[2];             /* for index search and for scan */
  72.   my_off_t   key_root;
  73.   MI_KEYDEF *keyinfo;
  74.   float      weight;
  75.   uint       ndepth;
  76.   uint       len;
  77.   uchar      off;
  78.   byte       word[1];
  79. } FTB_WORD;
  80. typedef struct st_ft_info
  81. {
  82.   struct _ft_vft *please;
  83.   MI_INFO   *info;
  84.   CHARSET_INFO *charset;
  85.   FTB_EXPR  *root;
  86.   FTB_WORD **list;
  87.   MEM_ROOT   mem_root;
  88.   QUEUE      queue;
  89.   TREE       no_dupes;
  90.   my_off_t   lastpos;
  91.   uint       keynr;
  92.   uchar      with_scan;
  93.   enum { UNINITIALIZED, READY, INDEX_SEARCH, INDEX_DONE } state;
  94. } FTB;
  95. static int FTB_WORD_cmp(my_off_t *v, FTB_WORD *a, FTB_WORD *b)
  96. {
  97.   int i;
  98.   /* if a==curdoc, take it as  a < b */
  99.   if (v && a->docid[0] == *v)
  100.     return -1;
  101.   /* ORDER BY docid, ndepth DESC */
  102.   i=CMP_NUM(a->docid[0], b->docid[0]);
  103.   if (!i)
  104.     i=CMP_NUM(b->ndepth,a->ndepth);
  105.   return i;
  106. }
  107. static int FTB_WORD_cmp_list(CHARSET_INFO *cs, FTB_WORD **a, FTB_WORD **b)
  108. {
  109.   /* ORDER BY word DESC, ndepth DESC */
  110.   int i= mi_compare_text(cs, (uchar*) (*b)->word+1,(*b)->len-1,
  111.                              (uchar*) (*a)->word+1,(*a)->len-1,0,0);
  112.   if (!i)
  113.     i=CMP_NUM((*b)->ndepth,(*a)->ndepth);
  114.   return i;
  115. }
  116. static void _ftb_parse_query(FTB *ftb, byte **start, byte *end,
  117.                       FTB_EXPR *up, uint depth)
  118. {
  119.   byte        res;
  120.   FTB_PARAM   param;
  121.   FT_WORD     w;
  122.   FTB_WORD   *ftbw;
  123.   FTB_EXPR   *ftbe;
  124.   uint  extra=HA_FT_WLEN+ftb->info->s->rec_reflength; /* just a shortcut */
  125.   if (ftb->state != UNINITIALIZED)
  126.     return;
  127.   param.prev=' ';
  128.   param.quot=up->quot;
  129.   while ((res=ft_get_word(ftb->charset,start,end,&w,&param)))
  130.   {
  131.     int   r=param.plusminus;
  132.     float weight= (float) (param.pmsign ? nwghts : wghts)[(r>5)?5:((r<-5)?-5:r)];
  133.     switch (res) {
  134.       case 1: /* word found */
  135.         ftbw=(FTB_WORD *)alloc_root(&ftb->mem_root,
  136.                                     sizeof(FTB_WORD) +
  137.                                     (param.trunc ? MI_MAX_KEY_BUFF :
  138.                                      w.len*ftb->charset->mbmaxlen+extra));
  139.         ftbw->len=w.len+1;
  140.         ftbw->flags=0;
  141.         ftbw->off=0;
  142.         if (param.yesno>0) ftbw->flags|=FTB_FLAG_YES;
  143.         if (param.yesno<0) ftbw->flags|=FTB_FLAG_NO;
  144.         if (param.trunc)   ftbw->flags|=FTB_FLAG_TRUNC;
  145.         ftbw->weight=weight;
  146.         ftbw->up=up;
  147.         ftbw->docid[0]=ftbw->docid[1]=HA_OFFSET_ERROR;
  148.         ftbw->ndepth= (param.yesno<0) + depth;
  149.         ftbw->key_root=HA_OFFSET_ERROR;
  150.         memcpy(ftbw->word+1, w.pos, w.len);
  151.         ftbw->word[0]=w.len;
  152.         if (param.yesno > 0) up->ythresh++;
  153.         queue_insert(& ftb->queue, (byte *)ftbw);
  154.         ftb->with_scan|=(param.trunc & FTB_FLAG_TRUNC);
  155.         break;
  156.       case 2: /* left bracket */
  157.         ftbe=(FTB_EXPR *)alloc_root(&ftb->mem_root, sizeof(FTB_EXPR));
  158.         ftbe->flags=0;
  159.         if (param.yesno>0) ftbe->flags|=FTB_FLAG_YES;
  160.         if (param.yesno<0) ftbe->flags|=FTB_FLAG_NO;
  161.         ftbe->weight=weight;
  162.         ftbe->up=up;
  163.         ftbe->ythresh=ftbe->yweaks=0;
  164.         ftbe->docid[0]=ftbe->docid[1]=HA_OFFSET_ERROR;
  165.         if ((ftbe->quot=param.quot)) ftb->with_scan|=2;
  166.         if (param.yesno > 0) up->ythresh++;
  167.         _ftb_parse_query(ftb, start, end, ftbe, depth+1);
  168.         param.quot=0;
  169.         break;
  170.       case 3: /* right bracket */
  171.         if (up->quot) up->qend=param.quot;
  172.         return;
  173.     }
  174.   }
  175.   return;
  176. }
  177. static int _ftb_no_dupes_cmp(void* not_used __attribute__((unused)),
  178.                              const void *a,const void *b)
  179. {
  180.   return CMP_NUM((*((my_off_t*)a)), (*((my_off_t*)b)));
  181. }
  182. /* returns 1 if the search was finished (must-word wasn't found) */
  183. static int _ft2_search(FTB *ftb, FTB_WORD *ftbw, my_bool init_search)
  184. {
  185.   int r;
  186.   int subkeys=1;
  187.   my_bool can_go_down;
  188.   MI_INFO *info=ftb->info;
  189.   uint off, extra=HA_FT_WLEN+info->s->base.rec_reflength;
  190.   byte *lastkey_buf=ftbw->word+ftbw->off;
  191.   LINT_INIT(off);
  192.   if (ftbw->flags & FTB_FLAG_TRUNC)
  193.     lastkey_buf+=ftbw->len;
  194.   if (init_search)
  195.   {
  196.     ftbw->key_root=info->s->state.key_root[ftb->keynr];
  197.     ftbw->keyinfo=info->s->keyinfo+ftb->keynr;
  198.     r=_mi_search(info, ftbw->keyinfo, (uchar*) ftbw->word, ftbw->len,
  199.                  SEARCH_FIND | SEARCH_BIGGER, ftbw->key_root);
  200.   }
  201.   else
  202.   {
  203.     r=_mi_search(info, ftbw->keyinfo, (uchar*) lastkey_buf,
  204.                    USE_WHOLE_KEY, SEARCH_BIGGER, ftbw->key_root);
  205.   }
  206.   can_go_down=(!ftbw->off && (init_search || (ftbw->flags & FTB_FLAG_TRUNC)));
  207.   /* Skip rows inserted by concurrent insert */
  208.   while (!r)
  209.   {
  210.     if (can_go_down)
  211.     {
  212.       /* going down ? */
  213.       off=info->lastkey_length-extra;
  214.       subkeys=ft_sintXkorr(info->lastkey+off);
  215.     }
  216.     if (subkeys<0 || info->lastpos < info->state->data_file_length)
  217.       break;
  218.     r= _mi_search_next(info, ftbw->keyinfo, info->lastkey,
  219.                        info->lastkey_length,
  220.        SEARCH_BIGGER, ftbw->key_root);
  221.   }
  222.   if (!r && !ftbw->off)
  223.   {
  224.     r= mi_compare_text(ftb->charset,
  225.                        info->lastkey+1,
  226.                        info->lastkey_length-extra-1,
  227.               (uchar*) ftbw->word+1,
  228.                        ftbw->len-1,
  229.              (my_bool) (ftbw->flags & FTB_FLAG_TRUNC),0);
  230.   }
  231.   if (r) /* not found */
  232.   {
  233.     if (!ftbw->off || !(ftbw->flags & FTB_FLAG_TRUNC))
  234.     {
  235.       ftbw->docid[0]=HA_OFFSET_ERROR;
  236.       if ((ftbw->flags & FTB_FLAG_YES) && ftbw->up->up==0)
  237.       {
  238.         /*
  239.           This word MUST BE present in every document returned,
  240.           so we can stop the search right now
  241.         */
  242.         ftb->state=INDEX_DONE;
  243.         return 1; /* search is done */
  244.       }
  245.       else
  246.         return 0;
  247.     }
  248.     /* going up to the first-level tree to continue search there */
  249.     _mi_dpointer(info, (uchar*) (lastkey_buf+HA_FT_WLEN), ftbw->key_root);
  250.     ftbw->key_root=info->s->state.key_root[ftb->keynr];
  251.     ftbw->keyinfo=info->s->keyinfo+ftb->keynr;
  252.     ftbw->off=0;
  253.     return _ft2_search(ftb, ftbw, 0);
  254.   }
  255.   /* matching key found */
  256.   memcpy(lastkey_buf, info->lastkey, info->lastkey_length);
  257.   if (lastkey_buf == ftbw->word)
  258.     ftbw->len=info->lastkey_length-extra;
  259.   /* going down ? */
  260.   if (subkeys<0)
  261.   {
  262.     /*
  263.       yep, going down, to the second-level tree
  264.       TODO here: subkey-based optimization
  265.     */
  266.     ftbw->off=off;
  267.     ftbw->key_root=info->lastpos;
  268.     ftbw->keyinfo=& info->s->ft2_keyinfo;
  269.     r=_mi_search_first(info, ftbw->keyinfo, ftbw->key_root);
  270.     DBUG_ASSERT(r==0);  /* found something */
  271.     memcpy(lastkey_buf+off, info->lastkey, info->lastkey_length);
  272.   }
  273.   ftbw->docid[0]=info->lastpos;
  274.   return 0;
  275. }
  276. static void _ftb_init_index_search(FT_INFO *ftb)
  277. {
  278.   int i;
  279.   FTB_WORD   *ftbw;
  280.   if ((ftb->state != READY && ftb->state !=INDEX_DONE) ||
  281.       ftb->keynr == NO_SUCH_KEY)
  282.     return;
  283.   ftb->state=INDEX_SEARCH;
  284.   for (i=ftb->queue.elements; i; i--)
  285.   {
  286.     ftbw=(FTB_WORD *)(ftb->queue.root[i]);
  287.     if (ftbw->flags & FTB_FLAG_TRUNC)
  288.     {
  289.       /*
  290.         special treatment for truncation operator
  291.         1. there are some (besides this) +words
  292.            | no need to search in the index, it can never ADD new rows
  293.            | to the result, and to remove half-matched rows we do scan anyway
  294.         2. -trunc*
  295.            | same as 1.
  296.         3. in 1 and 2, +/- need not be on the same expr. level,
  297.            but can be on any upper level, as in +word +(trunc1* trunc2*)
  298.         4. otherwise
  299.            | We have to index-search for this prefix.
  300.            | It may cause duplicates, as in the index (sorted by <word,docid>)
  301.            |   <aaaa,row1>
  302.            |   <aabb,row2>
  303.            |   <aacc,row1>
  304.            | Searching for "aa*" will find row1 twice...
  305.       */
  306.       FTB_EXPR *ftbe;
  307.       for (ftbe=(FTB_EXPR*)ftbw;
  308.            ftbe->up && !(ftbe->up->flags & FTB_FLAG_TRUNC);
  309.            ftbe->up->flags|= FTB_FLAG_TRUNC, ftbe=ftbe->up)
  310.       {
  311.         if (ftbe->flags & FTB_FLAG_NO ||                     /* 2 */
  312.              ftbe->up->ythresh - ftbe->up->yweaks >1)        /* 1 */
  313.         {
  314.           FTB_EXPR *top_ftbe=ftbe->up;
  315.           ftbw->docid[0]=HA_OFFSET_ERROR;
  316.           for (ftbe=(FTB_EXPR *)ftbw;
  317.                ftbe != top_ftbe && !(ftbe->flags & FTB_FLAG_NO);
  318.                ftbe=ftbe->up)
  319.               ftbe->up->yweaks++;
  320.           ftbe=0;
  321.           break;
  322.         }
  323.       }
  324.       if (!ftbe)
  325.         continue;
  326.       /* 4 */
  327.       if (!is_tree_inited(& ftb->no_dupes))
  328.         init_tree(& ftb->no_dupes,0,0,sizeof(my_off_t),
  329.             _ftb_no_dupes_cmp,0,0,0);
  330.       else
  331.         reset_tree(& ftb->no_dupes);
  332.     }
  333.     ftbw->off=0; /* in case of reinit */
  334.     if (_ft2_search(ftb, ftbw, 1))
  335.       return;
  336.   }
  337.   queue_fix(& ftb->queue);
  338. }
  339. FT_INFO * ft_init_boolean_search(MI_INFO *info, uint keynr, byte *query,
  340.                                  uint query_len, CHARSET_INFO *cs)
  341. {
  342.   FTB       *ftb;
  343.   FTB_EXPR  *ftbe;
  344.   uint       res;
  345.   if (!(ftb=(FTB *)my_malloc(sizeof(FTB), MYF(MY_WME))))
  346.     return 0;
  347.   ftb->please= (struct _ft_vft *) & _ft_vft_boolean;
  348.   ftb->state=UNINITIALIZED;
  349.   ftb->info=info;
  350.   ftb->keynr=keynr;
  351.   ftb->charset=cs;
  352.   DBUG_ASSERT(keynr==NO_SUCH_KEY || cs == info->s->keyinfo[keynr].seg->charset);
  353.   ftb->with_scan=0;
  354.   ftb->lastpos=HA_OFFSET_ERROR;
  355.   bzero(& ftb->no_dupes, sizeof(TREE));
  356.   init_alloc_root(&ftb->mem_root, 1024, 1024);
  357.   /*
  358.     Hack: instead of init_queue, we'll use reinit queue to be able
  359.     to alloc queue with alloc_root()
  360.   */
  361.   res=ftb->queue.max_elements=1+query_len/2;
  362.   if (!(ftb->queue.root=
  363.         (byte **)alloc_root(&ftb->mem_root, (res+1)*sizeof(void*))))
  364.     goto err;
  365.   reinit_queue(& ftb->queue, res, 0, 0,
  366.                          (int (*)(void*,byte*,byte*))FTB_WORD_cmp, 0);
  367.   if (!(ftbe=(FTB_EXPR *)alloc_root(&ftb->mem_root, sizeof(FTB_EXPR))))
  368.     goto err;
  369.   ftbe->weight=1;
  370.   ftbe->flags=FTB_FLAG_YES;
  371.   ftbe->nos=1;
  372.   ftbe->quot=0;
  373.   ftbe->up=0;
  374.   ftbe->ythresh=ftbe->yweaks=0;
  375.   ftbe->docid[0]=ftbe->docid[1]=HA_OFFSET_ERROR;
  376.   ftb->root=ftbe;
  377.   _ftb_parse_query(ftb, &query, query+query_len, ftbe, 0);
  378.   ftb->list=(FTB_WORD **)alloc_root(&ftb->mem_root,
  379.                                      sizeof(FTB_WORD *)*ftb->queue.elements);
  380.   memcpy(ftb->list, ftb->queue.root+1, sizeof(FTB_WORD *)*ftb->queue.elements);
  381.   qsort2(ftb->list, ftb->queue.elements, sizeof(FTB_WORD *),
  382.                               (qsort2_cmp)FTB_WORD_cmp_list, ftb->charset);
  383.   if (ftb->queue.elements<2) ftb->with_scan &= ~FTB_FLAG_TRUNC;
  384.   ftb->state=READY;
  385.   return ftb;
  386. err:
  387.   free_root(& ftb->mem_root, MYF(0));
  388.   my_free((gptr)ftb,MYF(0));
  389.   return 0;
  390. }
  391. /* returns 1 if str0 ~= /bstr1b/ */
  392. static int _ftb_strstr(const byte *s0, const byte *e0,
  393.                 const byte *s1, const byte *e1,
  394.                 CHARSET_INFO *cs)
  395. {
  396.   const byte *p0= s0;
  397.   my_bool s_after= true_word_char(cs, s1[0]);
  398.   my_bool e_before= true_word_char(cs, e1[-1]);
  399.   uint p0_len;
  400.   my_match_t m[2];
  401.   while (p0 < e0)
  402.   {
  403.     if (cs->coll->instr(cs, p0, e0 - p0, s1, e1 - s1, m, 2) != 2)
  404.       return(0);
  405.     if ((!s_after || p0 + m[1].beg == s0 || !true_word_char(cs, p0[m[1].beg-1])) &&
  406.         (!e_before || p0 + m[1].end == e0 || !true_word_char(cs, p0[m[1].end])))
  407.       return(1);
  408.     p0+= m[1].beg;
  409.     p0+= (p0_len= my_mbcharlen(cs, *(uchar *)p0)) ? p0_len : 1;
  410.   }
  411.   return(0);
  412. }
  413. static void _ftb_climb_the_tree(FTB *ftb, FTB_WORD *ftbw, FT_SEG_ITERATOR *ftsi_orig)
  414. {
  415.   FT_SEG_ITERATOR ftsi;
  416.   FTB_EXPR *ftbe;
  417.   float weight=ftbw->weight;
  418.   int  yn=ftbw->flags, ythresh, mode=(ftsi_orig != 0);
  419.   my_off_t curdoc=ftbw->docid[mode];
  420.   for (ftbe=ftbw->up; ftbe; ftbe=ftbe->up)
  421.   {
  422.     ythresh = ftbe->ythresh - (mode ? 0 : ftbe->yweaks);
  423.     if (ftbe->docid[mode] != curdoc)
  424.     {
  425.       ftbe->cur_weight=0;
  426.       ftbe->yesses=ftbe->nos=0;
  427.       ftbe->docid[mode]=curdoc;
  428.     }
  429.     if (ftbe->nos)
  430.       break;
  431.     if (yn & FTB_FLAG_YES)
  432.     {
  433.       weight /= ftbe->ythresh;
  434.       ftbe->cur_weight += weight;
  435.       if ((int) ++ftbe->yesses == ythresh)
  436.       {
  437.         yn=ftbe->flags;
  438.         weight=ftbe->cur_weight*ftbe->weight;
  439.         if (mode && ftbe->quot)
  440.         {
  441.           int not_found=1;
  442.           memcpy(&ftsi, ftsi_orig, sizeof(ftsi));
  443.           while (_mi_ft_segiterator(&ftsi) && not_found)
  444.           {
  445.             if (!ftsi.pos)
  446.               continue;
  447.             not_found = ! _ftb_strstr(ftsi.pos, ftsi.pos+ftsi.len,
  448.                                       ftbe->quot, ftbe->qend, ftb->charset);
  449.           }
  450.           if (not_found) break;
  451.         } /* ftbe->quot */
  452.       }
  453.       else
  454.         break;
  455.     }
  456.     else
  457.     if (yn & FTB_FLAG_NO)
  458.     {
  459.       /*
  460.         NOTE: special sort function of queue assures that all
  461.         (yn & FTB_FLAG_NO) != 0
  462.         events for every particular subexpression will
  463.         "auto-magically" happen BEFORE all the
  464.         (yn & FTB_FLAG_YES) != 0 events. So no
  465.         already matched expression can become not-matched again.
  466.       */
  467.       ++ftbe->nos;
  468.       break;
  469.     }
  470.     else
  471.     {
  472.       if (ftbe->ythresh)
  473.         weight/=3;
  474.       ftbe->cur_weight +=  weight;
  475.       if ((int) ftbe->yesses < ythresh)
  476.         break;
  477.       if (!(yn & FTB_FLAG_WONLY))
  478.         yn= ((int) ftbe->yesses++ == ythresh) ? ftbe->flags : FTB_FLAG_WONLY ;
  479.       weight*= ftbe->weight;
  480.     }
  481.   }
  482. }
  483. int ft_boolean_read_next(FT_INFO *ftb, char *record)
  484. {
  485.   FTB_EXPR  *ftbe;
  486.   FTB_WORD  *ftbw;
  487.   MI_INFO   *info=ftb->info;
  488.   my_off_t   curdoc;
  489.   if (ftb->state != INDEX_SEARCH && ftb->state != INDEX_DONE)
  490.     return -1;
  491.   /* black magic ON */
  492.   if ((int) _mi_check_index(info, ftb->keynr) < 0)
  493.     return my_errno;
  494.   if (_mi_readinfo(info, F_RDLCK, 1))
  495.     return my_errno;
  496.   /* black magic OFF */
  497.   if (!ftb->queue.elements)
  498.     return my_errno=HA_ERR_END_OF_FILE;
  499.   /* Attention!!! Address of a local variable is used here! See err: label */
  500.   ftb->queue.first_cmp_arg=(void *)&curdoc;
  501.   while (ftb->state == INDEX_SEARCH &&
  502.          (curdoc=((FTB_WORD *)queue_top(& ftb->queue))->docid[0]) !=
  503.          HA_OFFSET_ERROR)
  504.   {
  505.     while (curdoc == (ftbw=(FTB_WORD *)queue_top(& ftb->queue))->docid[0])
  506.     {
  507.       _ftb_climb_the_tree(ftb, ftbw, 0);
  508.       /* update queue */
  509.       _ft2_search(ftb, ftbw, 0);
  510.       queue_replaced(& ftb->queue);
  511.     }
  512.     ftbe=ftb->root;
  513.     if (ftbe->docid[0]==curdoc && ftbe->cur_weight>0 &&
  514.         ftbe->yesses>=(ftbe->ythresh-ftbe->yweaks) && !ftbe->nos)
  515.     {
  516.       /* curdoc matched ! */
  517.       if (is_tree_inited(&ftb->no_dupes) &&
  518.           tree_insert(&ftb->no_dupes, &curdoc, 0,
  519.                       ftb->no_dupes.custom_arg)->count >1)
  520.         /* but it managed already to get past this line once */
  521.         continue;
  522.       info->lastpos=curdoc;
  523.       /* Clear all states, except that the table was updated */
  524.       info->update&= (HA_STATE_CHANGED | HA_STATE_ROW_CHANGED);
  525.       if (!(*info->read_record)(info,curdoc,record))
  526.       {
  527.         info->update|= HA_STATE_AKTIV;          /* Record is read */
  528.         if (ftb->with_scan && ft_boolean_find_relevance(ftb,record,0)==0)
  529.             continue; /* no match */
  530.         my_errno=0;
  531.         goto err;
  532.       }
  533.       goto err;
  534.     }
  535.   }
  536.   ftb->state=INDEX_DONE;
  537.   my_errno=HA_ERR_END_OF_FILE;
  538. err:
  539.   ftb->queue.first_cmp_arg=(void *)0;
  540.   return my_errno;
  541. }
  542. float ft_boolean_find_relevance(FT_INFO *ftb, byte *record, uint length)
  543. {
  544.   FT_WORD word;
  545.   FTB_WORD *ftbw;
  546.   FTB_EXPR *ftbe;
  547.   FT_SEG_ITERATOR ftsi, ftsi2;
  548.   const byte *end;
  549.   my_off_t  docid=ftb->info->lastpos;
  550.   if (docid == HA_OFFSET_ERROR)
  551.     return -2.0;
  552.   if (!ftb->queue.elements)
  553.     return 0;
  554.   if (ftb->state != INDEX_SEARCH && docid <= ftb->lastpos)
  555.   {
  556.     FTB_EXPR *x;
  557.     uint i;
  558.     for (i=0; i < ftb->queue.elements; i++)
  559.     {
  560.       ftb->list[i]->docid[1]=HA_OFFSET_ERROR;
  561.       for (x=ftb->list[i]->up; x; x=x->up)
  562.         x->docid[1]=HA_OFFSET_ERROR;
  563.     }
  564.   }
  565.   ftb->lastpos=docid;
  566.   if (ftb->keynr==NO_SUCH_KEY)
  567.     _mi_ft_segiterator_dummy_init(record, length, &ftsi);
  568.   else
  569.     _mi_ft_segiterator_init(ftb->info, ftb->keynr, record, &ftsi);
  570.   memcpy(&ftsi2, &ftsi, sizeof(ftsi));
  571.   while (_mi_ft_segiterator(&ftsi))
  572.   {
  573.     if (!ftsi.pos)
  574.       continue;
  575.     end=ftsi.pos+ftsi.len;
  576.     while (ft_simple_get_word(ftb->charset,
  577.                               (byte **) &ftsi.pos, (byte *) end, &word))
  578.     {
  579.       int a, b, c;
  580.       for (a=0, b=ftb->queue.elements, c=(a+b)/2; b-a>1; c=(a+b)/2)
  581.       {
  582.         ftbw=ftb->list[c];
  583.         if (mi_compare_text(ftb->charset, (uchar*) word.pos, word.len,
  584.                             (uchar*) ftbw->word+1, ftbw->len-1,
  585.                             (my_bool) (ftbw->flags&FTB_FLAG_TRUNC),0) >0)
  586.           b=c;
  587.         else
  588.           a=c;
  589.       }
  590.       for (; c>=0; c--)
  591.       {
  592.         ftbw=ftb->list[c];
  593.         if (mi_compare_text(ftb->charset, (uchar*) word.pos, word.len,
  594.                             (uchar*) ftbw->word+1,ftbw->len-1,
  595.                             (my_bool) (ftbw->flags&FTB_FLAG_TRUNC),0))
  596.           break;
  597.         if (ftbw->docid[1] == docid)
  598.           continue;
  599.         ftbw->docid[1]=docid;
  600.         _ftb_climb_the_tree(ftb, ftbw, &ftsi2);
  601.       }
  602.     }
  603.   }
  604.   ftbe=ftb->root;
  605.   if (ftbe->docid[1]==docid && ftbe->cur_weight>0 &&
  606.       ftbe->yesses>=ftbe->ythresh && !ftbe->nos)
  607.   { /* row matched ! */
  608.     return ftbe->cur_weight;
  609.   }
  610.   else
  611.   { /* match failed ! */
  612.     return 0.0;
  613.   }
  614. }
  615. void ft_boolean_close_search(FT_INFO *ftb)
  616. {
  617.   if (is_tree_inited(& ftb->no_dupes))
  618.   {
  619.     delete_tree(& ftb->no_dupes);
  620.   }
  621.   free_root(& ftb->mem_root, MYF(0));
  622.   my_free((gptr)ftb,MYF(0));
  623. }
  624. float ft_boolean_get_relevance(FT_INFO *ftb)
  625. {
  626.   return ftb->root->cur_weight;
  627. }
  628. void ft_boolean_reinit_search(FT_INFO *ftb)
  629. {
  630.   _ftb_init_index_search(ftb);
  631. }