mi_check.c
上传用户:romrleung
上传日期:2022-05-23
资源大小:18897k
文件大小:134k
源码类别:

MySQL数据库

开发平台:

Visual C++

  1.     if ((!(param->testflag & T_SILENT)))
  2.       printf ("- Fixing index %dn",sort_param.key+1);
  3.     sort_param.max_pos=sort_param.pos=share->pack.header_length;
  4.     keyseg=sort_param.seg;
  5.     bzero((char*) sort_param.unique,sizeof(sort_param.unique));
  6.     sort_param.key_length=share->rec_reflength;
  7.     for (i=0 ; keyseg[i].type != HA_KEYTYPE_END; i++)
  8.     {
  9.       sort_param.key_length+=keyseg[i].length;
  10.       if (keyseg[i].flag & HA_SPACE_PACK)
  11. sort_param.key_length+=get_pack_length(keyseg[i].length);
  12.       if (keyseg[i].flag & (HA_BLOB_PART | HA_VAR_LENGTH))
  13. sort_param.key_length+=2 + test(keyseg[i].length >= 127);
  14.       if (keyseg[i].flag & HA_NULL_PART)
  15. sort_param.key_length++;
  16.     }
  17.     info->state->records=info->state->del=share->state.split=0;
  18.     info->state->empty=0;
  19.     if (sort_param.keyinfo->flag & HA_FULLTEXT)
  20.     {
  21.       uint ft_max_word_len_for_sort=FT_MAX_WORD_LEN_FOR_SORT*
  22.                                     sort_param.keyinfo->seg->charset->mbmaxlen;
  23.       sort_info.max_records=
  24.         (ha_rows) (sort_info.filelength/ft_min_word_len+1);
  25.       sort_param.key_read=sort_ft_key_read;
  26.       sort_param.key_write=sort_ft_key_write;
  27.       sort_param.key_length+=ft_max_word_len_for_sort-HA_FT_MAXBYTELEN;
  28.     }
  29.     else
  30.     {
  31.       sort_param.key_read=sort_key_read;
  32.       sort_param.key_write=sort_key_write;
  33.     }
  34.     if (_create_index_by_sort(&sort_param,
  35.       (my_bool) (!(param->testflag & T_VERBOSE)),
  36.       (uint) param->sort_buffer_length))
  37.     {
  38.       param->retry_repair=1;
  39.       goto err;
  40.     }
  41.     param->calc_checksum=0; /* No need to calc glob_crc */
  42.     /* Set for next loop */
  43.     sort_info.max_records= (ha_rows) info->state->records;
  44.     if (param->testflag & T_STATISTICS)
  45.       update_key_parts(sort_param.keyinfo, rec_per_key_part, sort_param.unique,
  46.                        param->stats_method == MI_STATS_METHOD_IGNORE_NULLS?
  47.                        sort_param.notnull: NULL,(ulonglong) info->state->records);
  48.     share->state.key_map|=(ulonglong) 1 << sort_param.key;
  49.     if (sort_param.fix_datafile)
  50.     {
  51.       param->read_cache.end_of_file=sort_param.filepos;
  52.       if (write_data_suffix(&sort_info,1) || end_io_cache(&info->rec_cache))
  53. goto err;
  54.       if (param->testflag & T_SAFE_REPAIR)
  55.       {
  56. /* Don't repair if we loosed more than one row */
  57. if (info->state->records+1 < start_records)
  58. {
  59.   info->state->records=start_records;
  60.   goto err;
  61. }
  62.       }
  63.       share->state.state.data_file_length = info->state->data_file_length=
  64. sort_param.filepos;
  65.       /* Only whole records */
  66.       share->state.version=(ulong) time((time_t*) 0);
  67.       my_close(info->dfile,MYF(0));
  68.       info->dfile=new_file;
  69.       share->data_file_type=sort_info.new_data_file_type;
  70.       share->pack.header_length=(ulong) new_header_length;
  71.       sort_param.fix_datafile=0;
  72.     }
  73.     else
  74.       info->state->data_file_length=sort_param.max_pos;
  75.     param->read_cache.file=info->dfile; /* re-init read cache */
  76.     reinit_io_cache(&param->read_cache,READ_CACHE,share->pack.header_length,
  77.                     1,1);
  78.   }
  79.   if (param->testflag & T_WRITE_LOOP)
  80.   {
  81.     VOID(fputs("          r",stdout)); VOID(fflush(stdout));
  82.   }
  83.   if (rep_quick && del+sort_info.dupp != info->state->del)
  84.   {
  85.     mi_check_print_error(param,"Couldn't fix table with quick recovery: Found wrong number of deleted records");
  86.     mi_check_print_error(param,"Run recovery again without -q");
  87.     got_error=1;
  88.     param->retry_repair=1;
  89.     param->testflag|=T_RETRY_WITHOUT_QUICK;
  90.     goto err;
  91.   }
  92.   if (rep_quick & T_FORCE_UNIQUENESS)
  93.   {
  94.     my_off_t skr=info->state->data_file_length+
  95.       (share->options & HA_OPTION_COMPRESS_RECORD ?
  96.        MEMMAP_EXTRA_MARGIN : 0);
  97. #ifdef USE_RELOC
  98.     if (share->data_file_type == STATIC_RECORD &&
  99. skr < share->base.reloc*share->base.min_pack_length)
  100.       skr=share->base.reloc*share->base.min_pack_length;
  101. #endif
  102.     if (skr != sort_info.filelength && !info->s->base.raid_type)
  103.       if (my_chsize(info->dfile,skr,0,MYF(0)))
  104. mi_check_print_warning(param,
  105.        "Can't change size of datafile,  error: %d",
  106.        my_errno);
  107.   }
  108.   if (param->testflag & T_CALC_CHECKSUM)
  109.     share->state.checksum=param->glob_crc;
  110.   if (my_chsize(share->kfile,info->state->key_file_length,0,MYF(0)))
  111.     mi_check_print_warning(param,
  112.    "Can't change size of indexfile, error: %d",
  113.    my_errno);
  114.   if (!(param->testflag & T_SILENT))
  115.   {
  116.     if (start_records != info->state->records)
  117.       printf("Data records: %sn", llstr(info->state->records,llbuff));
  118.     if (sort_info.dupp)
  119.       mi_check_print_warning(param,
  120.      "%s records have been removed",
  121.      llstr(sort_info.dupp,llbuff));
  122.   }
  123.   got_error=0;
  124.   if (&share->state.state != info->state)
  125.     memcpy( &share->state.state, info->state, sizeof(*info->state));
  126. err:
  127.   got_error|= flush_blocks(param, share->key_cache, share->kfile);
  128.   VOID(end_io_cache(&info->rec_cache));
  129.   if (!got_error)
  130.   {
  131.     /* Replace the actual file with the temporary file */
  132.     if (new_file >= 0)
  133.     {
  134.       my_close(new_file,MYF(0));
  135.       info->dfile=new_file= -1;
  136.       if (change_to_newfile(share->data_file_name,MI_NAME_DEXT,
  137.     DATA_TMP_EXT, share->base.raid_chunks,
  138.     (param->testflag & T_BACKUP_DATA ?
  139.      MYF(MY_REDEL_MAKE_BACKUP): MYF(0))) ||
  140.   mi_open_datafile(info,share,-1))
  141. got_error=1;
  142.     }
  143.   }
  144.   if (got_error)
  145.   {
  146.     if (! param->error_printed)
  147.       mi_check_print_error(param,"%d when fixing table",my_errno);
  148.     if (new_file >= 0)
  149.     {
  150.       VOID(my_close(new_file,MYF(0)));
  151.       VOID(my_raid_delete(param->temp_filename,share->base.raid_chunks,
  152.   MYF(MY_WME)));
  153.       if (info->dfile == new_file)
  154. info->dfile= -1;
  155.     }
  156.     mi_mark_crashed_on_repair(info);
  157.   }
  158.   else if (key_map == share->state.key_map)
  159.     share->state.changed&= ~STATE_NOT_OPTIMIZED_KEYS;
  160.   share->state.changed|=STATE_NOT_SORTED_PAGES;
  161.   my_free(mi_get_rec_buff_ptr(info, sort_param.rec_buff),
  162.                             MYF(MY_ALLOW_ZERO_PTR));
  163.   my_free(sort_param.record,MYF(MY_ALLOW_ZERO_PTR));
  164.   my_free((gptr) sort_info.key_block,MYF(MY_ALLOW_ZERO_PTR));
  165.   my_free((gptr) sort_info.ft_buf, MYF(MY_ALLOW_ZERO_PTR));
  166.   my_free(sort_info.buff,MYF(MY_ALLOW_ZERO_PTR));
  167.   VOID(end_io_cache(&param->read_cache));
  168.   info->opt_flag&= ~(READ_CACHE_USED | WRITE_CACHE_USED);
  169.   if (!got_error && (param->testflag & T_UNPACK))
  170.   {
  171.     share->state.header.options[0]&= (uchar) ~HA_OPTION_COMPRESS_RECORD;
  172.     share->pack.header_length=0;
  173.   }
  174.   DBUG_RETURN(got_error);
  175. }
  176. /*
  177.   Threaded repair of table using sorting
  178.   SYNOPSIS
  179.     mi_repair_parallel()
  180.     param Repair parameters
  181.     info MyISAM handler to repair
  182.     name Name of table (for warnings)
  183.     rep_quick set to <> 0 if we should not change data file
  184.   DESCRIPTION
  185.     Same as mi_repair_by_sort but do it multithreaded
  186.     Each key is handled by a separate thread.
  187.     TODO: make a number of threads a parameter
  188.   RESULT
  189.     0 ok
  190.     <>0 Error
  191. */
  192. int mi_repair_parallel(MI_CHECK *param, register MI_INFO *info,
  193. const char * name, int rep_quick)
  194. {
  195. #ifndef THREAD
  196.   return mi_repair_by_sort(param, info, name, rep_quick);
  197. #else
  198.   int got_error;
  199.   uint i,key, total_key_length, istep;
  200.   ulong rec_length;
  201.   ha_rows start_records;
  202.   my_off_t new_header_length,del;
  203.   File new_file;
  204.   MI_SORT_PARAM *sort_param=0;
  205.   MYISAM_SHARE *share=info->s;
  206.   ulong   *rec_per_key_part;
  207.   HA_KEYSEG *keyseg;
  208.   char llbuff[22];
  209.   IO_CACHE_SHARE io_share;
  210.   SORT_INFO sort_info;
  211.   ulonglong key_map=share->state.key_map;
  212.   pthread_attr_t thr_attr;
  213.   DBUG_ENTER("mi_repair_parallel");
  214.   start_records=info->state->records;
  215.   got_error=1;
  216.   new_file= -1;
  217.   new_header_length=(param->testflag & T_UNPACK) ? 0 :
  218.     share->pack.header_length;
  219.   if (!(param->testflag & T_SILENT))
  220.   {
  221.     printf("- parallel recovering (with sort) MyISAM-table '%s'n",name);
  222.     printf("Data records: %sn", llstr(start_records,llbuff));
  223.   }
  224.   param->testflag|=T_REP; /* for easy checking */
  225.   if (info->s->options & (HA_OPTION_CHECKSUM | HA_OPTION_COMPRESS_RECORD))
  226.     param->testflag|=T_CALC_CHECKSUM;
  227.   bzero((char*)&sort_info,sizeof(sort_info));
  228.   if (!(sort_info.key_block=
  229. alloc_key_blocks(param,
  230.  (uint) param->sort_key_blocks,
  231.  share->base.max_key_block_length))
  232.       || init_io_cache(&param->read_cache,info->dfile,
  233.        (uint) param->read_buffer_length,
  234.        READ_CACHE,share->pack.header_length,1,MYF(MY_WME)) ||
  235.       (! rep_quick &&
  236.        init_io_cache(&info->rec_cache,info->dfile,
  237.      (uint) param->write_buffer_length,
  238.      WRITE_CACHE,new_header_length,1,
  239.      MYF(MY_WME | MY_WAIT_IF_FULL) & param->myf_rw)))
  240.     goto err;
  241.   sort_info.key_block_end=sort_info.key_block+param->sort_key_blocks;
  242.   info->opt_flag|=WRITE_CACHE_USED;
  243.   info->rec_cache.file=info->dfile;         /* for sort_delete_record */
  244.   if (!rep_quick)
  245.   {
  246.     /* Get real path for data file */
  247.     if ((new_file=my_raid_create(fn_format(param->temp_filename,
  248.    share->data_file_name, "",
  249.    DATA_TMP_EXT,
  250.    2+4),
  251.  0,param->tmpfile_createflag,
  252.  share->base.raid_type,
  253.  share->base.raid_chunks,
  254.  share->base.raid_chunksize,
  255.  MYF(0))) < 0)
  256.     {
  257.       mi_check_print_error(param,"Can't create new tempfile: '%s'",
  258.    param->temp_filename);
  259.       goto err;
  260.     }
  261.     if (filecopy(param, new_file,info->dfile,0L,new_header_length,
  262.  "datafile-header"))
  263.       goto err;
  264.     if (param->testflag & T_UNPACK)
  265.     {
  266.       share->options&= ~HA_OPTION_COMPRESS_RECORD;
  267.       mi_int2store(share->state.header.options,share->options);
  268.     }
  269.     share->state.dellink= HA_OFFSET_ERROR;
  270.     info->rec_cache.file=new_file;
  271.   }
  272.   info->update= (short) (HA_STATE_CHANGED | HA_STATE_ROW_CHANGED);
  273.   if (!(param->testflag & T_CREATE_MISSING_KEYS))
  274.   {
  275.     /*
  276.       Flush key cache for this file if we are calling this outside
  277.       myisamchk
  278.     */
  279.     flush_key_blocks(share->key_cache,share->kfile, FLUSH_IGNORE_CHANGED);
  280.     /* Clear the pointers to the given rows */
  281.     for (i=0 ; i < share->base.keys ; i++)
  282.       share->state.key_root[i]= HA_OFFSET_ERROR;
  283.     for (i=0 ; i < share->state.header.max_block_size ; i++)
  284.       share->state.key_del[i]=  HA_OFFSET_ERROR;
  285.     info->state->key_file_length=share->base.keystart;
  286.   }
  287.   else
  288.   {
  289.     if (flush_key_blocks(share->key_cache,share->kfile, FLUSH_FORCE_WRITE))
  290.       goto err;
  291.     key_map= ~key_map; /* Create the missing keys */
  292.   }
  293.   sort_info.info=info;
  294.   sort_info.param = param;
  295.   set_data_file_type(&sort_info, share);
  296.   sort_info.dupp=0;
  297.   sort_info.buff=0;
  298.   param->read_cache.end_of_file=sort_info.filelength=
  299.     my_seek(param->read_cache.file,0L,MY_SEEK_END,MYF(0));
  300.   if (share->data_file_type == DYNAMIC_RECORD)
  301.     rec_length=max(share->base.min_pack_length+1,share->base.min_block_length);
  302.   else if (share->data_file_type == COMPRESSED_RECORD)
  303.     rec_length=share->base.min_block_length;
  304.   else
  305.     rec_length=share->base.pack_reclength;
  306.   /*
  307.     +1 below is required hack for parallel repair mode.
  308.     The info->state->records value, that is compared later
  309.     to sort_info.max_records and cannot exceed it, is
  310.     increased in sort_key_write. In mi_repair_by_sort, sort_key_write
  311.     is called after sort_key_read, where the comparison is performed,
  312.     but in parallel mode master thread can call sort_key_write
  313.     before some other repair thread calls sort_key_read.
  314.     Furthermore I'm not even sure +1 would be enough.
  315.     May be sort_info.max_records shold be always set to max value in
  316.     parallel mode.
  317.   */
  318.   sort_info.max_records=
  319.     ((param->testflag & T_CREATE_MISSING_KEYS) ? info->state->records + 1:
  320.      (ha_rows) (sort_info.filelength/rec_length+1));
  321.   del=info->state->del;
  322.   param->glob_crc=0;
  323.   if (param->testflag & T_CALC_CHECKSUM)
  324.     param->calc_checksum=1;
  325.   if (!(sort_param=(MI_SORT_PARAM *)
  326.         my_malloc((uint) share->base.keys *
  327.   (sizeof(MI_SORT_PARAM) + share->base.pack_reclength),
  328.   MYF(MY_ZEROFILL))))
  329.   {
  330.     mi_check_print_error(param,"Not enough memory for key!");
  331.     goto err;
  332.   }
  333.   total_key_length=0;
  334.   rec_per_key_part= param->rec_per_key_part;
  335.   info->state->records=info->state->del=share->state.split=0;
  336.   info->state->empty=0;
  337.   for (i=key=0, istep=1 ; key < share->base.keys ;
  338.        rec_per_key_part+=sort_param[i].keyinfo->keysegs, i+=istep, key++)
  339.   {
  340.     sort_param[i].key=key;
  341.     sort_param[i].keyinfo=share->keyinfo+key;
  342.     sort_param[i].seg=sort_param[i].keyinfo->seg;
  343.     if (!(((ulonglong) 1 << key) & key_map))
  344.     {
  345.       /* Remember old statistics for key */
  346.       memcpy((char*) rec_per_key_part,
  347.      (char*) (share->state.rec_per_key_part+
  348.       (uint) (rec_per_key_part - param->rec_per_key_part)),
  349.      sort_param[i].keyinfo->keysegs*sizeof(*rec_per_key_part));
  350.       istep=0;
  351.       continue;
  352.     }
  353.     istep=1;
  354.     if ((!(param->testflag & T_SILENT)))
  355.       printf ("- Fixing index %dn",key+1);
  356.     if (sort_param[i].keyinfo->flag & HA_FULLTEXT)
  357.     {
  358.       sort_param[i].key_read=sort_ft_key_read;
  359.       sort_param[i].key_write=sort_ft_key_write;
  360.     }
  361.     else
  362.     {
  363.       sort_param[i].key_read=sort_key_read;
  364.       sort_param[i].key_write=sort_key_write;
  365.     }
  366.     sort_param[i].key_cmp=sort_key_cmp;
  367.     sort_param[i].lock_in_memory=lock_memory;
  368.     sort_param[i].tmpdir=param->tmpdir;
  369.     sort_param[i].sort_info=&sort_info;
  370.     sort_param[i].master=0;
  371.     sort_param[i].fix_datafile=0;
  372.     sort_param[i].filepos=new_header_length;
  373.     sort_param[i].max_pos=sort_param[i].pos=share->pack.header_length;
  374.     sort_param[i].record= (((char *)(sort_param+share->base.keys))+
  375.    (share->base.pack_reclength * i));
  376.     if (!mi_alloc_rec_buff(info, -1, &sort_param[i].rec_buff))
  377.     {
  378.       mi_check_print_error(param,"Not enough memory!");
  379.       goto err;
  380.     }
  381.     sort_param[i].key_length=share->rec_reflength;
  382.     for (keyseg=sort_param[i].seg; keyseg->type != HA_KEYTYPE_END;
  383.  keyseg++)
  384.     {
  385.       sort_param[i].key_length+=keyseg->length;
  386.       if (keyseg->flag & HA_SPACE_PACK)
  387.         sort_param[i].key_length+=get_pack_length(keyseg->length);
  388.       if (keyseg->flag & (HA_BLOB_PART | HA_VAR_LENGTH))
  389.         sort_param[i].key_length+=2 + test(keyseg->length >= 127);
  390.       if (keyseg->flag & HA_NULL_PART)
  391.         sort_param[i].key_length++;
  392.     }
  393.     total_key_length+=sort_param[i].key_length;
  394.     if (sort_param[i].keyinfo->flag & HA_FULLTEXT)
  395.     {
  396.       uint ft_max_word_len_for_sort=FT_MAX_WORD_LEN_FOR_SORT*
  397.                                     sort_param[i].keyinfo->seg->charset->mbmaxlen;
  398.       sort_param[i].key_length+=ft_max_word_len_for_sort-HA_FT_MAXBYTELEN;
  399.     }
  400.   }
  401.   sort_info.total_keys=i;
  402.   sort_param[0].master= 1;
  403.   sort_param[0].fix_datafile= (my_bool)(! rep_quick);
  404.   sort_info.got_error=0;
  405.   pthread_mutex_init(&sort_info.mutex, MY_MUTEX_INIT_FAST);
  406.   pthread_cond_init(&sort_info.cond, 0);
  407.   pthread_mutex_lock(&sort_info.mutex);
  408.   init_io_cache_share(&param->read_cache, &io_share, i);
  409.   (void) pthread_attr_init(&thr_attr);
  410.   (void) pthread_attr_setdetachstate(&thr_attr,PTHREAD_CREATE_DETACHED);
  411.   for (i=0 ; i < sort_info.total_keys ; i++)
  412.   {
  413.     sort_param[i].read_cache=param->read_cache;
  414.     /*
  415.       two approaches: the same amount of memory for each thread
  416.       or the memory for the same number of keys for each thread...
  417.       In the second one all the threads will fill their sort_buffers
  418.       (and call write_keys) at the same time, putting more stress on i/o.
  419.     */
  420.     sort_param[i].sortbuff_size=
  421. #ifndef USING_SECOND_APPROACH
  422.       param->sort_buffer_length/sort_info.total_keys;
  423. #else
  424.       param->sort_buffer_length*sort_param[i].key_length/total_key_length;
  425. #endif
  426.     if (pthread_create(&sort_param[i].thr, &thr_attr,
  427.        thr_find_all_keys,
  428.        (void *) (sort_param+i)))
  429.     {
  430.       mi_check_print_error(param,"Cannot start a repair thread");
  431.       remove_io_thread(&param->read_cache);
  432.       sort_info.got_error=1;
  433.     }
  434.     else
  435.       sort_info.threads_running++;
  436.   }
  437.   (void) pthread_attr_destroy(&thr_attr);
  438.   /* waiting for all threads to finish */
  439.   while (sort_info.threads_running)
  440.     pthread_cond_wait(&sort_info.cond, &sort_info.mutex);
  441.   pthread_mutex_unlock(&sort_info.mutex);
  442.   if ((got_error= thr_write_keys(sort_param)))
  443.   {
  444.     param->retry_repair=1;
  445.     goto err;
  446.   }
  447.   got_error=1; /* Assume the following may go wrong */
  448.   if (sort_param[0].fix_datafile)
  449.   {
  450.     if (write_data_suffix(&sort_info,1) || end_io_cache(&info->rec_cache))
  451.       goto err;
  452.     if (param->testflag & T_SAFE_REPAIR)
  453.     {
  454.       /* Don't repair if we loosed more than one row */
  455.       if (info->state->records+1 < start_records)
  456.       {
  457.         info->state->records=start_records;
  458.         goto err;
  459.       }
  460.     }
  461.     share->state.state.data_file_length= info->state->data_file_length=
  462.       sort_param->filepos;
  463.     /* Only whole records */
  464.     share->state.version=(ulong) time((time_t*) 0);
  465.     my_close(info->dfile,MYF(0));
  466.     info->dfile=new_file;
  467.     share->data_file_type=sort_info.new_data_file_type;
  468.     share->pack.header_length=(ulong) new_header_length;
  469.   }
  470.   else
  471.     info->state->data_file_length=sort_param->max_pos;
  472.   if (rep_quick && del+sort_info.dupp != info->state->del)
  473.   {
  474.     mi_check_print_error(param,"Couldn't fix table with quick recovery: Found wrong number of deleted records");
  475.     mi_check_print_error(param,"Run recovery again without -q");
  476.     param->retry_repair=1;
  477.     param->testflag|=T_RETRY_WITHOUT_QUICK;
  478.     goto err;
  479.   }
  480.   if (rep_quick & T_FORCE_UNIQUENESS)
  481.   {
  482.     my_off_t skr=info->state->data_file_length+
  483.       (share->options & HA_OPTION_COMPRESS_RECORD ?
  484.        MEMMAP_EXTRA_MARGIN : 0);
  485. #ifdef USE_RELOC
  486.     if (share->data_file_type == STATIC_RECORD &&
  487. skr < share->base.reloc*share->base.min_pack_length)
  488.       skr=share->base.reloc*share->base.min_pack_length;
  489. #endif
  490.     if (skr != sort_info.filelength && !info->s->base.raid_type)
  491.       if (my_chsize(info->dfile,skr,0,MYF(0)))
  492. mi_check_print_warning(param,
  493.        "Can't change size of datafile,  error: %d",
  494.        my_errno);
  495.   }
  496.   if (param->testflag & T_CALC_CHECKSUM)
  497.     share->state.checksum=param->glob_crc;
  498.   if (my_chsize(share->kfile,info->state->key_file_length,0,MYF(0)))
  499.     mi_check_print_warning(param,
  500.    "Can't change size of indexfile, error: %d", my_errno);
  501.   if (!(param->testflag & T_SILENT))
  502.   {
  503.     if (start_records != info->state->records)
  504.       printf("Data records: %sn", llstr(info->state->records,llbuff));
  505.     if (sort_info.dupp)
  506.       mi_check_print_warning(param,
  507.      "%s records have been removed",
  508.      llstr(sort_info.dupp,llbuff));
  509.   }
  510.   got_error=0;
  511.   if (&share->state.state != info->state)
  512.     memcpy(&share->state.state, info->state, sizeof(*info->state));
  513. err:
  514.   got_error|= flush_blocks(param, share->key_cache, share->kfile);
  515.   VOID(end_io_cache(&info->rec_cache));
  516.   if (!got_error)
  517.   {
  518.     /* Replace the actual file with the temporary file */
  519.     if (new_file >= 0)
  520.     {
  521.       my_close(new_file,MYF(0));
  522.       info->dfile=new_file= -1;
  523.       if (change_to_newfile(share->data_file_name,MI_NAME_DEXT,
  524.     DATA_TMP_EXT, share->base.raid_chunks,
  525.     (param->testflag & T_BACKUP_DATA ?
  526.      MYF(MY_REDEL_MAKE_BACKUP): MYF(0))) ||
  527.   mi_open_datafile(info,share,-1))
  528. got_error=1;
  529.     }
  530.   }
  531.   if (got_error)
  532.   {
  533.     if (! param->error_printed)
  534.       mi_check_print_error(param,"%d when fixing table",my_errno);
  535.     if (new_file >= 0)
  536.     {
  537.       VOID(my_close(new_file,MYF(0)));
  538.       VOID(my_raid_delete(param->temp_filename,share->base.raid_chunks,
  539.   MYF(MY_WME)));
  540.       if (info->dfile == new_file)
  541. info->dfile= -1;
  542.     }
  543.     mi_mark_crashed_on_repair(info);
  544.   }
  545.   else if (key_map == share->state.key_map)
  546.     share->state.changed&= ~STATE_NOT_OPTIMIZED_KEYS;
  547.   share->state.changed|=STATE_NOT_SORTED_PAGES;
  548.   pthread_cond_destroy (&sort_info.cond);
  549.   pthread_mutex_destroy(&sort_info.mutex);
  550.   my_free((gptr) sort_info.ft_buf, MYF(MY_ALLOW_ZERO_PTR));
  551.   my_free((gptr) sort_info.key_block,MYF(MY_ALLOW_ZERO_PTR));
  552.   my_free((gptr) sort_param,MYF(MY_ALLOW_ZERO_PTR));
  553.   my_free(sort_info.buff,MYF(MY_ALLOW_ZERO_PTR));
  554.   VOID(end_io_cache(&param->read_cache));
  555.   info->opt_flag&= ~(READ_CACHE_USED | WRITE_CACHE_USED);
  556.   if (!got_error && (param->testflag & T_UNPACK))
  557.   {
  558.     share->state.header.options[0]&= (uchar) ~HA_OPTION_COMPRESS_RECORD;
  559.     share->pack.header_length=0;
  560.   }
  561.   DBUG_RETURN(got_error);
  562. #endif /* THREAD */
  563. }
  564. /* Read next record and return next key */
  565. static int sort_key_read(MI_SORT_PARAM *sort_param, void *key)
  566. {
  567.   int error;
  568.   SORT_INFO *sort_info=sort_param->sort_info;
  569.   MI_INFO *info=sort_info->info;
  570.   DBUG_ENTER("sort_key_read");
  571.   if ((error=sort_get_next_record(sort_param)))
  572.     DBUG_RETURN(error);
  573.   if (info->state->records == sort_info->max_records)
  574.   {
  575.     mi_check_print_error(sort_info->param,
  576.  "Key %d - Found too many records; Can't continue",
  577.                          sort_param->key+1);
  578.     DBUG_RETURN(1);
  579.   }
  580.   sort_param->real_key_length=
  581.     (info->s->rec_reflength+
  582.      _mi_make_key(info, sort_param->key, (uchar*) key,
  583.   sort_param->record, sort_param->filepos));
  584. #ifdef HAVE_purify
  585.   bzero(key+sort_param->real_key_length,
  586. (sort_param->key_length-sort_param->real_key_length));
  587. #endif
  588.   DBUG_RETURN(sort_write_record(sort_param));
  589. } /* sort_key_read */
  590. static int sort_ft_key_read(MI_SORT_PARAM *sort_param, void *key)
  591. {
  592.   int error;
  593.   SORT_INFO *sort_info=sort_param->sort_info;
  594.   MI_INFO *info=sort_info->info;
  595.   FT_WORD *wptr=0;
  596.   DBUG_ENTER("sort_ft_key_read");
  597.   if (!sort_param->wordlist)
  598.   {
  599.     for (;;)
  600.     {
  601.       my_free((char*) wptr, MYF(MY_ALLOW_ZERO_PTR));
  602.       if ((error=sort_get_next_record(sort_param)))
  603.         DBUG_RETURN(error);
  604.       if (!(wptr=_mi_ft_parserecord(info,sort_param->key,sort_param->record)))
  605.         DBUG_RETURN(1);
  606.       if (wptr->pos)
  607.         break;
  608.       error=sort_write_record(sort_param);
  609.     }
  610.     sort_param->wordptr=sort_param->wordlist=wptr;
  611.   }
  612.   else
  613.   {
  614.     error=0;
  615.     wptr=(FT_WORD*)(sort_param->wordptr);
  616.   }
  617.   sort_param->real_key_length=(info->s->rec_reflength+
  618.        _ft_make_key(info, sort_param->key,
  619.     key, wptr++, sort_param->filepos));
  620. #ifdef HAVE_purify
  621.   if (sort_param->key_length > sort_param->real_key_length)
  622.     bzero(key+sort_param->real_key_length,
  623.   (sort_param->key_length-sort_param->real_key_length));
  624. #endif
  625.   if (!wptr->pos)
  626.   {
  627.     my_free((char*) sort_param->wordlist, MYF(0));
  628.     sort_param->wordlist=0;
  629.     error=sort_write_record(sort_param);
  630.   }
  631.   else
  632.     sort_param->wordptr=(void*)wptr;
  633.   DBUG_RETURN(error);
  634. } /* sort_ft_key_read */
  635. /* Read next record from file using parameters in sort_info */
  636. /* Return -1 if end of file, 0 if ok and > 0 if error */
  637. static int sort_get_next_record(MI_SORT_PARAM *sort_param)
  638. {
  639.   int searching;
  640.   uint found_record,b_type,left_length;
  641.   my_off_t pos;
  642.   byte *to;
  643.   MI_BLOCK_INFO block_info;
  644.   SORT_INFO *sort_info=sort_param->sort_info;
  645.   MI_CHECK *param=sort_info->param;
  646.   MI_INFO *info=sort_info->info;
  647.   MYISAM_SHARE *share=info->s;
  648.   char llbuff[22],llbuff2[22];
  649.   DBUG_ENTER("sort_get_next_record");
  650.   if (*killed_ptr(param))
  651.     DBUG_RETURN(1);
  652.   switch (share->data_file_type) {
  653.   case STATIC_RECORD:
  654.     for (;;)
  655.     {
  656.       if (my_b_read(&sort_param->read_cache,sort_param->record,
  657.     share->base.pack_reclength))
  658.       {
  659. if (sort_param->read_cache.error)
  660.   param->out_flag |= O_DATA_LOST;
  661.         param->retry_repair=1;
  662.         param->testflag|=T_RETRY_WITHOUT_QUICK;
  663. DBUG_RETURN(-1);
  664.       }
  665.       sort_param->start_recpos=sort_param->pos;
  666.       if (!sort_param->fix_datafile)
  667.       {
  668. sort_param->filepos=sort_param->pos;
  669.         if (sort_param->master)
  670.   share->state.split++;
  671.       }
  672.       sort_param->max_pos=(sort_param->pos+=share->base.pack_reclength);
  673.       if (*sort_param->record)
  674.       {
  675. if (param->calc_checksum)
  676.   param->glob_crc+= (info->checksum=
  677.      mi_static_checksum(info,sort_param->record));
  678. DBUG_RETURN(0);
  679.       }
  680.       if (!sort_param->fix_datafile && sort_param->master)
  681.       {
  682. info->state->del++;
  683. info->state->empty+=share->base.pack_reclength;
  684.       }
  685.     }
  686.   case DYNAMIC_RECORD:
  687.     LINT_INIT(to);
  688.     pos=sort_param->pos;
  689.     searching=(sort_param->fix_datafile && (param->testflag & T_EXTEND));
  690.     for (;;)
  691.     {
  692.       found_record=block_info.second_read= 0;
  693.       left_length=1;
  694.       if (searching)
  695.       {
  696. pos=MY_ALIGN(pos,MI_DYN_ALIGN_SIZE);
  697.         param->testflag|=T_RETRY_WITHOUT_QUICK;
  698. sort_param->start_recpos=pos;
  699.       }
  700.       do
  701.       {
  702. if (pos > sort_param->max_pos)
  703.   sort_param->max_pos=pos;
  704. if (pos & (MI_DYN_ALIGN_SIZE-1))
  705. {
  706.   if ((param->testflag & T_VERBOSE) || searching == 0)
  707.     mi_check_print_info(param,"Wrong aligned block at %s",
  708. llstr(pos,llbuff));
  709.   if (searching)
  710.     goto try_next;
  711. }
  712. if (found_record && pos == param->search_after_block)
  713.   mi_check_print_info(param,"Block: %s used by record at %s",
  714.      llstr(param->search_after_block,llbuff),
  715.      llstr(sort_param->start_recpos,llbuff2));
  716. if (_mi_read_cache(&sort_param->read_cache,
  717.                            (byte*) block_info.header,pos,
  718.    MI_BLOCK_INFO_HEADER_LENGTH,
  719.    (! found_record ? READING_NEXT : 0) |
  720.    READING_HEADER))
  721. {
  722.   if (found_record)
  723.   {
  724.     mi_check_print_info(param,
  725. "Can't read whole record at %s (errno: %d)",
  726. llstr(sort_param->start_recpos,llbuff),errno);
  727.     goto try_next;
  728.   }
  729.   DBUG_RETURN(-1);
  730. }
  731. if (searching && ! sort_param->fix_datafile)
  732. {
  733.   param->error_printed=1;
  734.           param->retry_repair=1;
  735.           param->testflag|=T_RETRY_WITHOUT_QUICK;
  736.   DBUG_RETURN(1); /* Something wrong with data */
  737. }
  738. b_type=_mi_get_block_info(&block_info,-1,pos);
  739. if ((b_type & (BLOCK_ERROR | BLOCK_FATAL_ERROR)) ||
  740.    ((b_type & BLOCK_FIRST) &&
  741.      (block_info.rec_len < (uint) share->base.min_pack_length ||
  742.       block_info.rec_len > (uint) share->base.max_pack_length)))
  743. {
  744.   uint i;
  745.   if (param->testflag & T_VERBOSE || searching == 0)
  746.     mi_check_print_info(param,
  747. "Wrong bytesec: %3d-%3d-%3d at %10s; Skipped",
  748.        block_info.header[0],block_info.header[1],
  749.        block_info.header[2],llstr(pos,llbuff));
  750.   if (found_record)
  751.     goto try_next;
  752.   block_info.second_read=0;
  753.   searching=1;
  754.   /* Search after block in read header string */
  755.   for (i=MI_DYN_ALIGN_SIZE ;
  756.        i < MI_BLOCK_INFO_HEADER_LENGTH ;
  757.        i+= MI_DYN_ALIGN_SIZE)
  758.     if (block_info.header[i] >= 1 &&
  759. block_info.header[i] <= MI_MAX_DYN_HEADER_BYTE)
  760.       break;
  761.   pos+=(ulong) i;
  762.   sort_param->start_recpos=pos;
  763.   continue;
  764. }
  765. if (b_type & BLOCK_DELETED)
  766. {
  767.   bool error=0;
  768.   if (block_info.block_len+ (uint) (block_info.filepos-pos) <
  769.       share->base.min_block_length)
  770.   {
  771.     if (!searching)
  772.       mi_check_print_info(param,
  773.   "Deleted block with impossible length %u at %s",
  774.   block_info.block_len,llstr(pos,llbuff));
  775.     error=1;
  776.   }
  777.   else
  778.   {
  779.     if ((block_info.next_filepos != HA_OFFSET_ERROR &&
  780.  block_info.next_filepos >=
  781.  info->state->data_file_length) ||
  782. (block_info.prev_filepos != HA_OFFSET_ERROR &&
  783.  block_info.prev_filepos >= info->state->data_file_length))
  784.     {
  785.       if (!searching)
  786. mi_check_print_info(param,
  787.     "Delete link points outside datafile at %s",
  788.     llstr(pos,llbuff));
  789.       error=1;
  790.     }
  791.   }
  792.   if (error)
  793.   {
  794.     if (found_record)
  795.       goto try_next;
  796.     searching=1;
  797.     pos+= MI_DYN_ALIGN_SIZE;
  798.     sort_param->start_recpos=pos;
  799.     block_info.second_read=0;
  800.     continue;
  801.   }
  802. }
  803. else
  804. {
  805.   if (block_info.block_len+ (uint) (block_info.filepos-pos) <
  806.       share->base.min_block_length ||
  807.       block_info.block_len > (uint) share->base.max_pack_length+
  808.       MI_SPLIT_LENGTH)
  809.   {
  810.     if (!searching)
  811.       mi_check_print_info(param,
  812.   "Found block with impossible length %u at %s; Skipped",
  813.   block_info.block_len+ (uint) (block_info.filepos-pos),
  814.   llstr(pos,llbuff));
  815.     if (found_record)
  816.       goto try_next;
  817.     searching=1;
  818.     pos+= MI_DYN_ALIGN_SIZE;
  819.     sort_param->start_recpos=pos;
  820.     block_info.second_read=0;
  821.     continue;
  822.   }
  823. }
  824. if (b_type & (BLOCK_DELETED | BLOCK_SYNC_ERROR))
  825. {
  826.           if (!sort_param->fix_datafile && sort_param->master &&
  827.               (b_type & BLOCK_DELETED))
  828.   {
  829.     info->state->empty+=block_info.block_len;
  830.     info->state->del++;
  831.     share->state.split++;
  832.   }
  833.   if (found_record)
  834.     goto try_next;
  835.   if (searching)
  836.   {
  837.     pos+=MI_DYN_ALIGN_SIZE;
  838.     sort_param->start_recpos=pos;
  839.   }
  840.   else
  841.     pos=block_info.filepos+block_info.block_len;
  842.   block_info.second_read=0;
  843.   continue;
  844. }
  845. if (!sort_param->fix_datafile && sort_param->master)
  846.   share->state.split++;
  847. if (! found_record++)
  848. {
  849.   sort_param->find_length=left_length=block_info.rec_len;
  850.   sort_param->start_recpos=pos;
  851.   if (!sort_param->fix_datafile)
  852.     sort_param->filepos=sort_param->start_recpos;
  853.   if (sort_param->fix_datafile && (param->testflag & T_EXTEND))
  854.     sort_param->pos=block_info.filepos+1;
  855.   else
  856.     sort_param->pos=block_info.filepos+block_info.block_len;
  857.   if (share->base.blobs)
  858.   {
  859.     if (!(to=mi_alloc_rec_buff(info,block_info.rec_len,
  860.        &(sort_param->rec_buff))))
  861.     {
  862.       if (param->max_record_length >= block_info.rec_len)
  863.       {
  864. mi_check_print_error(param,"Not enough memory for blob at %s (need %lu)",
  865.      llstr(sort_param->start_recpos,llbuff),
  866.      (ulong) block_info.rec_len);
  867. DBUG_RETURN(1);
  868.       }
  869.       else
  870.       {
  871. mi_check_print_info(param,"Not enough memory for blob at %s (need %lu); Row skipped",
  872.     llstr(sort_param->start_recpos,llbuff),
  873.     (ulong) block_info.rec_len);
  874. goto try_next;
  875.       }
  876.     }
  877.   }
  878.   else
  879.     to= sort_param->rec_buff;
  880. }
  881. if (left_length < block_info.data_len || ! block_info.data_len)
  882. {
  883.   mi_check_print_info(param,
  884.       "Found block with too small length at %s; Skipped",
  885.       llstr(sort_param->start_recpos,llbuff));
  886.   goto try_next;
  887. }
  888. if (block_info.filepos + block_info.data_len >
  889.     sort_param->read_cache.end_of_file)
  890. {
  891.   mi_check_print_info(param,
  892.       "Found block that points outside data file at %s",
  893.       llstr(sort_param->start_recpos,llbuff));
  894.   goto try_next;
  895. }
  896. if (_mi_read_cache(&sort_param->read_cache,to,block_info.filepos,
  897.    block_info.data_len,
  898.    (found_record == 1 ? READING_NEXT : 0)))
  899. {
  900.   mi_check_print_info(param,
  901.       "Read error for block at: %s (error: %d); Skipped",
  902.       llstr(block_info.filepos,llbuff),my_errno);
  903.   goto try_next;
  904. }
  905. left_length-=block_info.data_len;
  906. to+=block_info.data_len;
  907. pos=block_info.next_filepos;
  908. if (pos == HA_OFFSET_ERROR && left_length)
  909. {
  910.   mi_check_print_info(param,"Wrong block with wrong total length starting at %s",
  911.       llstr(sort_param->start_recpos,llbuff));
  912.   goto try_next;
  913. }
  914. if (pos + MI_BLOCK_INFO_HEADER_LENGTH > sort_param->read_cache.end_of_file)
  915. {
  916.   mi_check_print_info(param,"Found link that points at %s (outside data file) at %s",
  917.       llstr(pos,llbuff2),
  918.       llstr(sort_param->start_recpos,llbuff));
  919.   goto try_next;
  920. }
  921.       } while (left_length);
  922.       if (_mi_rec_unpack(info,sort_param->record,sort_param->rec_buff,
  923.  sort_param->find_length) != MY_FILE_ERROR)
  924.       {
  925. if (sort_param->read_cache.error < 0)
  926.   DBUG_RETURN(1);
  927. if (info->s->calc_checksum)
  928.   info->checksum=mi_checksum(info,sort_param->record);
  929. if ((param->testflag & (T_EXTEND | T_REP)) || searching)
  930. {
  931.   if (_mi_rec_check(info, sort_param->record, sort_param->rec_buff,
  932.                             sort_param->find_length,
  933.                             (param->testflag & T_QUICK) &&
  934.                             test(info->s->calc_checksum)))
  935.   {
  936.     mi_check_print_info(param,"Found wrong packed record at %s",
  937. llstr(sort_param->start_recpos,llbuff));
  938.     goto try_next;
  939.   }
  940. }
  941. if (param->calc_checksum)
  942.   param->glob_crc+= info->checksum;
  943. DBUG_RETURN(0);
  944.       }
  945.       if (!searching)
  946.         mi_check_print_info(param,"Key %d - Found wrong stored record at %s",
  947.                             sort_param->key+1,
  948.                             llstr(sort_param->start_recpos,llbuff));
  949.     try_next:
  950.       pos=(sort_param->start_recpos+=MI_DYN_ALIGN_SIZE);
  951.       searching=1;
  952.     }
  953.   case COMPRESSED_RECORD:
  954.     for (searching=0 ;; searching=1, sort_param->pos++)
  955.     {
  956.       if (_mi_read_cache(&sort_param->read_cache,(byte*) block_info.header,
  957.  sort_param->pos,
  958.  share->pack.ref_length,READING_NEXT))
  959. DBUG_RETURN(-1);
  960.       if (searching && ! sort_param->fix_datafile)
  961.       {
  962. param->error_printed=1;
  963.         param->retry_repair=1;
  964.         param->testflag|=T_RETRY_WITHOUT_QUICK;
  965. DBUG_RETURN(1); /* Something wrong with data */
  966.       }
  967.       sort_param->start_recpos=sort_param->pos;
  968.       if (_mi_pack_get_block_info(info,&block_info,-1,sort_param->pos))
  969. DBUG_RETURN(-1);
  970.       if (!block_info.rec_len &&
  971.   sort_param->pos + MEMMAP_EXTRA_MARGIN ==
  972.   sort_param->read_cache.end_of_file)
  973. DBUG_RETURN(-1);
  974.       if (block_info.rec_len < (uint) share->min_pack_length ||
  975.   block_info.rec_len > (uint) share->max_pack_length)
  976.       {
  977. if (! searching)
  978.   mi_check_print_info(param,"Found block with wrong recordlength: %d at %sn",
  979.       block_info.rec_len,
  980.       llstr(sort_param->pos,llbuff));
  981. continue;
  982.       }
  983.       if (_mi_read_cache(&sort_param->read_cache,(byte*) sort_param->rec_buff,
  984.  block_info.filepos, block_info.rec_len,
  985.  READING_NEXT))
  986.       {
  987. if (! searching)
  988.   mi_check_print_info(param,"Couldn't read whole record from %s",
  989.       llstr(sort_param->pos,llbuff));
  990. continue;
  991.       }
  992.       if (_mi_pack_rec_unpack(info,sort_param->record,sort_param->rec_buff,
  993.       block_info.rec_len))
  994.       {
  995. if (! searching)
  996.   mi_check_print_info(param,"Found wrong record at %s",
  997.       llstr(sort_param->pos,llbuff));
  998. continue;
  999.       }
  1000.       info->checksum=mi_checksum(info,sort_param->record);
  1001.       if (!sort_param->fix_datafile)
  1002.       {
  1003. sort_param->filepos=sort_param->pos;
  1004.         if (sort_param->master)
  1005.   share->state.split++;
  1006.       }
  1007.       sort_param->max_pos=(sort_param->pos=block_info.filepos+
  1008.  block_info.rec_len);
  1009.       info->packed_length=block_info.rec_len;
  1010.       if (param->calc_checksum)
  1011. param->glob_crc+= info->checksum;
  1012.       DBUG_RETURN(0);
  1013.     }
  1014.   }
  1015.   DBUG_RETURN(1); /* Impossible */
  1016. }
  1017. /* Write record to new file */
  1018. int sort_write_record(MI_SORT_PARAM *sort_param)
  1019. {
  1020.   int flag;
  1021.   uint length;
  1022.   ulong block_length,reclength;
  1023.   byte *from;
  1024.   byte block_buff[8];
  1025.   SORT_INFO *sort_info=sort_param->sort_info;
  1026.   MI_CHECK *param=sort_info->param;
  1027.   MI_INFO *info=sort_info->info;
  1028.   MYISAM_SHARE *share=info->s;
  1029.   DBUG_ENTER("sort_write_record");
  1030.   if (sort_param->fix_datafile)
  1031.   {
  1032.     switch (sort_info->new_data_file_type) {
  1033.     case STATIC_RECORD:
  1034.       if (my_b_write(&info->rec_cache,sort_param->record,
  1035.      share->base.pack_reclength))
  1036.       {
  1037. mi_check_print_error(param,"%d when writing to datafile",my_errno);
  1038. DBUG_RETURN(1);
  1039.       }
  1040.       sort_param->filepos+=share->base.pack_reclength;
  1041.       info->s->state.split++;
  1042.       /* sort_info->param->glob_crc+=mi_static_checksum(info, sort_param->record); */
  1043.       break;
  1044.     case DYNAMIC_RECORD:
  1045.       if (! info->blobs)
  1046. from=sort_param->rec_buff;
  1047.       else
  1048.       {
  1049. /* must be sure that local buffer is big enough */
  1050. reclength=info->s->base.pack_reclength+
  1051.   _my_calc_total_blob_length(info,sort_param->record)+
  1052.   ALIGN_SIZE(MI_MAX_DYN_BLOCK_HEADER)+MI_SPLIT_LENGTH+
  1053.   MI_DYN_DELETE_BLOCK_HEADER;
  1054. if (sort_info->buff_length < reclength)
  1055. {
  1056.   if (!(sort_info->buff=my_realloc(sort_info->buff, (uint) reclength,
  1057.    MYF(MY_FREE_ON_ERROR |
  1058.        MY_ALLOW_ZERO_PTR))))
  1059.     DBUG_RETURN(1);
  1060.   sort_info->buff_length=reclength;
  1061. }
  1062. from=sort_info->buff+ALIGN_SIZE(MI_MAX_DYN_BLOCK_HEADER);
  1063.       }
  1064.       info->checksum=mi_checksum(info,sort_param->record);
  1065.       reclength=_mi_rec_pack(info,from,sort_param->record);
  1066.       flag=0;
  1067.       /* sort_info->param->glob_crc+=info->checksum; */
  1068.       do
  1069.       {
  1070. block_length=reclength+ 3 + test(reclength >= (65520-3));
  1071. if (block_length < share->base.min_block_length)
  1072.   block_length=share->base.min_block_length;
  1073. info->update|=HA_STATE_WRITE_AT_END;
  1074. block_length=MY_ALIGN(block_length,MI_DYN_ALIGN_SIZE);
  1075. if (block_length > MI_MAX_BLOCK_LENGTH)
  1076.   block_length=MI_MAX_BLOCK_LENGTH;
  1077. if (_mi_write_part_record(info,0L,block_length,
  1078.   sort_param->filepos+block_length,
  1079.   &from,&reclength,&flag))
  1080. {
  1081.   mi_check_print_error(param,"%d when writing to datafile",my_errno);
  1082.   DBUG_RETURN(1);
  1083. }
  1084. sort_param->filepos+=block_length;
  1085. info->s->state.split++;
  1086.       } while (reclength);
  1087.       /* sort_info->param->glob_crc+=info->checksum; */
  1088.       break;
  1089.     case COMPRESSED_RECORD:
  1090.       reclength=info->packed_length;
  1091.       length= save_pack_length((uint) share->pack.version, block_buff,
  1092.                                reclength);
  1093.       if (info->s->base.blobs)
  1094. length+= save_pack_length((uint) share->pack.version,
  1095.                           block_buff + length, info->blob_length);
  1096.       if (my_b_write(&info->rec_cache,block_buff,length) ||
  1097.   my_b_write(&info->rec_cache,(byte*) sort_param->rec_buff,reclength))
  1098.       {
  1099. mi_check_print_error(param,"%d when writing to datafile",my_errno);
  1100. DBUG_RETURN(1);
  1101.       }
  1102.       /* sort_info->param->glob_crc+=info->checksum; */
  1103.       sort_param->filepos+=reclength+length;
  1104.       info->s->state.split++;
  1105.       break;
  1106.     }
  1107.   }
  1108.   if (sort_param->master)
  1109.   {
  1110.     info->state->records++;
  1111.     if ((param->testflag & T_WRITE_LOOP) &&
  1112.         (info->state->records % WRITE_COUNT) == 0)
  1113.     {
  1114.       char llbuff[22];
  1115.       printf("%sr", llstr(info->state->records,llbuff));
  1116.       VOID(fflush(stdout));
  1117.     }
  1118.   }
  1119.   DBUG_RETURN(0);
  1120. } /* sort_write_record */
  1121. /* Compare two keys from _create_index_by_sort */
  1122. static int sort_key_cmp(MI_SORT_PARAM *sort_param, const void *a,
  1123. const void *b)
  1124. {
  1125.   uint not_used[2];
  1126.   return (ha_key_cmp(sort_param->seg, *((uchar**) a), *((uchar**) b),
  1127.      USE_WHOLE_KEY, SEARCH_SAME, not_used));
  1128. } /* sort_key_cmp */
  1129. static int sort_key_write(MI_SORT_PARAM *sort_param, const void *a)
  1130. {
  1131.   uint diff_pos[2];
  1132.   char llbuff[22],llbuff2[22];
  1133.   SORT_INFO *sort_info=sort_param->sort_info;
  1134.   MI_CHECK *param= sort_info->param;
  1135.   int cmp;
  1136.   if (sort_info->key_block->inited)
  1137.   {
  1138.     cmp=ha_key_cmp(sort_param->seg,sort_info->key_block->lastkey,
  1139.    (uchar*) a, USE_WHOLE_KEY,SEARCH_FIND | SEARCH_UPDATE,
  1140.    diff_pos);
  1141.     if (param->stats_method == MI_STATS_METHOD_NULLS_NOT_EQUAL)
  1142.       ha_key_cmp(sort_param->seg,sort_info->key_block->lastkey,
  1143.                  (uchar*) a, USE_WHOLE_KEY, 
  1144.                  SEARCH_FIND | SEARCH_NULL_ARE_NOT_EQUAL, diff_pos);
  1145.     else if (param->stats_method == MI_STATS_METHOD_IGNORE_NULLS)
  1146.     {
  1147.       diff_pos[0]= mi_collect_stats_nonulls_next(sort_param->seg,
  1148.                                                  sort_param->notnull,
  1149.                                                  sort_info->key_block->lastkey,
  1150.                                                  (uchar*)a);
  1151.     }
  1152.     sort_param->unique[diff_pos[0]-1]++;
  1153.   }
  1154.   else
  1155.   {
  1156.     cmp= -1;
  1157.     if (param->stats_method == MI_STATS_METHOD_IGNORE_NULLS)
  1158.       mi_collect_stats_nonulls_first(sort_param->seg, sort_param->notnull,
  1159.                                      (uchar*)a);
  1160.   }
  1161.   if ((sort_param->keyinfo->flag & HA_NOSAME) && cmp == 0)
  1162.   {
  1163.     sort_info->dupp++;
  1164.     sort_info->info->lastpos=get_record_for_key(sort_info->info,
  1165. sort_param->keyinfo,
  1166. (uchar*) a);
  1167.     mi_check_print_warning(param,
  1168.    "Duplicate key for record at %10s against record at %10s",
  1169.    llstr(sort_info->info->lastpos,llbuff),
  1170.    llstr(get_record_for_key(sort_info->info,
  1171.     sort_param->keyinfo,
  1172.     sort_info->key_block->
  1173.     lastkey),
  1174.  llbuff2));
  1175.     param->testflag|=T_RETRY_WITHOUT_QUICK;
  1176.     if (sort_info->param->testflag & T_VERBOSE)
  1177.       _mi_print_key(stdout,sort_param->seg,(uchar*) a, USE_WHOLE_KEY);
  1178.     return (sort_delete_record(sort_param));
  1179.   }
  1180. #ifndef DBUG_OFF
  1181.   if (cmp > 0)
  1182.   {
  1183.     mi_check_print_error(param,
  1184.  "Internal error: Keys are not in order from sort");
  1185.     return(1);
  1186.   }
  1187. #endif
  1188.   return (sort_insert_key(sort_param,sort_info->key_block,
  1189.   (uchar*) a, HA_OFFSET_ERROR));
  1190. } /* sort_key_write */
  1191. int sort_ft_buf_flush(MI_SORT_PARAM *sort_param)
  1192. {
  1193.   SORT_INFO *sort_info=sort_param->sort_info;
  1194.   SORT_KEY_BLOCKS *key_block=sort_info->key_block;
  1195.   MYISAM_SHARE *share=sort_info->info->s;
  1196.   uint val_off, val_len;
  1197.   int error;
  1198.   SORT_FT_BUF *ft_buf=sort_info->ft_buf;
  1199.   uchar *from, *to;
  1200.   val_len=share->ft2_keyinfo.keylength;
  1201.   get_key_full_length_rdonly(val_off, ft_buf->lastkey);
  1202.   to=ft_buf->lastkey+val_off;
  1203.   if (ft_buf->buf)
  1204.   {
  1205.     /* flushing first-level tree */
  1206.     error=sort_insert_key(sort_param,key_block,ft_buf->lastkey,
  1207.   HA_OFFSET_ERROR);
  1208.     for (from=to+val_len;
  1209.          !error && from < ft_buf->buf;
  1210.          from+= val_len)
  1211.     {
  1212.       memcpy(to, from, val_len);
  1213.       error=sort_insert_key(sort_param,key_block,ft_buf->lastkey,
  1214.     HA_OFFSET_ERROR);
  1215.     }
  1216.     return error;
  1217.   }
  1218.   /* flushing second-level tree keyblocks */
  1219.   error=flush_pending_blocks(sort_param);
  1220.   /* updating lastkey with second-level tree info */
  1221.   ft_intXstore(ft_buf->lastkey+val_off, -ft_buf->count);
  1222.   _mi_dpointer(sort_info->info, ft_buf->lastkey+val_off+HA_FT_WLEN,
  1223.       share->state.key_root[sort_param->key]);
  1224.   /* restoring first level tree data in sort_info/sort_param */
  1225.   sort_info->key_block=sort_info->key_block_end- sort_info->param->sort_key_blocks;
  1226.   sort_param->keyinfo=share->keyinfo+sort_param->key;
  1227.   share->state.key_root[sort_param->key]=HA_OFFSET_ERROR;
  1228.   /* writing lastkey in first-level tree */
  1229.   return error ? error :
  1230.                  sort_insert_key(sort_param,sort_info->key_block,
  1231.                                  ft_buf->lastkey,HA_OFFSET_ERROR);
  1232. }
  1233. static int sort_ft_key_write(MI_SORT_PARAM *sort_param, const void *a)
  1234. {
  1235.   uint a_len, val_off, val_len, error;
  1236.   uchar *p;
  1237.   SORT_INFO *sort_info=sort_param->sort_info;
  1238.   SORT_FT_BUF *ft_buf=sort_info->ft_buf;
  1239.   SORT_KEY_BLOCKS *key_block=sort_info->key_block;
  1240.   val_len=HA_FT_WLEN+sort_info->info->s->base.rec_reflength;
  1241.   get_key_full_length_rdonly(a_len, (uchar *)a);
  1242.   if (!ft_buf)
  1243.   {
  1244.     /*
  1245.       use two-level tree only if key_reflength fits in rec_reflength place
  1246.       and row format is NOT static - for _mi_dpointer not to garble offsets
  1247.      */
  1248.     if ((sort_info->info->s->base.key_reflength <=
  1249.          sort_info->info->s->base.rec_reflength) &&
  1250.         (sort_info->info->s->options &
  1251.           (HA_OPTION_PACK_RECORD | HA_OPTION_COMPRESS_RECORD)))
  1252.       ft_buf=(SORT_FT_BUF *)my_malloc(sort_param->keyinfo->block_length +
  1253.                                       sizeof(SORT_FT_BUF), MYF(MY_WME));
  1254.     if (!ft_buf)
  1255.     {
  1256.       sort_param->key_write=sort_key_write;
  1257.       return sort_key_write(sort_param, a);
  1258.     }
  1259.     sort_info->ft_buf=ft_buf;
  1260.     goto word_init_ft_buf; /* no need to duplicate the code */
  1261.   }
  1262.   get_key_full_length_rdonly(val_off, ft_buf->lastkey);
  1263.   if (mi_compare_text(sort_param->seg->charset,
  1264.                       ((uchar *)a)+1,a_len-1,
  1265.                       ft_buf->lastkey+1,val_off-1, 0, 0)==0)
  1266.   {
  1267.     if (!ft_buf->buf) /* store in second-level tree */
  1268.     {
  1269.       ft_buf->count++;
  1270.       return sort_insert_key(sort_param,key_block,
  1271.                              ((uchar *)a)+a_len, HA_OFFSET_ERROR);
  1272.     }
  1273.     /* storing the key in the buffer. */
  1274.     memcpy (ft_buf->buf, (char *)a+a_len, val_len);
  1275.     ft_buf->buf+=val_len;
  1276.     if (ft_buf->buf < ft_buf->end)
  1277.       return 0;
  1278.     /* converting to two-level tree */
  1279.     p=ft_buf->lastkey+val_off;
  1280.     while (key_block->inited)
  1281.       key_block++;
  1282.     sort_info->key_block=key_block;
  1283.     sort_param->keyinfo=& sort_info->info->s->ft2_keyinfo;
  1284.     ft_buf->count=(ft_buf->buf - p)/val_len;
  1285.     /* flushing buffer to second-level tree */
  1286.     for (error=0; !error && p < ft_buf->buf; p+= val_len)
  1287.       error=sort_insert_key(sort_param,key_block,p,HA_OFFSET_ERROR);
  1288.     ft_buf->buf=0;
  1289.     return error;
  1290.   }
  1291.   /* flushing buffer */
  1292.   if ((error=sort_ft_buf_flush(sort_param)))
  1293.     return error;
  1294. word_init_ft_buf:
  1295.   a_len+=val_len;
  1296.   memcpy(ft_buf->lastkey, a, a_len);
  1297.   ft_buf->buf=ft_buf->lastkey+a_len;
  1298.   /*
  1299.     32 is just a safety margin here
  1300.     (at least max(val_len, sizeof(nod_flag)) should be there).
  1301.     May be better performance could be achieved if we'd put
  1302.       (sort_info->keyinfo->block_length-32)/XXX
  1303.       instead.
  1304.         TODO: benchmark the best value for XXX.
  1305.   */
  1306.   ft_buf->end=ft_buf->lastkey+ (sort_param->keyinfo->block_length-32);
  1307.   return 0;
  1308. } /* sort_ft_key_write */
  1309. /* get pointer to record from a key */
  1310. static my_off_t get_record_for_key(MI_INFO *info, MI_KEYDEF *keyinfo,
  1311.    uchar *key)
  1312. {
  1313.   return _mi_dpos(info,0,key+_mi_keylength(keyinfo,key));
  1314. } /* get_record_for_key */
  1315. /* Insert a key in sort-key-blocks */
  1316. static int sort_insert_key(MI_SORT_PARAM *sort_param,
  1317.    register SORT_KEY_BLOCKS *key_block, uchar *key,
  1318.    my_off_t prev_block)
  1319. {
  1320.   uint a_length,t_length,nod_flag;
  1321.   my_off_t filepos,key_file_length;
  1322.   uchar *anc_buff,*lastkey;
  1323.   MI_KEY_PARAM s_temp;
  1324.   MI_INFO *info;
  1325.   MI_KEYDEF *keyinfo=sort_param->keyinfo;
  1326.   SORT_INFO *sort_info= sort_param->sort_info;
  1327.   MI_CHECK *param=sort_info->param;
  1328.   DBUG_ENTER("sort_insert_key");
  1329.   anc_buff=key_block->buff;
  1330.   info=sort_info->info;
  1331.   lastkey=key_block->lastkey;
  1332.   nod_flag= (key_block == sort_info->key_block ? 0 :
  1333.      info->s->base.key_reflength);
  1334.   if (!key_block->inited)
  1335.   {
  1336.     key_block->inited=1;
  1337.     if (key_block == sort_info->key_block_end)
  1338.     {
  1339.       mi_check_print_error(param,"To many key-block-levels; Try increasing sort_key_blocks");
  1340.       DBUG_RETURN(1);
  1341.     }
  1342.     a_length=2+nod_flag;
  1343.     key_block->end_pos=anc_buff+2;
  1344.     lastkey=0; /* No previous key in block */
  1345.   }
  1346.   else
  1347.     a_length=mi_getint(anc_buff);
  1348. /* Save pointer to previous block */
  1349.   if (nod_flag)
  1350.     _mi_kpointer(info,key_block->end_pos,prev_block);
  1351.   t_length=(*keyinfo->pack_key)(keyinfo,nod_flag,
  1352. (uchar*) 0,lastkey,lastkey,key,
  1353.  &s_temp);
  1354.   (*keyinfo->store_key)(keyinfo, key_block->end_pos+nod_flag,&s_temp);
  1355.   a_length+=t_length;
  1356.   mi_putint(anc_buff,a_length,nod_flag);
  1357.   key_block->end_pos+=t_length;
  1358.   if (a_length <= keyinfo->block_length)
  1359.   {
  1360.     VOID(_mi_move_key(keyinfo,key_block->lastkey,key));
  1361.     key_block->last_length=a_length-t_length;
  1362.     DBUG_RETURN(0);
  1363.   }
  1364. /* Fill block with end-zero and write filled block */
  1365.   mi_putint(anc_buff,key_block->last_length,nod_flag);
  1366.   bzero((byte*) anc_buff+key_block->last_length,
  1367. keyinfo->block_length- key_block->last_length);
  1368.   key_file_length=info->state->key_file_length;
  1369.   if ((filepos=_mi_new(info,keyinfo,DFLT_INIT_HITS)) == HA_OFFSET_ERROR)
  1370.     DBUG_RETURN(1);
  1371.   /* If we read the page from the key cache, we have to write it back to it */
  1372.   if (key_file_length == info->state->key_file_length)
  1373.   {
  1374.     if (_mi_write_keypage(info, keyinfo, filepos, DFLT_INIT_HITS, anc_buff))
  1375.       DBUG_RETURN(1);
  1376.   }
  1377.   else if (my_pwrite(info->s->kfile,(byte*) anc_buff,
  1378.      (uint) keyinfo->block_length,filepos, param->myf_rw))
  1379.     DBUG_RETURN(1);
  1380.   DBUG_DUMP("buff",(byte*) anc_buff,mi_getint(anc_buff));
  1381. /* Write separator-key to block in next level */
  1382.   if (sort_insert_key(sort_param,key_block+1,key_block->lastkey,filepos))
  1383.     DBUG_RETURN(1);
  1384. /* clear old block and write new key in it */
  1385.   key_block->inited=0;
  1386.   DBUG_RETURN(sort_insert_key(sort_param, key_block,key,prev_block));
  1387. } /* sort_insert_key */
  1388. /* Delete record when we found a duplicated key */
  1389. static int sort_delete_record(MI_SORT_PARAM *sort_param)
  1390. {
  1391.   uint i;
  1392.   int old_file,error;
  1393.   uchar *key;
  1394.   SORT_INFO *sort_info=sort_param->sort_info;
  1395.   MI_CHECK *param=sort_info->param;
  1396.   MI_INFO *info=sort_info->info;
  1397.   DBUG_ENTER("sort_delete_record");
  1398.   if ((param->testflag & (T_FORCE_UNIQUENESS|T_QUICK)) == T_QUICK)
  1399.   {
  1400.     mi_check_print_error(param,
  1401.  "Quick-recover aborted; Run recovery without switch -q or with switch -qq");
  1402.     DBUG_RETURN(1);
  1403.   }
  1404.   if (info->s->options & HA_OPTION_COMPRESS_RECORD)
  1405.   {
  1406.     mi_check_print_error(param,
  1407.  "Recover aborted; Can't run standard recovery on compressed tables with errors in data-file. Use switch 'myisamchk --safe-recover' to fix itn",stderr);;
  1408.     DBUG_RETURN(1);
  1409.   }
  1410.   old_file=info->dfile;
  1411.   info->dfile=info->rec_cache.file;
  1412.   if (sort_info->current_key)
  1413.   {
  1414.     key=info->lastkey+info->s->base.max_key_length;
  1415.     if ((error=(*info->s->read_rnd)(info,sort_param->record,info->lastpos,0)) &&
  1416. error != HA_ERR_RECORD_DELETED)
  1417.     {
  1418.       mi_check_print_error(param,"Can't read record to be removed");
  1419.       info->dfile=old_file;
  1420.       DBUG_RETURN(1);
  1421.     }
  1422.     for (i=0 ; i < sort_info->current_key ; i++)
  1423.     {
  1424.       uint key_length=_mi_make_key(info,i,key,sort_param->record,info->lastpos);
  1425.       if (_mi_ck_delete(info,i,key,key_length))
  1426.       {
  1427. mi_check_print_error(param,"Can't delete key %d from record to be removed",i+1);
  1428. info->dfile=old_file;
  1429. DBUG_RETURN(1);
  1430.       }
  1431.     }
  1432.     if (param->calc_checksum)
  1433.       param->glob_crc-=(*info->s->calc_checksum)(info, sort_param->record);
  1434.   }
  1435.   error=flush_io_cache(&info->rec_cache) || (*info->s->delete_record)(info);
  1436.   info->dfile=old_file; /* restore actual value */
  1437.   info->state->records--;
  1438.   DBUG_RETURN(error);
  1439. } /* sort_delete_record */
  1440. /* Fix all pending blocks and flush everything to disk */
  1441. int flush_pending_blocks(MI_SORT_PARAM *sort_param)
  1442. {
  1443.   uint nod_flag,length;
  1444.   my_off_t filepos,key_file_length;
  1445.   SORT_KEY_BLOCKS *key_block;
  1446.   SORT_INFO *sort_info= sort_param->sort_info;
  1447.   myf myf_rw=sort_info->param->myf_rw;
  1448.   MI_INFO *info=sort_info->info;
  1449.   MI_KEYDEF *keyinfo=sort_param->keyinfo;
  1450.   DBUG_ENTER("flush_pending_blocks");
  1451.   filepos= HA_OFFSET_ERROR; /* if empty file */
  1452.   nod_flag=0;
  1453.   for (key_block=sort_info->key_block ; key_block->inited ; key_block++)
  1454.   {
  1455.     key_block->inited=0;
  1456.     length=mi_getint(key_block->buff);
  1457.     if (nod_flag)
  1458.       _mi_kpointer(info,key_block->end_pos,filepos);
  1459.     key_file_length=info->state->key_file_length;
  1460.     bzero((byte*) key_block->buff+length, keyinfo->block_length-length);
  1461.     if ((filepos=_mi_new(info,keyinfo,DFLT_INIT_HITS)) == HA_OFFSET_ERROR)
  1462.       DBUG_RETURN(1);
  1463.     /* If we read the page from the key cache, we have to write it back */
  1464.     if (key_file_length == info->state->key_file_length)
  1465.     {
  1466.       if (_mi_write_keypage(info, keyinfo, filepos,
  1467.                             DFLT_INIT_HITS, key_block->buff))
  1468. DBUG_RETURN(1);
  1469.     }
  1470.     else if (my_pwrite(info->s->kfile,(byte*) key_block->buff,
  1471.        (uint) keyinfo->block_length,filepos, myf_rw))
  1472.       DBUG_RETURN(1);
  1473.     DBUG_DUMP("buff",(byte*) key_block->buff,length);
  1474.     nod_flag=1;
  1475.   }
  1476.   info->s->state.key_root[sort_param->key]=filepos; /* Last is root for tree */
  1477.   DBUG_RETURN(0);
  1478. } /* flush_pending_blocks */
  1479. /* alloc space and pointers for key_blocks */
  1480. static SORT_KEY_BLOCKS *alloc_key_blocks(MI_CHECK *param, uint blocks,
  1481.                                          uint buffer_length)
  1482. {
  1483.   reg1 uint i;
  1484.   SORT_KEY_BLOCKS *block;
  1485.   DBUG_ENTER("alloc_key_blocks");
  1486.   if (!(block=(SORT_KEY_BLOCKS*) my_malloc((sizeof(SORT_KEY_BLOCKS)+
  1487.     buffer_length+IO_SIZE)*blocks,
  1488.    MYF(0))))
  1489.   {
  1490.     mi_check_print_error(param,"Not enough memory for sort-key-blocks");
  1491.     return(0);
  1492.   }
  1493.   for (i=0 ; i < blocks ; i++)
  1494.   {
  1495.     block[i].inited=0;
  1496.     block[i].buff=(uchar*) (block+blocks)+(buffer_length+IO_SIZE)*i;
  1497.   }
  1498.   DBUG_RETURN(block);
  1499. } /* alloc_key_blocks */
  1500. /* Check if file is almost full */
  1501. int test_if_almost_full(MI_INFO *info)
  1502. {
  1503.   if (info->s->options & HA_OPTION_COMPRESS_RECORD)
  1504.     return 0;
  1505.   return (my_seek(info->s->kfile,0L,MY_SEEK_END,MYF(0))/10*9 >
  1506.   (my_off_t) (info->s->base.max_key_file_length) ||
  1507.   my_seek(info->dfile,0L,MY_SEEK_END,MYF(0))/10*9 >
  1508.   (my_off_t) info->s->base.max_data_file_length);
  1509. }
  1510. /* Recreate table with bigger more alloced record-data */
  1511. int recreate_table(MI_CHECK *param, MI_INFO **org_info, char *filename)
  1512. {
  1513.   int error;
  1514.   MI_INFO info;
  1515.   MYISAM_SHARE share;
  1516.   MI_KEYDEF *keyinfo,*key,*key_end;
  1517.   HA_KEYSEG *keysegs,*keyseg;
  1518.   MI_COLUMNDEF *recdef,*rec,*end;
  1519.   MI_UNIQUEDEF *uniquedef,*u_ptr,*u_end;
  1520.   MI_STATUS_INFO status_info;
  1521.   uint unpack,key_parts;
  1522.   ha_rows max_records;
  1523.   ulonglong file_length,tmp_length;
  1524.   MI_CREATE_INFO create_info;
  1525.   error=1; /* Default error */
  1526.   info= **org_info;
  1527.   status_info= (*org_info)->state[0];
  1528.   info.state= &status_info;
  1529.   share= *(*org_info)->s;
  1530.   unpack= (share.options & HA_OPTION_COMPRESS_RECORD) &&
  1531.     (param->testflag & T_UNPACK);
  1532.   if (!(keyinfo=(MI_KEYDEF*) my_alloca(sizeof(MI_KEYDEF)*share.base.keys)))
  1533.     return 0;
  1534.   memcpy((byte*) keyinfo,(byte*) share.keyinfo,
  1535.  (size_t) (sizeof(MI_KEYDEF)*share.base.keys));
  1536.   key_parts= share.base.all_key_parts;
  1537.   if (!(keysegs=(HA_KEYSEG*) my_alloca(sizeof(HA_KEYSEG)*
  1538.        (key_parts+share.base.keys))))
  1539.   {
  1540.     my_afree((gptr) keyinfo);
  1541.     return 1;
  1542.   }
  1543.   if (!(recdef=(MI_COLUMNDEF*)
  1544. my_alloca(sizeof(MI_COLUMNDEF)*(share.base.fields+1))))
  1545.   {
  1546.     my_afree((gptr) keyinfo);
  1547.     my_afree((gptr) keysegs);
  1548.     return 1;
  1549.   }
  1550.   if (!(uniquedef=(MI_UNIQUEDEF*)
  1551. my_alloca(sizeof(MI_UNIQUEDEF)*(share.state.header.uniques+1))))
  1552.   {
  1553.     my_afree((gptr) recdef);
  1554.     my_afree((gptr) keyinfo);
  1555.     my_afree((gptr) keysegs);
  1556.     return 1;
  1557.   }
  1558.   /* Copy the column definitions */
  1559.   memcpy((byte*) recdef,(byte*) share.rec,
  1560.  (size_t) (sizeof(MI_COLUMNDEF)*(share.base.fields+1)));
  1561.   for (rec=recdef,end=recdef+share.base.fields; rec != end ; rec++)
  1562.   {
  1563.     if (unpack && !(share.options & HA_OPTION_PACK_RECORD) &&
  1564. rec->type != FIELD_BLOB &&
  1565. rec->type != FIELD_VARCHAR &&
  1566. rec->type != FIELD_CHECK)
  1567.       rec->type=(int) FIELD_NORMAL;
  1568.   }
  1569.   /* Change the new key to point at the saved key segments */
  1570.   memcpy((byte*) keysegs,(byte*) share.keyparts,
  1571.  (size_t) (sizeof(HA_KEYSEG)*(key_parts+share.base.keys+
  1572.       share.state.header.uniques)));
  1573.   keyseg=keysegs;
  1574.   for (key=keyinfo,key_end=keyinfo+share.base.keys; key != key_end ; key++)
  1575.   {
  1576.     key->seg=keyseg;
  1577.     for (; keyseg->type ; keyseg++)
  1578.     {
  1579.       if (param->language)
  1580. keyseg->language=param->language; /* change language */
  1581.     }
  1582.     keyseg++; /* Skip end pointer */
  1583.   }
  1584.   /* Copy the unique definitions and change them to point at the new key
  1585.      segments*/
  1586.   memcpy((byte*) uniquedef,(byte*) share.uniqueinfo,
  1587.  (size_t) (sizeof(MI_UNIQUEDEF)*(share.state.header.uniques)));
  1588.   for (u_ptr=uniquedef,u_end=uniquedef+share.state.header.uniques;
  1589.        u_ptr != u_end ; u_ptr++)
  1590.   {
  1591.     u_ptr->seg=keyseg;
  1592.     keyseg+=u_ptr->keysegs+1;
  1593.   }
  1594.   if (share.options & HA_OPTION_COMPRESS_RECORD)
  1595.     share.base.records=max_records=info.state->records;
  1596.   else if (share.base.min_pack_length)
  1597.     max_records=(ha_rows) (my_seek(info.dfile,0L,MY_SEEK_END,MYF(0)) /
  1598.    (ulong) share.base.min_pack_length);
  1599.   else
  1600.     max_records=0;
  1601.   unpack= (share.options & HA_OPTION_COMPRESS_RECORD) &&
  1602.     (param->testflag & T_UNPACK);
  1603.   share.options&= ~HA_OPTION_TEMP_COMPRESS_RECORD;
  1604.   file_length=(ulonglong) my_seek(info.dfile,0L,MY_SEEK_END,MYF(0));
  1605.   tmp_length= file_length+file_length/10;
  1606.   set_if_bigger(file_length,param->max_data_file_length);
  1607.   set_if_bigger(file_length,tmp_length);
  1608.   set_if_bigger(file_length,(ulonglong) share.base.max_data_file_length);
  1609.   VOID(mi_close(*org_info));
  1610.   bzero((char*) &create_info,sizeof(create_info));
  1611.   create_info.max_rows=max(max_records,share.base.records);
  1612.   create_info.reloc_rows=share.base.reloc;
  1613.   create_info.old_options=(share.options |
  1614.    (unpack ? HA_OPTION_TEMP_COMPRESS_RECORD : 0));
  1615.   create_info.data_file_length=file_length;
  1616.   create_info.auto_increment=share.state.auto_increment;
  1617.   create_info.raid_type=   share.base.raid_type;
  1618.   create_info.raid_chunks= share.base.raid_chunks;
  1619.   create_info.raid_chunksize= share.base.raid_chunksize;
  1620.   create_info.language = (param->language ? param->language :
  1621.   share.state.header.language);
  1622.   create_info.key_file_length=  status_info.key_file_length;
  1623.   /* We don't have to handle symlinks here because we are using
  1624.      HA_DONT_TOUCH_DATA */
  1625.   if (mi_create(filename,
  1626. share.base.keys - share.state.header.uniques,
  1627. keyinfo, share.base.fields, recdef,
  1628. share.state.header.uniques, uniquedef,
  1629. &create_info,
  1630. HA_DONT_TOUCH_DATA))
  1631.   {
  1632.     mi_check_print_error(param,"Got error %d when trying to recreate indexfile",my_errno);
  1633.     goto end;
  1634.   }
  1635.   *org_info=mi_open(filename,O_RDWR,
  1636.     (param->testflag & T_WAIT_FOREVER) ? HA_OPEN_WAIT_IF_LOCKED :
  1637.     (param->testflag & T_DESCRIPT) ? HA_OPEN_IGNORE_IF_LOCKED :
  1638.     HA_OPEN_ABORT_IF_LOCKED);
  1639.   if (!*org_info)
  1640.   {
  1641.     mi_check_print_error(param,"Got error %d when trying to open re-created indexfile",
  1642. my_errno);
  1643.     goto end;
  1644.   }
  1645.   /* We are modifing */
  1646.   (*org_info)->s->options&= ~HA_OPTION_READ_ONLY_DATA;
  1647.   VOID(_mi_readinfo(*org_info,F_WRLCK,0));
  1648.   (*org_info)->state->records=info.state->records;
  1649.   if (share.state.create_time)
  1650.     (*org_info)->s->state.create_time=share.state.create_time;
  1651.   (*org_info)->s->state.unique=(*org_info)->this_unique=
  1652.     share.state.unique;
  1653.   (*org_info)->s->state.checksum=share.state.checksum;
  1654.   (*org_info)->state->del=info.state->del;
  1655.   (*org_info)->s->state.dellink=share.state.dellink;
  1656.   (*org_info)->state->empty=info.state->empty;
  1657.   (*org_info)->state->data_file_length=info.state->data_file_length;
  1658.   if (update_state_info(param,*org_info,UPDATE_TIME | UPDATE_STAT |
  1659. UPDATE_OPEN_COUNT))
  1660.     goto end;
  1661.   error=0;
  1662. end:
  1663.   my_afree((gptr) uniquedef);
  1664.   my_afree((gptr) keyinfo);
  1665.   my_afree((gptr) recdef);
  1666.   my_afree((gptr) keysegs);
  1667.   return error;
  1668. }
  1669. /* write suffix to data file if neaded */
  1670. int write_data_suffix(SORT_INFO *sort_info, my_bool fix_datafile)
  1671. {
  1672.   MI_INFO *info=sort_info->info;
  1673.   if (info->s->options & HA_OPTION_COMPRESS_RECORD && fix_datafile)
  1674.   {
  1675.     char buff[MEMMAP_EXTRA_MARGIN];
  1676.     bzero(buff,sizeof(buff));
  1677.     if (my_b_write(&info->rec_cache,buff,sizeof(buff)))
  1678.     {
  1679.       mi_check_print_error(sort_info->param,
  1680.    "%d when writing to datafile",my_errno);
  1681.       return 1;
  1682.     }
  1683.     sort_info->param->read_cache.end_of_file+=sizeof(buff);
  1684.   }
  1685.   return 0;
  1686. }
  1687. /* Update state and myisamchk_time of indexfile */
  1688. int update_state_info(MI_CHECK *param, MI_INFO *info,uint update)
  1689. {
  1690.   MYISAM_SHARE *share=info->s;
  1691.   if (update & UPDATE_OPEN_COUNT)
  1692.   {
  1693.     share->state.open_count=0;
  1694.     share->global_changed=0;
  1695.   }
  1696.   if (update & UPDATE_STAT)
  1697.   {
  1698.     uint i, key_parts= mi_uint2korr(share->state.header.key_parts);
  1699.     share->state.rec_per_key_rows=info->state->records;
  1700.     share->state.changed&= ~STATE_NOT_ANALYZED;
  1701.     if (info->state->records)
  1702.     {
  1703.       for (i=0; i<key_parts; i++)
  1704.       {
  1705.         if (!(share->state.rec_per_key_part[i]=param->rec_per_key_part[i]))
  1706.           share->state.changed|= STATE_NOT_ANALYZED;
  1707.       }
  1708.     }
  1709.   }
  1710.   if (update & (UPDATE_STAT | UPDATE_SORT | UPDATE_TIME | UPDATE_AUTO_INC))
  1711.   {
  1712.     if (update & UPDATE_TIME)
  1713.     {
  1714.       share->state.check_time= (long) time((time_t*) 0);
  1715.       if (!share->state.create_time)
  1716. share->state.create_time=share->state.check_time;
  1717.     }
  1718.     /*
  1719.       When tables are locked we haven't synched the share state and the
  1720.       real state for a while so we better do it here before synching
  1721.       the share state to disk. Only when table is write locked is it
  1722.       necessary to perform this synch.
  1723.     */
  1724.     if (info->lock_type == F_WRLCK)
  1725.       share->state.state= *info->state;
  1726.     if (mi_state_info_write(share->kfile,&share->state,1+2))
  1727.       goto err;
  1728.     share->changed=0;
  1729.   }
  1730.   { /* Force update of status */
  1731.     int error;
  1732.     uint r_locks=share->r_locks,w_locks=share->w_locks;
  1733.     share->r_locks= share->w_locks= share->tot_locks= 0;
  1734.     error=_mi_writeinfo(info,WRITEINFO_NO_UNLOCK);
  1735.     share->r_locks=r_locks;
  1736.     share->w_locks=w_locks;
  1737.     share->tot_locks=r_locks+w_locks;
  1738.     if (!error)
  1739.       return 0;
  1740.   }
  1741. err:
  1742.   mi_check_print_error(param,"%d when updating keyfile",my_errno);
  1743.   return 1;
  1744. }
  1745. /*
  1746.   Update auto increment value for a table
  1747.   When setting the 'repair_only' flag we only want to change the
  1748.   old auto_increment value if its wrong (smaller than some given key).
  1749.   The reason is that we shouldn't change the auto_increment value
  1750.   for a table without good reason when only doing a repair; If the
  1751.   user have inserted and deleted rows, the auto_increment value
  1752.   may be bigger than the biggest current row and this is ok.
  1753.   If repair_only is not set, we will update the flag to the value in
  1754.   param->auto_increment is bigger than the biggest key.
  1755. */
  1756. void update_auto_increment_key(MI_CHECK *param, MI_INFO *info,
  1757.        my_bool repair_only)
  1758. {
  1759.   byte *record;
  1760.   if (!info->s->base.auto_key ||
  1761.       !(((ulonglong) 1 << (info->s->base.auto_key-1)
  1762.  & info->s->state.key_map)))
  1763.   {
  1764.     if (!(param->testflag & T_VERY_SILENT))
  1765.       mi_check_print_info(param,
  1766.   "Table: %s doesn't have an auto increment keyn",
  1767.   param->isam_file_name);
  1768.     return;
  1769.   }
  1770.   if (!(param->testflag & T_SILENT) &&
  1771.       !(param->testflag & T_REP))
  1772.     printf("Updating MyISAM file: %sn", param->isam_file_name);
  1773.   /*
  1774.     We have to use an allocated buffer instead of info->rec_buff as 
  1775.     _mi_put_key_in_record() may use info->rec_buff
  1776.   */
  1777.   if (!(record= (byte*) my_malloc((uint) info->s->base.pack_reclength,
  1778.   MYF(0))))
  1779.   {
  1780.     mi_check_print_error(param,"Not enough memory for extra record");
  1781.     return;
  1782.   }
  1783.   mi_extra(info,HA_EXTRA_KEYREAD,0);
  1784.   if (mi_rlast(info, record, info->s->base.auto_key-1))
  1785.   {
  1786.     if (my_errno != HA_ERR_END_OF_FILE)
  1787.     {
  1788.       mi_extra(info,HA_EXTRA_NO_KEYREAD,0);
  1789.       my_free((char*) record, MYF(0));
  1790.       mi_check_print_error(param,"%d when reading last record",my_errno);
  1791.       return;
  1792.     }
  1793.     if (!repair_only)
  1794.       info->s->state.auto_increment=param->auto_increment_value;
  1795.   }
  1796.   else
  1797.   {
  1798.     ulonglong auto_increment= (repair_only ? info->s->state.auto_increment :
  1799.        param->auto_increment_value);
  1800.     info->s->state.auto_increment=0;
  1801.     update_auto_increment(info, record);
  1802.     set_if_bigger(info->s->state.auto_increment,auto_increment);
  1803.   }
  1804.   mi_extra(info,HA_EXTRA_NO_KEYREAD,0);
  1805.   my_free((char*) record, MYF(0));
  1806.   update_state_info(param, info, UPDATE_AUTO_INC);
  1807.   return;
  1808. }
  1809. /*
  1810.   Update statistics for each part of an index
  1811.   SYNOPSIS
  1812.     update_key_parts()
  1813.       keyinfo           IN  Index information (only key->keysegs used)
  1814.       rec_per_key_part  OUT Store statistics here
  1815.       unique            IN  Array of (#distinct tuples)
  1816.       notnull_tuples    IN  Array of (#tuples), or NULL
  1817.       records               Number of records in the table
  1818.   DESCRIPTION
  1819.     This function is called produce index statistics values from unique and 
  1820.     notnull_tuples arrays after these arrays were produced with sequential
  1821.     index scan (the scan is done in two places: chk_index() and
  1822.     sort_key_write()).
  1823.     This function handles all 3 index statistics collection methods.
  1824.     Unique is an array:
  1825.       unique[0]= (#different values of {keypart1}) - 1
  1826.       unique[1]= (#different values of {keypart1,keypart2} tuple)-unique[0]-1
  1827.       ...
  1828.     For MI_STATS_METHOD_IGNORE_NULLS method, notnull_tuples is an array too:
  1829.       notnull_tuples[0]= (#of {keypart1} tuples such that keypart1 is not NULL)
  1830.       notnull_tuples[1]= (#of {keypart1,keypart2} tuples such that all 
  1831.                           keypart{i} are not NULL)
  1832.       ...
  1833.     For all other statistics collection methods notnull_tuples==NULL.
  1834.     Output is an array:
  1835.     rec_per_key_part[k] = 
  1836.      = E(#records in the table such that keypart_1=c_1 AND ... AND 
  1837.          keypart_k=c_k for arbitrary constants c_1 ... c_k) 
  1838.      
  1839.      = {assuming that values have uniform distribution and index contains all
  1840.         tuples from the domain (or that {c_1, ..., c_k} tuple is choosen from
  1841.         index tuples}
  1842.      
  1843.      = #tuples-in-the-index / #distinct-tuples-in-the-index.
  1844.     
  1845.     The #tuples-in-the-index and #distinct-tuples-in-the-index have different 
  1846.     meaning depending on which statistics collection method is used:
  1847.     
  1848.     MI_STATS_METHOD_*  how are nulls compared?  which tuples are counted?
  1849.      NULLS_EQUAL            NULL == NULL           all tuples in table
  1850.      NULLS_NOT_EQUAL        NULL != NULL           all tuples in table
  1851.      IGNORE_NULLS               n/a             tuples that don't have NULLs
  1852. */
  1853. void update_key_parts(MI_KEYDEF *keyinfo, ulong *rec_per_key_part,
  1854.                       ulonglong *unique, ulonglong *notnull,
  1855.                       ulonglong records)
  1856. {
  1857.   ulonglong count=0,tmp, unique_tuples;
  1858.   ulonglong tuples= records;
  1859.   uint parts;
  1860.   for (parts=0 ; parts < keyinfo->keysegs  ; parts++)
  1861.   {
  1862.     count+=unique[parts];
  1863.     unique_tuples= count + 1;    
  1864.     if (notnull)
  1865.     {
  1866.       tuples= notnull[parts];
  1867.       /* 
  1868.         #(unique_tuples not counting tuples with NULLs) = 
  1869.           #(unique_tuples counting tuples with NULLs as different) - 
  1870.           #(tuples with NULLs)
  1871.       */
  1872.       unique_tuples -= (records - notnull[parts]);
  1873.     }
  1874.     
  1875.     if (unique_tuples == 0)
  1876.       tmp= 1;
  1877.     else if (count == 0)
  1878.       tmp= tuples; /* 1 unique tuple */
  1879.     else
  1880.       tmp= (tuples + unique_tuples/2) / unique_tuples;
  1881.     /* 
  1882.       for some weird keys (e.g. FULLTEXT) tmp can be <1 here. 
  1883.       let's ensure it is not
  1884.     */
  1885.     set_if_bigger(tmp,1);
  1886.     if (tmp >= (ulonglong) ~(ulong) 0)
  1887.       tmp=(ulonglong) ~(ulong) 0;
  1888.     *rec_per_key_part=(ulong) tmp;
  1889.     rec_per_key_part++;
  1890.   }
  1891. }
  1892. static ha_checksum mi_byte_checksum(const byte *buf, uint length)
  1893. {
  1894.   ha_checksum crc;
  1895.   const byte *end=buf+length;
  1896.   for (crc=0; buf != end; buf++)
  1897.     crc=((crc << 1) + *((uchar*) buf)) +
  1898.       test(crc & (((ha_checksum) 1) << (8*sizeof(ha_checksum)-1)));
  1899.   return crc;
  1900. }
  1901. static my_bool mi_too_big_key_for_sort(MI_KEYDEF *key, ha_rows rows)
  1902. {
  1903.   uint key_maxlength=key->maxlength;
  1904.   if (key->flag & HA_FULLTEXT)
  1905.   {
  1906.     uint ft_max_word_len_for_sort=FT_MAX_WORD_LEN_FOR_SORT*
  1907.                                   key->seg->charset->mbmaxlen;
  1908.     key_maxlength+=ft_max_word_len_for_sort-HA_FT_MAXBYTELEN;
  1909.   }
  1910.   return (key->flag & HA_SPATIAL) ||
  1911.           (key->flag & (HA_BINARY_PACK_KEY | HA_VAR_LENGTH_KEY | HA_FULLTEXT) &&
  1912.   ((ulonglong) rows * key_maxlength >
  1913.    (ulonglong) myisam_max_temp_length));
  1914. }
  1915. /*
  1916.   Deactivate all not unique index that can be recreated fast
  1917.   These include packed keys on which sorting will use more temporary
  1918.   space than the max allowed file length or for which the unpacked keys
  1919.   will take much more space than packed keys.
  1920.   Note that 'rows' may be zero for the case when we don't know how many
  1921.   rows we will put into the file.
  1922.  */
  1923. void mi_disable_non_unique_index(MI_INFO *info, ha_rows rows)
  1924. {
  1925.   MYISAM_SHARE *share=info->s;
  1926.   MI_KEYDEF    *key=share->keyinfo;
  1927.   uint          i;
  1928.   DBUG_ASSERT(info->state->records == 0 &&
  1929.               (!rows || rows >= MI_MIN_ROWS_TO_DISABLE_INDEXES));
  1930.   for (i=0 ; i < share->base.keys ; i++,key++)
  1931.   {
  1932.     if (!(key->flag & (HA_NOSAME | HA_SPATIAL | HA_AUTO_KEY)) &&
  1933.         ! mi_too_big_key_for_sort(key,rows) && info->s->base.auto_key != i+1)
  1934.     {
  1935.       share->state.key_map&= ~ ((ulonglong) 1 << i);
  1936.       info->update|= HA_STATE_CHANGED;
  1937.     }
  1938.   }
  1939. }
  1940. /*
  1941.   Return TRUE if we can use repair by sorting
  1942.   One can set the force argument to force to use sorting
  1943.   even if the temporary file would be quite big!
  1944. */
  1945. my_bool mi_test_if_sort_rep(MI_INFO *info, ha_rows rows,
  1946.     ulonglong key_map, my_bool force)
  1947. {
  1948.   MYISAM_SHARE *share=info->s;
  1949.   MI_KEYDEF *key=share->keyinfo;
  1950.   uint i;
  1951.   /*
  1952.     mi_repair_by_sort only works if we have at least one key. If we don't
  1953.     have any keys, we should use the normal repair.
  1954.   */
  1955.   if (!key_map)
  1956.     return FALSE; /* Can't use sort */
  1957.   for (i=0 ; i < share->base.keys ; i++,key++)
  1958.   {
  1959.     if (!force && mi_too_big_key_for_sort(key,rows))
  1960.       return FALSE;
  1961.   }
  1962.   return TRUE;
  1963. }
  1964. static void
  1965. set_data_file_type(SORT_INFO *sort_info, MYISAM_SHARE *share)
  1966. {
  1967.   if ((sort_info->new_data_file_type=share->data_file_type) ==
  1968.       COMPRESSED_RECORD && sort_info->param->testflag & T_UNPACK)
  1969.   {
  1970.     MYISAM_SHARE tmp;
  1971.     if (share->options & HA_OPTION_PACK_RECORD)
  1972.       sort_info->new_data_file_type = DYNAMIC_RECORD;
  1973.     else
  1974.       sort_info->new_data_file_type = STATIC_RECORD;
  1975.     /* Set delete_function for sort_delete_record() */
  1976.     memcpy((char*) &tmp, share, sizeof(*share));
  1977.     tmp.options= ~HA_OPTION_COMPRESS_RECORD;
  1978.     mi_setup_functions(&tmp);
  1979.     share->delete_record=tmp.delete_record;
  1980.   }
  1981. }