sql_cache.h
上传用户:romrleung
上传日期:2022-05-23
资源大小:18897k
文件大小:14k
源码类别:

MySQL数据库

开发平台:

Visual C++

  1. /* Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
  2.    This program is free software; you can redistribute it and/or modify
  3.    it under the terms of the GNU General Public License as published by
  4.    the Free Software Foundation; either version 2 of the License, or
  5.    (at your option) any later version.
  6.    This program is distributed in the hope that it will be useful,
  7.    but WITHOUT ANY WARRANTY; without even the implied warranty of
  8.    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  9.    GNU General Public License for more details.
  10.    You should have received a copy of the GNU General Public License
  11.    along with this program; if not, write to the Free Software
  12.    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA */
  13. #ifndef _SQL_CACHE_H
  14. #define _SQL_CACHE_H
  15. /* Query cache */
  16. /*
  17.    Can't create new free memory block if unused memory in block less
  18.    then QUERY_CACHE_MIN_ALLOCATION_UNIT.
  19.    if QUERY_CACHE_MIN_ALLOCATION_UNIT == 0 then
  20.    QUERY_CACHE_MIN_ALLOCATION_UNIT choosed automaticaly
  21. */
  22. #define QUERY_CACHE_MIN_ALLOCATION_UNIT 512
  23. /* inittial size of hashes */
  24. #define QUERY_CACHE_DEF_QUERY_HASH_SIZE 1024
  25. #define QUERY_CACHE_DEF_TABLE_HASH_SIZE 1024
  26. /* minimal result data size when data allocated */
  27. #define QUERY_CACHE_MIN_RESULT_DATA_SIZE 1024*4
  28. /* 
  29.    start estimation of first result block size only when number of queries
  30.    bigger then: 
  31. */
  32. #define QUERY_CACHE_MIN_ESTIMATED_QUERIES_NUMBER 3
  33. /* memory bins size spacing (see at Query_cache::init_cache (sql_cache.cc)) */
  34. #define QUERY_CACHE_MEM_BIN_FIRST_STEP_PWR2 4
  35. #define QUERY_CACHE_MEM_BIN_STEP_PWR2 2
  36. #define QUERY_CACHE_MEM_BIN_PARTS_INC 1
  37. #define QUERY_CACHE_MEM_BIN_PARTS_MUL 1.2
  38. #define QUERY_CACHE_MEM_BIN_SPC_LIM_PWR2 3
  39. /* how many free blocks check when finding most suitable before other 'end'
  40.    of list of free blocks */
  41. #define QUERY_CACHE_MEM_BIN_TRY                 5
  42. /* packing parameters */
  43. #define QUERY_CACHE_PACK_ITERATION 2
  44. #define QUERY_CACHE_PACK_LIMIT (512*1024L)
  45. #define TABLE_COUNTER_TYPE uint
  46. struct Query_cache_block;
  47. struct Query_cache_block_table;
  48. struct Query_cache_table;
  49. struct Query_cache_query;
  50. struct Query_cache_result;
  51. class Query_cache;
  52. struct Query_cache_block_table
  53. {
  54.   TABLE_COUNTER_TYPE n; // numbr in table (from 0)
  55.   Query_cache_block_table *next, *prev;
  56.   Query_cache_table *parent;
  57.   inline Query_cache_block *block();
  58. };
  59. struct Query_cache_block
  60. {
  61.   enum block_type {FREE, QUERY, RESULT, RES_CONT, RES_BEG,
  62.    RES_INCOMPLETE, TABLE, INCOMPLETE};
  63.   ulong length; // length of all block
  64.   ulong used; // length of data
  65.   /*
  66.     Not used **pprev, **prev because really needed access to pervious block:
  67.     *pprev to join free blocks
  68.     *prev to access to opposite side of list in cyclic sorted list
  69.   */
  70.   Query_cache_block *pnext,*pprev, // physical next/previous block
  71.     *next,*prev; // logical next/previous block
  72.   block_type type;
  73.   TABLE_COUNTER_TYPE n_tables; // number of tables in query
  74.   inline my_bool is_free(void) { return type == FREE; }
  75.   void init(ulong length);
  76.   void destroy();
  77.   inline uint headers_len();
  78.   inline gptr data(void);
  79.   inline Query_cache_query *query();
  80.   inline Query_cache_table *table();
  81.   inline Query_cache_result *result();
  82.   inline Query_cache_block_table *table(TABLE_COUNTER_TYPE n);
  83. };
  84. struct Query_cache_query
  85. {
  86.   ulonglong limit_found_rows;
  87.   rw_lock_t lock;
  88.   Query_cache_block *res;
  89.   NET *wri;
  90.   ulong len;
  91.   uint8 tbls_type;
  92.   inline void init_n_lock();
  93.   void unlock_n_destroy();
  94.   inline ulonglong found_rows()    { return limit_found_rows; }
  95.   inline void found_rows(ulonglong rows)   { limit_found_rows= rows; }
  96.   inline Query_cache_block *result()    { return res; }
  97.   inline void result(Query_cache_block *p) { res= p; }
  98.   inline NET *writer()    { return wri; }
  99.   inline void writer(NET *p)    { wri= p; }
  100.   inline uint8 tables_type()               { return tbls_type; }
  101.   inline void tables_type(uint8 type)      { tbls_type= type; }
  102.   inline ulong length()    { return len; }
  103.   inline ulong add(ulong packet_len)    { return(len+= packet_len); }
  104.   inline void length(ulong length)    { len= length; }
  105.   inline gptr query()
  106.   {
  107.     return (gptr)(((byte*)this)+
  108.   ALIGN_SIZE(sizeof(Query_cache_query)));
  109.   }
  110.   void lock_writing();
  111.   void lock_reading();
  112.   my_bool try_lock_writing();
  113.   void unlock_writing();
  114.   void unlock_reading();
  115.   static byte *cache_key(const byte *record, uint *length, my_bool not_used);
  116. };
  117. struct Query_cache_table
  118. {
  119.   char *tbl;
  120.   uint32 key_len;
  121.   uint8 table_type;
  122.   inline char *db()      { return (char *) data(); }
  123.   inline char *table()      { return tbl; }
  124.   inline void table(char *table)      { tbl= table; }
  125.   inline uint32 key_length()                 { return key_len; }
  126.   inline void key_length(uint32 len)         { key_len= len; }
  127.   inline uint8 type()                        { return table_type; }
  128.   inline void type(uint8 t)                  { table_type= t; }
  129.   inline gptr data()
  130.   {
  131.     return (gptr)(((byte*)this)+
  132.   ALIGN_SIZE(sizeof(Query_cache_table)));
  133.   }
  134. };
  135. struct Query_cache_result
  136. {
  137.   Query_cache_block *query;
  138.   inline gptr data()
  139.   {
  140.     return (gptr)(((byte*) this)+
  141.   ALIGN_SIZE(sizeof(Query_cache_result)));
  142.   }
  143.   /* data_continue (if not whole packet contained by this block) */
  144.   inline Query_cache_block *parent()   { return query; }
  145.   inline void parent (Query_cache_block *p)   { query=p; }
  146. };
  147. extern "C"
  148. {
  149.   byte *query_cache_query_get_key(const byte *record, uint *length,
  150.   my_bool not_used);
  151.   byte *query_cache_table_get_key(const byte *record, uint *length,
  152.   my_bool not_used);
  153. }
  154. void query_cache_insert(NET *thd, const char *packet, ulong length);
  155. extern "C" void query_cache_invalidate_by_MyISAM_filename(const char* filename);
  156. struct Query_cache_memory_bin
  157. {
  158. #ifndef DBUG_OFF
  159.   ulong size;
  160. #endif
  161.   uint number;
  162.   Query_cache_block *free_blocks;
  163.   inline void init(ulong size_arg)
  164.   {
  165. #ifndef DBUG_OFF
  166.     size = size_arg;
  167. #endif
  168.     number = 0;
  169.     free_blocks = 0;
  170.   }
  171. };
  172. struct Query_cache_memory_bin_step
  173. {
  174.   ulong size;
  175.   ulong increment;
  176.   uint idx;
  177.   inline void init(ulong size_arg, uint idx_arg, ulong increment_arg)
  178.   {
  179.     size = size_arg;
  180.     idx = idx_arg;
  181.     increment = increment_arg;
  182.   }
  183. };
  184. class Query_cache
  185. {
  186. public:
  187.   /* Info */
  188.   ulong query_cache_size, query_cache_limit;
  189.   /* statistics */
  190.   ulong free_memory, queries_in_cache, hits, inserts, refused,
  191.     free_memory_blocks, total_blocks, lowmem_prunes;
  192. protected:
  193.   /*
  194.     The following mutex is locked when searching or changing global
  195.     query, tables lists or hashes. When we are operating inside the
  196.     query structure we locked an internal query block mutex.
  197.     LOCK SEQUENCE (to prevent deadlocks):
  198.       1. structure_guard_mutex
  199.       2. query block (for operation inside query (query block/results))
  200.   */
  201.   pthread_mutex_t structure_guard_mutex;
  202.   byte *cache; // cache memory
  203.   Query_cache_block *first_block; // physical location block list
  204.   Query_cache_block *queries_blocks; // query list (LIFO)
  205.   Query_cache_block *tables_blocks;
  206.   Query_cache_memory_bin *bins; // free block lists
  207.   Query_cache_memory_bin_step *steps; // bins spacing info
  208.   HASH queries, tables;
  209.   /* options */
  210.   ulong min_allocation_unit, min_result_data_size;
  211.   uint def_query_hash_size, def_table_hash_size;
  212.   uint mem_bin_num, mem_bin_steps; // See at init_cache & find_bin
  213.   my_bool initialized;
  214.   /* Exclude/include from cyclic double linked list */
  215.   static void double_linked_list_exclude(Query_cache_block *point,
  216.  Query_cache_block **list_pointer);
  217.   static void double_linked_list_simple_include(Query_cache_block *point,
  218. Query_cache_block **
  219. list_pointer);
  220.   static void double_linked_list_join(Query_cache_block *head_tail,
  221.       Query_cache_block *tail_head);
  222.   /* Table key generation */
  223.   static uint filename_2_table_key (char *key, const char *filename,
  224.     uint32 *db_langth);
  225.   /* The following functions require that structure_guard_mutex is locked */
  226.   void flush_cache();
  227.   my_bool free_old_query();
  228.   void free_query(Query_cache_block *point);
  229.   my_bool allocate_data_chain(Query_cache_block **result_block,
  230.       ulong data_len,
  231.       Query_cache_block *query_block,
  232.       my_bool first_block);
  233.   void invalidate_table(TABLE_LIST *table);
  234.   void invalidate_table(TABLE *table);
  235.   void invalidate_table(byte *key, uint32  key_length);
  236.   void invalidate_table(Query_cache_block *table_block);
  237.   my_bool register_all_tables(Query_cache_block *block,
  238.       TABLE_LIST *tables_used,
  239.       TABLE_COUNTER_TYPE tables);
  240.   my_bool insert_table(uint key_len, char *key,
  241.        Query_cache_block_table *node,
  242.        uint32 db_length, uint8 cache_type);
  243.   void unlink_table(Query_cache_block_table *node);
  244.   Query_cache_block *get_free_block (ulong len, my_bool not_less,
  245.       ulong min);
  246.   void free_memory_block(Query_cache_block *point);
  247.   void split_block(Query_cache_block *block, ulong len);
  248.   Query_cache_block *join_free_blocks(Query_cache_block *first_block,
  249.        Query_cache_block *block_in_list);
  250.   my_bool append_next_free_block(Query_cache_block *block,
  251.  ulong add_size);
  252.   void exclude_from_free_memory_list(Query_cache_block *free_block);
  253.   void insert_into_free_memory_list(Query_cache_block *new_block);
  254.   my_bool move_by_type(byte **border, Query_cache_block **before,
  255.        ulong *gap, Query_cache_block *i);
  256.   uint find_bin(ulong size);
  257.   void move_to_query_list_end(Query_cache_block *block);
  258.   void insert_into_free_memory_sorted_list(Query_cache_block *new_block,
  259.    Query_cache_block **list);
  260.   void pack_cache();
  261.   void relink(Query_cache_block *oblock,
  262.       Query_cache_block *nblock,
  263.       Query_cache_block *next,
  264.       Query_cache_block *prev,
  265.       Query_cache_block *pnext,
  266.       Query_cache_block *pprev);
  267.   my_bool join_results(ulong join_limit);
  268.   /*
  269.     Following function control structure_guard_mutex
  270.     by themself or don't need structure_guard_mutex
  271.   */
  272.   ulong init_cache();
  273.   void make_disabled();
  274.   void free_cache();
  275.   Query_cache_block *write_block_data(ulong data_len, gptr data,
  276.        ulong header_len,
  277.        Query_cache_block::block_type type,
  278.        TABLE_COUNTER_TYPE ntab = 0,
  279.        my_bool under_guard=0);
  280.   my_bool append_result_data(Query_cache_block **result,
  281.      ulong data_len, gptr data,
  282.      Query_cache_block *parent);
  283.   my_bool write_result_data(Query_cache_block **result,
  284.     ulong data_len, gptr data,
  285.     Query_cache_block *parent,
  286.     Query_cache_block::block_type
  287.     type=Query_cache_block::RESULT);
  288.   inline ulong get_min_first_result_data_size();
  289.   inline ulong get_min_append_result_data_size();
  290.   Query_cache_block *allocate_block(ulong len, my_bool not_less,
  291.      ulong min,
  292.      my_bool under_guard=0);
  293.   /*
  294.     If query is cacheable return number tables in query
  295.     (query without tables not cached)
  296.   */
  297.   TABLE_COUNTER_TYPE is_cacheable(THD *thd, uint32 query_len, char *query,
  298.   LEX *lex, TABLE_LIST *tables_used,
  299.   uint8 *tables_type);
  300.   static my_bool ask_handler_allowance(THD *thd, TABLE_LIST *tables_used);
  301.  public:
  302.   Query_cache(ulong query_cache_limit = ULONG_MAX,
  303.       ulong min_allocation_unit = QUERY_CACHE_MIN_ALLOCATION_UNIT,
  304.       ulong min_result_data_size = QUERY_CACHE_MIN_RESULT_DATA_SIZE,
  305.       uint def_query_hash_size = QUERY_CACHE_DEF_QUERY_HASH_SIZE,
  306.       uint def_table_hash_size = QUERY_CACHE_DEF_TABLE_HASH_SIZE);
  307.   /* initialize cache (mutex) */
  308.   void init();
  309.   /* resize query cache (return real query size, 0 if disabled) */
  310.   ulong resize(ulong query_cache_size);
  311.   /* set limit on result size */
  312.   inline void result_size_limit(ulong limit){query_cache_limit=limit;}
  313.   /* set minimal result data allocation unit size */
  314.   ulong set_min_res_unit(ulong size);
  315.   /* register query in cache */
  316.   void store_query(THD *thd, TABLE_LIST *used_tables);
  317.   /*
  318.     Check if the query is in the cache and if this is true send the
  319.     data to client.
  320.   */
  321.   int send_result_to_client(THD *thd, char *query, uint query_length);
  322.   /* Remove all queries that uses any of the listed following tables */
  323.   void invalidate(THD* thd, TABLE_LIST *tables_used,
  324.   my_bool using_transactions);
  325.   void invalidate(CHANGED_TABLE_LIST *tables_used);
  326.   void invalidate_locked_for_write(TABLE_LIST *tables_used);
  327.   void invalidate(THD* thd, TABLE *table, my_bool using_transactions);
  328.   void invalidate(THD *thd, const char *key, uint32  key_length,
  329.   my_bool using_transactions);
  330.   /* Remove all queries that uses any of the tables in following database */
  331.   void invalidate(char *db);
  332.   /* Remove all queries that uses any of the listed following table */
  333.   void invalidate_by_MyISAM_filename(const char *filename);
  334.   void flush();
  335.   void pack(ulong join_limit = QUERY_CACHE_PACK_LIMIT,
  336.     uint iteration_limit = QUERY_CACHE_PACK_ITERATION);
  337.   void destroy();
  338.   friend void query_cache_insert(NET *net, const char *packet, ulong length);
  339.   friend void query_cache_end_of_result(THD *thd);
  340.   friend void query_cache_abort(NET *net);
  341.   /*
  342.     The following functions are only used when debugging
  343.     We don't protect these with ifndef DEBUG_OFF to not have to recompile
  344.     everything if we want to add checks of the cache at some places.
  345.   */
  346.   void wreck(uint line, const char *message);
  347.   void bins_dump();
  348.   void cache_dump();
  349.   void queries_dump();
  350.   void tables_dump();
  351.   my_bool check_integrity(bool not_locked);
  352.   my_bool in_list(Query_cache_block * root, Query_cache_block * point,
  353.   const char *name);
  354.   my_bool in_table_list(Query_cache_block_table * root,
  355. Query_cache_block_table * point,
  356. const char *name);
  357.   my_bool in_blocks(Query_cache_block * point);
  358. };
  359. extern Query_cache query_cache;
  360. extern TYPELIB query_cache_type_typelib;
  361. void query_cache_end_of_result(THD *thd);
  362. void query_cache_abort(NET *net);
  363. #endif