ibuf0ibuf.c
上传用户:tsgydb
上传日期:2007-04-14
资源大小:10674k
文件大小:65k
源码类别:

MySQL数据库

开发平台:

Visual C++

  1. /******************************************************
  2. Insert buffer
  3. (c) 1997 Innobase Oy
  4. Created 7/19/1997 Heikki Tuuri
  5. *******************************************************/
  6. #include "ibuf0ibuf.h"
  7. #ifdef UNIV_NONINL
  8. #include "ibuf0ibuf.ic"
  9. #endif
  10. #include "buf0buf.h"
  11. #include "buf0rea.h"
  12. #include "fsp0fsp.h"
  13. #include "trx0sys.h"
  14. #include "fil0fil.h"
  15. #include "thr0loc.h"
  16. #include "rem0rec.h"
  17. #include "btr0cur.h"
  18. #include "btr0pcur.h"
  19. #include "btr0btr.h"
  20. #include "sync0sync.h"
  21. #include "dict0boot.h"
  22. #include "fut0lst.h"
  23. #include "lock0lock.h"
  24. #include "log0recv.h"
  25. #include "que0que.h"
  26. /* PREVENTING DEADLOCKS IN THE INSERT BUFFER SYSTEM
  27. If an OS thread performs any operation that brings in disk pages from
  28. non-system tablespaces into the buffer pool, or creates such a page there,
  29. then the operation may have as a side effect an insert buffer index tree
  30. compression. Thus, the tree latch of the insert buffer tree may be acquired
  31. in the x-mode, and also the file space latch of the system tablespace may
  32. be acquired in the x-mode.
  33. Also, an insert to an index in a non-system tablespace can have the same
  34. effect. How do we know this cannot lead to a deadlock of OS threads? There
  35. is a problem with the io-handler threads: they break the latching order
  36. because they own x-latches to pages which are on a lower level than the
  37. insert buffer tree latch, its page latches, and the tablespace latch an
  38. insert buffer operation can reserve.
  39. The solution is the following: We put into each tablespace an insert buffer
  40. of its own. Let all the tree and page latches connected with the insert buffer
  41. be later in the latching order than the fsp latch and fsp page latches.
  42. Insert buffer pages must be such that the insert buffer is never invoked
  43. when these pages area accessed as this would result in a recursion violating
  44. the latching order. We let a special i/o-handler thread take care of i/o to
  45. the insert buffer pages and the ibuf bitmap pages, as well as the fsp bitmap
  46. pages and the first inode page, which contains the inode of the ibuf tree: let
  47. us call all these ibuf pages. If the OS does not support asynchronous i/o,
  48. then there is no special i/o thread, but to prevent deadlocks, we do not let a
  49. read-ahead access both non-ibuf and ibuf pages.
  50. Then an i/o-handler for the insert buffer never needs to access the insert
  51. buffer tree and thus obeys the latching order. On the other hand, other
  52. i/o-handlers for other tablespaces may require access to the insert buffer,
  53. but because all kinds of latches they need to access there are later in the
  54. latching order, no violation of the latching order occurs in this case,
  55. either.
  56. A problem is how to grow and contract an insert buffer tree. As it is later
  57. in the latching order than the fsp management, we have to reserve the fsp
  58. latch first, before adding or removing pages from the insert buffer tree.
  59. We let the insert buffer tree have its own file space management: a free
  60. list of pages linked to the tree root. To prevent recursive using of the
  61. insert buffer when adding pages to the tree, we must first load these pages
  62. to memory, obtaining a latch on them, and only after that add them to the
  63. free list of the insert buffer tree. More difficult is removing of pages
  64. from the free list. If there is an excess of pages in the free list of the
  65. ibuf tree, they might be needed if some thread reserves the fsp latch,
  66. intending to allocate more file space. So we do the following: if a thread
  67. reserves the fsp latch, we check the writer count field of the latch. If
  68. this field has value 1, it means that the thread did not own the latch
  69. before entering the fsp system, and the mtr of the thread contains no
  70. modifications to the fsp pages. Now we are free to reserve the ibuf latch,
  71. and check if there is an excess of pages in the free list. We can then, in a
  72. separate mini-transaction, take them out of the free list and free them to
  73. the fsp system.
  74. To avoid deadlocks in the ibuf system, we divide file pages into three levels:
  75. (1) non-ibuf pages,
  76. (2) ibuf tree pages and the pages in the ibuf tree free list, and
  77. (3) ibuf bitmap pages.
  78. No OS thread is allowed to access higher level pages if it has latches to
  79. lower level pages; even if the thread owns a B-tree latch it must not access
  80. the B-tree non-leaf pages if it has latches on lower level pages. Read-ahead
  81. is only allowed for level 1 and 2 pages. Dedicated i/o-handler threads handle
  82. exclusively level 1 i/o. A dedicated i/o handler thread handles exclusively
  83. level 2 i/o. However, if an OS thread does the i/o handling for itself, i.e.,
  84. it uses synchronous aio or the OS does not support aio, it can access any
  85. pages, as long as it obeys the access order rules. */
  86. /* Buffer pool size per the maximum insert buffer size */
  87. #define IBUF_POOL_SIZE_PER_MAX_SIZE 2
  88. /* The insert buffer control structure */
  89. ibuf_t* ibuf = NULL;
  90. ulint ibuf_rnd = 986058871;
  91. ulint ibuf_flush_count = 0;
  92. /* Dimensions for the ibuf_count array */
  93. #define IBUF_COUNT_N_SPACES 10
  94. #define IBUF_COUNT_N_PAGES 10000
  95. /* Buffered entry counts for file pages, used in debugging */
  96. ulint* ibuf_counts[IBUF_COUNT_N_SPACES];
  97. ibool ibuf_counts_inited = FALSE;
  98. /* The start address for an insert buffer bitmap page bitmap */
  99. #define IBUF_BITMAP PAGE_DATA
  100. /* Offsets in bits for the bits describing a single page in the bitmap */
  101. #define IBUF_BITMAP_FREE 0
  102. #define IBUF_BITMAP_BUFFERED 2
  103. #define IBUF_BITMAP_IBUF 3 /* TRUE if page is a part of the ibuf
  104. tree, excluding the root page, or is
  105. in the free list of the ibuf */
  106. /* Number of bits describing a single page */
  107. #define IBUF_BITS_PER_PAGE 4
  108. /* The mutex used to block pessimistic inserts to ibuf trees */
  109. mutex_t ibuf_pessimistic_insert_mutex;
  110. /* The mutex protecting the insert buffer structs */
  111. mutex_t ibuf_mutex;
  112. /* The mutex protecting the insert buffer bitmaps */
  113. mutex_t ibuf_bitmap_mutex;
  114. /* The area in pages from which contract looks for page numbers for merge */
  115. #define IBUF_MERGE_AREA 8
  116. /* Inside the merge area, pages which have at most 1 per this number less
  117. buffered entries compared to maximum volume that can buffered for a single
  118. page are merged along with the page whose buffer became full */
  119. #define IBUF_MERGE_THRESHOLD 4
  120. /* In ibuf_contract at most this number of pages is read to memory in one
  121. batch, in order to merge the entries for them in the insert buffer */
  122. #define IBUF_MAX_N_PAGES_MERGED IBUF_MERGE_AREA
  123. /* If the combined size of the ibuf trees exceeds ibuf->max_size by this
  124. many pages, we start to contract it in connection to inserts there, using
  125. non-synchronous contract */
  126. #define IBUF_CONTRACT_ON_INSERT_NON_SYNC 0
  127. /* Same as above, but use synchronous contract */
  128. #define IBUF_CONTRACT_ON_INSERT_SYNC 5
  129. /* Same as above, but no insert is done, only contract is called */
  130. #define IBUF_CONTRACT_DO_NOT_INSERT 10
  131. /* TODO: how to cope with drop table if there are records in the insert
  132. buffer for the indexes of the table? Is there actually any problem,
  133. because ibuf merge is done to a page when it is read in, and it is
  134. still physically like the index page even if the index would have been
  135. dropped! So, there seems to be no problem. */
  136. /**********************************************************************
  137. Validates the ibuf data structures when the caller owns ibuf_mutex. */
  138. static
  139. ibool
  140. ibuf_validate_low(void);
  141. /*===================*/
  142. /* out: TRUE if ok */
  143. /**********************************************************************
  144. Sets the flag in the current OS thread local storage denoting that it is
  145. inside an insert buffer routine. */
  146. UNIV_INLINE
  147. void
  148. ibuf_enter(void)
  149. /*============*/
  150. {
  151. ibool* ptr;
  152. ptr = thr_local_get_in_ibuf_field();
  153. ut_ad(*ptr == FALSE);
  154. *ptr = TRUE;
  155. }
  156. /**********************************************************************
  157. Sets the flag in the current OS thread local storage denoting that it is
  158. exiting an insert buffer routine. */
  159. UNIV_INLINE
  160. void
  161. ibuf_exit(void)
  162. /*===========*/
  163. {
  164. ibool* ptr;
  165. ptr = thr_local_get_in_ibuf_field();
  166. ut_ad(*ptr == TRUE);
  167. *ptr = FALSE;
  168. }
  169. /**********************************************************************
  170. Returns TRUE if the current OS thread is performing an insert buffer
  171. routine. */
  172. ibool
  173. ibuf_inside(void)
  174. /*=============*/
  175. /* out: TRUE if inside an insert buffer routine: for instance,
  176. a read-ahead of non-ibuf pages is then forbidden */
  177. {
  178. return(*thr_local_get_in_ibuf_field());
  179. }
  180. /**********************************************************************
  181. Gets the ibuf header page and x-latches it. */
  182. static
  183. page_t*
  184. ibuf_header_page_get(
  185. /*=================*/
  186. /* out: insert buffer header page */
  187. ulint space, /* in: space id */
  188. mtr_t* mtr) /* in: mtr */
  189. {
  190. page_t* page;
  191. ut_ad(!ibuf_inside());
  192. page = buf_page_get(space, FSP_IBUF_HEADER_PAGE_NO, RW_X_LATCH, mtr);
  193. buf_page_dbg_add_level(page, SYNC_IBUF_HEADER);
  194. return(page);
  195. }
  196. /**********************************************************************
  197. Gets the root page and x-latches it. */
  198. static
  199. page_t*
  200. ibuf_tree_root_get(
  201. /*===============*/
  202. /* out: insert buffer tree root page */
  203. ibuf_data_t* data, /* in: ibuf data */
  204. ulint space, /* in: space id */
  205. mtr_t* mtr) /* in: mtr */
  206. {
  207. page_t* page;
  208. ut_ad(ibuf_inside());
  209. mtr_x_lock(dict_tree_get_lock((data->index)->tree), mtr);
  210. page = buf_page_get(space, FSP_IBUF_TREE_ROOT_PAGE_NO, RW_X_LATCH,
  211. mtr);
  212. buf_page_dbg_add_level(page, SYNC_TREE_NODE);
  213. return(page);
  214. }
  215. /**********************************************************************
  216. Gets the ibuf count for a given page. */
  217. ulint
  218. ibuf_count_get(
  219. /*===========*/
  220. /* out: number of entries in the insert buffer
  221. currently buffered for this page */
  222. ulint space, /* in: space id */
  223. ulint page_no)/* in: page number */
  224. {
  225. ut_ad(space < IBUF_COUNT_N_SPACES);
  226. ut_ad(page_no < IBUF_COUNT_N_PAGES);
  227. if (!ibuf_counts_inited) {
  228. return(0);
  229. }
  230. return(*(ibuf_counts[space] + page_no));
  231. }
  232. /**********************************************************************
  233. Sets the ibuf count for a given page. */
  234. static
  235. void
  236. ibuf_count_set(
  237. /*===========*/
  238. ulint space, /* in: space id */
  239. ulint page_no,/* in: page number */
  240. ulint val) /* in: value to set */
  241. {
  242. ut_ad(space < IBUF_COUNT_N_SPACES);
  243. ut_ad(page_no < IBUF_COUNT_N_PAGES);
  244. ut_ad(val < UNIV_PAGE_SIZE);
  245. *(ibuf_counts[space] + page_no) = val;
  246. }
  247. /**********************************************************************
  248. Creates the insert buffer data structure at a database startup and
  249. initializes the data structures for the insert buffer of each tablespace. */
  250. void
  251. ibuf_init_at_db_start(void)
  252. /*=======================*/
  253. {
  254. ibuf = mem_alloc(sizeof(ibuf_t));
  255. /* Note that also a pessimistic delete can sometimes make a B-tree
  256. grow in size, as the references on the upper levels of the tree can
  257. change */
  258. ibuf->max_size = buf_pool_get_curr_size() / UNIV_PAGE_SIZE
  259. / IBUF_POOL_SIZE_PER_MAX_SIZE;
  260. ibuf->meter = IBUF_THRESHOLD + 1;
  261. UT_LIST_INIT(ibuf->data_list);
  262. ibuf->size = 0;
  263. #ifdef UNIV_IBUF_DEBUG
  264. {
  265. ulint i, j;
  266. for (i = 0; i < IBUF_COUNT_N_SPACES; i++) {
  267. ibuf_counts[i] = mem_alloc(sizeof(ulint)
  268. * IBUF_COUNT_N_PAGES);
  269. for (j = 0; j < IBUF_COUNT_N_PAGES; j++) {
  270. ibuf_count_set(i, j, 0);
  271. }
  272. }
  273. }
  274. #endif
  275. mutex_create(&ibuf_pessimistic_insert_mutex);
  276. mutex_set_level(&ibuf_pessimistic_insert_mutex,
  277. SYNC_IBUF_PESS_INSERT_MUTEX);
  278. mutex_create(&ibuf_mutex);
  279. mutex_set_level(&ibuf_mutex, SYNC_IBUF_MUTEX);
  280. mutex_create(&ibuf_bitmap_mutex);
  281. mutex_set_level(&ibuf_bitmap_mutex, SYNC_IBUF_BITMAP_MUTEX);
  282. fil_ibuf_init_at_db_start();
  283. ibuf_counts_inited = TRUE;
  284. }
  285. /**********************************************************************
  286. Updates the size information in an ibuf data, assuming the segment size has
  287. not changed. */
  288. static
  289. void
  290. ibuf_data_sizes_update(
  291. /*===================*/
  292. ibuf_data_t* data, /* in: ibuf data struct */
  293. page_t* root, /* in: ibuf tree root */
  294. mtr_t* mtr) /* in: mtr */
  295. {
  296. ulint old_size;
  297. ut_ad(mutex_own(&ibuf_mutex));
  298. old_size = data->size;
  299. data->free_list_len = flst_get_len(root + PAGE_HEADER
  300.    + PAGE_BTR_IBUF_FREE_LIST, mtr);
  301. data->height = 1 + btr_page_get_level(root, mtr);
  302. data->size = data->seg_size - (1 + data->free_list_len);
  303. /* the '1 +' is the ibuf header page */
  304. ut_ad(data->size < data->seg_size);
  305. if (page_get_n_recs(root) == 0) {
  306. data->empty = TRUE;
  307. } else {
  308. data->empty = FALSE;
  309. }
  310. ut_ad(ibuf->size + data->size >= old_size);
  311. ibuf->size = ibuf->size + data->size - old_size;
  312. /* printf("ibuf size %lu, space ibuf size %lun", ibuf->size,
  313. data->size); */
  314. }
  315. /**********************************************************************
  316. Creates the insert buffer data struct for a single tablespace. Reads the
  317. root page of the insert buffer tree in the tablespace. This function can
  318. be called only after the dictionary system has been initialized, as this
  319. creates also the insert buffer table and index for this tablespace. */
  320. ibuf_data_t*
  321. ibuf_data_init_for_space(
  322. /*=====================*/
  323. /* out, own: ibuf data struct, linked to the list
  324. in ibuf control structure. */
  325. ulint space) /* in: space id */
  326. {
  327. ibuf_data_t* data;
  328. page_t* root;
  329. page_t* header_page;
  330. mtr_t mtr;
  331. char buf[50];
  332. dict_table_t* table;
  333. dict_index_t* index;
  334. ulint n_used;
  335. #ifdef UNIV_LOG_DEBUG
  336. if (space % 2 == 1) {
  337. printf("No ibuf op in replicate spacen");
  338. return(NULL);
  339. }
  340. #endif
  341. data = mem_alloc(sizeof(ibuf_data_t));
  342. data->space = space;
  343. mtr_start(&mtr);
  344. mutex_enter(&ibuf_mutex);
  345. mtr_x_lock(fil_space_get_latch(space), &mtr);
  346. header_page = ibuf_header_page_get(space, &mtr);
  347. fseg_n_reserved_pages(header_page + IBUF_HEADER + IBUF_TREE_SEG_HEADER,
  348. &n_used, &mtr);
  349. ibuf_enter();
  350. ut_ad(n_used >= 2);
  351. data->seg_size = n_used;
  352. root = buf_page_get(space, FSP_IBUF_TREE_ROOT_PAGE_NO, RW_X_LATCH,
  353. &mtr);
  354. buf_page_dbg_add_level(root, SYNC_TREE_NODE);
  355. data->size = 0;
  356. data->n_inserts = 0;
  357. data->n_merges = 0;
  358. data->n_merged_recs = 0;
  359. ibuf_data_sizes_update(data, root, &mtr);
  360. mutex_exit(&ibuf_mutex);
  361. mtr_commit(&mtr);
  362. ibuf_exit();
  363. sprintf(buf, "SYS_IBUF_TABLE_%lu", space);
  364. table = dict_mem_table_create(buf, space, 2);
  365. dict_mem_table_add_col(table, "PAGE_NO", DATA_BINARY, 0, 0, 0);
  366. dict_mem_table_add_col(table, "TYPES", DATA_BINARY, 0, 0, 0);
  367. table->id = ut_dulint_add(DICT_IBUF_ID_MIN, space);
  368. dict_table_add_to_cache(table);
  369. index = dict_mem_index_create(buf, "CLUST_IND", space,
  370. DICT_CLUSTERED | DICT_UNIVERSAL | DICT_IBUF,
  371. 2);
  372. dict_mem_index_add_field(index, "PAGE_NO", 0);
  373. dict_mem_index_add_field(index, "TYPES", 0);
  374. index->page_no = FSP_IBUF_TREE_ROOT_PAGE_NO;
  375. index->id = ut_dulint_add(DICT_IBUF_ID_MIN, space);
  376. dict_index_add_to_cache(table, index);
  377. data->index = dict_table_get_first_index(table);
  378. mutex_enter(&ibuf_mutex);
  379. UT_LIST_ADD_LAST(data_list, ibuf->data_list, data);
  380. mutex_exit(&ibuf_mutex);
  381. return(data);
  382. }
  383. /*************************************************************************
  384. Initializes an ibuf bitmap page. */
  385. void
  386. ibuf_bitmap_page_init(
  387. /*==================*/
  388. page_t* page, /* in: bitmap page */
  389. mtr_t* mtr) /* in: mtr */
  390. {
  391. ulint bit_offset;
  392. ulint byte_offset;
  393. ulint i;
  394. /* Write all zeros to the bitmap */
  395. bit_offset = XDES_DESCRIBED_PER_PAGE * IBUF_BITS_PER_PAGE;
  396. byte_offset = bit_offset / 8 + 1;
  397. for (i = IBUF_BITMAP; i < IBUF_BITMAP + byte_offset; i++) {
  398. *(page + i) = (byte)0;
  399. }
  400. mlog_write_initial_log_record(page, MLOG_IBUF_BITMAP_INIT, mtr);
  401. }
  402. /*************************************************************************
  403. Parses a redo log record of an ibuf bitmap page init. */
  404. byte*
  405. ibuf_parse_bitmap_init(
  406. /*===================*/
  407. /* out: end of log record or NULL */
  408. byte* ptr, /* in: buffer */
  409. byte* end_ptr,/* in: buffer end */
  410. page_t* page, /* in: page or NULL */
  411. mtr_t* mtr) /* in: mtr or NULL */
  412. {
  413. ut_ad(ptr && end_ptr);
  414. if (page) {
  415. ibuf_bitmap_page_init(page, mtr);
  416. }
  417. return(ptr);
  418. }
  419. /************************************************************************
  420. Gets the desired bits for a given page from a bitmap page. */
  421. UNIV_INLINE
  422. ulint
  423. ibuf_bitmap_page_get_bits(
  424. /*======================*/
  425. /* out: value of bits */
  426. page_t* page, /* in: bitmap page */
  427. ulint page_no,/* in: page whose bits to get */
  428. ulint bit, /* in: IBUF_BITMAP_FREE, IBUF_BITMAP_BUFFERED, ... */
  429. mtr_t* mtr) /* in: mtr containing an x-latch to the bitmap page */
  430. {
  431. ulint byte_offset;
  432. ulint bit_offset;
  433. ulint map_byte;
  434. ulint value;
  435. ut_ad(bit < IBUF_BITS_PER_PAGE);
  436. ut_ad(IBUF_BITS_PER_PAGE % 2 == 0);
  437. ut_ad(mtr_memo_contains(mtr, buf_block_align(page),
  438. MTR_MEMO_PAGE_X_FIX));
  439. bit_offset = (page_no % XDES_DESCRIBED_PER_PAGE) * IBUF_BITS_PER_PAGE
  440.      + bit;
  441. byte_offset = bit_offset / 8;
  442. bit_offset = bit_offset % 8;
  443. ut_ad(byte_offset + IBUF_BITMAP < UNIV_PAGE_SIZE);
  444. map_byte = mach_read_from_1(page + IBUF_BITMAP + byte_offset);
  445. value = ut_bit_get_nth(map_byte, bit_offset);
  446. if (bit == IBUF_BITMAP_FREE) {
  447. ut_ad(bit_offset + 1 < 8);
  448. value = value * 2 + ut_bit_get_nth(map_byte, bit_offset + 1);
  449. }
  450. return(value);
  451. }
  452. /************************************************************************
  453. Sets the desired bit for a given page in a bitmap page. */
  454. static
  455. void
  456. ibuf_bitmap_page_set_bits(
  457. /*======================*/
  458. page_t* page, /* in: bitmap page */
  459. ulint page_no,/* in: page whose bits to set */
  460. ulint bit, /* in: IBUF_BITMAP_FREE, IBUF_BITMAP_BUFFERED, ... */
  461. ulint val, /* in: value to set */
  462. mtr_t* mtr) /* in: mtr containing an x-latch to the bitmap page */
  463. {
  464. ulint byte_offset;
  465. ulint bit_offset;
  466. ulint map_byte;
  467. ut_ad(bit < IBUF_BITS_PER_PAGE);
  468. ut_ad(IBUF_BITS_PER_PAGE % 2 == 0);
  469. ut_ad(mtr_memo_contains(mtr, buf_block_align(page),
  470. MTR_MEMO_PAGE_X_FIX));
  471. #ifdef UNIV_IBUF_DEBUG
  472. ut_a((bit != IBUF_BITMAP_BUFFERED) || (val != FALSE)
  473.       || (0 == ibuf_count_get(buf_frame_get_space_id(page), page_no)));
  474. #endif
  475. bit_offset = (page_no % XDES_DESCRIBED_PER_PAGE) * IBUF_BITS_PER_PAGE
  476.      + bit;
  477. byte_offset = bit_offset / 8;
  478. bit_offset = bit_offset % 8;
  479. ut_ad(byte_offset + IBUF_BITMAP < UNIV_PAGE_SIZE);
  480. map_byte = mach_read_from_1(page + IBUF_BITMAP + byte_offset);
  481. if (bit == IBUF_BITMAP_FREE) {
  482. ut_ad(bit_offset + 1 < 8);
  483. ut_ad(val <= 3);
  484. map_byte = ut_bit_set_nth(map_byte, bit_offset, val / 2);
  485. map_byte = ut_bit_set_nth(map_byte, bit_offset + 1, val % 2);
  486. } else {
  487. ut_ad(val <= 1);
  488. map_byte = ut_bit_set_nth(map_byte, bit_offset, val);
  489. }
  490. mlog_write_ulint(page + IBUF_BITMAP + byte_offset, map_byte,
  491. MLOG_1BYTE, mtr);
  492. }
  493. /************************************************************************
  494. Calculates the bitmap page number for a given page number. */
  495. UNIV_INLINE
  496. ulint
  497. ibuf_bitmap_page_no_calc(
  498. /*=====================*/
  499. /* out: the bitmap page number where
  500. the file page is mapped */
  501. ulint page_no) /* in: tablespace page number */
  502. {
  503. return(FSP_IBUF_BITMAP_OFFSET
  504.        + XDES_DESCRIBED_PER_PAGE
  505. * (page_no / XDES_DESCRIBED_PER_PAGE));
  506. }
  507. /************************************************************************
  508. Gets the ibuf bitmap page where the bits describing a given file page are
  509. stored. */
  510. static
  511. page_t*
  512. ibuf_bitmap_get_map_page(
  513. /*=====================*/
  514. /* out: bitmap page where the file page is mapped,
  515. that is, the bitmap page containing the descriptor
  516. bits for the file page; the bitmap page is
  517. x-latched */
  518. ulint space, /* in: space id of the file page */
  519. ulint page_no,/* in: page number of the file page */
  520. mtr_t* mtr) /* in: mtr */
  521. {
  522. page_t* page;
  523. page = buf_page_get(space, ibuf_bitmap_page_no_calc(page_no),
  524. RW_X_LATCH, mtr);
  525. buf_page_dbg_add_level(page, SYNC_IBUF_BITMAP);
  526. return(page);
  527. }
  528. /****************************************************************************
  529. Sets the free bits of the page in the ibuf bitmap. This is done in a separate
  530. mini-transaction, hence this operation does not restrict further work to only
  531. ibuf bitmap operations, which would result if the latch to the bitmap pag
  532. were kept. */
  533. UNIV_INLINE
  534. void
  535. ibuf_set_free_bits_low(
  536. /*===================*/
  537. ulint type, /* in: index type */
  538. page_t* page, /* in: index page; free bit is reset if the index is
  539. a non-clustered non-unique, and page level is 0 */
  540. ulint val, /* in: value to set: < 4 */
  541. mtr_t* mtr) /* in: mtr */
  542. {
  543. page_t* bitmap_page;
  544. if (type & (DICT_CLUSTERED | DICT_UNIQUE)) {
  545. return;
  546. }
  547. if (btr_page_get_level_low(page) != 0) {
  548. return;
  549. }
  550. bitmap_page = ibuf_bitmap_get_map_page(buf_frame_get_space_id(page),
  551. buf_frame_get_page_no(page), mtr);
  552. #ifdef UNIV_IBUF_DEBUG
  553. /* printf("Setting page no %lu free bits to %lu should be %lun",
  554. buf_frame_get_page_no(page), val,
  555. ibuf_index_page_calc_free(page)); */
  556. ut_a(val <= ibuf_index_page_calc_free(page));
  557. #endif
  558. ibuf_bitmap_page_set_bits(bitmap_page, buf_frame_get_page_no(page),
  559. IBUF_BITMAP_FREE, val, mtr);
  560. }
  561. /****************************************************************************
  562. Sets the free bit of the page in the ibuf bitmap. This is done in a separate
  563. mini-transaction, hence this operation does not restrict further work to only
  564. ibuf bitmap operations, which would result if the latch to the bitmap page
  565. were kept. */
  566. void
  567. ibuf_set_free_bits(
  568. /*===============*/
  569. ulint type, /* in: index type */
  570. page_t* page, /* in: index page; free bit is reset if the index is
  571. a non-clustered non-unique, and page level is 0 */
  572. ulint val, /* in: value to set: < 4 */
  573. ulint max_val)/* in: ULINT_UNDEFINED or a maximum value which
  574. the bits must have before setting; this is for
  575. debugging */
  576. {
  577. mtr_t mtr;
  578. page_t* bitmap_page;
  579. if (type & (DICT_CLUSTERED | DICT_UNIQUE)) {
  580. return;
  581. }
  582. if (btr_page_get_level_low(page) != 0) {
  583. return;
  584. }
  585. mtr_start(&mtr);
  586. bitmap_page = ibuf_bitmap_get_map_page(buf_frame_get_space_id(page),
  587. buf_frame_get_page_no(page), &mtr);
  588. if (max_val != ULINT_UNDEFINED) {
  589. #ifdef UNIV_IBUF_DEBUG
  590. ulint old_val;
  591. old_val = ibuf_bitmap_page_get_bits(bitmap_page,
  592. buf_frame_get_page_no(page),
  593. IBUF_BITMAP_FREE, &mtr);
  594. if (old_val != max_val) {
  595. /* printf(
  596. "Ibuf: page %lu old val %lu max val %lun",
  597. buf_frame_get_page_no(page), old_val, max_val); */
  598. }
  599. ut_a(old_val <= max_val);
  600. #endif
  601. }
  602. #ifdef UNIV_IBUF_DEBUG
  603. /* printf("Setting page no %lu free bits to %lu should be %lun",
  604. buf_frame_get_page_no(page), val,
  605. ibuf_index_page_calc_free(page)); */
  606. ut_a(val <= ibuf_index_page_calc_free(page));
  607. #endif
  608. ibuf_bitmap_page_set_bits(bitmap_page, buf_frame_get_page_no(page),
  609. IBUF_BITMAP_FREE, val, &mtr);
  610. mtr_commit(&mtr);
  611. }
  612. /****************************************************************************
  613. Resets the free bits of the page in the ibuf bitmap. This is done in a
  614. separate mini-transaction, hence this operation does not restrict further
  615. work to only ibuf bitmap operations, which would result if the latch to the
  616. bitmap page were kept. */
  617. void
  618. ibuf_reset_free_bits_with_type(
  619. /*===========================*/
  620. ulint type, /* in: index type */
  621. page_t* page) /* in: index page; free bits are set to 0 if the index
  622. is non-clustered and non-unique and the page level is
  623. 0 */
  624. {
  625. ibuf_set_free_bits(type, page, 0, ULINT_UNDEFINED);
  626. }
  627. /****************************************************************************
  628. Resets the free bits of the page in the ibuf bitmap. This is done in a
  629. separate mini-transaction, hence this operation does not restrict further
  630. work to solely ibuf bitmap operations, which would result if the latch to
  631. the bitmap page were kept. */
  632. void
  633. ibuf_reset_free_bits(
  634. /*=================*/
  635. dict_index_t* index, /* in: index */
  636. page_t* page) /* in: index page; free bits are set to 0 if
  637. the index is non-clustered and non-unique and
  638. the page level is 0 */
  639. {
  640. ibuf_set_free_bits(index->type, page, 0, ULINT_UNDEFINED);
  641. }
  642. /**************************************************************************
  643. Updates the free bits for a page to reflect the present state. Does this
  644. in the mtr given, which means that the latching order rules virtually prevent
  645. any further operations for this OS thread until mtr is committed. */
  646. void
  647. ibuf_update_free_bits_low(
  648. /*======================*/
  649. dict_index_t* index, /* in: index */
  650. page_t* page, /* in: index page */
  651. ulint max_ins_size, /* in: value of maximum insert size
  652. with reorganize before the latest
  653. operation performed to the page */
  654. mtr_t* mtr) /* in: mtr */
  655. {
  656. ulint before;
  657. ulint after;
  658. before = ibuf_index_page_calc_free_bits(max_ins_size);
  659. after = ibuf_index_page_calc_free(page);
  660. if (before != after) {
  661. ibuf_set_free_bits_low(index->type, page, after, mtr);
  662. }
  663. }
  664. /**************************************************************************
  665. Updates the free bits for the two pages to reflect the present state. Does
  666. this in the mtr given, which means that the latching order rules virtually
  667. prevent any further operations until mtr is committed. */
  668. void
  669. ibuf_update_free_bits_for_two_pages_low(
  670. /*====================================*/
  671. dict_index_t* index, /* in: index */
  672. page_t* page1, /* in: index page */
  673. page_t* page2, /* in: index page */
  674. mtr_t* mtr) /* in: mtr */
  675. {
  676. ulint state;
  677. /* As we have to x-latch two random bitmap pages, we have to acquire
  678. the bitmap mutex to prevent a deadlock with a similar operation
  679. performed by another OS thread. */
  680. mutex_enter(&ibuf_bitmap_mutex);
  681. state = ibuf_index_page_calc_free(page1);
  682. ibuf_set_free_bits_low(index->type, page1, state, mtr);
  683. state = ibuf_index_page_calc_free(page2);
  684. ibuf_set_free_bits_low(index->type, page2, state, mtr);
  685. mutex_exit(&ibuf_bitmap_mutex);
  686. }
  687. /**************************************************************************
  688. Returns TRUE if the page is one of the fixed address ibuf pages. */
  689. UNIV_INLINE
  690. ibool
  691. ibuf_fixed_addr_page(
  692. /*=================*/
  693. /* out: TRUE if a fixed address ibuf i/o page */
  694. ulint page_no)/* in: page number */
  695. {
  696. if ((ibuf_bitmap_page(page_no))
  697. || (page_no == IBUF_TREE_ROOT_PAGE_NO)) {
  698. return(TRUE);
  699. }
  700. return(FALSE);
  701. }
  702. /***************************************************************************
  703. Checks if a page is a level 2 or 3 page in the ibuf hierarchy of pages. */
  704. ibool
  705. ibuf_page(
  706. /*======*/
  707. /* out: TRUE if level 2 or level 3 page */
  708. ulint space, /* in: space id */
  709. ulint page_no)/* in: page number */
  710. {
  711. page_t* bitmap_page;
  712. mtr_t mtr;
  713. ibool ret;
  714. if (recv_no_ibuf_operations) {
  715. /* Recovery is running: no ibuf operations should be
  716. performed */
  717. return(FALSE);
  718. }
  719. if (ibuf_fixed_addr_page(page_no)) {
  720. return(TRUE);
  721. }
  722. ut_ad(fil_space_get_type(space) == FIL_TABLESPACE);
  723. mtr_start(&mtr);
  724. bitmap_page = ibuf_bitmap_get_map_page(space, page_no, &mtr);
  725. ret = ibuf_bitmap_page_get_bits(bitmap_page, page_no, IBUF_BITMAP_IBUF,
  726. &mtr);
  727. mtr_commit(&mtr);
  728. return(ret);
  729. }
  730. /***************************************************************************
  731. Checks if a page is a level 2 or 3 page in the ibuf hierarchy of pages. */
  732. ibool
  733. ibuf_page_low(
  734. /*==========*/
  735. /* out: TRUE if level 2 or level 3 page */
  736. ulint space, /* in: space id */
  737. ulint page_no,/* in: page number */
  738. mtr_t* mtr) /* in: mtr which will contain an x-latch to the
  739. bitmap page if the page is not one of the fixed
  740. address ibuf pages */
  741. {
  742. page_t* bitmap_page;
  743. ibool ret;
  744. #ifdef UNIV_LOG_DEBUG
  745. if (space % 2 != 0) {
  746. printf("No ibuf in a replicate spacen");
  747. return(FALSE);
  748. }
  749. #endif
  750. if (ibuf_fixed_addr_page(page_no)) {
  751. return(TRUE);
  752. }
  753. bitmap_page = ibuf_bitmap_get_map_page(space, page_no, mtr);
  754. ret = ibuf_bitmap_page_get_bits(bitmap_page, page_no, IBUF_BITMAP_IBUF,
  755. mtr);
  756. return(ret);
  757. }
  758. /************************************************************************
  759. Returns the page number field of an ibuf record. */
  760. static
  761. ulint
  762. ibuf_rec_get_page_no(
  763. /*=================*/
  764. /* out: page number */
  765. rec_t* rec) /* in: ibuf record */
  766. {
  767. byte* field;
  768. ulint len;
  769. ut_ad(ibuf_inside());
  770. ut_ad(rec_get_n_fields(rec) > 2);
  771. field = rec_get_nth_field(rec, 0, &len);
  772. ut_ad(len == 4);
  773. return(mach_read_from_4(field));
  774. }
  775. /************************************************************************
  776. Returns the space taken by a stored non-clustered index entry if converted to
  777. an index record. */
  778. static
  779. ulint
  780. ibuf_rec_get_volume(
  781. /*================*/
  782. /* out: size of index record in bytes + an upper
  783. limit of the space taken in the page directory */
  784. rec_t* rec) /* in: ibuf record */
  785. {
  786. ulint n_fields;
  787. byte* field;
  788. ulint len;
  789. ulint data_size;
  790. ut_ad(ibuf_inside());
  791. ut_ad(rec_get_n_fields(rec) > 2);
  792. n_fields = rec_get_n_fields(rec) - 2;
  793. field = rec_get_nth_field(rec, 2, &len);
  794. data_size = rec_get_data_size(rec) - (field - rec);
  795. return(data_size + rec_get_converted_extra_size(data_size, n_fields)
  796. + page_dir_calc_reserved_space(1));
  797. }
  798. /*************************************************************************
  799. Builds the tuple to insert to an ibuf tree when we have an entry for a
  800. non-clustered index. */
  801. static
  802. dtuple_t*
  803. ibuf_entry_build(
  804. /*=============*/
  805. /* out, own: entry to insert into an ibuf
  806. index tree; NOTE that the original entry
  807. must be kept because we copy pointers to its
  808. fields */
  809. dtuple_t* entry, /* in: entry for a non-clustered index */
  810. ulint page_no,/* in: index page number where entry should
  811. be inserted */
  812. mem_heap_t* heap) /* in: heap into which to build */
  813. {
  814. dtuple_t* tuple;
  815. dfield_t* field;
  816. dfield_t* entry_field;
  817. ulint n_fields;
  818. byte* buf;
  819. byte* buf2;
  820. ulint i;
  821. /* We have to build a tuple whose first field is the page number,
  822. the second field contains the original type information for entry,
  823. and the rest of the fields are copied from entry. All fields
  824. in the tuple are of the type binary. */
  825. n_fields = dtuple_get_n_fields(entry);
  826. tuple = dtuple_create(heap, n_fields + 2);
  827. /* Store the page number in tuple */
  828. field = dtuple_get_nth_field(tuple, 0);
  829. buf = mem_heap_alloc(heap, 4);
  830. mach_write_to_4(buf, page_no);
  831. dfield_set_data(field, buf, 4);
  832. /* Store the type info in tuple */
  833. buf2 = mem_heap_alloc(heap, n_fields * DATA_ORDER_NULL_TYPE_BUF_SIZE);
  834. for (i = 0; i < n_fields; i++) {
  835. field = dtuple_get_nth_field(tuple, i + 2);
  836. entry_field = dtuple_get_nth_field(entry, i);
  837. dfield_copy(field, entry_field);
  838. dtype_store_for_order_and_null_size(
  839. buf2 + i * DATA_ORDER_NULL_TYPE_BUF_SIZE,
  840. dfield_get_type(entry_field));
  841. }
  842. field = dtuple_get_nth_field(tuple, 1);
  843. dfield_set_data(field, buf2, n_fields * DATA_ORDER_NULL_TYPE_BUF_SIZE);
  844. /* Set the types in the new tuple binary */
  845. dtuple_set_types_binary(tuple, n_fields + 2);
  846. return(tuple);
  847. }
  848. /*************************************************************************
  849. Builds the entry to insert into a non-clustered index when we have the
  850. corresponding record in an ibuf index. */
  851. static
  852. dtuple_t*
  853. ibuf_build_entry_from_ibuf_rec(
  854. /*===========================*/
  855. /* out, own: entry to insert to
  856. a non-clustered index; NOTE that
  857. as we copy pointers to fields in
  858. ibuf_rec, the caller must hold a
  859. latch to the ibuf_rec page as long
  860. as the entry is used! */
  861. rec_t* ibuf_rec, /* in: record in an insert buffer */
  862. mem_heap_t* heap) /* in: heap where built */
  863. {
  864. dtuple_t* tuple;
  865. dfield_t* field;
  866. ulint n_fields;
  867. byte* types;
  868. byte* data;
  869. ulint len;
  870. ulint i;
  871. n_fields = rec_get_n_fields(ibuf_rec) - 2;
  872. tuple = dtuple_create(heap, n_fields);
  873. types = rec_get_nth_field(ibuf_rec, 1, &len);
  874. ut_ad(len == n_fields * DATA_ORDER_NULL_TYPE_BUF_SIZE);
  875. for (i = 0; i < n_fields; i++) {
  876. field = dtuple_get_nth_field(tuple, i);
  877. data = rec_get_nth_field(ibuf_rec, i + 2, &len);
  878. dfield_set_data(field, data, len);
  879. dtype_read_for_order_and_null_size(dfield_get_type(field),
  880.    types + i * DATA_ORDER_NULL_TYPE_BUF_SIZE);
  881. }
  882. return(tuple);
  883. }
  884. /*************************************************************************
  885. Builds a search tuple used to search buffered inserts for an index page. */
  886. static
  887. dtuple_t*
  888. ibuf_search_tuple_build(
  889. /*====================*/
  890. /* out, own: search tuple */
  891. ulint page_no,/* in: index page number */
  892. mem_heap_t* heap) /* in: heap into which to build */
  893. {
  894. dtuple_t* tuple;
  895. dfield_t* field;
  896. byte* buf;
  897. tuple = dtuple_create(heap, 1);
  898. /* Store the page number in tuple */
  899. field = dtuple_get_nth_field(tuple, 0);
  900. buf = mem_heap_alloc(heap, 4);
  901. mach_write_to_4(buf, page_no);
  902. dfield_set_data(field, buf, 4);
  903. dtuple_set_types_binary(tuple, 1);
  904. return(tuple);
  905. }
  906. /*************************************************************************
  907. Checks if there are enough pages in the free list of the ibuf tree that we
  908. dare to start a pessimistic insert to the insert buffer. */
  909. UNIV_INLINE
  910. ibool
  911. ibuf_data_enough_free_for_insert(
  912. /*=============================*/
  913. /* out: TRUE if enough free pages in list */
  914. ibuf_data_t* data) /* in: ibuf data for the space */
  915. {
  916. ut_ad(mutex_own(&ibuf_mutex));
  917. /* We want a big margin of free pages, because a B-tree can sometimes
  918. grow in size also if records are deleted from it, as the node pointers
  919. can change, and we must make sure that we are able to delete the
  920. inserts buffered for pages that we read to the buffer pool, without
  921. any risk of running out of free space in the insert buffer. */
  922. if (data->free_list_len >= data->size / 2 + 3 * data->height) {
  923. return(TRUE);
  924. }
  925. return(FALSE);
  926. }
  927. /*************************************************************************
  928. Checks if there are enough pages in the free list of the ibuf tree that we
  929. should remove them and free to the file space management. */
  930. UNIV_INLINE
  931. ibool
  932. ibuf_data_too_much_free(
  933. /*====================*/
  934. /* out: TRUE if enough free pages in list */
  935. ibuf_data_t* data) /* in: ibuf data for the space */
  936. {
  937. ut_ad(mutex_own(&ibuf_mutex));
  938. if (data->free_list_len >= 3 + data->size / 2 + 3 * data->height) {
  939. return(TRUE);
  940. }
  941. return(FALSE);
  942. }
  943. /*************************************************************************
  944. Allocates a new page from the ibuf file segment and adds it to the free
  945. list. */
  946. static
  947. ulint
  948. ibuf_add_free_page(
  949. /*===============*/
  950. /* out: DB_SUCCESS, or DB_STRONG_FAIL
  951. if no space left */
  952. ulint space, /* in: space id */
  953. ibuf_data_t* ibuf_data) /* in: ibuf data for the space */
  954. {
  955. mtr_t mtr;
  956. page_t* header_page;
  957. ulint page_no;
  958. page_t* page;
  959. page_t* root;
  960. page_t* bitmap_page;
  961. mtr_start(&mtr);
  962. /* Acquire the fsp latch before the ibuf header, obeying the latching
  963. order */
  964. mtr_x_lock(fil_space_get_latch(space), &mtr);
  965. header_page = ibuf_header_page_get(space, &mtr);
  966. /* Allocate a new page: NOTE that if the page has been a part of a
  967. non-clustered index which has subsequently been dropped, then the
  968. page may have buffered inserts in the insert buffer, and these
  969. should be deleted from there. These get deleted when the page
  970. allocation creates the page in buffer. Thus the call below may end
  971. up calling the insert buffer routines and, as we yet have no latches
  972. to insert buffer tree pages, these routines can run without a risk
  973. of a deadlock. This is the reason why we created a special ibuf
  974. header page apart from the ibuf tree. */
  975. page_no = fseg_alloc_free_page(header_page + IBUF_HEADER
  976. + IBUF_TREE_SEG_HEADER, 0, FSP_UP,
  977. &mtr);
  978. if (page_no == FIL_NULL) {
  979. mtr_commit(&mtr);
  980. return(DB_STRONG_FAIL);
  981. }
  982. page = buf_page_get(space, page_no, RW_X_LATCH, &mtr);
  983. buf_page_dbg_add_level(page, SYNC_TREE_NODE_NEW);
  984. ibuf_enter();
  985. mutex_enter(&ibuf_mutex);
  986. root = ibuf_tree_root_get(ibuf_data, space, &mtr);
  987. /* Add the page to the free list and update the ibuf size data */
  988. flst_add_last(root + PAGE_HEADER + PAGE_BTR_IBUF_FREE_LIST,
  989.       page + PAGE_HEADER + PAGE_BTR_IBUF_FREE_LIST_NODE, &mtr);
  990. ibuf_data->seg_size++;
  991. ibuf_data->free_list_len++;
  992. /* Set the bit indicating that this page is now an ibuf tree page
  993. (level 2 page) */
  994. bitmap_page = ibuf_bitmap_get_map_page(space, page_no, &mtr);
  995. ibuf_bitmap_page_set_bits(bitmap_page, page_no, IBUF_BITMAP_IBUF,
  996. TRUE, &mtr);
  997. mtr_commit(&mtr);
  998. mutex_exit(&ibuf_mutex);
  999. ibuf_exit();
  1000. return(DB_SUCCESS);
  1001. }
  1002. /*************************************************************************
  1003. Removes a page from the free list and frees it to the fsp system. */
  1004. static
  1005. void
  1006. ibuf_remove_free_page(
  1007. /*==================*/
  1008. ulint space, /* in: space id */
  1009. ibuf_data_t* ibuf_data) /* in: ibuf data for the space */
  1010. {
  1011. mtr_t mtr;
  1012. mtr_t mtr2;
  1013. page_t* header_page;
  1014. ulint page_no;
  1015. page_t* page;
  1016. page_t* root;
  1017. page_t* bitmap_page;
  1018. mtr_start(&mtr);
  1019. /* Acquire the fsp latch before the ibuf header, obeying the latching
  1020. order */
  1021. mtr_x_lock(fil_space_get_latch(space), &mtr);
  1022. header_page = ibuf_header_page_get(space, &mtr);
  1023. /* Prevent pessimistic inserts to insert buffer trees for a while */
  1024. mutex_enter(&ibuf_pessimistic_insert_mutex);
  1025. ibuf_enter();
  1026. mutex_enter(&ibuf_mutex);
  1027. if (!ibuf_data_too_much_free(ibuf_data)) {
  1028. mutex_exit(&ibuf_mutex);
  1029. ibuf_exit();
  1030. mutex_exit(&ibuf_pessimistic_insert_mutex);
  1031. mtr_commit(&mtr);
  1032. return;
  1033. }
  1034. mtr_start(&mtr2);
  1035. root = ibuf_tree_root_get(ibuf_data, space, &mtr2);
  1036. page_no = flst_get_last(root + PAGE_HEADER + PAGE_BTR_IBUF_FREE_LIST,
  1037. &mtr2)
  1038.   .page;
  1039. /* NOTE that we must release the latch on the ibuf tree root
  1040. because in fseg_free_page we access level 1 pages, and the root
  1041. is a level 2 page. */
  1042.   
  1043. mtr_commit(&mtr2);
  1044. mutex_exit(&ibuf_mutex);
  1045. ibuf_exit();
  1046. /* Since pessimistic inserts were prevented, we know that the
  1047. page is still in the free list. NOTE that also deletes may take
  1048. pages from the free list, but they take them from the start, and
  1049. the free list was so long that they cannot have taken the last
  1050. page from it. */
  1051. fseg_free_page(header_page + IBUF_HEADER + IBUF_TREE_SEG_HEADER,
  1052. space, page_no, &mtr);
  1053. ibuf_enter();
  1054. mutex_enter(&ibuf_mutex);
  1055. root = ibuf_tree_root_get(ibuf_data, space, &mtr);
  1056. ut_ad(page_no == flst_get_last(root + PAGE_HEADER
  1057. + PAGE_BTR_IBUF_FREE_LIST, &mtr)
  1058.     .page);
  1059. page = buf_page_get(space, page_no, RW_X_LATCH, &mtr);
  1060. buf_page_dbg_add_level(page, SYNC_TREE_NODE);
  1061. /* Remove the page from the free list and update the ibuf size data */
  1062. flst_remove(root + PAGE_HEADER + PAGE_BTR_IBUF_FREE_LIST,
  1063.     page + PAGE_HEADER + PAGE_BTR_IBUF_FREE_LIST_NODE, &mtr);
  1064. ibuf_data->seg_size--;
  1065. ibuf_data->free_list_len--;
  1066.       
  1067. mutex_exit(&ibuf_pessimistic_insert_mutex);
  1068. /* Set the bit indicating that this page is no more an ibuf tree page
  1069. (level 2 page) */
  1070. bitmap_page = ibuf_bitmap_get_map_page(space, page_no, &mtr);
  1071. ibuf_bitmap_page_set_bits(bitmap_page, page_no, IBUF_BITMAP_IBUF,
  1072. FALSE, &mtr);
  1073. mtr_commit(&mtr);
  1074. mutex_exit(&ibuf_mutex);
  1075. ibuf_exit();
  1076. }
  1077. /***************************************************************************
  1078. Frees excess pages from the ibuf free list. This function is called when an OS
  1079. thread calls fsp services to allocate a new file segment, or a new page to a
  1080. file segment, and the thread did not own the fsp latch before this call. */ 
  1081. void
  1082. ibuf_free_excess_pages(
  1083. /*===================*/
  1084. ulint space) /* in: space id */
  1085. {
  1086. ibuf_data_t* ibuf_data;
  1087. ulint i;
  1088. ut_ad(rw_lock_own(fil_space_get_latch(space), RW_LOCK_EX));
  1089. ut_ad(rw_lock_get_x_lock_count(fil_space_get_latch(space)) == 1);
  1090. ut_ad(!ibuf_inside());
  1091. /* NOTE: We require that the thread did not own the latch before,
  1092. because then we know that we can obey the correct latching order
  1093. for ibuf latches */
  1094. ibuf_data = fil_space_get_ibuf_data(space);
  1095. if (ibuf_data == NULL) {
  1096. /* Not yet initialized */
  1097. #ifdef UNIV_DEBUG
  1098. /*printf("Ibuf for space %lu not yet initializedn", space); */
  1099. #endif
  1100. return;
  1101. }
  1102. /* Free at most a few pages at a time, so that we do not delay the
  1103. requested service too much */
  1104. for (i = 0; i < 4; i++) {
  1105. mutex_enter(&ibuf_mutex);
  1106. if (!ibuf_data_too_much_free(ibuf_data)) {
  1107. mutex_exit(&ibuf_mutex);
  1108. return;
  1109. }
  1110. mutex_exit(&ibuf_mutex);
  1111. ibuf_remove_free_page(space, ibuf_data);
  1112. }
  1113. }
  1114. /*************************************************************************
  1115. Reads page numbers from a leaf in an ibuf tree. */
  1116. static
  1117. ulint
  1118. ibuf_get_merge_page_nos(
  1119. /*====================*/
  1120. /* out: a lower limit for the combined volume
  1121. of records which will be merged */
  1122. ibool contract,/* in: TRUE if this function is called to
  1123. contract the tree, FALSE if this is called
  1124. when a single page becomes full and we look
  1125. if it pays to read also nearby pages */
  1126. rec_t* first_rec,/* in: record from which we read down and
  1127. up in the chain of records */
  1128. ulint* page_nos,/* in/out: buffer for at least
  1129. IBUF_MAX_N_PAGES_MERGED many page numbers;
  1130. the page numbers are in an ascending order */
  1131. ulint* n_stored)/* out: number of page numbers stored to
  1132. page_nos in this function */
  1133. {
  1134. ulint prev_page_no;
  1135. ulint first_page_no;
  1136. ulint rec_page_no;
  1137. rec_t* rec;
  1138. ulint sum_volumes;
  1139. ulint volume_for_page;
  1140. ulint rec_volume;
  1141. ulint limit;
  1142. page_t* page;
  1143. ulint n_pages;
  1144. *n_stored = 0;
  1145. limit = ut_min(IBUF_MAX_N_PAGES_MERGED, buf_pool->curr_size / 4);
  1146. page = buf_frame_align(first_rec);
  1147. if (first_rec == page_get_supremum_rec(page)) {
  1148. first_rec = page_rec_get_prev(first_rec);
  1149. }
  1150. if (first_rec == page_get_infimum_rec(page)) {
  1151. first_rec = page_rec_get_next(first_rec);
  1152. }
  1153. if (first_rec == page_get_supremum_rec(page)) {
  1154. return(0);
  1155. }
  1156. rec = first_rec;
  1157. first_page_no = ibuf_rec_get_page_no(first_rec);
  1158. n_pages = 0;
  1159. prev_page_no = 0;
  1160. while ((rec != page_get_infimum_rec(page)) && (n_pages < limit)) {
  1161. rec_page_no = ibuf_rec_get_page_no(rec);
  1162. ut_ad(rec_page_no != 0);
  1163. if (rec_page_no / IBUF_MERGE_AREA
  1164.     != first_page_no / IBUF_MERGE_AREA) {
  1165.      break;
  1166. }
  1167. if (rec_page_no != prev_page_no) {
  1168. n_pages++;
  1169. }
  1170. prev_page_no = rec_page_no;
  1171. rec = page_rec_get_prev(rec);
  1172. }
  1173. rec = page_rec_get_next(rec);
  1174. prev_page_no = 0;
  1175. sum_volumes = 0;
  1176. volume_for_page = 0;
  1177. while (*n_stored < limit) {
  1178. if (rec == page_get_supremum_rec(page)) {
  1179. rec_page_no = 1;
  1180. } else {
  1181. rec_page_no = ibuf_rec_get_page_no(rec);
  1182. ut_ad(rec_page_no > IBUF_TREE_ROOT_PAGE_NO);
  1183. }
  1184. #ifdef UNIV_IBUF_DEBUG
  1185. ut_a(*n_stored < IBUF_MAX_N_PAGES_MERGED);
  1186. #endif
  1187. if (rec_page_no != prev_page_no) {
  1188. if ((prev_page_no == first_page_no)
  1189.     || contract
  1190.     || (volume_for_page >
  1191.      ((IBUF_MERGE_THRESHOLD - 1)
  1192.       * 4 * UNIV_PAGE_SIZE
  1193.     / IBUF_PAGE_SIZE_PER_FREE_SPACE)
  1194.      / IBUF_MERGE_THRESHOLD)) {
  1195. page_nos[*n_stored] = prev_page_no;
  1196. (*n_stored)++;
  1197. sum_volumes += volume_for_page;
  1198. }
  1199. if (rec_page_no / IBUF_MERGE_AREA
  1200.      != first_page_no / IBUF_MERGE_AREA) {
  1201.      break;
  1202. }
  1203. volume_for_page = 0;
  1204. }
  1205. if (rec_page_no == 1) {
  1206. /* Supremum record */
  1207. break;
  1208. }
  1209. rec_volume = ibuf_rec_get_volume(rec);
  1210. volume_for_page += rec_volume;
  1211. prev_page_no = rec_page_no;
  1212. rec = page_rec_get_next(rec);
  1213. }
  1214. #ifdef UNIV_IBUF_DEBUG
  1215. ut_a(*n_stored <= IBUF_MAX_N_PAGES_MERGED);
  1216. #endif
  1217. /* printf("Ibuf merge batch %lu pages %lu volumen", *n_stored,
  1218. sum_volumes); */
  1219. return(sum_volumes);
  1220. }
  1221. /*************************************************************************
  1222. Contracts insert buffer trees by reading pages to the buffer pool. */
  1223. ulint
  1224. ibuf_contract(
  1225. /*==========*/
  1226. /* out: a lower limit for the combined size in bytes
  1227. of entries which will be merged from ibuf trees to the
  1228. pages read, 0 if ibuf is empty */
  1229. ibool sync) /* in: TRUE if the caller wants to wait for the
  1230. issued read with the highest tablespace address
  1231. to complete */
  1232. {
  1233. ulint rnd_pos;
  1234. ibuf_data_t* data;
  1235. btr_pcur_t pcur;
  1236. ulint space;
  1237. ibool all_trees_empty;
  1238. ulint page_nos[IBUF_MAX_N_PAGES_MERGED];
  1239. ulint n_stored;
  1240. ulint sum_sizes;
  1241. mtr_t mtr;
  1242. loop:
  1243. ut_ad(!ibuf_inside());
  1244. mutex_enter(&ibuf_mutex);
  1245. ut_ad(ibuf_validate_low());
  1246. /* Choose an ibuf tree at random */
  1247. ibuf_rnd += 865558671;
  1248. rnd_pos = ibuf_rnd % ibuf->size;
  1249. all_trees_empty = TRUE;
  1250. data = UT_LIST_GET_FIRST(ibuf->data_list);
  1251. for (;;) {
  1252. if (!data->empty) {
  1253. all_trees_empty = FALSE;
  1254. if (rnd_pos < data->size) {
  1255. break;
  1256. }
  1257. rnd_pos -= data->size;
  1258. }
  1259. data = UT_LIST_GET_NEXT(data_list, data);
  1260. if (data == NULL) {
  1261. if (all_trees_empty) {
  1262. mutex_exit(&ibuf_mutex);
  1263. return(0);
  1264. }
  1265. data = UT_LIST_GET_FIRST(ibuf->data_list);
  1266. }
  1267. }
  1268. ut_ad(data);
  1269. space = (data->index)->space;
  1270. mtr_start(&mtr);
  1271. ibuf_enter();
  1272. /* Open a cursor to a randomly chosen leaf of the tree, at a random
  1273. position within the leaf */
  1274. btr_pcur_open_at_rnd_pos(data->index, BTR_SEARCH_LEAF, &pcur, &mtr);
  1275. if (data->size == 1
  1276. && 0 == page_get_n_recs(btr_pcur_get_page(&pcur))) {
  1277. /* This tree is empty */
  1278.     
  1279.      data->empty = TRUE;
  1280.      ibuf_exit();
  1281.      mtr_commit(&mtr);
  1282.      btr_pcur_close(&pcur);
  1283.      mutex_exit(&ibuf_mutex);
  1284.      goto loop;
  1285. }
  1286. mutex_exit(&ibuf_mutex);
  1287. sum_sizes = ibuf_get_merge_page_nos(TRUE, btr_pcur_get_rec(&pcur),
  1288. page_nos, &n_stored);
  1289. #ifdef UNIV_IBUF_DEBUG
  1290. /* printf("Ibuf contract sync %lu pages %lu volume %lun", sync,
  1291. n_stored, sum_sizes); */
  1292. #endif
  1293. ibuf_exit();
  1294. mtr_commit(&mtr);
  1295. btr_pcur_close(&pcur);
  1296. buf_read_ibuf_merge_pages(sync, space, page_nos, n_stored);
  1297. return(sum_sizes + 1);
  1298. }
  1299. /*************************************************************************
  1300. Contract insert buffer trees after insert if they are too big. */
  1301. UNIV_INLINE
  1302. void
  1303. ibuf_contract_after_insert(
  1304. /*=======================*/
  1305. ulint entry_size) /* in: size of a record which was inserted
  1306. into an ibuf tree */
  1307. {
  1308. ibool sync;
  1309. ulint sum_sizes;
  1310. ulint size;
  1311. mutex_enter(&ibuf_mutex);
  1312. if (ibuf->size < ibuf->max_size + IBUF_CONTRACT_ON_INSERT_NON_SYNC) {
  1313. mutex_exit(&ibuf_mutex);
  1314. return;
  1315. }
  1316. sync = FALSE;
  1317. if (ibuf->size >= ibuf->max_size + IBUF_CONTRACT_ON_INSERT_SYNC) {
  1318. sync = TRUE;
  1319. }
  1320. mutex_exit(&ibuf_mutex);
  1321. /* Contract at least entry_size many bytes */
  1322. sum_sizes = 0;
  1323. size = 1;
  1324. while ((size > 0) && (sum_sizes < entry_size)) {
  1325. size = ibuf_contract(sync);
  1326. sum_sizes += size;
  1327. }
  1328. }
  1329. /*************************************************************************
  1330. Gets an upper limit for the combined size of entries buffered in the insert
  1331. buffer for a given page. */
  1332. ulint
  1333. ibuf_get_volume_buffered(
  1334. /*=====================*/
  1335. /* out: upper limit for the volume of
  1336. buffered inserts for the index page, in bytes;
  1337. we may also return UNIV_PAGE_SIZE, if the
  1338. entries for the index page span on several
  1339. pages in the insert buffer */
  1340. btr_pcur_t* pcur, /* in: pcur positioned at a place in an
  1341. insert buffer tree where we would insert an
  1342. entry for the index page whose number is
  1343. page_no, latch mode has to be BTR_MODIFY_PREV
  1344. or BTR_MODIFY_TREE */
  1345. ulint space, /* in: space id */
  1346. ulint page_no,/* in: page number of an index page */
  1347. mtr_t* mtr) /* in: mtr */
  1348. {
  1349. ulint volume;
  1350. rec_t* rec;
  1351. page_t* page;
  1352. ulint prev_page_no;
  1353. page_t* prev_page;
  1354. ulint next_page_no;
  1355. page_t* next_page;
  1356. ut_ad((pcur->latch_mode == BTR_MODIFY_PREV)
  1357. || (pcur->latch_mode == BTR_MODIFY_TREE));
  1358. /* Count the volume of records earlier in the alphabetical order than
  1359. pcur */
  1360. volume = 0;
  1361. rec = btr_pcur_get_rec(pcur);
  1362. page = buf_frame_align(rec);
  1363. if (rec == page_get_supremum_rec(page)) {
  1364. rec = page_rec_get_prev(rec);
  1365. }
  1366. for (;;) {
  1367. if (rec == page_get_infimum_rec(page)) {
  1368. break;
  1369. }
  1370. if (page_no != ibuf_rec_get_page_no(rec)) {
  1371. goto count_later;
  1372. }
  1373. volume += ibuf_rec_get_volume(rec);
  1374. rec = page_rec_get_prev(rec);
  1375. }
  1376. /* Look at the previous page */
  1377. prev_page_no = btr_page_get_prev(page, mtr);
  1378. if (prev_page_no == FIL_NULL) {
  1379. goto count_later;
  1380. }
  1381. prev_page = buf_page_get(space, prev_page_no, RW_X_LATCH, mtr);
  1382. buf_page_dbg_add_level(prev_page, SYNC_TREE_NODE);
  1383. rec = page_get_supremum_rec(prev_page);
  1384. rec = page_rec_get_prev(rec);
  1385. for (;;) {
  1386. if (rec == page_get_infimum_rec(prev_page)) {
  1387. /* We cannot go to yet a previous page, because we
  1388. do not have the x-latch on it, and cannot acquire one
  1389. because of the latching order: we have to give up */
  1390. return(UNIV_PAGE_SIZE);
  1391. }
  1392. if (page_no != ibuf_rec_get_page_no(rec)) {
  1393. goto count_later;
  1394. }
  1395. volume += ibuf_rec_get_volume(rec);
  1396. rec = page_rec_get_prev(rec);
  1397. }
  1398. count_later:
  1399. rec = btr_pcur_get_rec(pcur);
  1400. if (rec != page_get_supremum_rec(page)) {
  1401. rec = page_rec_get_next(rec);
  1402. }
  1403. for (;;) {
  1404. if (rec == page_get_supremum_rec(page)) {
  1405. break;
  1406. }
  1407. if (page_no != ibuf_rec_get_page_no(rec)) {
  1408. return(volume);
  1409. }
  1410. volume += ibuf_rec_get_volume(rec);
  1411. rec = page_rec_get_next(rec);
  1412. }
  1413. /* Look at the next page */
  1414. next_page_no = btr_page_get_next(page, mtr);
  1415. if (next_page_no == FIL_NULL) {
  1416. return(volume);
  1417. }
  1418. next_page = buf_page_get(space, next_page_no, RW_X_LATCH, mtr);
  1419. buf_page_dbg_add_level(next_page, SYNC_TREE_NODE);
  1420. rec = page_get_infimum_rec(next_page);
  1421. rec = page_rec_get_next(rec);
  1422. for (;;) {
  1423. if (rec == page_get_supremum_rec(next_page)) {
  1424. /* We give up */
  1425. return(UNIV_PAGE_SIZE);
  1426. }
  1427. if (page_no != ibuf_rec_get_page_no(rec)) {
  1428. return(volume);
  1429. }
  1430. volume += ibuf_rec_get_volume(rec);
  1431. rec = page_rec_get_next(rec);
  1432. }
  1433. }
  1434. /*************************************************************************
  1435. Makes an index insert to the insert buffer, instead of directly to the disk
  1436. page, if this is possible. */
  1437. static
  1438. ulint
  1439. ibuf_insert_low(
  1440. /*============*/
  1441. /* out: DB_SUCCESS, DB_FAIL, DB_STRONG_FAIL */
  1442. ulint mode, /* in: BTR_MODIFY_PREV or BTR_MODIFY_TREE */
  1443. dtuple_t* entry, /* in: index entry to insert */
  1444. dict_index_t* index, /* in: index where to insert; must not be
  1445. unique or clustered */
  1446. ulint space, /* in: space id where to insert */
  1447. ulint page_no,/* in: page number where to insert */
  1448. que_thr_t* thr) /* in: query thread */
  1449. {
  1450. ulint entry_size;
  1451. btr_pcur_t pcur;
  1452. btr_cur_t* cursor;
  1453. mtr_t mtr;
  1454. mtr_t bitmap_mtr;
  1455. dtuple_t* ibuf_entry;
  1456. mem_heap_t* heap;
  1457. ulint buffered;
  1458. rec_t* ins_rec;
  1459. ibool old_bit_value;
  1460. page_t* bitmap_page;
  1461. ibuf_data_t* ibuf_data;
  1462. dict_index_t* ibuf_index;
  1463. page_t* root;
  1464. ulint err;
  1465. ibool do_merge;
  1466. ulint page_nos[IBUF_MAX_N_PAGES_MERGED];
  1467. ulint n_stored;
  1468. ulint bits;
  1469. ut_ad(!(index->type & (DICT_UNIQUE | DICT_CLUSTERED)));
  1470. ut_ad(dtuple_check_typed(entry));
  1471. do_merge = FALSE;
  1472. ibuf_data = fil_space_get_ibuf_data(space);
  1473. ibuf_index = ibuf_data->index;
  1474. mutex_enter(&ibuf_mutex);
  1475. if (ibuf->size >= ibuf->max_size + IBUF_CONTRACT_DO_NOT_INSERT) {
  1476. /* Insert buffer is now too big, contract it but do not try
  1477. to insert */
  1478. mutex_exit(&ibuf_mutex);
  1479. #ifdef UNIV_IBUF_DEBUG
  1480. printf("Ibuf too bign");
  1481. #endif
  1482. /* Use synchronous contract (== TRUE) */
  1483. ibuf_contract(TRUE);
  1484. return(DB_STRONG_FAIL);
  1485. }
  1486. mutex_exit(&ibuf_mutex);
  1487. if (mode == BTR_MODIFY_TREE) {
  1488. mutex_enter(&ibuf_pessimistic_insert_mutex);
  1489. ibuf_enter();
  1490. mutex_enter(&ibuf_mutex);
  1491. while (!ibuf_data_enough_free_for_insert(ibuf_data)) {
  1492. mutex_exit(&ibuf_mutex);
  1493. ibuf_exit();
  1494. mutex_exit(&ibuf_pessimistic_insert_mutex);
  1495. err = ibuf_add_free_page(space, ibuf_data);
  1496. if (err == DB_STRONG_FAIL) {
  1497. return(err);
  1498. }
  1499. mutex_enter(&ibuf_pessimistic_insert_mutex);
  1500. ibuf_enter();
  1501. mutex_enter(&ibuf_mutex);
  1502. }
  1503. } else {
  1504. ibuf_enter();
  1505. }
  1506. entry_size = rec_get_converted_size(entry);
  1507. heap = mem_heap_create(512);
  1508.   /* Build the entry which contains the space id and the page number as
  1509. the first fields and the type information for other fields, and which
  1510. will be inserted to the insert buffer. */
  1511. ibuf_entry = ibuf_entry_build(entry, page_no, heap);
  1512. /* Open a cursor to the insert buffer tree to calculate if we can add
  1513. the new entry to it without exceeding the free space limit for the
  1514. page. */
  1515. mtr_start(&mtr);
  1516. btr_pcur_open(ibuf_index, ibuf_entry, PAGE_CUR_LE, mode, &pcur, &mtr);
  1517. /* Find out the volume of already buffered inserts for the same index
  1518. page */
  1519. buffered = ibuf_get_volume_buffered(&pcur, space, page_no, &mtr);
  1520. #ifdef UNIV_IBUF_DEBUG
  1521. ut_a((buffered == 0) || ibuf_count_get(space, page_no));
  1522. #endif
  1523.   mtr_start(&bitmap_mtr);
  1524. bitmap_page = ibuf_bitmap_get_map_page(space, page_no, &bitmap_mtr);
  1525. /* We check if the index page is suitable for buffered entries */
  1526. if (buf_page_peek(space, page_no)
  1527. || lock_rec_expl_exist_on_page(space, page_no)) {
  1528. err = DB_STRONG_FAIL;
  1529. mtr_commit(&bitmap_mtr);
  1530. goto function_exit;
  1531. }
  1532. bits = ibuf_bitmap_page_get_bits(bitmap_page, page_no,
  1533. IBUF_BITMAP_FREE, &bitmap_mtr);
  1534. if (buffered + entry_size + page_dir_calc_reserved_space(1)
  1535. > ibuf_index_page_calc_free_from_bits(bits)) {
  1536. mtr_commit(&bitmap_mtr);
  1537.   /* It may not fit */
  1538. err = DB_STRONG_FAIL;
  1539. do_merge = TRUE; 
  1540. ibuf_get_merge_page_nos(FALSE, btr_pcur_get_rec(&pcur),
  1541. page_nos, &n_stored);
  1542. goto function_exit;
  1543.   }
  1544. /* Set the bitmap bit denoting that the insert buffer contains
  1545. buffered entries for this index page, if the bit is not set yet */
  1546. old_bit_value = ibuf_bitmap_page_get_bits(bitmap_page, page_no,
  1547. IBUF_BITMAP_BUFFERED, &bitmap_mtr);
  1548. if (!old_bit_value) {
  1549. ibuf_bitmap_page_set_bits(bitmap_page, page_no,
  1550. IBUF_BITMAP_BUFFERED, TRUE, &bitmap_mtr);
  1551. }
  1552. mtr_commit(&bitmap_mtr);
  1553. cursor = btr_pcur_get_btr_cur(&pcur);
  1554. if (mode == BTR_MODIFY_PREV) {
  1555. err = btr_cur_optimistic_insert(BTR_NO_LOCKING_FLAG, cursor,
  1556. ibuf_entry, &ins_rec, thr,
  1557. &mtr);
  1558. if (err == DB_SUCCESS) {
  1559. /* Update the page max trx id field */
  1560. page_update_max_trx_id(buf_frame_align(ins_rec),
  1561. thr_get_trx(thr)->id);
  1562. }
  1563. } else {
  1564. ut_ad(mode == BTR_MODIFY_TREE);
  1565. /* We acquire an x-latch to the root page before the insert,
  1566. because a pessimistic insert releases the tree x-latch,
  1567. which would cause the x-latching of the root after that to
  1568. break the latching order. */
  1569. root = ibuf_tree_root_get(ibuf_data, space, &mtr);
  1570. err = btr_cur_pessimistic_insert(BTR_NO_LOCKING_FLAG
  1571. | BTR_NO_UNDO_LOG_FLAG,
  1572. cursor,
  1573. ibuf_entry, &ins_rec, thr,
  1574. &mtr);
  1575. if (err == DB_SUCCESS) {
  1576. /* Update the page max trx id field */
  1577. page_update_max_trx_id(buf_frame_align(ins_rec),
  1578. thr_get_trx(thr)->id);
  1579. }
  1580. ibuf_data_sizes_update(ibuf_data, root, &mtr);
  1581. }
  1582. function_exit:
  1583. #ifdef UNIV_IBUF_DEBUG
  1584. if (err == DB_SUCCESS) {
  1585. ibuf_count_set(space, page_no,
  1586. ibuf_count_get(space, page_no) + 1);
  1587. }
  1588. #endif
  1589.   if (mode == BTR_MODIFY_TREE) {
  1590. ut_ad(ibuf_validate_low());
  1591. mutex_exit(&ibuf_mutex);
  1592. mutex_exit(&ibuf_pessimistic_insert_mutex);
  1593. }
  1594. mtr_commit(&mtr);
  1595.   btr_pcur_close(&pcur);
  1596. ibuf_exit();
  1597.   mem_heap_free(heap);
  1598. mutex_enter(&ibuf_mutex);
  1599. if (err == DB_SUCCESS) {
  1600. ibuf_data->empty = FALSE;
  1601. ibuf_data->n_inserts++;
  1602. }
  1603. mutex_exit(&ibuf_mutex);
  1604.   if ((mode == BTR_MODIFY_TREE) && (err == DB_SUCCESS)) {
  1605. ibuf_contract_after_insert(entry_size);
  1606. }
  1607. if (do_merge) {
  1608. #ifdef UNIV_IBUF_DEBUG
  1609. ut_a(n_stored <= IBUF_MAX_N_PAGES_MERGED);
  1610. #endif
  1611. buf_read_ibuf_merge_pages(FALSE, space, page_nos, n_stored);
  1612. }
  1613. return(err);
  1614. }
  1615. /*************************************************************************
  1616. Makes an index insert to the insert buffer, instead of directly to the disk
  1617. page, if this is possible. Does not do insert if the index is clustered
  1618. or unique. */
  1619. ibool
  1620. ibuf_insert(
  1621. /*========*/
  1622. /* out: TRUE if success */
  1623. dtuple_t* entry, /* in: index entry to insert */
  1624. dict_index_t* index, /* in: index where to insert */
  1625. ulint space, /* in: space id where to insert */
  1626. ulint page_no,/* in: page number where to insert */
  1627. que_thr_t* thr) /* in: query thread */
  1628. {
  1629. ulint err;
  1630. ut_ad(dtuple_check_typed(entry));
  1631. if (index->type & DICT_CLUSTERED || index->type & DICT_UNIQUE) {
  1632. return(FALSE);
  1633. }
  1634. if (rec_get_converted_size(entry)
  1635. >= page_get_free_space_of_empty() / 2) {
  1636. return(FALSE);
  1637. }
  1638. err = ibuf_insert_low(BTR_MODIFY_PREV, entry, index, space, page_no,
  1639. thr);
  1640. if (err == DB_FAIL) {
  1641. err = ibuf_insert_low(BTR_MODIFY_TREE, entry, index, space,
  1642. page_no, thr);
  1643. }
  1644. if (err == DB_SUCCESS) {
  1645. #ifdef UNIV_IBUF_DEBUG
  1646. /* printf("Ibuf insert for page no %lu of index %sn", page_no,
  1647. index->name); */
  1648. #endif
  1649. return(TRUE);
  1650. } else {
  1651. ut_a(err == DB_STRONG_FAIL);
  1652. return(FALSE);
  1653. }
  1654. }
  1655. /************************************************************************
  1656. During merge, inserts to an index page a secondary index entry extracted
  1657. from the insert buffer. */
  1658. static
  1659. void
  1660. ibuf_insert_to_index_page(
  1661. /*======================*/
  1662. dtuple_t* entry, /* in: buffered entry to insert */
  1663. page_t* page, /* in: index page where the buffered entry
  1664. should be placed */
  1665. mtr_t* mtr) /* in: mtr */
  1666. {
  1667. page_cur_t page_cur;
  1668. ulint low_match;
  1669. rec_t* rec;
  1670. page_t* bitmap_page;
  1671. ulint old_bits;
  1672. ut_ad(ibuf_inside());
  1673. ut_ad(dtuple_check_typed(entry));
  1674. low_match = page_cur_search(page, entry, PAGE_CUR_LE, &page_cur);
  1675. if (low_match == dtuple_get_n_fields(entry)) {
  1676. rec = page_cur_get_rec(&page_cur);
  1677. ut_ad(rec_get_deleted_flag(rec));
  1678. btr_cur_del_unmark_for_ibuf(rec, mtr);
  1679. } else {
  1680. rec = page_cur_tuple_insert(&page_cur, entry, mtr);
  1681. if (rec == NULL) {
  1682. /* If the record did not fit, reorganize */
  1683. btr_page_reorganize(page, mtr);
  1684. page_cur_search(page, entry, PAGE_CUR_LE, &page_cur);
  1685. /* This time the record must fit */
  1686. if (!page_cur_tuple_insert(&page_cur, entry, mtr)) {
  1687. printf(
  1688. "Ibuf insert fails; page free %lu, dtuple size %lun",
  1689. page_get_max_insert_size(page, 1),
  1690. rec_get_converted_size(entry));
  1691. bitmap_page = ibuf_bitmap_get_map_page(
  1692. buf_frame_get_space_id(page),
  1693. buf_frame_get_page_no(page),
  1694. mtr);
  1695. old_bits = ibuf_bitmap_page_get_bits(
  1696. bitmap_page,
  1697. buf_frame_get_page_no(page),
  1698. IBUF_BITMAP_FREE, mtr);
  1699. printf("Bitmap bits %lun", old_bits);
  1700. ut_error;
  1701. }
  1702. }
  1703. }
  1704. }
  1705. /*************************************************************************
  1706. Deletes from ibuf the record on which pcur is positioned. If we have to
  1707. resort to a pessimistic delete, this function commits mtr and closes
  1708. the cursor. */
  1709. static
  1710. ibool
  1711. ibuf_delete_rec(
  1712. /*============*/
  1713. /* out: TRUE if mtr was committed and pcur
  1714. closed in this operation */
  1715. ulint space, /* in: space id */
  1716. ulint page_no,/* in: index page number where the record
  1717. should belong */
  1718. btr_pcur_t* pcur, /* in: pcur positioned on the record to
  1719. delete, having latch mode BTR_MODIFY_LEAF */
  1720. mtr_t* mtr) /* in: mtr */
  1721. {
  1722. ibool success;
  1723. ibuf_data_t* ibuf_data;
  1724. page_t* root;
  1725. ulint err;
  1726. ut_ad(ibuf_inside());
  1727. success = btr_cur_optimistic_delete(btr_pcur_get_btr_cur(pcur), mtr);
  1728. if (success) {
  1729. #ifdef UNIV_IBUF_DEBUG
  1730. ibuf_count_set(space, page_no,
  1731. ibuf_count_get(space, page_no) - 1);
  1732. #endif
  1733. return(FALSE);
  1734. }
  1735. /* We have to resort to a pessimistic delete from ibuf */
  1736. btr_pcur_store_position(pcur, mtr);
  1737. btr_pcur_commit_specify_mtr(pcur, mtr);
  1738. ibuf_data = fil_space_get_ibuf_data(space);
  1739. mutex_enter(&ibuf_mutex);
  1740. mtr_start(mtr);
  1741. ut_a(btr_pcur_restore_position(BTR_MODIFY_TREE, pcur, mtr));
  1742. root = ibuf_tree_root_get(ibuf_data, space, mtr);
  1743. btr_cur_pessimistic_delete(&err, TRUE, btr_pcur_get_btr_cur(pcur),
  1744. mtr);
  1745. ut_a(err == DB_SUCCESS);
  1746. #ifdef UNIV_IBUF_DEBUG
  1747. ibuf_count_set(space, page_no, ibuf_count_get(space, page_no) - 1);
  1748. #endif
  1749. ibuf_data_sizes_update(ibuf_data, root, mtr);
  1750. ut_ad(ibuf_validate_low());
  1751. btr_pcur_commit_specify_mtr(pcur, mtr);
  1752. btr_pcur_close(pcur);
  1753. mutex_exit(&ibuf_mutex);
  1754. return(TRUE);
  1755. }
  1756. /*************************************************************************
  1757. When an index page is read from a disk to the buffer pool, this function
  1758. inserts to the page the possible index entries buffered in the insert buffer.
  1759. The entries are deleted from the insert buffer. If the page is not read, but
  1760. created in the buffer pool, this function deletes its buffered entries from
  1761. the insert buffer; there can exist entries for such a page if the page
  1762. belonged to an index which subsequently was dropped. */
  1763. void
  1764. ibuf_merge_or_delete_for_page(
  1765. /*==========================*/
  1766. page_t* page, /* in: if page has been read from disk, pointer to
  1767. the page x-latched, else NULL */
  1768. ulint space, /* in: space id of the index page */
  1769. ulint page_no)/* in: page number of the index page */
  1770. {
  1771. mem_heap_t* heap;
  1772. btr_pcur_t pcur;
  1773. dtuple_t* entry;
  1774. dtuple_t* search_tuple;
  1775. rec_t* ibuf_rec;
  1776. ibool closed;
  1777. buf_block_t* block;
  1778. page_t* bitmap_page;
  1779. ibuf_data_t* ibuf_data;
  1780. ibool success;
  1781. ulint n_inserts;
  1782. ulint volume;
  1783. ulint old_bits;
  1784. ulint new_bits;
  1785. dulint max_trx_id;
  1786. mtr_t mtr;
  1787. /* TODO: get MySQL type info to use in ibuf_insert_to_index_page */
  1788. #ifdef UNIV_LOG_DEBUG
  1789. if (space % 2 != 0) {
  1790. printf("No ibuf operation in a replicate spacen");
  1791. return;
  1792. }
  1793. #endif
  1794. if (ibuf_fixed_addr_page(page_no) || fsp_descr_page(page_no)
  1795. || trx_sys_hdr_page(space, page_no)) {
  1796. return;
  1797. }
  1798. mtr_start(&mtr);
  1799. bitmap_page = ibuf_bitmap_get_map_page(space, page_no, &mtr);
  1800. if (!ibuf_bitmap_page_get_bits(bitmap_page, page_no,
  1801. IBUF_BITMAP_BUFFERED, &mtr)) {
  1802. /* No inserts buffered for this page */
  1803. mtr_commit(&mtr);
  1804. return;
  1805. }
  1806. mtr_commit(&mtr);
  1807. ibuf_data = fil_space_get_ibuf_data(space);
  1808. ibuf_enter();
  1809. heap = mem_heap_create(512);
  1810. search_tuple = ibuf_search_tuple_build(page_no, heap);
  1811. if (page) {
  1812. /* Move the ownership of the x-latch on the page to this OS
  1813. thread, so that we can acquire a second x-latch on it. This
  1814. is needed for the insert operations to the index page to pass
  1815. the debug checks. */
  1816. block = buf_block_align(page);
  1817. rw_lock_x_lock_move_ownership(&(block->lock));
  1818. }
  1819. n_inserts = 0;
  1820. volume = 0;
  1821. loop:
  1822. mtr_start(&mtr);
  1823. if (page) {
  1824. success = buf_page_get_known_nowait(RW_X_LATCH, page,
  1825. BUF_KEEP_OLD,
  1826. #ifdef UNIV_SYNC_DEBUG
  1827. IB__FILE__, __LINE__,
  1828. #endif
  1829. &mtr);
  1830. ut_a(success);
  1831. buf_page_dbg_add_level(page, SYNC_TREE_NODE);
  1832. }
  1833. /* Position pcur in the insert buffer at the first entry for this
  1834. index page */
  1835. btr_pcur_open_on_user_rec(ibuf_data->index, search_tuple, PAGE_CUR_GE,
  1836. BTR_MODIFY_LEAF, &pcur, &mtr);
  1837. if (!btr_pcur_is_on_user_rec(&pcur, &mtr)) {
  1838. ut_ad(btr_pcur_is_after_last_in_tree(&pcur, &mtr));
  1839. goto reset_bit;
  1840. }
  1841. for (;;) {
  1842. ut_ad(btr_pcur_is_on_user_rec(&pcur, &mtr));
  1843. ibuf_rec = btr_pcur_get_rec(&pcur);
  1844. /* Check if the entry is for this index page */
  1845. if (ibuf_rec_get_page_no(ibuf_rec) != page_no) {
  1846. if (page) {
  1847. page_header_reset_last_insert(page, &mtr);
  1848. }
  1849. goto reset_bit;
  1850. }
  1851.     if (page) {
  1852. /* Now we have at pcur a record which should be
  1853. inserted to the index page; NOTE that the call below
  1854. copies pointers to fields in ibuf_rec, and we must
  1855. keep the latch to the ibuf_rec page until the
  1856. insertion is finished! */
  1857. max_trx_id = page_get_max_trx_id(
  1858. buf_frame_align(ibuf_rec));
  1859. page_update_max_trx_id(page, max_trx_id);
  1860. entry = ibuf_build_entry_from_ibuf_rec(ibuf_rec, heap);
  1861. #ifdef UNIV_IBUF_DEBUG
  1862. volume += rec_get_converted_size(entry)
  1863.   + page_dir_calc_reserved_space(1);
  1864.     
  1865. ut_a(volume <= 4 * UNIV_PAGE_SIZE
  1866. / IBUF_PAGE_SIZE_PER_FREE_SPACE);
  1867. #endif
  1868. ibuf_insert_to_index_page(entry, page, &mtr);
  1869. n_inserts++;
  1870. }
  1871. /* Delete the record from ibuf */
  1872. closed = ibuf_delete_rec(space, page_no, &pcur, &mtr);
  1873. if (closed) {
  1874. /* Deletion was pessimistic and mtr was committed:
  1875. we start from the beginning again */
  1876. goto loop;
  1877. }
  1878. if (btr_pcur_is_after_last_on_page(&pcur, &mtr)) {
  1879. mtr_commit(&mtr);
  1880. goto loop;
  1881. }
  1882. }
  1883. reset_bit:
  1884. #ifdef UNIV_IBUF_DEBUG
  1885. if (ibuf_count_get(space, page_no) > 0) {
  1886. /* btr_print_tree(ibuf_data->index->tree, 100);
  1887. ibuf_print(); */
  1888. }
  1889. #endif
  1890. bitmap_page = ibuf_bitmap_get_map_page(space, page_no, &mtr);
  1891. ibuf_bitmap_page_set_bits(bitmap_page, page_no,
  1892. IBUF_BITMAP_BUFFERED, FALSE, &mtr);
  1893. if (page) {
  1894. old_bits = ibuf_bitmap_page_get_bits(bitmap_page, page_no,
  1895. IBUF_BITMAP_FREE, &mtr);
  1896. new_bits = ibuf_index_page_calc_free(page);
  1897. #ifdef UNIV_IBUF_DEBUG
  1898. /* printf("Old bits %lu new bits %lu max size %lun", old_bits,
  1899. new_bits,
  1900. page_get_max_insert_size_after_reorganize(page, 1)); */
  1901. #endif
  1902. if (old_bits != new_bits) {
  1903. ibuf_bitmap_page_set_bits(bitmap_page, page_no,
  1904. IBUF_BITMAP_FREE,
  1905. new_bits, &mtr);
  1906. }
  1907. }
  1908. ibuf_data->n_merges++;
  1909. ibuf_data->n_merged_recs += n_inserts;
  1910. #ifdef UNIV_IBUF_DEBUG
  1911. /* printf("Ibuf merge %lu records volume %lu to page no %lun",
  1912. n_inserts, volume, page_no); */
  1913. #endif
  1914. mtr_commit(&mtr);
  1915.   btr_pcur_close(&pcur);
  1916.  
  1917. mem_heap_free(heap);
  1918. ibuf_exit();
  1919. #ifdef UNIV_IBUF_DEBUG
  1920. ut_a(ibuf_count_get(space, page_no) == 0);
  1921. #endif
  1922. }
  1923. /**********************************************************************
  1924. Validates the ibuf data structures when the caller owns ibuf_mutex. */
  1925. static
  1926. ibool
  1927. ibuf_validate_low(void)
  1928. /*===================*/
  1929. /* out: TRUE if ok */
  1930. {
  1931. ibuf_data_t* data;
  1932. ulint sum_sizes;
  1933. ut_ad(mutex_own(&ibuf_mutex));
  1934. sum_sizes = 0;
  1935. data = UT_LIST_GET_FIRST(ibuf->data_list);
  1936. while (data) {
  1937. sum_sizes += data->size;
  1938. data = UT_LIST_GET_NEXT(data_list, data);
  1939. }
  1940. ut_a(sum_sizes == ibuf->size);
  1941. return(TRUE);
  1942. }
  1943. /**********************************************************************
  1944. Prints info of ibuf. */
  1945. void
  1946. ibuf_print(void)
  1947. /*============*/
  1948. {
  1949. ibuf_data_t* data;
  1950. #ifdef UNIV_IBUF_DEBUG
  1951. ulint i;
  1952. #endif
  1953. mutex_enter(&ibuf_mutex);
  1954. printf("Ibuf size %lu max size %lun", ibuf->size, ibuf->max_size);
  1955. data = UT_LIST_GET_FIRST(ibuf->data_list);
  1956. while (data) {
  1957. printf(
  1958.    "Ibuf for space %lu: size %lu, free list len %lu, seg size %lu,n",
  1959. data->space, data->size, data->free_list_len, data->seg_size);
  1960. printf("%lu inserts, %lu merged recs, %lu mergesn",
  1961. data->n_inserts, data->n_merged_recs, data->n_merges);
  1962. #ifdef UNIV_IBUF_DEBUG
  1963. for (i = 0; i < IBUF_COUNT_N_PAGES; i++) {
  1964. if (ibuf_count_get(data->space, i) > 0) {
  1965. printf("Ibuf count for page %lu is %lun",
  1966. i, ibuf_count_get(data->space, i));
  1967. }
  1968. }
  1969. #endif
  1970. data = UT_LIST_GET_NEXT(data_list, data);
  1971. }
  1972. mutex_exit(&ibuf_mutex);
  1973. }