row0purge.c
上传用户:romrleung
上传日期:2022-05-23
资源大小:18897k
文件大小:15k
源码类别:

MySQL数据库

开发平台:

Visual C++

  1. /******************************************************
  2. Purge obsolete records
  3. (c) 1997 Innobase Oy
  4. Created 3/14/1997 Heikki Tuuri
  5. *******************************************************/
  6. #include "row0purge.h"
  7. #ifdef UNIV_NONINL
  8. #include "row0purge.ic"
  9. #endif
  10. #include "fsp0fsp.h"
  11. #include "mach0data.h"
  12. #include "trx0rseg.h"
  13. #include "trx0trx.h"
  14. #include "trx0roll.h"
  15. #include "trx0undo.h"
  16. #include "trx0purge.h"
  17. #include "trx0rec.h"
  18. #include "que0que.h"
  19. #include "row0row.h"
  20. #include "row0upd.h"
  21. #include "row0vers.h"
  22. #include "row0mysql.h"
  23. #include "log0log.h"
  24. /************************************************************************
  25. Creates a purge node to a query graph. */
  26. purge_node_t*
  27. row_purge_node_create(
  28. /*==================*/
  29. /* out, own: purge node */
  30. que_thr_t* parent, /* in: parent node, i.e., a thr node */
  31. mem_heap_t* heap) /* in: memory heap where created */
  32. {
  33. purge_node_t* node;
  34. ut_ad(parent && heap);
  35. node = mem_heap_alloc(heap, sizeof(purge_node_t));
  36. node->common.type = QUE_NODE_PURGE;
  37. node->common.parent = parent;
  38. node->heap = mem_heap_create(256);
  39. return(node);
  40. }
  41. /***************************************************************
  42. Repositions the pcur in the purge node on the clustered index record,
  43. if found. */
  44. static
  45. ibool
  46. row_purge_reposition_pcur(
  47. /*======================*/
  48. /* out: TRUE if the record was found */
  49. ulint mode, /* in: latching mode */
  50. purge_node_t* node, /* in: row purge node */
  51. mtr_t* mtr) /* in: mtr */
  52. {
  53. ibool found;
  54. if (node->found_clust) {
  55. found = btr_pcur_restore_position(mode, &(node->pcur), mtr);
  56. return(found);
  57. }
  58. found = row_search_on_row_ref(&(node->pcur), mode, node->table,
  59. node->ref, mtr);
  60. node->found_clust = found;
  61. if (found) {
  62. btr_pcur_store_position(&(node->pcur), mtr);
  63. }
  64. return(found);
  65. }
  66. /***************************************************************
  67. Removes a delete marked clustered index record if possible. */
  68. static
  69. ibool
  70. row_purge_remove_clust_if_poss_low(
  71. /*===============================*/
  72. /* out: TRUE if success, or if not found, or
  73. if modified after the delete marking */
  74. purge_node_t* node, /* in: row purge node */
  75. ulint mode) /* in: BTR_MODIFY_LEAF or BTR_MODIFY_TREE */
  76. {
  77. dict_index_t* index;
  78. btr_pcur_t* pcur;
  79. btr_cur_t* btr_cur;
  80. ibool success;
  81. ulint err;
  82. mtr_t mtr;
  83. index = dict_table_get_first_index(node->table);
  84. pcur = &(node->pcur);
  85. btr_cur = btr_pcur_get_btr_cur(pcur);
  86. mtr_start(&mtr);
  87. success = row_purge_reposition_pcur(mode, node, &mtr);
  88. if (!success) {
  89. /* The record is already removed */
  90. btr_pcur_commit_specify_mtr(pcur, &mtr);
  91. return(TRUE);
  92. }
  93. if (0 != ut_dulint_cmp(node->roll_ptr,
  94. row_get_rec_roll_ptr(btr_pcur_get_rec(pcur), index))) {
  95. /* Someone else has modified the record later: do not remove */
  96. btr_pcur_commit_specify_mtr(pcur, &mtr);
  97. return(TRUE);
  98. }
  99. if (mode == BTR_MODIFY_LEAF) {
  100. success = btr_cur_optimistic_delete(btr_cur, &mtr);
  101. } else {
  102. ut_ad(mode == BTR_MODIFY_TREE);
  103. btr_cur_pessimistic_delete(&err, FALSE, btr_cur, FALSE, &mtr);
  104. if (err == DB_SUCCESS) {
  105. success = TRUE;
  106. } else if (err == DB_OUT_OF_FILE_SPACE) {
  107. success = FALSE;
  108. } else {
  109. ut_error;
  110. }
  111. }
  112. btr_pcur_commit_specify_mtr(pcur, &mtr);
  113. return(success);
  114. }
  115. /***************************************************************
  116. Removes a clustered index record if it has not been modified after the delete
  117. marking. */
  118. static
  119. void
  120. row_purge_remove_clust_if_poss(
  121. /*===========================*/
  122. purge_node_t* node) /* in: row purge node */
  123. {
  124. ibool success;
  125. ulint n_tries = 0;
  126. /* fputs("Purge: Removing clustered recordn", stderr); */
  127. success = row_purge_remove_clust_if_poss_low(node, BTR_MODIFY_LEAF);
  128. if (success) {
  129. return;
  130. }
  131. retry:
  132. success = row_purge_remove_clust_if_poss_low(node, BTR_MODIFY_TREE);
  133. /* The delete operation may fail if we have little
  134. file space left: TODO: easiest to crash the database
  135. and restart with more file space */
  136. if (!success && n_tries < BTR_CUR_RETRY_DELETE_N_TIMES) {
  137. n_tries++;
  138. os_thread_sleep(BTR_CUR_RETRY_SLEEP_TIME);
  139. goto retry;
  140. }
  141. ut_a(success);
  142. }
  143.  
  144. /***************************************************************
  145. Removes a secondary index entry if possible. */
  146. static
  147. ibool
  148. row_purge_remove_sec_if_poss_low(
  149. /*=============================*/
  150. /* out: TRUE if success or if not found */
  151. purge_node_t* node, /* in: row purge node */
  152. dict_index_t* index, /* in: index */
  153. dtuple_t* entry, /* in: index entry */
  154. ulint mode) /* in: latch mode BTR_MODIFY_LEAF or
  155. BTR_MODIFY_TREE */
  156. {
  157. btr_pcur_t pcur;
  158. btr_cur_t* btr_cur;
  159. ibool success;
  160. ibool old_has = 0; /* remove warning */
  161. ibool found;
  162. ulint err;
  163. mtr_t mtr;
  164. mtr_t* mtr_vers;
  165. log_free_check();
  166. mtr_start(&mtr);
  167. found = row_search_index_entry(index, entry, mode, &pcur, &mtr);
  168. if (!found) {
  169. /* Not found */
  170. /* fputs("PURGE:........sec entry not foundn", stderr); */
  171. /* dtuple_print(entry); */
  172. btr_pcur_close(&pcur);
  173. mtr_commit(&mtr);
  174. return(TRUE);
  175. }
  176. btr_cur = btr_pcur_get_btr_cur(&pcur);
  177. /* We should remove the index record if no later version of the row,
  178. which cannot be purged yet, requires its existence. If some requires,
  179. we should do nothing. */
  180. mtr_vers = mem_alloc(sizeof(mtr_t));
  181. mtr_start(mtr_vers);
  182. success = row_purge_reposition_pcur(BTR_SEARCH_LEAF, node, mtr_vers);
  183. if (success) {
  184. old_has = row_vers_old_has_index_entry(TRUE,
  185. btr_pcur_get_rec(&(node->pcur)),
  186. mtr_vers, index, entry);
  187. }
  188. btr_pcur_commit_specify_mtr(&(node->pcur), mtr_vers);
  189. mem_free(mtr_vers);
  190. if (!success || !old_has) {
  191. /* Remove the index record */
  192. if (mode == BTR_MODIFY_LEAF) {
  193. success = btr_cur_optimistic_delete(btr_cur, &mtr);
  194. } else {
  195. ut_ad(mode == BTR_MODIFY_TREE);
  196. btr_cur_pessimistic_delete(&err, FALSE, btr_cur,
  197. FALSE, &mtr);
  198. if (err == DB_SUCCESS) {
  199. success = TRUE;
  200. } else if (err == DB_OUT_OF_FILE_SPACE) {
  201. success = FALSE;
  202. } else {
  203. ut_error;
  204. }
  205. }
  206. }
  207. btr_pcur_close(&pcur);
  208. mtr_commit(&mtr);
  209. return(success);
  210. }
  211. /***************************************************************
  212. Removes a secondary index entry if possible. */
  213. UNIV_INLINE
  214. void
  215. row_purge_remove_sec_if_poss(
  216. /*=========================*/
  217. purge_node_t* node, /* in: row purge node */
  218. dict_index_t* index, /* in: index */
  219. dtuple_t* entry) /* in: index entry */
  220. {
  221. ibool success;
  222. ulint n_tries = 0;
  223. /* fputs("Purge: Removing secondary recordn", stderr); */
  224. success = row_purge_remove_sec_if_poss_low(node, index, entry,
  225. BTR_MODIFY_LEAF);
  226. if (success) {
  227. return;
  228. }
  229. retry:
  230. success = row_purge_remove_sec_if_poss_low(node, index, entry,
  231. BTR_MODIFY_TREE);
  232. /* The delete operation may fail if we have little
  233. file space left: TODO: easiest to crash the database
  234. and restart with more file space */
  235. if (!success && n_tries < BTR_CUR_RETRY_DELETE_N_TIMES) {
  236. n_tries++;
  237. os_thread_sleep(BTR_CUR_RETRY_SLEEP_TIME);
  238. goto retry;
  239. }
  240. ut_a(success);
  241. }
  242. /***************************************************************
  243. Purges a delete marking of a record. */
  244. static
  245. void
  246. row_purge_del_mark(
  247. /*===============*/
  248. purge_node_t* node) /* in: row purge node */
  249. {
  250. mem_heap_t* heap;
  251. dtuple_t* entry;
  252. dict_index_t* index;
  253. ut_ad(node);
  254. heap = mem_heap_create(1024);
  255. while (node->index != NULL) {
  256. index = node->index;
  257. /* Build the index entry */
  258. entry = row_build_index_entry(node->row, index, heap);
  259. row_purge_remove_sec_if_poss(node, index, entry);
  260. node->index = dict_table_get_next_index(node->index);
  261. }
  262. mem_heap_free(heap);
  263. row_purge_remove_clust_if_poss(node);
  264. }
  265. /***************************************************************
  266. Purges an update of an existing record. Also purges an update of a delete
  267. marked record if that record contained an externally stored field. */
  268. static
  269. void
  270. row_purge_upd_exist_or_extern(
  271. /*==========================*/
  272. purge_node_t* node) /* in: row purge node */
  273. {
  274. mem_heap_t* heap;
  275. dtuple_t* entry;
  276. dict_index_t* index;
  277. upd_field_t* ufield;
  278. ibool is_insert;
  279. ulint rseg_id;
  280. ulint page_no;
  281. ulint offset;
  282. ulint internal_offset;
  283. byte* data_field;
  284. ulint data_field_len;
  285. ulint i;
  286. mtr_t mtr;
  287. ut_ad(node);
  288. if (node->rec_type == TRX_UNDO_UPD_DEL_REC) {
  289. goto skip_secondaries;
  290. }
  291. heap = mem_heap_create(1024);
  292. while (node->index != NULL) {
  293. index = node->index;
  294. if (row_upd_changes_ord_field_binary(NULL, node->index,
  295. node->update)) {
  296. /* Build the older version of the index entry */
  297. entry = row_build_index_entry(node->row, index, heap);
  298. row_purge_remove_sec_if_poss(node, index, entry);
  299. }
  300. node->index = dict_table_get_next_index(node->index);
  301. }
  302. mem_heap_free(heap);
  303. skip_secondaries:
  304. /* Free possible externally stored fields */
  305. for (i = 0; i < upd_get_n_fields(node->update); i++) {
  306. ufield = upd_get_nth_field(node->update, i);
  307. if (ufield->extern_storage) {
  308. /* We use the fact that new_val points to
  309. node->undo_rec and get thus the offset of
  310. dfield data inside the unod record. Then we
  311. can calculate from node->roll_ptr the file
  312. address of the new_val data */
  313. internal_offset = ((byte*)ufield->new_val.data)
  314. - node->undo_rec;
  315. ut_a(internal_offset < UNIV_PAGE_SIZE);
  316. trx_undo_decode_roll_ptr(node->roll_ptr,
  317. &is_insert, &rseg_id,
  318. &page_no, &offset);
  319. mtr_start(&mtr);
  320. /* We have to acquire an X-latch to the clustered
  321. index tree */
  322. index = dict_table_get_first_index(node->table);
  323. mtr_x_lock(dict_tree_get_lock(index->tree), &mtr);
  324. /* NOTE: we must also acquire an X-latch to the
  325. root page of the tree. We will need it when we
  326. free pages from the tree. If the tree is of height 1,
  327. the tree X-latch does NOT protect the root page,
  328. because it is also a leaf page. Since we will have a
  329. latch on an undo log page, we would break the
  330. latching order if we would only later latch the
  331. root page of such a tree! */
  332. btr_root_get(index->tree, &mtr);
  333. /* We assume in purge of externally stored fields
  334. that the space id of the undo log record is 0! */
  335. data_field = buf_page_get(0, page_no, RW_X_LATCH, &mtr)
  336.      + offset + internal_offset;
  337. #ifdef UNIV_SYNC_DEBUG
  338. buf_page_dbg_add_level(buf_frame_align(data_field),
  339. SYNC_TRX_UNDO_PAGE);
  340. #endif /* UNIV_SYNC_DEBUG */
  341.      
  342. data_field_len = ufield->new_val.len;
  343. btr_free_externally_stored_field(index, data_field,
  344. data_field_len, FALSE, &mtr);
  345. mtr_commit(&mtr);
  346. }
  347. }
  348. }
  349. /***************************************************************
  350. Parses the row reference and other info in a modify undo log record. */
  351. static
  352. ibool
  353. row_purge_parse_undo_rec(
  354. /*=====================*/
  355. /* out: TRUE if purge operation required:
  356. NOTE that then the CALLER must unfreeze
  357. data dictionary! */
  358. purge_node_t* node, /* in: row undo node */
  359. ibool* updated_extern,
  360. /* out: TRUE if an externally stored field
  361. was updated */
  362. que_thr_t* thr) /* in: query thread */
  363. {
  364. dict_index_t* clust_index;
  365. byte* ptr;
  366. trx_t* trx;
  367. dulint undo_no;
  368. dulint table_id;
  369. dulint trx_id;
  370. dulint roll_ptr;
  371. ulint info_bits;
  372. ulint type;
  373. ulint cmpl_info;
  374. ut_ad(node && thr);
  375. trx = thr_get_trx(thr);
  376. ptr = trx_undo_rec_get_pars(node->undo_rec, &type, &cmpl_info,
  377. updated_extern, &undo_no, &table_id);
  378. node->rec_type = type;
  379. if (type == TRX_UNDO_UPD_DEL_REC && !(*updated_extern)) {
  380. return(FALSE);
  381. }     
  382. ptr = trx_undo_update_rec_get_sys_cols(ptr, &trx_id, &roll_ptr,
  383. &info_bits);
  384. node->table = NULL;
  385. if (type == TRX_UNDO_UPD_EXIST_REC
  386.     && cmpl_info & UPD_NODE_NO_ORD_CHANGE && !(*updated_extern)) {
  387.      /* Purge requires no changes to indexes: we may return */
  388.      return(FALSE);
  389. }
  390. /* Prevent DROP TABLE etc. from running when we are doing the purge
  391. for this row */
  392. row_mysql_freeze_data_dictionary(trx);
  393. mutex_enter(&(dict_sys->mutex));
  394. node->table = dict_table_get_on_id_low(table_id, trx);
  395. mutex_exit(&(dict_sys->mutex));
  396. if (node->table == NULL) {
  397. /* The table has been dropped: no need to do purge */
  398. row_mysql_unfreeze_data_dictionary(trx);
  399. return(FALSE);
  400. }
  401. if (node->table->ibd_file_missing) {
  402. /* We skip purge of missing .ibd files */
  403. node->table = NULL;
  404. row_mysql_unfreeze_data_dictionary(trx);
  405. return(FALSE);
  406. }
  407. clust_index = dict_table_get_first_index(node->table);
  408. if (clust_index == NULL) {
  409. /* The table was corrupt in the data dictionary */
  410. row_mysql_unfreeze_data_dictionary(trx);
  411. return(FALSE);
  412. }
  413. ptr = trx_undo_rec_get_row_ref(ptr, clust_index, &(node->ref),
  414. node->heap);
  415. ptr = trx_undo_update_rec_get_update(ptr, clust_index, type, trx_id,
  416. roll_ptr, info_bits, trx,
  417. node->heap, &(node->update));
  418. /* Read to the partial row the fields that occur in indexes */
  419. if (!cmpl_info & UPD_NODE_NO_ORD_CHANGE) {
  420. ptr = trx_undo_rec_get_partial_row(ptr, clust_index,
  421. &(node->row), node->heap);
  422. }
  423. return(TRUE);
  424. }
  425. /***************************************************************
  426. Fetches an undo log record and does the purge for the recorded operation.
  427. If none left, or the current purge completed, returns the control to the
  428. parent node, which is always a query thread node. */
  429. static
  430. ulint
  431. row_purge(
  432. /*======*/
  433. /* out: DB_SUCCESS if operation successfully
  434. completed, else error code */
  435. purge_node_t* node, /* in: row purge node */
  436. que_thr_t* thr) /* in: query thread */
  437. {
  438. dulint roll_ptr;
  439. ibool purge_needed;
  440. ibool updated_extern;
  441. trx_t* trx;
  442. ut_ad(node && thr);
  443. trx = thr_get_trx(thr);
  444. node->undo_rec = trx_purge_fetch_next_rec(&roll_ptr,
  445. &(node->reservation),
  446. node->heap);
  447. if (!node->undo_rec) {
  448. /* Purge completed for this query thread */
  449. thr->run_node = que_node_get_parent(node);
  450. return(DB_SUCCESS);
  451. }
  452. node->roll_ptr = roll_ptr;
  453. if (node->undo_rec == &trx_purge_dummy_rec) {
  454. purge_needed = FALSE;
  455. } else {
  456. purge_needed = row_purge_parse_undo_rec(node, &updated_extern,
  457. thr);
  458. /* If purge_needed == TRUE, we must also remember to unfreeze
  459. data dictionary! */
  460. }
  461. if (purge_needed) {
  462. node->found_clust = FALSE;
  463. node->index = dict_table_get_next_index(
  464. dict_table_get_first_index(node->table));
  465. if (node->rec_type == TRX_UNDO_DEL_MARK_REC) {
  466. row_purge_del_mark(node);
  467. } else if (updated_extern
  468.     || node->rec_type == TRX_UNDO_UPD_EXIST_REC) {
  469. row_purge_upd_exist_or_extern(node);
  470. }
  471. if (node->found_clust) {
  472. btr_pcur_close(&(node->pcur));
  473. }
  474. row_mysql_unfreeze_data_dictionary(trx);
  475. }
  476. /* Do some cleanup */
  477. trx_purge_rec_release(node->reservation);
  478. mem_heap_empty(node->heap);
  479. thr->run_node = node;
  480. return(DB_SUCCESS);
  481. }
  482. /***************************************************************
  483. Does the purge operation for a single undo log record. This is a high-level
  484. function used in an SQL execution graph. */
  485. que_thr_t*
  486. row_purge_step(
  487. /*===========*/
  488. /* out: query thread to run next or NULL */
  489. que_thr_t* thr) /* in: query thread */
  490. {
  491. purge_node_t* node;
  492. ulint err;
  493. ut_ad(thr);
  494. node = thr->run_node;
  495. ut_ad(que_node_get_type(node) == QUE_NODE_PURGE);
  496. err = row_purge(node, thr);
  497. ut_ad(err == DB_SUCCESS);
  498. return(thr);