fork_big.pl
上传用户:romrleung
上传日期:2022-05-23
资源大小:18897k
文件大小:14k
源码类别:

MySQL数据库

开发平台:

Visual C++

  1. #!/usr/bin/perl -w
  2. #
  3. # This is a test with uses many processes to test a MySQL server.
  4. #
  5. # Tested a lot with:  --threads=30
  6. $opt_loop_count=500000; # Change this to make test harder/easier
  7. ##################### Standard benchmark inits ##############################
  8. use DBI;
  9. use Getopt::Long;
  10. use Benchmark;
  11. package main;
  12. $opt_skip_create=$opt_skip_in=$opt_verbose=$opt_fast_insert=
  13. $opt_lock_tables=$opt_debug=$opt_skip_delete=$opt_fast=$opt_force=0;
  14. $opt_threads=5;
  15. $opt_host=$opt_user=$opt_password=""; $opt_db="test";
  16. GetOptions("host=s","db=s","user=s","password=s","loop-count=i","skip-create","skip-in","skip-delete","verbose","fast-insert","lock-tables","debug","fast","force","threads=i") || die "Aborted";
  17. $opt_verbose=$opt_debug=$opt_lock_tables=$opt_fast_insert=$opt_fast=$opt_skip_in=$opt_force=undef;  # Ignore warnings from these
  18. print "Test of multiple connections that test the following things:n";
  19. print "insert, select, delete, update, alter, check, repair and flushn";
  20. @testtables = ( ["bench_f31", ""],
  21. ["bench_f32", "row_format=fixed"],
  22. ["bench_f33", "delay_key_write=1"],
  23. ["bench_f34", "checksum=1"],
  24. ["bench_f35", "delay_key_write=1"]);
  25. $abort_table="bench_f39";
  26. $numtables = $#testtables+1;
  27. srand 100; # Make random numbers repeatable
  28. ####
  29. ####  Start timeing and start test
  30. ####
  31. $start_time=new Benchmark;
  32. $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  33.     $opt_user, $opt_password,
  34.   { PrintError => 0}) || die $DBI::errstr;
  35. if (!$opt_skip_create)
  36. {
  37.   my $table_def;
  38.   foreach $table_def (@testtables)
  39.   {
  40.     my ($table,$extra)= ($table_def->[0], $table_def->[1]);
  41.     print "Creating table $table in database $opt_dbn";
  42.     $dbh->do("drop table if exists $table");
  43.     $dbh->do("create table $table".
  44.      " (id int(6) not null auto_increment,".
  45.      " info varchar(32)," .
  46.      " marker timestamp," .
  47.      " flag int not null," .
  48.      " primary key(id)) $extra")
  49.       or die $DBI::errstr;
  50.     # One row in the table will make future tests easier
  51.     $dbh->do("insert into $table (id) values (null)")
  52.       or die $DBI::errstr;
  53.   }
  54.   # Create the table we use to signal that we should end the test
  55.   $dbh->do("drop table if exists $abort_table");
  56.   $dbh->do("create table $abort_table (id int(6) not null) type=heap") ||
  57.     die $DBI::errstr;
  58. }
  59. $dbh->do("delete from $abort_table");
  60. $dbh->disconnect; $dbh=0; # Close handler
  61. $|= 1; # Autoflush
  62. ####
  63. #### Start the tests
  64. ####
  65. for ($i=0 ; $i < $opt_threads ; $i ++)
  66. {
  67.   test_insert() if (($pid=fork()) == 0); $work{$pid}="insert";
  68. }
  69. for ($i=0 ; $i < $numtables ; $i ++)
  70. {
  71.   test_insert($i,$i) if (($pid=fork()) == 0); $work{$pid}="insert_one";
  72. }
  73. for ($i=0 ; $i < $opt_threads ; $i ++)
  74. {
  75.   test_select() if (($pid=fork()) == 0); $work{$pid}="select_key";
  76. }
  77. test_join() if (($pid=fork()) == 0); $work{$pid}="test_join";
  78. test_select_count() if (($pid=fork()) == 0); $work{$pid}="select_count";
  79. test_delete() if (($pid=fork()) == 0); $work{$pid}="delete";
  80. test_update() if (($pid=fork()) == 0); $work{$pid}="update";
  81. test_flush() if (($pid=fork()) == 0); $work{$pid}= "flush";
  82. test_check() if (($pid=fork()) == 0); $work{$pid}="check";
  83. test_repair() if (($pid=fork()) == 0); $work{$pid}="repair";
  84. test_alter() if (($pid=fork()) == 0); $work{$pid}="alter";
  85. #test_database("test2") if (($pid=fork()) == 0); $work{$pid}="check_database";
  86. print "Started " . ($opt_threads*2+4) . " threadsn";
  87. $errors=0;
  88. $running_insert_threads=$opt_threads+$numtables;
  89. while (($pid=wait()) != -1)
  90. {
  91.   $ret=$?/256;
  92.   print "thread '" . $work{$pid} . "' finished with exit code $retn";
  93.   if ($work{$pid} =~ /^insert/)
  94.   {
  95.     if (!--$running_insert_threads)
  96.     {
  97.       # Time to stop other threads
  98.       signal_abort();
  99.     }
  100.   }
  101.   $errors++ if ($ret != 0);
  102. }
  103. #
  104. # Cleanup
  105. #
  106. if (!$opt_skip_delete && !$errors)
  107. {
  108.   my $table_def;
  109.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  110.       $opt_user, $opt_password,
  111.     { PrintError => 0}) || die $DBI::errstr;
  112.   $dbh->do("drop table $abort_table");
  113.   foreach $table_def (@testtables)
  114.   {
  115.     $dbh->do("drop table " . $table_def->[0]);
  116.   }
  117.   $dbh->disconnect; $dbh=0; # Close handler
  118. }
  119. print ($errors ? "Test failedn" :"Test okn");
  120. $end_time=new Benchmark;
  121. print "Total time: " .
  122.   timestr(timediff($end_time, $start_time),"noc") . "n";
  123. exit(0);
  124. #
  125. # Insert records in the table
  126. #
  127. sub test_insert
  128. {
  129.   my ($from_table,$to_table)= @_;
  130.   my ($dbh,$i,$j,$count,$table_def,$table);
  131.   if (!defined($from_table))
  132.   {
  133.     $from_table=0; $to_table=$numtables-1;
  134.   }
  135.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  136.       $opt_user, $opt_password,
  137.     { PrintError => 0}) || die $DBI::errstr;
  138.   for ($i=$count=0 ; $i < $opt_loop_count; $i++)
  139.   {
  140.     for ($j= $from_table ; $j <= $to_table ; $j++)
  141.     {
  142.       my ($table)= ($testtables[$j]->[0]);
  143.       $dbh->do("insert into $table values (NULL,'This is entry $i','',0)") || die "Got error on insert: $DBI::errstrn";
  144.       $count++;
  145.     }
  146.   }
  147.   $dbh->disconnect; $dbh=0;
  148.   print "Test_insert: Inserted $count rowsn";
  149.   exit(0);
  150. }
  151. #
  152. # select records
  153. # Do continously select over all tables as long as there is changed
  154. # rows in the table
  155. #
  156. sub test_select
  157. {
  158.   my ($dbh, $i, $j, $count, $loop);
  159.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  160.       $opt_user, $opt_password,
  161.     { PrintError => 0}) || die $DBI::errstr;
  162.   $count_query=make_count_query($numtables);
  163.   $count=0;
  164.   $loop=9999;
  165.   $i=0;
  166.   while (($i++ % 100) || !test_if_abort($dbh))
  167.   {
  168.     if ($loop++ >= 100)
  169.     {
  170.       $loop=0;
  171.       $row_counts=simple_query($dbh, $count_query);
  172.     }
  173.     for ($j=0 ; $j < $numtables ; $j++)
  174.     {
  175.       my ($id)= int rand $row_counts->[$j];
  176.       my ($table)= $testtables[$j]->[0];
  177.       simple_query($dbh, "select id,info from $table where id=$id");
  178.       $count++;
  179.     }
  180.   }
  181.   $dbh->disconnect; $dbh=0;
  182.   print "Test_select: Executed $count selectsn";
  183.   exit(0);
  184. }
  185. #
  186. # Do big select count(distinct..) over the table
  187. sub test_select_count
  188. {
  189.   my ($dbh, $i, $j, $count, $loop);
  190.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  191.       $opt_user, $opt_password,
  192.     { PrintError => 0}) || die $DBI::errstr;
  193.   $count=0;
  194.   $i=0;
  195.   while (!test_if_abort($dbh))
  196.   {
  197.     for ($j=0 ; $j < $numtables ; $j++)
  198.     {
  199.       my ($table)= $testtables[$j]->[0];
  200.       simple_query($dbh, "select count(distinct marker),count(distinct id),count(distinct info) from $table");
  201.       $count++;
  202.     }
  203.     sleep(20); # This query is quite slow
  204.   }
  205.   $dbh->disconnect; $dbh=0;
  206.   print "Test_select: Executed $count select count(distinct) queriesn";
  207.   exit(0);
  208. }
  209. #
  210. # select records
  211. # Do continously joins between the first and second table
  212. #
  213. sub test_join
  214. {
  215.   my ($dbh, $i, $j, $count, $loop);
  216.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  217.       $opt_user, $opt_password,
  218.     { PrintError => 0}) || die $DBI::errstr;
  219.   $count_query=make_count_query($numtables);
  220.   $count=0;
  221.   $loop=9999;
  222.   $i=0;
  223.   while (($i++ % 100) || !test_if_abort($dbh))
  224.   {
  225.     if ($loop++ >= 100)
  226.     {
  227.       $loop=0;
  228.       $row_counts=simple_query($dbh, $count_query);
  229.     }
  230.     for ($j=0 ; $j < $numtables-1 ; $j++)
  231.     {
  232.       my ($id)= int rand $row_counts->[$j];
  233.       my ($t1,$t2)= ($testtables[$j]->[0],$testtables[$j+1]->[0]);
  234.       simple_query($dbh, "select $t1.id,$t2.info from $t1, $t2 where $t1.id=$t2.id and $t1.id=$id");
  235.       $count++;
  236.     }
  237.   }
  238.   $dbh->disconnect; $dbh=0;
  239.   print "Test_join: Executed $count joinsn";
  240.   exit(0);
  241. }
  242. #
  243. # Delete 1-5 rows from the first 2 tables.
  244. # Test ends when the number of rows for table 3 didn't change during
  245. # one loop
  246. #
  247. sub test_delete
  248. {
  249.   my ($dbh, $i,$j, $row_counts, $count_query, $table_count, $count);
  250.   $table_count=2;
  251.   $count=0;
  252.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  253.       $opt_user, $opt_password,
  254.     { PrintError => 0}) || die $DBI::errstr;
  255.   $count_query=make_count_query($table_count+1);
  256.   sleep(5); # Give time to insert some rows
  257.   $i=0;
  258.   while (($i++ % 10) || !test_if_abort($dbh))
  259.   {
  260.     sleep(1);
  261.     $row_counts=simple_query($dbh, $count_query);
  262.     for ($j=0 ; $j < $table_count ; $j++)
  263.     {
  264.       my ($id)= int rand $row_counts->[$j];
  265.       my ($table)= $testtables[$j]->[0];
  266.       $dbh->do("delete from $table where id >= $id-2 and id <= $id +2") || die "Got error on delete from $table: $DBI::errstrn";
  267.       $count++;
  268.     }
  269.   }
  270.   $dbh->disconnect; $dbh=0;
  271.   print "Test_delete: Executed $count deletesn";
  272.   exit(0);
  273. }
  274. #
  275. # Update the flag for table 2 and 3
  276. # Will abort after a while when table1 doesn't change max value
  277. #
  278. sub test_update
  279. {
  280.   my ($dbh, $i, $j, $row_counts, $count_query, $count, $loop);
  281.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  282.       $opt_user, $opt_password,
  283.     { PrintError => 0}) || die $DBI::errstr;
  284.   $count_query=make_count_query(3);
  285.   $loop=9999;
  286.   $count=0;
  287.   sleep(5); # Give time to insert some rows
  288.   $i=0;
  289.   while (($i++ % 100) || !test_if_abort($dbh))
  290.   {
  291.     if ($loop++ >= 100)
  292.     {
  293.       $loop=0;
  294.       $row_counts=simple_query($dbh, $count_query);
  295.     }
  296.     for ($j=1 ; $j <= 2 ; $j++)
  297.     {
  298.       my ($id)= int rand $row_counts->[$j];
  299.       my ($table)= $testtables[$j]->[0];
  300.       # Fix to not change the same rows as the above delete
  301.       $id= ($id + $count) % $row_counts->[$j];
  302.       $dbh->do("update $table set flag=flag+1 where id >= $id-2 and id <= $id +2") || die "Got error on update of $table: $DBI::errstrn";
  303.       $count++;
  304.     }
  305.   }
  306.   $dbh->disconnect; $dbh=0;
  307.   print "Test_update: Executed $count updatesn";
  308.   exit(0);
  309. }
  310. #
  311. # Run a check on all tables except the last one
  312. # (The last one is not checked to put pressure on the key cache)
  313. #
  314. sub test_check
  315. {
  316.   my ($dbh, $row, $i, $j, $type, $table);
  317.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  318.       $opt_user, $opt_password,
  319.     { PrintError => 0}) || die $DBI::errstr;
  320.   $type= "check";
  321.   for ($i=$j=0 ; !test_if_abort($dbh) ; $i++)
  322.   {
  323.     sleep(1000);
  324.     $table=$testtables[$j]->[0];
  325.     $sth=$dbh->prepare("$type table $table") || die "Got error on prepare: $DBI::errstrn";
  326.     $sth->execute || die $DBI::errstr;
  327.     while (($row=$sth->fetchrow_arrayref))
  328.     {
  329.       if ($row->[3] ne "OK")
  330.       {
  331. print "Got error " . $row->[3] . " when doing $type on $tablen";
  332. exit(1);
  333.       }
  334.     }
  335.     if (++$j == $numtables-1)
  336.     {
  337.       $j=0;
  338.     }
  339.   }
  340.   $dbh->disconnect; $dbh=0;
  341.   print "test_check: Executed $i checksn";
  342.   exit(0);
  343. }
  344. #
  345. # Do a repair on the first table once in a while
  346. #
  347. sub test_repair
  348. {
  349.   my ($dbh, $row, $i, $type, $table);
  350.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  351.       $opt_user, $opt_password,
  352.     { PrintError => 0}) || die $DBI::errstr;
  353.   $type= "repair";
  354.   for ($i=0 ; !test_if_abort($dbh) ; $i++)
  355.   {
  356.     sleep(2000);
  357.     $table=$testtables[0]->[0];
  358.     $sth=$dbh->prepare("$type table $table") || die "Got error on prepare: $DBI::errstrn";
  359.     $sth->execute || die $DBI::errstr;
  360.     while (($row=$sth->fetchrow_arrayref))
  361.     {
  362.       if ($row->[3] ne "OK")
  363.       {
  364. print "Got error " . $row->[3] . " when doing $type on $tablen";
  365. exit(1);
  366.       }
  367.     }
  368.   }
  369.   $dbh->disconnect; $dbh=0;
  370.   print "test_repair: Executed $i repairsn";
  371.   exit(0);
  372. }
  373. #
  374. # Do a flush tables on table 3 and 4 once in a while
  375. #
  376. sub test_flush
  377. {
  378.   my ($dbh,$count,$tables);
  379.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  380.       $opt_user, $opt_password,
  381.     { PrintError => 0}) || die $DBI::errstr;
  382.   $tables=$testtables[2]->[0] . "," . $testtables[3]->[0];
  383.   $count=0;
  384.   while (!test_if_abort($dbh))
  385.   {
  386.     sleep(3000);
  387.     $dbh->do("flush tables $tables") ||
  388.       die "Got error on flush $DBI::errstrn";
  389.     $count++;
  390.   }
  391.   $dbh->disconnect; $dbh=0;
  392.   print "flush: Executed $count flushsn";
  393.   exit(0);
  394. }
  395. #
  396. # Test all tables in a database
  397. #
  398. sub test_database
  399. {
  400.   my ($database) = @_;
  401.   my ($dbh, $row, $i, $type, $tables);
  402.   $dbh = DBI->connect("DBI:mysql:$database:$opt_host",
  403.       $opt_user, $opt_password,
  404.     { PrintError => 0}) || die $DBI::errstr;
  405.   $tables= join(',',$dbh->func('_ListTables'));
  406.   $type= "check";
  407.   for ($i=0 ; !test_if_abort($dbh) ; $i++)
  408.   {
  409.     sleep(120);
  410.     $sth=$dbh->prepare("$type table $tables") || die "Got error on prepare: $DBI::errstrn";
  411.     $sth->execute || die $DBI::errstr;
  412.     while (($row=$sth->fetchrow_arrayref))
  413.     {
  414.       if ($row->[3] ne "OK")
  415.       {
  416. print "Got error " . $row->[2] . " " . $row->[3] . " when doing $type on " . $row->[0] . "n";
  417. exit(1);
  418.       }
  419.     }
  420.   }
  421.   $dbh->disconnect; $dbh=0;
  422.   print "test_check: Executed $i checksn";
  423.   exit(0);
  424. }
  425. #
  426. # Test ALTER TABLE on the second table
  427. #
  428. sub test_alter
  429. {
  430.   my ($dbh, $row, $i, $type, $table);
  431.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  432.       $opt_user, $opt_password,
  433.     { PrintError => 0}) || die $DBI::errstr;
  434.   for ($i=0 ; !test_if_abort($dbh) ; $i++)
  435.   {
  436.     sleep(100);
  437.     $table=$testtables[1]->[0];
  438.     $sth=$dbh->prepare("ALTER table $table modify info char(32)") || die "Got error on prepare: $DBI::errstrn";
  439.     $sth->execute || die $DBI::errstr;
  440.   }
  441.   $dbh->disconnect; $dbh=0;
  442.   print "test_alter: Executed $i ALTER TABLEn";
  443.   exit(0);
  444. }
  445. #
  446. # Help functions
  447. #
  448. sub signal_abort
  449. {
  450.   my ($dbh);
  451.   $dbh = DBI->connect("DBI:mysql:$opt_db:$opt_host",
  452.       $opt_user, $opt_password,
  453.     { PrintError => 0}) || die $DBI::errstr;
  454.   $dbh->do("insert into $abort_table values(1)") || die $DBI::errstr;
  455.   $dbh->disconnect; $dbh=0;
  456.   exit(0);
  457. }
  458. sub test_if_abort()
  459. {
  460.   my ($dbh)=@_;
  461.   $row=simple_query($dbh,"select * from $opt_db.$abort_table");
  462.   return (defined($row) && defined($row->[0]) != 0) ? 1 : 0;
  463. }
  464. sub make_count_query
  465. {
  466.   my ($table_count)= @_;
  467.   my ($tables, $count_query, $i, $tables_def);
  468.   $tables="";
  469.   $count_query="select high_priority ";
  470.   $table_count--;
  471.   for ($i=0 ; $i < $table_count ; $i++)
  472.   {
  473.     my ($table_def)= $testtables[$i];
  474.     $tables.=$table_def->[0] . ",";
  475.     $count_query.= "max(" . $table_def->[0] . ".id),";
  476.   }
  477.   $table_def=$testtables[$table_count];
  478.   $tables.=$table_def->[0];
  479.   $count_query.= "max(" . $table_def->[0] . ".id) from $tables";
  480.   return $count_query;
  481. }
  482. sub simple_query()
  483. {
  484.   my ($dbh, $query)= @_;
  485.   my ($sth,$row);
  486.   $sth=$dbh->prepare($query) || die "Got error on '$query': " . $dbh->errstr . "n";
  487.   $sth->execute || die "Got error on '$query': " . $dbh->errstr . "n";
  488.   $row= $sth->fetchrow_arrayref();
  489.   $sth=0;
  490.   return $row;
  491. }