开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
swish.c
资源名称：swish-efiles.1.3.2.tar.gz　[点击查看]
上传用户：qin5330
上传日期：2007-01-05
资源大小：114k
文件大小：16k
源码类别：

搜索引擎

开发平台：

Perl

swish.c：源码内容
  1. /*
  2. ** Copyright (C) 1995, 1996, 1997, 1998 Hewlett-Packard Company
  3. ** Originally by Kevin Hughes, kev@kevcom.com, 3/11/94
  4. **
  5. ** This program and library is free software; you can redistribute it and/or
  6. ** modify it under the terms of the GNU (Library) General Public License
  7. ** as published by the Free Software Foundation; either version 2
  8. ** of the License, or any later version.
  9. **
  10. ** This program is distributed in the hope that it will be useful,
  11. ** but WITHOUT ANY WARRANTY; without even the implied warranty of
  12. ** MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13. ** GNU (Library) General Public License for more details.
  14. **
  15. ** You should have received a copy of the GNU (Library) General Public License
  16. ** along with this program; if not, write to the Free Software
  17. ** Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  18. **---------------------------------------------------------
  19. ** Added support for METADATA
  20. ** G. Hill ghill@library.berkeley.edu 3/18/97
  21. **
  22. ** Added printing of common words
  23. ** G.Hill 4/7/97 ghill@library.berkeley.edu
  24. **
  25. */
  27. #define MAIN_FILE
  28. #include "swish.h"
  30. #include "error.h"
  31. #include "list.h"
  32. #include "search.h"
  33. #include "index.h"
  34. #include "string.h"
  35. #include "file.h"
  36. #include "merge.h"
  37. #include "docprop.h"
  39. /*
  40. ** This array has pointers to all the indexing data source
  41. ** structures
  42. */
  43. extern struct _indexing_data_source_def *data_sources[];
  45. int main(argc, argv)
  46. int argc;
  47. char **argv;
  48. {
  49. char c, word[MAXWORDLEN], wordlist[MAXSTRLEN],
  50. maxhitstr[MAXSTRLEN], structstr[MAXSTRLEN];
  51. char tmpindex1[MAXFILELEN], tmpindex2[MAXFILELEN],
  52. index1[MAXSTRLEN], index2[MAXSTRLEN],
  53. index3[MAXSTRLEN], index4[MAXSTRLEN];
  54. int i, j, hasindex, hasdir, hasconf, hasverbose, structure,
  55. totalfiles, stopwords, index, decode, merge, pos,
  56. hasMetaName;
  57. long offsetstart, starttime, stoptime, plimit, flimit;
  58. FILE *fp1, *fp2;
  59. struct file *filep;
  60. struct entry *entryp;
  61. struct swline *conflist, *tmplist;
  63. index = decode = merge = 0;
  64. hasindex = hasdir = hasconf = hasverbose = hasMetaName = 0;
  65. followsymlinks = stopwords = 0;
  66. totalwords = stopwords = stopPos = 0;
  67. applyStemmingRules = 0; /* added 11/24/98 */
  68. useCustomOutputDelimiter = 0; /* added 11/24/98 */
  69. customOutputDelimiter[0] = ''; /* added 11/24/98 */
  70. ignoreTotalWordCountWhenRanking = 0; /* added 11/24/98 */
  71. filelist = NULL;
  72. entrylist = NULL;
  73. dirlist = indexlist = conflist = tmplist = NULL;
  74. replacelist = NULL;
  75. metaEntryList = NULL;
  76. maxhits = -1;
  77. verbose = VERBOSE;
  78. plimit = PLIMIT;
  79. flimit = FLIMIT;
  80. minwordlimit = MINWORDLIMIT;
  81. maxwordlimit = MAXWORDLIMIT;
  82. indexComments = 1;
  83. nocontentslist = 0;
  84. strcpy(wordchars,WORDCHARS);
  85. strcpy(beginchars,BEGINCHARS);
  86. strcpy(endchars,ENDCHARS);
  87. strcpy(ignorelastchar, IGNORELASTCHAR);
  88. strcpy(ignorefirstchar, IGNOREFIRSTCHAR);
  89. structure = 1;
  90. wordlist[0] = '';
  91. structstr[0] = '';
  92. indexn[0] = '';
  93. indexd[0] = '';
  94. indexp[0] = '';
  95. indexa[0] = '';
  96. setlocale(LC_CTYPE,"");
  98. /* By default we are set up to use the first data source in the list */
  99.   IndexingDataSource = data_sources[0];
  101. if (argc == 1)
  102. usage();
  103. while (--argc > 0) 
  104. {
  105. ++argv;
  106. if ((*argv)[0] != '-')
  107. usage();
  108. c = (*argv)[1];
  109. if ((*argv)[2] != '' && isalpha((*argv)[2]))
  110. usage();
  111. if (c == 'i') 
  112. {
  113. index = 1;
  114. while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-') {
  115. dirlist = (struct swline *)
  116. addswline(dirlist, (++argv)[0]);
  117. argc--;
  118. }
  119. }
  120. else if (c == 'w') 
  121. {
  122. while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-') 
  123. {
  124. strcpy(word, (++argv)[0]);
  125. argc--;
  126. sprintf(wordlist, "%s%s%s", wordlist,
  127. (wordlist[0] == '') ? "" : " ", word);
  128. }
  129. }
  130. else if (c == 'S')
  131. {
  132.   struct _indexing_data_source_def **data_source;
  133.   const char* opt = (++argv)[0];
  134.   argc--;
  135.   for (data_source = data_sources; *data_source != 0; data_source++ )
  137.     {
  138.       if (strcmp(opt, (*data_source)->IndexingDataSourceId) == 0)
  139. {
  140.   break;
  141. }
  142.     }
  143.   
  144.   if (!*data_source)
  145.     {
  146.       sprintf(errorstr, "Unknown -S option "%s"", opt);
  147.       progerr(errorstr);
  148.     }
  149.   else
  150.     {
  151.       IndexingDataSource = *data_source;
  152.     }  
  153. }
  154. #ifdef SUPPORT_DOC_PROPERTIES
  155. else if (c == 'p') {
  156.   /* -p <property_to_display> [<property_to_display>]* */
  157.   while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-') 
  158. {
  159. addSearchResultDisplayProperty((++argv)[0]);
  160. argc--;
  161. }
  162. }
  163. #endif
  164. else if (c == 'f') 
  165. {
  166. while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-') 
  167. {
  168. indexlist = (struct swline *)
  169. addswline(indexlist, (++argv)[0]);
  170. argc--;
  171. }
  172. }
  173. else if (c == 'c') 
  174. {
  175. index = 1;
  176. hasconf = 1;
  177. while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-') {
  178. conflist = (struct swline *)
  179. addswline(conflist, (++argv)[0]);
  180. argc--;
  181. }
  182. }
  183. else if (c == 'C') {
  184. while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-')
  185. {
  186. conflist = (struct swline *)
  187. addswline(conflist, (++argv)[0]);
  188. argc--;
  189. }
  190. if (conflist == NULL)
  191. progerr("Specifiy the configuration file.");
  192. else
  193. hasMetaName = 1;
  194.       }
  195. else if (c == 'l') {
  196. followsymlinks = 1;
  197. argc--;
  198. }
  199. else if (c == 'm') {
  200. if ((argv + 1)[0] == '')
  201. maxhits = -1;
  202. else {
  203. strcpy(maxhitstr, (++argv)[0]);
  204. if (lstrstr(maxhitstr, "all"))
  205. maxhits = -1;
  206. else if (isdigit(maxhitstr[0]))
  207. maxhits = atoi(maxhitstr);
  208. else
  209. maxhits = -1;
  210. argc--;
  211. }
  212. }
  213. else if (c == 't') {
  214. if ((argv + 1)[0] == '')
  215. progerr("Specify tag fields (HBtheca).");
  216. else {
  217. structure = 0;
  218. strcpy(structstr, (++argv)[0]);
  219. argc--;
  220. }
  221. }
  222. else if (c == 'v') {
  223. hasverbose = 1;
  224. if ((argv + 1)[0] == '') {
  225. verbose = 3;
  226. break;
  227. }
  228. else if (!isdigit((argv + 1)[0][0]))
  229. verbose = 3;
  230. else
  231. verbose = atoi((++argv)[0]);
  232. argc--;
  233. }
  234. else if (c == 'V')
  235. printversion();
  236. else if (c == 'z' || c == 'h' || c == '?')
  237. usage();
  238. else if (c == 'M') {
  239. merge = 1;
  240. while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-') {
  241. indexlist = (struct swline *)
  242. addswline(indexlist, (++argv)[0]);
  243. argc--;
  244. }
  245. }
  246. else if (c == 'D') {
  247. decode = 1;
  248. while ((argv + 1)[0] != '' && *(argv + 1)[0] != '-') {
  249. indexlist = (struct swline *)
  250. addswline(indexlist, (++argv)[0]);
  251. argc--;
  252. }
  253. }
  254. else if (c == 'd')
  255. {
  256. /* added 11/24/98 MG */
  257. if (((argv + 1)[0] != '') && (*(argv + 1)[0] != '-'))
  258. {
  259. useCustomOutputDelimiter = 1;
  260. strcpy(customOutputDelimiter, (++argv)[0]);
  261. if (strcmp(customOutputDelimiter, "dq") == 0)
  262. strcpy(customOutputDelimiter, """); /* double quote is cool */
  263. argc--;
  264. }
  265. }
  266. else
  267. usage();
  268. if (argc == 0)
  269. break;
  270. }
  272. hasdir = (dirlist == NULL) ? 0 : 1;
  273. hasindex = (indexlist == NULL) ? 0 : 1;
  275. if (index && merge)
  276. index = 0;
  278. if (decode) {
  280. if (!hasindex)
  281. progerr("Specify the index file to decode.");
  283. while (indexlist != NULL) {
  285. if ((fp1 = openIndexFileForRead(indexlist->line)) == NULL) {
  286. sprintf(errorstr,
  287. "Couldn't open the index file "%s".",
  288. indexlist->line);
  289. progerr(errorstr);
  290. }
  291. if (!isokindexheader(fp1)) {
  292. sprintf(errorstr,
  293. ""%s" has an unknown format.",
  294. indexlist->line);
  295. progerr(errorstr);
  296. }
  298. decompress(fp1);
  299. putchar('n');
  300. fclose(fp1);
  302. indexlist = indexlist->next;
  303. }
  304. exit(0);
  306. }
  307. else if (index) 
  308. {
  309. printf("Indexing Data Source: "%s"n", IndexingDataSource->IndexingDataSourceName);
  311. if (hasconf)
  312. {
  313. while (conflist != NULL) {
  314. getdefaults(conflist->line, &hasdir, &hasindex,
  315. &plimit, &flimit, hasverbose);
  316. conflist = conflist->next;
  317. }
  318. }
  319. if (!hasindex)
  320. indexlist = (struct swline *) addswline(indexlist, INDEXFILE);
  322. if (!hasdir)
  323. progerr("Specify directories or files to index.");
  325. if (verbose < 0)
  326. verbose = 0;
  327. if (verbose > 4)
  328. verbose = 4;
  329. if (verbose)
  330. starttime = getthetime();
  332. while (dirlist != NULL) {
  333. indexpath(dirlist->line);
  334. dirlist = dirlist->next;
  335. }
  337. if ((fp1 = openIndexFileForWrite(indexlist->line)) == NULL) {
  338. sprintf(errorstr,
  339. "Couldn't write the index file "%s".",
  340. indexlist->line);
  341. progerr(errorstr);
  342. }
  344. if (verbose > 1)
  345. putchar('n');
  346. if (verbose)
  347. printf("Removing very common words... ");
  349. filep = filelist;
  350. totalfiles = getfilecount(filep);
  351. entryp = entrylist;
  352. stopwords = removestops(entryp, totalfiles, plimit, flimit);
  354. if (verbose) {
  355. if (stopwords) {
  356. printf("%d word%s removed.n",
  357. stopwords, (stopwords == 1) ? "" : "s");
  358. printf("%d words removed not in common words array:n",
  359. stopPos);
  360. for (pos = 0; pos < stopPos; pos++) 
  361. printf("%s, ", stopList[pos]);
  362. printf("n");
  363. }
  364. else
  365. printf("no words removed.n");
  366. printf("Writing main index... ");
  367. }
  369. printheader(fp1, indexlist->line, totalwords, totalfiles, 0);
  371. offsetstart = ftell(fp1);
  372. for (i = 0; i < MAXCHARS; i++)
  373. fprintf(fp1, "%016li", offsets[i]);
  374. fputc('n', fp1);
  376. printindex(entrylist, fp1);
  377. printstopwords(fp1);
  379. if (verbose) {
  380. if (totalwords)
  381. printf("%d unique word%s indexed.n",
  382. totalwords, (totalwords == 1) ? "" : "s");
  383. else
  384. printf("no unique words indexed.n");
  385. printf("Writing file index... ");
  386. }
  388. printfilelist(filelist, fp1);
  389. printfileoffsets(fp1);
  390. printMetaNames(fp1);
  391. fclose(fp1);
  393. fp2 = openIndexFileForReadAndWrite(indexlist->line);
  394. fseek(fp2, offsetstart, 0);
  395. for (i = 0; i < MAXCHARS; i++)
  396. fprintf(fp2, "%016li", offsets[i]);
  397. fclose(fp2);
  399. if (verbose) 
  400. {
  401. if (totalfiles)
  402. printf("%d file%s indexed.n", totalfiles,
  403. (totalfiles == 1) ? "" : "s");
  404. else
  405. printf("no files indexed.n");
  407. stoptime = getthetime();
  408. printrunning(starttime, stoptime);
  409. printf("Indexing done!n");
  410. }
  411. #ifdef INDEXPERMS
  412. chmod(indexlist->line, INDEXPERMS);
  413. #endif
  414. exit(0);
  415. }
  416. else if (merge) 
  417. {
  419. if (indexlist == NULL)
  420. progerr("Specify index files and an output file.");
  421. if (hasconf)
  422. {
  423. while (conflist != NULL) 
  424. {
  425. getdefaults(conflist->line, &hasdir, &hasindex,
  426. &plimit, &flimit, hasverbose);
  427. conflist = conflist->next;
  428. }
  429. }
  431. tmplist = indexlist;
  432. for (i = 0; tmplist != NULL; i++) {
  433. strcpy(index4, tmplist->line);
  434. tmplist = tmplist->next;
  435. }
  436. j = i - 2;
  437. if (i < 3)
  438. progerr("Specify index files and an output file.");
  440. sprintf(tmpindex1, tmpnam(NULL));
  441. sprintf(tmpindex2, tmpnam(NULL));
  443. i = 1;
  444. strcpy(index1, indexlist->line);
  445. indexlist = indexlist->next;
  446. while (i <= j) {
  447. strcpy(index2, indexlist->line);
  448. if (i % 2) {
  449. if (i != 1)
  450. strcpy(index1, tmpindex2);
  451. strcpy(index3, tmpindex1);
  452. }
  453. else {
  454. strcpy(index1, tmpindex1);
  455. strcpy(index3, tmpindex2);
  456. }
  457. if (i == j)
  458. strcpy(index3, index4);
  459. readmerge(index1, index2, index3);
  460. indexlist = indexlist->next;
  461. i++;
  462. }
  463. #ifdef INDEXPERMS
  464. chmod(index3, INDEXPERMS);
  465. #endif
  466. if (isfile(tmpindex1))
  467. remove(tmpindex1);
  468. if (isfile(tmpindex2))
  469. remove(tmpindex2);
  471. }
  472. else 
  473. {
  475. for (i = 0; structstr[i] != ''; i++)
  476. {
  477. switch (structstr[i]) 
  478. {
  479. case 'H':
  480. structure |= IN_HEAD;
  481. break;
  482. case 'B':
  483. structure |= IN_BODY;
  484. break;
  485. case 't':
  486. structure |= IN_TITLE;
  487. break;
  488. case 'h':
  489. structure |= IN_HEADER;
  490. break;
  491. case 'e':
  492. structure |= IN_EMPHASIZED;
  493. break;
  494. case 'c':
  495. structure |= IN_COMMENTS;
  496. break;
  497. default:
  498. structure |= IN_FILE;
  499. break;
  500. }
  501. }
  503. if (maxhits <= 0)
  504. maxhits = -1;
  505. if (!hasindex)
  506. indexlist = (struct swline *)
  507. addswline(indexlist, INDEXFILE);
  508. if (hasMetaName)
  509. while (conflist != NULL) {
  510. getdefaults(conflist->line, &hasdir, &hasindex,
  511. &plimit, &flimit, hasverbose);
  512. conflist = conflist->next;
  513. }
  514. search(wordlist, indexlist, structure);
  516. }
  518. exit(0);
  519. return 0;
  520. }
  522. /* Gets the current time in seconds since the epoch.
  523. */
  525. long getthetime()
  526. {
  527. long thetime;
  528. time_t tp;
  530. thetime = (long) time(&tp);
  531. return thetime;
  532. }
  534. /* Prints the running time (the time it took for indexing).
  535. */
  537. void printrunning(starttime, stoptime)
  538.      long starttime;
  539.      long stoptime;
  540. {
  541. int minutes, seconds;
  543. minutes = (stoptime - starttime) / SECSPERMIN;
  544. seconds = (stoptime - starttime) % SECSPERMIN;
  545. printf("Running time: ");
  546. if (minutes)
  547. printf("%d minute%s", minutes, (minutes == 1) ? "" : "s");
  548. if (minutes && seconds)
  549. printf(", ");
  550. if (seconds)
  551. printf("%d second%s", seconds, (seconds == 1) ? "" : "s");
  552. if (!minutes && !seconds)
  553. printf("Less than a second");
  554. printf(".n");
  555. }
  557. /* Prints the SWISH usage.
  558. */
  560. void usage()
  561. {
  562. const char* defaultIndexingSystem = "";
  564. printf("  usage: swish [-i dir file ... ] [-S system] [-c file] [-f file] [-l] [-v (num)]n");
  565. printf("         swish -w word1 word2 ... [-f file1 file2 ...] [-p prop1 ...] [-m num] [-t str] [-d delim]n");
  566. printf("         swish -M index1 index2 ... outputfilen");
  567. printf("         swish -D filen");
  568. printf("         swish -Vn");
  569. putchar('n');
  570. printf("options: defaults are in bracketsn");
  573. printf("         -S : specify which indexing system to use.n");
  574. printf("              Valid options are:n");
  575. #ifdef ALLOW_FILESYSTEM_INDEXING_DATA_SOURCE
  576. printf("              "fs" - index local files in your File Systemn");
  577. if (!*defaultIndexingSystem)
  578. defaultIndexingSystem = "fs";
  579. #endif
  580. #ifdef ALLOW_HTTP_INDEXING_DATA_SOURCE
  581. printf("              "http" - index web site files using a web crawlern");
  582. if (!*defaultIndexingSystem)
  583. defaultIndexingSystem = "http";
  584. #endif
  585. printf("              The default value is: "%s"n", defaultIndexingSystem);
  587. printf("         -i : create an index from the specified filesn");
  588. printf("         -w : search for words "word1 word2 ..."n");
  589. printf("         -t : tags to search in - specify as a stringn");
  590. printf("              "HBthec" - in head, body, title, header,n");
  591. printf("              emphasized, commentsn");
  592. printf("         -f : index file to create or search from [%s]n", INDEXFILE);
  593. printf("         -c : configuration file to use for indexingn");
  594. printf("         -v : verbosity level (0 to 3) [%d]n", VERBOSE);
  595. printf("         -l : follow symbolic links when indexingn");
  596. printf("         -m : the maximum number of results to return [%d]n", MAXHITS);
  597. printf("         -M : merges index filesn");
  598. printf("         -D : decodes an index filen");
  599. #ifdef SUPPORT_DOC_PROPERTIES
  600. printf("         -p : include these document properties in the output "prop1 prop2 ..."n");
  601. #endif
  602. printf("         -d : next param is delimiter. use "-d dq" to use a double quoten");
  603. printf("         -V : prints the current versionnn");
  604. printf("version: %sn", VERSION);
  605. printf("   docs: http://sunsite.berkeley.edu/SWISH-E/n");
  606. exit(1);
  607. }
  609. void printversion()
  610. {
  611. printf("SWISH-E %sn", VERSION);
  612. exit(0);
  613. }
  615. /*
  616.  * Binary files must be open with the "b" option under Win32, so all
  617.  * fopen() calls to index files have to go through these routines to 
  618.  * keep the code portable. 
  619.  * Note: text files should be opened normally, without the "b" option,
  620.  * otherwise end-of-line processing is not done correctly (on Win32).
  621.  */
  622. #ifdef _WIN32
  623. #define FILEMODE_READ "rb"
  624. #define FILEMODE_WRITE "wb"
  625. #define FILEMODE_READWRITE "rb+"
  626. #else
  627. #define FILEMODE_READ "r"
  628. #define FILEMODE_WRITE "w"
  629. #define FILEMODE_READWRITE "r+"
  630. #endif
  632. FILE* openIndexFileForWrite(filename)
  633. char* filename;
  634. {
  635. return fopen(filename, FILEMODE_WRITE);
  636. }
  638. FILE* openIndexFileForRead(filename)
  639. char* filename;
  640. {
  641. return fopen(filename, FILEMODE_READ);
  642. }
  644. FILE* openIndexFileForReadAndWrite(filename)
  645. char* filename;
  646. {
  647. return fopen(filename, FILEMODE_READWRITE);
  648. }
  651. /*
  652.  * Invoke the methods of the current Indexing Data Source
  653.  */
  654. void indexpath(path)
  655. char *path;
  656. {
  657. /* invoke routine to index a "path" */
  658. (*IndexingDataSource->indexpath_fn)(path);
  659. }
  661. int vgetc(vp)
  662. void *vp;
  663. {
  664. /* invoke routine to get char from "file" */
  665. return (*IndexingDataSource->vgetc_fn)(vp);
  666. }
  668. int vsize(vp)
  669. void *vp;
  670. {
  671. /* invoke routine to get size of "file" */
  672. return (*IndexingDataSource->vsize_fn)(vp);
  673. }
  675. int parseconfline(line)
  676. char *line;
  677. {
  678. /* invoke routine to parse config file lines */
  679. return (*IndexingDataSource->parseconfline_fn)(line);
  680. }