开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
utily.cpp
资源名称：Web_Crawler.zip　[点击查看]
上传用户：st5609838
上传日期：2013-03-29
资源大小：66k
文件大小：5k
源码类别：

搜索引擎

开发平台：

Visual C++

utily.cpp：源码内容
  2. // Utily.cpp : implementation 
  3. //
  4. /****************************************************************
  5. Pre-emptive Multithreading Web Spider
  6. Copyright (c) 1998 by Sim Ayers.
  7. **************************************************************/
  9. #include "stdafx.h"
  10. #include "Spider.h"
  11. #include <string.h>
  12. #include "utily.h"
  15. BOOL FindHref(LPCTSTR lpszFind,LPCTSTR lpszString,CString& lpszResult,UINT nLen)
  16. {
  17. // start the search at nStart
  18. LPCTSTR lpsz = lpszFind;
  20. // single-byte string search
  21. UINT nCompare = nLen;
  22. int k=0;
  23. int nLenFind = lstrlen(lpszString);
  24. lpszResult ="";
  25. while (nCompare > 0)
  26. {
  28. LPSTR lpch = (LPSTR)(lpsz + nLenFind);
  29. char chSave = *lpch;
  30. *lpch = '';
  31. int nResult = lstrcmpi(lpsz, lpszString);
  32. *lpch = chSave;
  33. if (nResult == 0)
  34. {
  35. while(*lpsz != '')
  36. {
  37. if(*lpsz =='"')
  38. {
  39. lpsz++;
  40. k++;
  41. int j=0;
  42. while(*lpsz != '"')
  43. {
  44. lpszResult += lpszFind[k+j];
  45. lpsz++;
  46. j++;
  48. }
  51. return TRUE;
  53. }
  54. lpsz++;
  55. k++;
  56. }
  58. return TRUE;
  59. }
  61. // restore character at end of search
  62. *lpch = chSave;
  64. // move on to next substring
  65. nCompare--;
  66. lpsz ++;
  67. k++;
  68. }
  70. return FALSE;
  71. }
  75. BOOL GetHref(LPCSTR szBuffer,LPCSTR szfind, CStringList& list)
  77. {
  78. BOOL InTag=FALSE;
  79. CStringList RList;
  80. int i = 0,j=0;
  81. POSITION pos = NULL;
  82. int nLen = strlen(szBuffer);
  83. LPCTSTR lpsz = szBuffer;
  84. if( nLen <= 0) return FALSE;
  86. CString str,hString;
  87. str="";
  88. while (nLen)
  89. {
  90. if( *lpsz == '<') InTag=TRUE;
  92. if(InTag==TRUE) str += szBuffer[j];
  94. if( *lpsz == '>')  
  95. {
  96. RList.AddTail(str);
  97. str ="";
  98. InTag=FALSE;
  99. }
  101. ++lpsz;
  102. j++;
  103. nLen--;
  105. }
  107. int count = RList.GetCount();
  108. char* pdest;
  110. for(i=0; i<count; i++)
  111. {
  112. if( ( pos = RList.FindIndex( i)) != NULL )
  113. {
  114. str = RList.GetAt( pos );
  116. pdest = strstr( str, _T("NOINDEX")); //for robot exclusion
  117. if( pdest != NULL ) return FALSE;
  119. pdest = strstr( str, _T("noindex"));
  120. if( pdest != NULL ) return FALSE;
  122. if(FindHref((LPCTSTR) str,szfind,hString,str.GetLength()))
  123. {
  124. pdest = strstr( hString, _T("mailto:"));
  125. if( pdest == NULL ) list.AddTail(hString);
  126. }
  127. else
  128. {
  129. if(FindHref((LPCTSTR) str,_T("option"),hString,str.GetLength()))
  130. {
  131. pdest = strstr( hString, _T("http"));
  132. if( pdest != NULL ) list.AddTail(hString);
  133. }
  134. }
  136. }
  137. }
  139. count = list.GetCount();
  140. if(count>0) return TRUE;
  142. return FALSE;
  143. }
  145. BOOL GetEmail(LPCSTR szBuffer,LPCSTR szfind, CStringList& list)
  147. {
  148. BOOL InTag=FALSE;
  149. CStringList RList;
  150. int i = 0,j=0;
  151. POSITION pos = NULL;
  152. int nLen = strlen(szBuffer);
  153. LPCTSTR lpsz = szBuffer;
  154. if( nLen <= 0) return FALSE;
  156. CString str,hString;
  157. str="";
  158. while (nLen)
  159. {
  160. if( *lpsz == '<') InTag=TRUE;
  162. if(InTag==TRUE) str += szBuffer[j];
  164. if( *lpsz == '>')  
  165. {
  166. RList.AddTail(str);
  167. str ="";
  168. InTag=FALSE;
  169. }
  171. ++lpsz;
  172. j++;
  173. nLen--;
  175. }
  177. int count = RList.GetCount();
  178. char* pdest;
  179. int p;
  180. for(i=0; i<count; i++)
  181. {
  182. if( ( pos = RList.FindIndex( i)) != NULL )
  183. {
  184. str = RList.GetAt( pos );
  186. pdest = strstr( str, _T("NOINDEX")); //for robot exclusion
  187. if( pdest != NULL ) return FALSE;
  189. pdest = strstr( str, _T("noindex"));
  190. if( pdest != NULL ) return FALSE;
  192. if(FindHref((LPCTSTR) str,szfind,hString,str.GetLength()))
  193. {
  194. pdest = strstr( hString, _T("mailto:"));
  195. if( pdest != NULL )
  196. {
  197. p = hString.Find("mailto:");
  198. if(p >= 0)
  199. {
  200. str = hString.Mid(p+7);
  201. list.AddTail(str);
  202. }
  203. }
  204. }
  207. }
  208. }
  210. count = list.GetCount();
  211. if(count>0) return TRUE;
  213. return FALSE;
  214. }
  216. BOOL GetHTMLTags(LPCSTR szBuffer, CStringList& list)
  218. {
  219. BOOL InTag=FALSE;
  220. int j=0;
  221. int nLen = strlen(szBuffer);
  222. LPCTSTR lpsz = szBuffer;
  223. if( nLen <= 0) return FALSE;
  225. CString str;
  226. str="";
  227. while (nLen)
  228. {
  229. if( *lpsz == '<') InTag=TRUE;
  231. if(InTag==TRUE  ) str += szBuffer[j];
  233. if( *lpsz == '>')  
  234. {
  235. list.AddTail(str);
  236. str ="";
  237. InTag=FALSE;
  238. }
  240. ++lpsz;
  241. j++;
  242. nLen--;
  244. }
  247. int count = list.GetCount();
  248. if(count>0) return TRUE;
  250. return FALSE;
  251. }
  253. BOOL GetHTMLText(LPCSTR szBuffer, CStringList& list)
  255. {
  256. BOOL InTag=FALSE;
  257. int j=0;
  258. int nLen = strlen(szBuffer);
  259. LPCTSTR lpsz = szBuffer;
  260. if( nLen <= 0) return FALSE;
  262. CString str;
  263. str="";
  264. while (nLen)
  265. {
  266. if( *lpsz == '<') InTag=FALSE;
  268. if(InTag==TRUE  && *lpsz != '>') str += szBuffer[j];
  270. if( *lpsz == '>')  
  271. {
  272. list.AddTail(str);
  273. str ="";
  275. InTag=TRUE;
  276. }
  278. ++lpsz;
  279. j++;
  280. nLen--;
  282. }
  285. int count = list.GetCount();
  286. if(count>0) return TRUE;
  288. return FALSE;
  290. }