开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
Thread.cpp
资源名称：Web_Crawler.zip　[点击查看]
上传用户：st5609838
上传日期：2013-03-29
资源大小：66k
文件大小：28k
源码类别：

搜索引擎

开发平台：

Visual C++

Thread.cpp：源码内容
  1. // InetThread.cpp : implementation file
  2. //
  3. /*******************************************
  4. Pre-emptive Multithreading Web Spider
  5. Copyright (c) 1998 by Sim Ayers.
  6. *******************************************************************/
  8. #include "stdafx.h"
  9. #include "Spider.h"
  10. #include "ThreadParams.h"
  11. #include "Thread.h"
  12. #include "utily.h"
  15. #ifdef _DEBUG
  16. #define new DEBUG_NEW
  17. #undef THIS_FILE
  18. static char THIS_FILE[] = __FILE__;
  19. #endif
  21. extern  HANDLE hConnection;
  22. UINT g_nEntries = 0;
  23. CArray<CEntry*, CEntry*> g_entry;
  24. extern long lThreadCount;
  25. extern long lURLCount;
  27. static const TCHAR szHeaders[] = _T("Accept: text/*rn");
  29. static const TCHAR AgentName[] = _T("XYZ Spider");
  31. static DWORD dwHttpRequestFlags = INTERNET_FLAG_EXISTING_CONNECT |  INTERNET_FLAG_RELOAD | INTERNET_FLAG_DONT_CACHE ; 
  33. static DWORD dwHttpRequestFlags2 = INTERNET_FLAG_EXISTING_CONNECT |  INTERNET_FLAG_RELOAD | INTERNET_FLAG_DONT_CACHE |INTERNET_FLAG_NO_AUTO_REDIRECT;
  36. void CMyInternetSession::OnStatusCallback(DWORD  dwContext , DWORD dwInternetStatus,
  37. LPVOID  lpvStatusInformation , DWORD  dwStatusInformationLen )
  38. {
  40. CString strStatus= "";
  42. switch(dwInternetStatus)
  43. {
  44. case INTERNET_STATUS_STATE_CHANGE:
  45. strStatus="Busy";
  46. break;
  48. case INTERNET_STATUS_REQUEST_COMPLETE:
  49. strStatus="request complete";
  50. break;
  51. case INTERNET_STATUS_CONNECTING_TO_SERVER:
  52. strStatus="Connecting to server...";
  53. break;
  55. case INTERNET_STATUS_RESOLVING_NAME:
  56. strStatus.Format("resolving name for %s", lpvStatusInformation);
  57. break;
  58. case INTERNET_STATUS_NAME_RESOLVED:
  59. strStatus.Format("resolved name for %s!", lpvStatusInformation);
  60. break;
  61. case INTERNET_STATUS_CONNECTED_TO_SERVER:
  62. strStatus="Connected to server!";
  63. break;
  64. case INTERNET_STATUS_SENDING_REQUEST:
  65. strStatus="Sending request...";
  66. break;
  67. case INTERNET_STATUS_REQUEST_SENT:
  68. strStatus="Request sent";
  69. break;
  70. case INTERNET_STATUS_RECEIVING_RESPONSE:
  71. strStatus="Receiving response...";
  72. break;
  73. case INTERNET_STATUS_RESPONSE_RECEIVED:
  74. strStatus="Response received!";
  75. break;
  76. case INTERNET_STATUS_CLOSING_CONNECTION:
  77. strStatus="Closing connection...";
  78. break;
  79. case INTERNET_STATUS_CONNECTION_CLOSED:
  80. strStatus="Connection close!";
  81. break;
  82. case INTERNET_STATUS_HANDLE_CLOSING:
  83. strStatus="Closing Connection...";
  84. case INTERNET_STATUS_HANDLE_CREATED:
  85. strStatus="Connection created!";
  86. break;
  87. case INTERNET_STATUS_REDIRECT:
  88. strStatus ="Redirected to URL";
  89. break;
  91. case INTERNET_STATUS_CTL_RESPONSE_RECEIVED:
  92. default:
  93. strStatus.Format("Unknown status: %d", dwInternetStatus);
  94. break;
  95. }
  97. LPCSTR line = strStatus;
  99. if(m_pMainWnd !=NULL)
  100. {
  101. ::SendMessage (m_pMainWnd,WM_USER_SERVER_STATUS, 0,(LPARAM)line);
  102. LPCSTR lpstr = m_strHttpSite;
  103. ::SendMessage (m_pMainWnd,WM_USER_THREAD_STATUS, 0,(LPARAM)lpstr);
  105. }
  107. }
  109. // simple worker thread Proc function
  110. UINT CSpiderThread::ThreadFunc(LPVOID pParam)
  111. {
  112. ThreadParams * lpThreadParams = (ThreadParams*) pParam;
  113. CSpiderThread* lpThread = (CSpiderThread*) lpThreadParams->m_pThread;
  115. lpThread->ThreadRun(lpThreadParams);
  117. // Use  SendMessage instead of PostMessage here to keep the current thread count
  118. // Synchronizied. If the number of threads is greater than MAXIMUM_WAIT_OBJECTS (64)
  119. // the program will be come  unresponsive to user input
  121. ::SendMessage(lpThreadParams->m_hwndNotifyProgress,
  122. WM_USER_THREAD_DONE, 0, (LPARAM)lpThreadParams);  // deletes lpThreadParams and decrements the thread count
  124. return 0;
  125. }
  127. /////////////////////////////////////////////////////////////////////////////
  128. // CSpiderThread
  131. CSpiderThread::CSpiderThread(AFX_THREADPROC pfnThreadProc,ThreadParams *pThreadParams)
  132. :CWinThread(pfnThreadProc,pThreadParams)
  133. {
  135. m_pSession = NULL;
  136. m_pServer =NULL;
  137. m_pFile= NULL;
  138. m_strCurrentServer = "";
  139. m_bDone = FALSE;
  140. pThreadParams->m_pThread = this;
  143. }
  145. CSpiderThread::~CSpiderThread()
  146. {
  147. CleanUp();
  149. }
  152. void CSpiderThread::KillThread()
  153. {
  154. // Note: this function is called in the context of other threads,
  155. // not the thread itself.
  156. m_bDone = TRUE;
  157. CleanUp();
  158. }
  162. BOOL CSpiderThread::InitServer()
  163. {
  165. try{
  166. m_pSession = new CMyInternetSession(AgentName,m_nThreadID);
  167. int ntimeOut = 30;  // very important, can cause a Server time-out if set to low
  168. // or hang the thread if set to high.
  169. /*
  170. The time-out value in milliseconds to use for Internet connection requests. 
  171. If a connection request takes longer than this timeout, the request is canceled.
  172. The default timeout is infinite. */
  173. m_pSession->SetOption(INTERNET_OPTION_CONNECT_TIMEOUT,1000* ntimeOut);
  175. /* The delay value in milliseconds to wait between connection retries.*/
  176. m_pSession->SetOption(INTERNET_OPTION_CONNECT_BACKOFF,1000);
  179. /* The retry count to use for Internet connection requests. If a connection 
  180. attempt still fails after the specified number of tries, the request is canceled.
  181. The default is five. */
  182. m_pSession->SetOption(INTERNET_OPTION_CONNECT_RETRIES,1);
  183.         m_pSession->EnableStatusCallback(TRUE);
  185. }
  186. catch (CInternetException* pEx)
  187. {
  188. // catch errors from WinINet
  189. //pEx->ReportError();
  190. m_pSession = NULL;
  191. pEx->Delete();
  193. return FALSE ;
  194. }
  196. return TRUE;
  197. }
  199. BEGIN_MESSAGE_MAP(CSpiderThread, CWinThread)
  200. //{{AFX_MSG_MAP(CSpiderThread)
  201. // NOTE - the ClassWizard will add and remove mapping macros here.
  202. //}}AFX_MSG_MAP
  203. END_MESSAGE_MAP()
  206. /////////////////////////////////////////////////////////////////////////////
  207. // CSpiderThread message handlers
  210. BOOL CSpiderThread::ThreadRun(ThreadParams *pThreadParams)
  211. {
  213. CString str;
  215. BOOL bRun = FALSE;
  217. bRun = InitServer();
  218. if (!bRun)
  219. return bRun;
  221. if(pThreadParams->m_pszURL.IsEmpty()) return FALSE;
  222. if (m_bDone)
  223. return 0;
  225. m_pSession->m_pMainWnd = pThreadParams->m_hwndNotifyProgress;
  227. if(!ParseURL(pThreadParams)) return FALSE;
  229. PrintStatus(pThreadParams,pThreadParams->m_pszURL);
  231. switch(pThreadParams->m_type)
  232. {
  234. case HTTP_GET_FILE:
  236. if(!GetHttpFile(pThreadParams->m_strServerName, 
  237.     pThreadParams->m_strObject,pThreadParams))
  238. {
  239. str.Format("Error in getting %s",(LPCTSTR)pThreadParams->m_pszURL);
  240. AfxMessageBox(str, MB_OK);
  241. }
  243. break;
  245. case HTTP_CHECK_URL_ROOT:
  247. if(GetHttpFile(pThreadParams->m_strServerName,pThreadParams->m_strObject, pThreadParams,FALSE))
  248. {
  249. if (m_bDone)
  250. return 0;
  252. CheckAllURLs(pThreadParams->m_strServerName,pThreadParams);
  254. }
  256. break;
  259. case HTTP_CHECK_URL:
  261. CheckURL(pThreadParams->m_strServerName, pThreadParams->m_strObject,pThreadParams);
  263. break;
  266. case HTTP_GET_HEADER:
  268. if(!GetServerHeader(pThreadParams->m_strServerName,pThreadParams->m_strObject,pThreadParams))
  269. {
  270. str.Format("Error in getting Server Response Header forn%s",(LPCTSTR)pThreadParams->m_pszURL);
  271. AfxMessageBox(str, MB_OK);
  273. }
  275. break;
  277. }
  279. return TRUE;
  281. }
  284. BOOL CSpiderThread::GetServerHeader(LPCTSTR ServerName, LPCTSTR strObject,ThreadParams *pThreadParams)
  285. {
  287. if(ServerName == NULL || strObject == NULL) return 0;
  289. DWORD dwRet = GetHttpStatus(ServerName, strObject);
  291. pThreadParams->m_Status = dwRet;
  293. if (m_bDone)
  294. return 0;
  296. if(dwRet <200  || dwRet > 400) return FALSE;
  298. if(m_pFile != NULL && m_pServer != NULL && m_pSession != NULL)
  299. {
  301. CString rString;
  302. m_pFile->QueryInfo(HTTP_QUERY_RAW_HEADERS_CRLF,rString);
  303. PrintLine(pThreadParams,rString);
  305. }
  307.   return TRUE;
  309. }
  311. BOOL CSpiderThread::GetHttpFile(LPCTSTR ServerName,LPCTSTR strObject,ThreadParams *pThreadParams,BOOL ViewFile)
  312. {
  314. CString rString;
  315. LPCTSTR lpsz;
  316. LPCTSTR lpszStop;
  317. int pdest,j=0;
  318. TCHAR sz[4096];
  319. memset(sz,'',sizeof(sz));
  320. pThreadParams->m_Contents = "";
  322. if(strObject  == NULL) return FALSE;
  325. if(GetHttpStatus(ServerName, strObject)!= 200)
  326. return FALSE;
  327. if(m_pFile != NULL && m_pServer != NULL)
  328. {
  329. m_pFile->QueryInfo(HTTP_QUERY_CONTENT_TYPE,rString);
  331. pdest = rString.Find("text");
  332. if(pdest < 0 ) return FALSE;
  333. }
  335. if(m_pFile != NULL && m_pServer != NULL && m_pSession != NULL)
  336. {
  337. try
  338. {
  339. while (m_pFile->ReadString(sz, 4095))
  340. {
  341. rString = "";
  342. lpsz = sz;
  343. if(lpsz != NULL)
  344. {
  345. lpszStop = sz + lstrlen(sz);
  346. j=0;
  347. while (lpsz < lpszStop)
  348. {
  349. if(*lpsz =='n') rString += "rn";
  351. else rString += sz[j];
  353. ++lpsz;
  354. j++;
  356. }
  358. pThreadParams->m_Contents += rString;
  359. }
  360. }
  362. }
  364. catch (CInternetException* pEx)
  365. {
  366. // catch errors from WinINet
  367. //pEx->ReportError();
  368. m_pFile= NULL;
  369. pEx->Delete();
  370. return 0;
  371. }
  375. }
  378. if(ViewFile)
  379. ::SendMessage(pThreadParams->m_hwndNotifyProgress,
  380. WM_USER_THREAD_FILE, pThreadParams->m_threadID, (LPARAM)pThreadParams);
  382. return TRUE;
  383. }
  385. int LookUpEntry(LPCTSTR pszURL)
  386. {
  388. if(pszURL == NULL) return -1;
  390. CriticalSectionLock  plock;
  392. CString URL,strTemp;
  393. URL.Format("%s",(LPCTSTR)pszURL);
  394. int pdest = URL.Find(":");
  395. if(pdest>0)
  396. strTemp = URL.Right(URL.GetLength()-1 - pdest - 2);
  397. else
  398. strTemp = URL;
  400. int nRet = -1;
  401. for (UINT i = 0; i < g_nEntries; i ++)
  402. {
  403. if(strTemp.CompareNoCase(g_entry[i]->m_URL)==0)
  404. {
  405. nRet = i;
  406. break;
  407. }
  408. }
  411. return nRet;
  412. }
  413. int AddEntry(URLStatus * lpEntry)
  414. {
  417. CriticalSectionLock  plock;
  419. if(lpEntry->m_URL.IsEmpty())
  420. {
  422. return -1;
  423. }
  425. for (UINT i = 0; i < g_nEntries; i ++) { // only add entry once
  426. if(lpEntry->m_URL.Compare(g_entry[i]->m_URL)==0)
  427. {
  429. return -1;
  430. }
  431. }
  433. CEntry* newEntry = new CEntry;
  435. newEntry->m_URL = lpEntry->m_URL;
  436. newEntry->m_URLPage = lpEntry->m_URLPage;
  438. newEntry->m_Status = lpEntry->m_Status;
  439. newEntry->m_StatusString = lpEntry->m_StatusString;
  440. newEntry->m_LastModified = lpEntry->m_LastModified;
  441. newEntry->m_ContentType = lpEntry->m_ContentType;
  442. newEntry->m_ContentLength = lpEntry->m_ContentLength;
  444. g_nEntries++;
  446. // store in the array and get retVal to pass to the view for updating
  447. int retVal = g_entry.Add(newEntry);
  449. return retVal;
  450. }
  453. BOOL CSpiderThread::CheckURL(LPCTSTR ServerName, LPCTSTR strObject,ThreadParams *pThreadParams)
  454. {
  455. if(ServerName == NULL || strObject==NULL) return FALSE;
  456. DWORD dwRet;
  457. CString rString = "";
  458. rString.Format("%s%s",ServerName,strObject);
  460. int npos = LookUpEntry((LPCTSTR)rString);
  461. if (m_bDone) return 0;
  463. if(npos >= 0  && g_entry[npos]->m_Status != ERROR_INTERNET_TIMEOUT) // just print the status out to the view window if we have already visited the web page in question
  464. {
  465. pThreadParams->m_pStatus.m_URL = rString;
  466. pThreadParams->m_pStatus.m_URLPage = pThreadParams->m_pszURL;
  467. pThreadParams->m_pStatus.m_Status = g_entry[npos]->m_Status;
  468. pThreadParams->m_pStatus.m_ContentType = g_entry[npos]->m_ContentType;
  469. pThreadParams->m_pStatus.m_ContentLength = g_entry[npos]->m_ContentLength;
  470. pThreadParams->m_pStatus.m_LastModified = g_entry[npos]->m_LastModified;
  471. pThreadParams->m_pStatus.m_StatusString = g_entry[npos]->m_StatusString;
  472. }
  474. else
  475. {
  477. dwRet = GetHttpStatus(ServerName, strObject);
  478. pThreadParams->m_Status = dwRet;
  480. pThreadParams->m_pStatus.m_URL = rString;
  481. pThreadParams->m_pStatus.m_URLPage = pThreadParams->m_pszURL;
  482. pThreadParams->m_pStatus.m_Status = dwRet;
  483. pThreadParams->m_pStatus.m_ContentType ="";
  484. pThreadParams->m_pStatus.m_ContentLength = "";
  485. pThreadParams->m_pStatus.m_LastModified ="";
  486. if (m_bDone) return 0;
  488. if(m_pFile != NULL && m_pServer != NULL)
  489. {
  490. m_pFile->QueryInfo(HTTP_QUERY_CONTENT_TYPE,pThreadParams->m_pStatus.m_ContentType);
  491. m_pFile->QueryInfo(HTTP_QUERY_CONTENT_LENGTH,pThreadParams->m_pStatus.m_ContentLength);
  492. m_pFile->QueryInfo(HTTP_QUERY_LAST_MODIFIED,pThreadParams->m_pStatus.m_LastModified);
  493. }
  494. if (m_bDone) return 0;
  496. switch(dwRet)
  497. {
  498. case 200:
  499. pThreadParams->m_pStatus.m_StatusString = _T("ok");
  500. break;
  501. case 301:
  502. pThreadParams->m_pStatus.m_StatusString = _T("redirected to a new URL");
  503. break;
  504. case 302:
  505. pThreadParams->m_pStatus.m_StatusString = _T("resides under a different URL");
  506. break;
  507. case 401:
  508. pThreadParams->m_pStatus.m_StatusString = _T("auth required");
  509. break;
  510. case 402:
  511. pThreadParams->m_pStatus.m_StatusString = _T("payment required");
  512. break;
  513. case 403:
  514. pThreadParams->m_pStatus.m_StatusString = _T("forbidden");
  515. break;
  516. case 404:
  517. pThreadParams->m_pStatus.m_StatusString = _T("not found");
  518. break;
  519. case 400:
  520. pThreadParams->m_pStatus.m_StatusString = _T("Unintelligble request");
  521. break;
  522. case 405:
  523. pThreadParams->m_pStatus.m_StatusString = _T("requested method not supported");
  524. break;
  525. case 500:
  526. pThreadParams->m_pStatus.m_StatusString = _T("Unknown server error");
  527. break;
  528. case 501:
  529. pThreadParams->m_pStatus.m_StatusString = _T("Not implemented on Server");
  530. break;
  531. case 502:
  532. pThreadParams->m_pStatus.m_StatusString = _T("Server temporarily overloaded,busy");
  533. break;
  534. case 503:
  535. pThreadParams->m_pStatus.m_StatusString = _T("Server capacity reached, busy");
  536. break;
  537. case ERROR_INTERNET_TIMEOUT:
  538. pThreadParams->m_pStatus.m_StatusString = _T("Connection timed out");
  539. break;
  540. case ERROR_INTERNET_INVALID_URL:
  541. pThreadParams->m_pStatus.m_StatusString = _T("URL is invalid");
  542. break;
  543. case ERROR_INTERNET_NAME_NOT_RESOLVED:
  544. case 12029: // this seems to be the error for unresolved host names
  545. pThreadParams->m_pStatus.m_StatusString = _T("Could not resolve host name. Check it, and try again");
  546. break;
  547. case ERROR_INTERNET_SHUTDOWN:
  548. pThreadParams->m_pStatus.m_StatusString = _T("Win32 internet functions have been shut down");
  549. break;
  550. case ERROR_INTERNET_CONNECTION_ABORTED:
  551. pThreadParams->m_pStatus.m_StatusString = _T("Connection was aborted prematurely");
  552. break;
  554. case 0:
  555. case 1:
  556. case 2:
  557. default:
  558. pThreadParams->m_pStatus.m_StatusString = _T("no connection");
  559. break;
  560. }
  561. }
  563. AddEntry(&pThreadParams->m_pStatus);
  564. if (m_bDone) return 0;
  566. if(pThreadParams->m_hwndNotifyView != NULL)
  567. ::SendMessage(pThreadParams->m_hwndNotifyView,WM_USER_CHECK_DONE, 0, (LPARAM) &pThreadParams->m_pStatus);
  570. if(dwRet != 200) return FALSE;
  573. return TRUE;
  574. }
  575. DWORD CSpiderThread::NewConnection(LPCTSTR ServerName,LPCTSTR strObject)
  576. {
  578. if(ServerName  == NULL || strObject == NULL) return 0;
  579. DWORD dwRet =  HTTP_STATUS_OK;
  580.    INTERNET_PORT nPort = INTERNET_DEFAULT_HTTP_PORT;
  582.    try{
  583. m_pSession = new CMyInternetSession(ServerName,m_nThreadID);
  585. int ntimeOut = 30;
  586. /*
  587. The time-out value in milliseconds to use for Internet connection requests. 
  588. If a connection request takes longer than this timeout, the request is canceled.
  589. The default timeout is infinite. */
  590. m_pSession->SetOption(INTERNET_OPTION_CONNECT_TIMEOUT,1000* ntimeOut);
  592. /* The delay value in milliseconds to wait between connection retries.*/
  593. m_pSession->SetOption(INTERNET_OPTION_CONNECT_BACKOFF,1000);
  595. /* The retry count to use for Internet connection requests. If a connection 
  596. attempt still fails after the specified number of tries, the request is canceled.
  597. The default is five. */
  598. m_pSession->SetOption(INTERNET_OPTION_CONNECT_RETRIES,2);
  600.      m_pSession->EnableStatusCallback(TRUE);
  601. m_pSession->m_strHttpSite.Format("%s%s",ServerName,strObject);
  604. }
  605. catch (CInternetException* pEx)
  606. {
  607. // catch errors from WinINet
  608. dwRet = pEx->m_dwError;
  609. m_pSession=NULL;
  610. pEx->Delete();
  611. return  dwRet;
  613. }
  615. try
  616. {
  618. m_pServer = m_pSession->GetHttpConnection(ServerName,nPort);
  619. }
  621. catch (CInternetException* pEx)
  622. {
  623. // catch errors from WinINet
  624. dwRet = pEx->m_dwError;
  625. m_pServer = NULL;
  626. pEx->Delete();
  627. CleanUp();
  628. return   dwRet;
  629. }
  631. m_strCurrentServer = ServerName;
  633. try
  634. {
  636. // This can never return NULL. The call may have failed, but it can
  637. // never be null.
  638. m_pFile = m_pServer->OpenRequest(_T("GET"),strObject,NULL, m_nThreadID, NULL, NULL, dwHttpRequestFlags);
  639. m_pFile->SendRequest();
  641. }
  643. catch (CInternetException* pEx)
  644. {
  645. // catch errors from WinINet
  646. dwRet = pEx->m_dwError;
  647. m_pFile = NULL;
  648. pEx->Delete();
  649. CleanUp();
  650. return dwRet;
  651. }
  653. return dwRet;
  654. }
  657. DWORD CSpiderThread::GetHttpStatus(LPCTSTR lpServerName,LPCTSTR strObject)
  658. {
  660. if(lpServerName  == NULL || strObject == NULL)return 0;
  662. INTERNET_PORT nPort = INTERNET_DEFAULT_HTTP_PORT;
  663. DWORD dwRet =  1;
  665. if (m_pSession == NULL) return dwRet;
  667. m_pSession->m_strHttpSite.Format("%s%s",lpServerName,strObject);
  669. dwRet =  2;
  671. if(m_pFile != NULL)
  672. {
  673. m_pFile->Close();
  674. delete m_pFile;
  675. m_pFile=NULL;
  677. }
  679. if (m_bDone) return 0;
  681. if (m_strCurrentServer != lpServerName)
  682. {
  683. // Picked a new server, close out connection and make a new one:
  684. if (m_pServer != NULL)
  685. {
  686. m_pServer->Close ();
  687. delete m_pServer;
  688. m_pServer = NULL;
  689. }
  690. }
  692. if (m_pServer == NULL)
  693. {
  694. try
  695. {
  697. m_pServer = m_pSession->GetHttpConnection(lpServerName,nPort);
  698. }
  700. catch (CInternetException* pEx)
  701. {
  702. // catch errors from WinINet
  703. //pEx->ReportError();
  704. dwRet = pEx->m_dwError;
  705. m_pServer = NULL;
  706. pEx->Delete();
  707. if(!CleanUp()) return FALSE;
  708. return dwRet;
  709. }
  710. if (m_bDone) return 0;
  713. m_strCurrentServer = lpServerName;
  714. }
  717. if (m_bDone)
  718. return 0;
  719. if (m_pServer == NULL) return dwRet;
  720.   
  721. try
  722. {
  724. // This can never return NULL. The call may have failed, but it can
  725. // never be null.
  726. m_pFile = m_pServer->OpenRequest(_T("GET"),strObject,NULL, m_nThreadID, NULL, NULL, dwHttpRequestFlags);
  727. m_pFile->SendRequest();
  729. }
  731. catch (CInternetException* pEx)
  732. {
  733. // catch errors from WinINet
  734. //pEx->ReportError();
  735. dwRet = pEx->m_dwError;
  736. m_pFile = NULL;
  737. pEx->Delete();
  738. if(!CleanUp()) return FALSE;
  739. if(dwRet == ERROR_INTERNET_TIMEOUT ) Sleep(1000);  // Connection timed out, try again on new connection
  740. dwRet = NewConnection(lpServerName,strObject);
  741. if(dwRet != HTTP_STATUS_OK) return dwRet;
  742. }
  744. if (m_bDone) return 0;
  746. if(m_pFile != NULL)
  747. m_pFile->QueryInfoStatusCode(dwRet);
  749.   return dwRet;
  752. }
  754. BOOL CSpiderThread::CheckAllURLs(LPCTSTR ServerName,ThreadParams *pThreadParams)
  756. {    
  757. if(ServerName == NULL) return FALSE;
  758. if(pThreadParams->m_pszURL.IsEmpty()) return FALSE;
  760. CString strMainURL = pThreadParams->m_pszURL;
  762. CStringList list;
  763. POSITION pos=NULL;
  764. CString strObject,strSub;
  765. CString strServer,strURL,strTemp;
  766. DWORD dwServiceType;
  767. INTERNET_PORT nPort;
  768. LPCTSTR lpszText =     pThreadParams->m_Contents.LockBuffer();
  769. if(lpszText == NULL) return FALSE;
  771. if(!GetHref(lpszText,_T("href"),list))
  772. return FALSE;
  774. pThreadParams->m_Contents.UnlockBuffer();
  775. if (m_bDone)
  776. return 0;
  779. int count = GetServerList(pThreadParams->m_pszURL,list,strSub);
  781. int pdest;
  782. int i;
  784. CriticalSectionLock  plock;
  787. lURLCount += count;
  789. ::SendMessage(pThreadParams->m_hwndNotifyProgress,
  790. WM_USER_URL_STATUS, 0, (LONG)lURLCount);
  792. if (m_bDone) return 0;
  794. if(count>0)
  795. {
  798. for(i=0; i<count; i++)
  799. {
  800. if( ( pos = list.FindIndex( i)) != NULL )
  801. {
  802. strObject = list.GetAt( pos );
  804. pdest = strObject.Find(ServerName);   // external link check
  806. if( pdest < 0 )
  807.     GetStatus(pThreadParams,HTTP_CHECK_URL,strObject); // create new threads for each URL
  809. if (m_bDone) return 0;
  810. if(lThreadCount >= MAXIMUM_WAIT_OBJECTS) 
  811. WaitForSingleObject(hConnection,INFINITE);
  814. }
  815. }
  817. for(i=0; i<count; i++)
  818. {
  819. if( ( pos = list.FindIndex( i)) != NULL )
  820. {
  821. strObject = list.GetAt( pos );
  823. pdest = strObject.Find(ServerName);  
  825. if( pdest > 0 )
  826. {
  827. if(AfxParseURL(strObject,dwServiceType,strServer,strURL,nPort))
  828. {
  829. if(!strURL.IsEmpty())
  830. CheckURL(ServerName,strURL,pThreadParams);  // check root links in the current file
  831. }
  832. }
  834. if (m_bDone) return 0;
  836. }
  837. }
  839. if(pThreadParams->m_RootLinks)
  840. {
  841. for(i=0; i<count; i++)
  842. {
  843. if( ( pos = list.FindIndex( i)) != NULL )
  844. {
  845. strObject = list.GetAt( pos );
  846. pdest = strObject.Find(ServerName);  // get root files and check the links in those files 
  847. if ( pdest > 0)
  848. {
  849. pdest = strObject.Find(strSub);
  851. if(( pdest > 0 ) && (strMainURL.Compare(strObject)!=0))
  852. GetStatus(pThreadParams,HTTP_CHECK_URL_ROOT,strObject);  // create new thread
  854. }
  856. if (m_bDone) return 0;
  858. if(lThreadCount >= MAXIMUM_WAIT_OBJECTS) 
  859. WaitForSingleObject(hConnection,INFINITE);
  862. }
  863. }
  864. }
  866. }
  868. return TRUE;
  869. }
  874. BOOL CSpiderThread::PrintLine(ThreadParams *pThreadParams,LPCSTR line)
  875. {
  876. pThreadParams->m_string = line;
  877. ::SendMessage(pThreadParams->m_hwndNotifyProgress,
  878. WM_USER_THREAD_PRINT, 0, (LPARAM)pThreadParams);
  880. return TRUE;
  881. }
  883. BOOL CSpiderThread::PrintFile(ThreadParams *pThreadParams,
  884. LPCSTR line)
  885. {
  886. ::SendMessage(pThreadParams->m_hwndNotifyProgress,
  887. WM_USER_THREAD_FILE, 0, (LPARAM)line);
  889. return TRUE;
  890. }
  891. BOOL CSpiderThread::PrintStatus(ThreadParams *pThreadParams,
  892. LPCSTR line)
  893. {
  894. ::SendMessage(pThreadParams->m_hwndNotifyProgress,
  895. WM_USER_THREAD_STATUS, 0, (LPARAM)line);
  897. return TRUE;
  898. }
  900. BOOL CSpiderThread::GetStatus(ThreadParams *pThreadParams,UINT ntype,LPCSTR line)
  901. {
  902. pThreadParams->m_checkURLName.Format("%s",(LPCSTR)line);
  903. ::SendMessage(pThreadParams->m_hwndNotifyProgress,
  904. WM_USER_THREAD_GETSTATUS, (UINT)ntype, (LPARAM)pThreadParams);
  906. return TRUE;
  907. }
  909. BOOL CSpiderThread::GetNewFile(ThreadParams *pThreadParams,UINT ntype,LPCSTR line)
  910. {
  911. pThreadParams->m_checkURLName.Format("%s",(LPCSTR)line);
  912. ::SendMessage(pThreadParams->m_hwndNotifyProgress,
  913. WM_USER_THREAD_GETNEWFILE, (UINT)ntype, (LPARAM)pThreadParams);
  915. return TRUE;
  916. }
  918. BOOL CSpiderThread::CleanUp()
  919. {
  920. m_strCurrentServer.Empty();
  922. try
  923. {
  924. if(m_pFile != NULL)
  925. { m_pFile->Close();
  926. delete m_pFile;
  927. m_pFile= NULL;
  928. }
  932. if (m_pServer!= NULL)
  933. {
  934. m_pServer->Close();
  935. delete m_pServer;
  936. m_pServer = NULL;
  938. }
  941. if (m_pSession != NULL)
  942. {
  943. m_pSession->Close();
  944. delete m_pSession;
  945. m_pSession = NULL;
  946. }
  948. }
  949. catch (CInternetException* pEx)
  950. {
  951. // catch errors from WinINet
  952. pEx->Delete();
  953. return FALSE;
  954. }
  956. if (m_bDone) return 0;
  958. return TRUE;
  961. }
  964. BOOL CSpiderThread::ParseURL(ThreadParams *pThreadParams)
  965. {
  966. BOOL bRet = FALSE;
  967. if(pThreadParams->m_pszURL.IsEmpty()) return bRet;
  969. LPCTSTR lpsz = pThreadParams->m_pszURL;
  970. if(lpsz  == NULL) return bRet;
  972. int nLen = lstrlen(lpsz);
  973. int i=0;
  974. while (nLen)
  975. {
  976. if( *lpsz == '/') i++;
  977. ++lpsz;
  978. nLen--;
  980. }
  981. if( i< 3) pThreadParams->m_pszURL += "/";
  984. try
  985. {
  986. AfxParseURL(pThreadParams->m_pszURL,pThreadParams->m_dwServiceType,pThreadParams->m_strServerName,pThreadParams->m_strObject,pThreadParams->m_nPort);
  988. }
  989. catch (CInternetException* pEx)
  990. {
  991. // catch errors from WinINet
  992. //pEx->ReportError();
  993. pEx->Delete();
  994. return bRet;
  995. }
  998. lpsz = pThreadParams->m_strObject;
  999. if(lpsz  == NULL) return bRet;
  1000. bRet = TRUE;
  1001. nLen = lstrlen(lpsz);
  1003. BOOL bdot = FALSE;
  1004. while (nLen)
  1005. {
  1006. if( *lpsz == '.') bdot = TRUE;
  1007. ++lpsz;
  1008. nLen--;
  1010. }
  1011. if(pThreadParams->m_strObject.GetLength()-1 > 0)
  1012. {
  1013. if( bdot == FALSE && pThreadParams->m_strObject[pThreadParams->m_strObject.GetLength()-1] != '/')
  1014. pThreadParams->m_strObject += "/";
  1015. }
  1017. return bRet;
  1018. }
  1022. int CSpiderThread::GetServerList(LPCTSTR pszURL,CStringList& list, CString& lpSub)
  1023. {
  1024. if(pszURL  == NULL) return FALSE;
  1026. CStringList Tlist;
  1027. CString strObject,strTemp,str="";
  1028. CString strSub,strServer,strURL,strServerName;
  1029. POSITION pos=NULL;
  1030. POSITION Tpos=NULL;
  1031. LPCTSTR lpsz;
  1032. int nLen;
  1033. int count = 0;
  1034. int pdest2;
  1036. count = list.GetCount();
  1037. int Tcount,i,ti,pdest,j,k;
  1039. for(i=0; i<count; i++)
  1040. {
  1041. if( ( pos = list.FindIndex( i)) != NULL )
  1042. {
  1043. strObject = list.GetAt( pos );
  1044. if(strObject.GetLength() -1 > 0)
  1045. {
  1046. k=0; j= 0;
  1047. lpsz = strObject;
  1048. if(lpsz  != NULL)
  1049. {
  1050. nLen = lstrlen(lpsz);
  1051. while (nLen)
  1052. {
  1053. if( *lpsz == ':') k=j;
  1054. ++lpsz;
  1055. nLen--;
  1056. j++;
  1058. }
  1059. }
  1060. if(k > 6)
  1061. {
  1062. if(strObject[k-4] == 'h' )
  1063. {
  1064. strURL =  strObject.Right(strObject.GetLength() - k+4 );
  1065. strObject = strURL;
  1066. }
  1067. }
  1068. pdest = strObject.FindOneOf("# %");     // don't check   /index.html#new
  1069. pdest2 = strObject.Find("ftp:");     // don't check   ftp://somefile.zip
  1071. if(pdest<0 &&  pdest2 < 0  &&  strObject[0] != '.')   // don't check      ../somedirectory
  1072. {
  1073. Tcount = Tlist.GetCount();
  1074. for(ti=0; ti<Tcount; ti++)
  1075. {
  1076. if( ( Tpos = Tlist.FindIndex( ti)) != NULL ) // remove duplicate URLs
  1077. {
  1078. strTemp = Tlist.GetAt( Tpos );
  1079. if (strObject.Compare(strTemp) == 0)
  1080. Tlist.RemoveAt(Tpos);
  1081. }
  1082. }
  1083. if(!strObject.IsEmpty()) Tlist.AddTail(strObject);
  1084. }
  1085. }
  1086. }
  1087. }
  1089. list.RemoveAll();
  1091. Tcount = Tlist.GetCount();
  1092. for(ti=0; ti<Tcount; ti++) // get rid of /  in  /directory/somefile.html
  1093. {
  1094. if( ( Tpos = Tlist.FindIndex( ti)) != NULL )
  1095. {
  1096. strTemp = Tlist.GetAt( Tpos );
  1099. if(strTemp.GetLength()-1 > 0)
  1100. {
  1102. if (strTemp[0] != '/' )
  1103. str = strTemp;
  1104. else
  1105. str = strTemp.Right(strTemp.GetLength()-1);
  1107. list.AddTail(str);
  1108. }
  1109. }
  1110. }
  1112. strURL = pszURL;
  1113. strSub = "";
  1114. strServer = "";
  1115. strTemp = "";
  1116. CString strDirectory="";
  1119. lpsz = pszURL;
  1120. if(lpsz  != NULL)
  1121. {
  1123. nLen = lstrlen(lpsz);
  1124. i=0;
  1125. while (nLen)
  1126. {
  1127. if( *lpsz == '/') i++;
  1129. ++lpsz;
  1130. nLen--;
  1132. }
  1133. if( i<=2) strURL += "/";
  1134. }
  1136. if(!strURL.IsEmpty()){
  1137. pdest = strURL.Find("//");
  1138. if (pdest >= 0)
  1139. {
  1140. strTemp = strURL.Mid(pdest +2);  // get rid of http://
  1141. }
  1143. }
  1144. if(!strTemp.IsEmpty()){
  1145. pdest = strTemp.Find( '/');
  1146. if (pdest >= 0)
  1147. strServer = strTemp.Left(pdest);  // find server name
  1148. }
  1149. if(!strURL.IsEmpty()){
  1150. pdest = strURL.ReverseFind('/');  // get rid of URL Object
  1151. if (pdest >= 0)
  1152. strSub =  strURL.Left(pdest);
  1153. }
  1155. if(!strSub.IsEmpty()){ // find directory on server 
  1156. pdest = strSub.Find(strServer);
  1157. if (pdest >= 0)
  1158. strDirectory =  strSub.Right(strSub.GetLength()-1 - pdest - strServer.GetLength());
  1159. }
  1160. strSub ="";
  1161. if(strDirectory.GetLength()-1 > 0){
  1163. if (strDirectory[0] != '/' )
  1164. strSub += "/" + strDirectory;
  1165. else strSub = strDirectory;
  1167. if(strSub.GetLength()-1 > 0){
  1169. if (strDirectory[strDirectory.GetLength()-1] != '/'  &&  strSub[strSub.GetLength()-1] != '/')
  1170. strSub += "/" ;
  1171. }
  1172. }
  1174. if(strSub.IsEmpty()) strSub = "/" ;
  1176. lpSub = strSub;
  1179. Tlist.RemoveAll();
  1180. count = list.GetCount();
  1182. for(i=0; i<count; i++) //  add the server name and directory to the URL
  1183. {
  1184. if( ( pos = list.FindIndex( i)) != NULL )
  1185. {
  1186. strObject = list.GetAt( pos );
  1187. if(!strObject.IsEmpty())
  1188. {
  1190. pdest = strObject.Find( _T("http"));
  1192. if( pdest < 0 )
  1193. strURL =  _T("http://") + strServer + strSub + strObject;  // need to fix for https
  1194. else
  1195. strURL = strObject;
  1197. Tlist.AddTail(strURL);
  1198. }
  1200. }
  1201. }
  1203. list.RemoveAll();
  1204. count = Tlist.GetCount(); // rewrite the CStringList list 
  1206. for(i=0; i<count; i++)
  1207. {
  1208. if( ( pos = Tlist.FindIndex( i)) != NULL )
  1209. {
  1210. strObject = Tlist.GetAt( pos );
  1211. if(!strObject.IsEmpty())
  1212. {
  1214. pdest = strObject.Find("amp;");     // fix  /index.cgi?&amp;file=....#new
  1215. if(pdest>0)
  1216. {
  1217. strURL = strObject.Left(pdest);
  1218. strTemp =  strObject.Right(strObject.GetLength() - pdest - 1 -3);
  1219. strObject = strURL + strTemp + '';
  1221. }
  1224. int npos = LookUpEntry((LPCTSTR)strObject);
  1225. if(npos < 0  )
  1226. list.AddTail(strObject);
  1227. }
  1229. }
  1230. }
  1233. return count;
  1235. }