开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
MainFrm.cpp
资源名称：Web_Crawler.zip　[点击查看]
上传用户：st5609838
上传日期：2013-03-29
资源大小：66k
文件大小：20k
源码类别：

搜索引擎

开发平台：

Visual C++

MainFrm.cpp：源码内容
  1. // MainFrm.cpp : implementation of the CMainFrame class
  2. //
  3. /****************************************************************
  4. Pre-emptive Multithreading Web Spider
  5. Copyright (c) 1998 by Sim Ayers.
  6. **************************************************************/
  8. #include "stdafx.h"
  9. #include "Spider.h"
  10. #include "ThreadParams.h"
  11. #include "Thread.h"
  13. #include "MainFrm.h"
  14. #include "SpiderDoc.h"
  15. #include "SpiderView.h"
  16. #include "SpiderList.h"
  17. #include "utily.h"
  18. #include "UrlDlg.h"
  20. #ifdef _DEBUG
  21. #define new DEBUG_NEW
  22. #undef THIS_FILE
  23. static char THIS_FILE[] = __FILE__;
  24. #endif
  26. HANDLE hConnection;
  27. long lThreadCount = 0;
  28. long lURLCount = 0;
  29. int  nCurrentlThreadCount = 0;
  32. /////////////////////////////////////////////////////////////////////////////
  33. // CMainFrame
  35. IMPLEMENT_DYNAMIC(CMainFrame, CMDIFrameWnd)
  37. BEGIN_MESSAGE_MAP(CMainFrame, CMDIFrameWnd)
  38. //{{AFX_MSG_MAP(CMainFrame)
  39. ON_WM_CREATE()
  40. ON_COMMAND(ID_WINDOWS_CLOSEALL, OnWindowsCloseall)
  41. ON_WM_CLOSE()
  42. ON_COMMAND(ID_TOOLS_GETURL, OnToolsGetURL)
  43. ON_COMMAND(ID_TOOLS_KILLTHREAD, OnToolsKillthread)
  44. ON_WM_DESTROY()
  45. ON_COMMAND(ID_TOOL_BROKENURLS, OnToolCheckURLs)
  46. ON_COMMAND(ID_TOOLS_GETHEADER, OnToolsGetServerHeader)
  47. ON_COMMAND(ID_TOOLS_LIST, OnToolsViewURLList)
  48. ON_COMMAND(ID_TOOLS_NOT_FOUND, OnToolsURLsNotFound)
  49. ON_COMMAND(ID_TOOLS_STOP, OnToolsThreadsStop)
  50. ON_COMMAND(ID_WINDOWS_CLOSEALL, OnWindowsCloseall)
  51. ON_UPDATE_COMMAND_UI(ID_TOOLS_KILLTHREAD, OnUpdateToolsKillthread)
  52. ON_UPDATE_COMMAND_UI(ID_TOOLS_STOP, OnUpdateToolsThreadsStop)
  53. //}}AFX_MSG_MAP
  54. ON_MESSAGE(WM_USER_THREAD_FILE,OnDocNew)
  55. ON_MESSAGE(WM_USER_THREAD_PRINT,OnDocUpdate)
  56. ON_MESSAGE(WM_USER_THREAD_DONE,OnThreadDone)
  57. ON_MESSAGE(WM_USER_THREAD_STATUS,OnThreadStatus)
  58. ON_MESSAGE(WM_USER_THREAD_GETSTATUS,OnNewThread)
  59. ON_MESSAGE(WM_USER_THREAD_GETNEWFILE,OnGetNewFiles)
  60. ON_MESSAGE(WM_USER_SERVER_STATUS,OnServerStatus)
  61. ON_MESSAGE(WM_USER_URL_STATUS,OnURLStatus)
  64. END_MESSAGE_MAP()
  67. /////////////////////////////////////////////////////////////////////////////
  68. // CMainFrame construction/destruction
  70. CMainFrame::CMainFrame()
  71. {
  72.     m_lCurThreads = 0;
  73. m_lMaxThreads = MAXIMUM_WAIT_OBJECTS;  //64
  74. hConnection = CreateSemaphore( NULL,m_lCurThreads,m_lMaxThreads,NULL);
  75. InitializeCriticalSection(&m_CritSect);
  77. }
  79. CMainFrame::~CMainFrame()
  80. {
  81. int nRemoveEntry = 0;
  82. while (g_nEntries > 0)
  83. {
  84. delete g_entry[nRemoveEntry];
  85. g_nEntries--;
  86. nRemoveEntry++;
  87. }
  88. g_nEntries = 0;
  89. g_entry.RemoveAll();
  90. CloseHandle(hConnection);
  91. DeleteCriticalSection(&m_CritSect);
  93. }
  97. int CMainFrame::OnCreate(LPCREATESTRUCT lpCreateStruct)
  98. {
  99. if (CMDIFrameWnd::OnCreate(lpCreateStruct) == -1)
  100. return -1;
  102. if (!m_wndToolBar.Create(this) ||
  103. !m_wndToolBar.LoadToolBar(IDR_MAINFRAME))
  104. {
  105. TRACE0("Failed to create toolbarn");
  106. return -1;      // fail to create
  107. }
  109.     static UINT nIndicators[] = {
  110.         ID_SEPARATOR,
  111.         ID_SEPARATOR,
  112.     };
  114.     if (!m_wndStatusBar.Create (this))
  115.         return -1;
  117.     m_wndStatusBar.SetIndicators (nIndicators, 4);
  119.     TEXTMETRIC tm;
  120.     CClientDC dc (this);
  121.     CFont* pFont = m_wndStatusBar.GetFont ();
  122.     CFont* pOldFont = dc.SelectObject (pFont);
  123.     dc.GetTextMetrics (&tm);
  124.     dc.SelectObject (pOldFont);
  126.     int cxWidth;
  127.     UINT nID, nStyle;
  128.     m_wndStatusBar.GetPaneInfo (1, nID, nStyle, cxWidth);
  129.     m_wndStatusBar.SetPaneInfo (1, nID, nStyle, tm.tmAveCharWidth * 40);
  130.     m_wndStatusBar.SetPaneInfo (2, nID, nStyle, tm.tmAveCharWidth * 12);
  131.     m_wndStatusBar.SetPaneInfo (3, nID, nStyle, tm.tmAveCharWidth * 12);
  133. // TODO: Remove this if you don't want tool tips or a resizeable toolbar
  134. m_wndToolBar.SetBarStyle(m_wndToolBar.GetBarStyle() |
  135. CBRS_TOOLTIPS | CBRS_FLYBY | CBRS_SIZE_DYNAMIC);
  137. // TODO: Delete these three lines if you don't want the toolbar to
  138. //  be dockable
  139. m_wndToolBar.EnableDocking(CBRS_ALIGN_ANY);
  140. EnableDocking(CBRS_ALIGN_ANY);
  141. DockControlBar(&m_wndToolBar);
  143. DockControlBar(&m_wndToolBar);
  146. return 0;
  147. }
  149. BOOL CMainFrame::PreCreateWindow(CREATESTRUCT& cs)
  150. {
  151. // TODO: Modify the Window class or styles here by modifying
  152. //  the CREATESTRUCT cs
  154. return CMDIFrameWnd::PreCreateWindow(cs);
  155. }
  157. /////////////////////////////////////////////////////////////////////////////
  158. // CMainFrame diagnostics
  160. #ifdef _DEBUG
  161. void CMainFrame::AssertValid() const
  162. {
  163. CMDIFrameWnd::AssertValid();
  164. }
  166. void CMainFrame::Dump(CDumpContext& dc) const
  167. {
  168. CMDIFrameWnd::Dump(dc);
  169. }
  171. #endif //_DEBUG
  173. /////////////////////////////////////////////////////////////////////////////
  174. // CMainFrame message handlers
  177. void CMainFrame::OnWindowsCloseall() 
  178. {
  179.     CWnd *activeWnd;
  181.     // Send a Close command to every open document
  182.     while ( (activeWnd = MDIGetActive()) != 0) {
  183.         // has the document been modified?
  184.         CDocument *activeDoc = ((CFrameWnd *) activeWnd)->GetActiveDocument();
  185.      activeDoc->SetModifiedFlag(FALSE);
  187.         activeWnd->SendMessage(WM_COMMAND, ID_FILE_CLOSE);
  188.     }
  190. }
  191. LRESULT CMainFrame::OnDocNew(WPARAM wParam,LPARAM lParam) 
  192. {
  193. EnterCriticalSection(&m_CritSect);
  194. ThreadParams *lpThreadParams = NULL;
  195. lpThreadParams = (ThreadParams*)lParam;
  197. if(lpThreadParams != NULL)
  198. {
  200. lpThreadParams = (ThreadParams*)lParam;
  201. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  202. CString lpFileName = lpThreadParams->m_pszURL;
  203. CString urlPage= "Error in file tranfer";
  204. if(!lpThreadParams->m_Contents.IsEmpty())
  205. urlPage = lpThreadParams->m_Contents;
  207. pApp->ShowURL(lpFileName,urlPage); 
  208. }
  210. LeaveCriticalSection(&m_CritSect);
  213. return 0;
  214. }
  216. LRESULT CMainFrame::OnThreadDone(WPARAM wParam,LPARAM lParam) 
  217. {
  218. EnterCriticalSection(&m_CritSect);
  220. CString string;
  221. ThreadParams *lpThreadParams = NULL;
  222. lpThreadParams = (ThreadParams*)lParam;
  223. POSITION pos= NULL;
  225. ::InterlockedDecrement(&lThreadCount);
  226. if(lThreadCount < 0) lThreadCount = 0;
  227. if(lThreadCount == 0)
  228. {
  229. string = "Ready!";
  230. m_wndStatusBar.SetPaneText (0, (LPCTSTR) string, TRUE);
  231. string = "Connection Closed";
  232. m_wndStatusBar.SetPaneText (1, (LPCTSTR) string, TRUE);
  234. }
  236. int nThreadsLeft = m_threadList.GetCount();
  238. if(lpThreadParams != NULL )
  239. {
  241. for(int i=0; i<nThreadsLeft; i++)
  242. {
  243. if((pos = m_threadList.FindIndex(i))!= NULL )
  244. {
  245. CSpiderThread* pThread = m_threadList.GetAt(pos);
  246. if(pThread != NULL)
  247. {
  248. if(lpThreadParams->m_threadID==pThread->m_nThreadID)
  249. {
  250. //A thread object is deleted when the last handle to the thread 
  251. //is closed. 
  252. m_threadList.RemoveAt(pos);
  255.  delete  lpThreadParams;
  256.   if(lThreadCount < MAXIMUM_WAIT_OBJECTS) 
  257. ReleaseSemaphore(hConnection,1,NULL);
  259. string.Format ("Threads:%d",lThreadCount );
  260. m_wndStatusBar.SetPaneText (2, (LPCSTR) string, TRUE);
  262. break;
  263. }
  264. }
  266. }
  267. }
  269. }
  271. LeaveCriticalSection(&m_CritSect);
  274. return 0;
  275. }
  279. LRESULT CMainFrame::OnDocUpdate(WPARAM wParam,LPARAM lParam) 
  280. {
  281. EnterCriticalSection(&m_CritSect);
  283. ThreadParams *lpThreadParams = NULL;
  284. lpThreadParams = (ThreadParams*)lParam;
  285. CString string = "";
  287. if(lpThreadParams != NULL)
  288. {
  289. if(!lpThreadParams->m_string.IsEmpty())
  290. string.Format("%s",(LPCTSTR)lpThreadParams->m_string);
  291. LPCSTR lpstring = string;
  293. if(lpThreadParams->m_hwndNotifyView != NULL)
  294. ::SendMessage(lpThreadParams->m_hwndNotifyView,WM_USER_CHECK_DONE, 0, (LPARAM)lpstring);
  295. else
  296. {
  297. CSpiderView* pActiveView = NULL;
  298. pActiveView = CSpiderView::GetView();
  299. if(pActiveView)
  300. pActiveView->UpdateString(string);
  302. }
  303. }
  304. LeaveCriticalSection(&m_CritSect);
  306. return 0;
  307. }
  309. LRESULT CMainFrame::OnThreadStatus(WPARAM wParam,LPARAM lParam) 
  310. {
  311. EnterCriticalSection(&m_CritSect);
  313. LPCSTR prtline;;
  314. prtline = (LPCSTR)lParam;
  315.     CString string;
  316.     string.Format ("%s",prtline );
  317.     m_wndStatusBar.SetPaneText (0, (LPCSTR) string, TRUE);
  318. LeaveCriticalSection(&m_CritSect);
  320. return 0;
  321. }
  322. LRESULT CMainFrame::OnURLStatus(WPARAM wParam,LPARAM lParam) 
  323. {
  324. EnterCriticalSection(&m_CritSect);
  326. long nCount = lParam;
  327.     CString string;
  328.     string.Format ("URLs:%d",nCount );
  329.     m_wndStatusBar.SetPaneText (3, (LPCSTR) string, TRUE);
  331. LeaveCriticalSection(&m_CritSect);
  333. return 0;
  334. }
  337. LRESULT CMainFrame::OnServerStatus(WPARAM wParam,LPARAM lParam) 
  338. {
  339. EnterCriticalSection(&m_CritSect);
  341. LPCSTR prtline;;
  342. prtline = (LPCSTR)lParam;
  343.     CString string;
  344.     string.Format ("%s",prtline );
  345.     m_wndStatusBar.SetPaneText (1, (LPCSTR) string, TRUE);
  346. LeaveCriticalSection(&m_CritSect);
  348. return 0;
  349. }
  352. LRESULT CMainFrame::OnNewThread(WPARAM wParam,LPARAM lParam) 
  353. {
  354. EnterCriticalSection(&m_CritSect);
  356. ThreadParams *lpThreadParams = NULL;
  357. lpThreadParams = (ThreadParams*)lParam;
  358. UINT ntype = (UINT)wParam;
  359. CString pszURL = "";
  360. CString string;
  361. URLStatus lpEntry;
  363. if(lpThreadParams != NULL)
  364. {
  365. if(!lpThreadParams->m_checkURLName.IsEmpty()) pszURL.Format("%s",(LPCTSTR)lpThreadParams->m_checkURLName);
  367. BOOL Result= GetURL(pszURL,lpThreadParams->m_hwndNotifyView,(int) ntype,lpThreadParams->m_RootLinks);// HTTP_CHECK_URL);
  369.    if(!Result)
  370.    {
  371.    string.Format("Error in creating NEW thread ");
  372. AfxMessageBox(string, MB_OK);
  374.    }
  376. }
  378. LeaveCriticalSection(&m_CritSect);
  380. return 0;
  381. }
  383. LRESULT CMainFrame::OnGetNewFiles(WPARAM wParam,LPARAM lParam) 
  384. {
  386. EnterCriticalSection(&m_CritSect);
  388. LPCSTR prtline;;
  389. UINT type = (UINT)wParam;
  390. prtline = (LPCSTR)lParam;
  391. CString pszURL;
  392. pszURL.Format("%s",(LPCTSTR)prtline);
  394. BOOL Result= GetURL(pszURL,NULL,(int)type);
  396.    if(!Result)
  397.    {
  398.    CString str;
  399. str.Format("Error in creating NEW thread ");
  400. AfxMessageBox(str, MB_OK);
  402.    }
  404. LeaveCriticalSection(&m_CritSect);
  406. return 0;
  407. }
  413. void CMainFrame::OnClose() 
  414. {
  415. CMDIFrameWnd::OnClose();
  416. }
  418. /******************************************
  419. Create the Thread and process the desired URL action 
  420. *******************************************/
  422. BOOL CMainFrame::GetURL(LPCTSTR lpFileName, HWND lphwndNotifyView,
  423. int lptype,BOOL lpRoot)
  424. {
  427. if(lpFileName == NULL) return FALSE;
  428. if(lptype< HTTP_GET_FILE || lptype > HTTP_GET_ENTRY) lptype = 0;
  430.     ThreadParams* pThreadParams = new ThreadParams;
  431. if(!pThreadParams) return FALSE;
  434. pThreadParams->m_pszURL.Format("%s",lpFileName);
  435. pThreadParams->m_type = lptype;
  436. pThreadParams->m_Status = 0;
  437. pThreadParams->m_RootLinks = lpRoot;
  439. pThreadParams->m_hwndNotifyProgress = 
  440. AfxGetMainWnd()->m_hWnd;
  442. if(lphwndNotifyView != NULL)
  443.   pThreadParams->m_hwndNotifyView = lphwndNotifyView;
  444. else
  445.   pThreadParams->m_hwndNotifyView = NULL;
  448. CSpiderThread* pThread;
  449. pThread = NULL;
  450. pThread = new CSpiderThread(CSpiderThread::ThreadFunc,pThreadParams); // create a new CSpiderThread object
  452. if (pThread == NULL)
  453. {
  454. AfxMessageBox("Cannot Start New Thread");
  455. delete pThreadParams;
  456. return FALSE;
  457. }    
  460. if (!pThread->CreateThread())   //  Starts execution of a CWinThread object
  461. {
  462. AfxMessageBox("Cannot Start New Thread");
  463. delete pThread;
  464. pThread = NULL;
  465. delete pThreadParams;
  466. return FALSE;
  467. }    
  469. pThreadParams->m_threadID = pThread->m_nThreadID;
  472. // since everything is successful, add the thread to our list
  474. m_threadList.AddTail(pThread);
  475. CString string;
  476. ::InterlockedIncrement(&lThreadCount);
  477. string.Format ("Threads:%d",lThreadCount);
  478. m_wndStatusBar.SetPaneText (2, (LPCTSTR) string, TRUE);
  482. return TRUE;
  485. }
  487. void CMainFrame::OnDestroy() 
  488. {
  490. OnToolsKillthread();
  492. CMDIFrameWnd::OnDestroy();
  495. }
  496. void CMainFrame::GetConnected()
  497. {
  498. DWORD 
  499. dwConnectionTypes = INTERNET_CONNECTION_LAN |
  500.                           INTERNET_CONNECTION_MODEM |
  501.                           INTERNET_CONNECTION_PROXY;
  502.  if (!InternetGetConnectedState(&dwConnectionTypes, 0))
  503.  {
  504.      InternetAutodial(INTERNET_AUTODIAL_FORCE_UNATTENDED,
  505.                     0);
  506.  } 
  508. }
  510. /*************************************
  511. *     Get a File from a URL Location
  512. **************************************/
  513. void CMainFrame::OnToolsGetURL()  
  515. {
  516. CUrlDlg  dlg;
  517. CString str;
  518. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  520. char* pFileName = "Urls.log";
  521. char lpFileName[MAX_PATH];
  522. strcpy(lpFileName,pApp->m_HomeDir);
  523. strcat(lpFileName,"\");
  524. strcat(lpFileName,pFileName);
  527. dlg.LoadFile(lpFileName);
  530. if(dlg.DoModal() != IDOK) return;
  532. dlg.SaveFile(lpFileName);
  534. if(!dlg.m_WebFileName.IsEmpty())
  535. {
  537. BOOL Result= GetURL(dlg.m_WebFileName,NULL,HTTP_GET_FILE,FALSE);
  539.    if(!Result)
  540.    {
  541. str.Format("Error in thread file transfer");
  542. AfxMessageBox(str, MB_OK);
  544.    }
  545. }
  548. }
  552. /*************************************
  553. *  Check Broken URLs in a HTML file on the Web
  554. **************************************/
  555. void CMainFrame::OnToolCheckURLs() 
  556. {
  557. CUrlDlg  dlg;
  558. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  559. HWND hwndNotifyView = NULL;
  561. char* pFileName = "Urls.log";
  562. char lpFileName[MAX_PATH];
  563. strcpy(lpFileName,pApp->m_HomeDir);
  564. strcat(lpFileName,"\");
  565. strcat(lpFileName,pFileName);
  568. dlg.LoadFile(lpFileName);
  571. if(dlg.DoModal() != IDOK) return;
  573. dlg.SaveFile(lpFileName);
  575. CString str ="";
  577. if(!dlg.m_WebFileName.IsEmpty())
  578. {
  579. if(RobotCheck(dlg.m_WebFileName))
  580. {
  581. AfxMessageBox("Robot exclusion text file found.nGoing to bail out, before we get caught.");
  582. return;
  583. }
  585. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  586. pApp->ShowURL(dlg.m_WebFileName,str); 
  587. CMDIChildWnd * pChild =
  588.         ((CMDIFrameWnd*)(AfxGetApp()->m_pMainWnd))->MDIGetActive();
  589.  
  591. ::SendMessage(pChild->m_hWnd,WM_USER_LIST, 1, 0);
  593. CSpiderList* pActiveView = NULL;
  594. pActiveView = CSpiderList::GetView();
  595. if(pActiveView)
  596. hwndNotifyView = pActiveView->m_hWnd;
  599. BOOL Result= GetURL(dlg.m_WebFileName,hwndNotifyView,HTTP_CHECK_URL_ROOT,dlg.m_root);
  601.    if(!Result)
  602.    {
  603. str.Format("Error in thread ");
  604. AfxMessageBox(str, MB_OK);
  605. return;
  606.    }
  608. }
  610. lURLCount = 0;
  611. str ="URLs:0";
  612. m_wndStatusBar.SetPaneText (3, (LPCTSTR) str, TRUE);
  613. }
  615. /******************************************
  616. Get a Server Response Header for a given URL
  617. *******************************************/
  619. void CMainFrame::OnToolsGetServerHeader() 
  620. {
  621. CUrlDlg  dlg;
  622. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  624. char* pFileName = "Urls.log";
  625. char lpFileName[MAX_PATH];
  626. strcpy(lpFileName,pApp->m_HomeDir);
  627. strcat(lpFileName,"\");
  628. strcat(lpFileName,pFileName);
  631. dlg.LoadFile(lpFileName);
  634. if(dlg.DoModal() != IDOK) return;
  636. dlg.SaveFile(lpFileName);
  638. CString str ="";
  640. if(!dlg.m_WebFileName.IsEmpty())
  641. {
  642. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  643. pApp->ShowURL(dlg.m_WebFileName,str); 
  646. BOOL Result= GetURL(dlg.m_WebFileName,NULL,HTTP_GET_HEADER,FALSE);
  648.    if(!Result)
  649.    {
  650. str.Format("Error in thread ");
  651. AfxMessageBox(str, MB_OK);
  652. return;
  653.    }
  655. }
  657. }
  659. /******************************************
  660. View the list of URLS that did NOT checked out OK
  661. *******************************************/
  663. void CMainFrame::OnToolsURLsNotFound() 
  664. {
  665. if(g_nEntries == 0)
  666. {
  667. AfxMessageBox("No URL's checked yet!");
  668. return;
  669. }
  671. CString string="";
  672. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  673. pApp->ShowURL("Not_Found",string); 
  674. CSpiderDoc *PDoc = NULL;
  675. PDoc =CSpiderDoc::GetDoc();
  677. for (UINT i = 0; i < g_nEntries; i ++)
  678. {
  679. if(g_entry[i]->m_Status != 200)
  680. {
  681. string.Format("%d...%s...%s",i+1,g_entry[i]->m_URL,g_entry[i]->m_StatusString);
  683. if (PDoc)
  684. PDoc->CheckURLUpdate(string); 
  685. }
  686. }
  688. }
  689. /******************************************
  690. View the list of all URLS that were checked
  691. *******************************************/
  692. void CMainFrame::OnToolsViewURLList() 
  693. {
  694. if(g_nEntries == 0)
  695. {
  696. AfxMessageBox("No URL's checked yet!");
  697. return;
  698. }
  700. CString string="";
  701. CSpiderApp *pApp = (CSpiderApp*) AfxGetApp();
  702. pApp->ShowURL("URL_LIST",string); 
  703. CSpiderDoc *PDoc = NULL;
  704. PDoc =CSpiderDoc::GetDoc();
  706. for (UINT i = 0; i < g_nEntries; i ++)
  707. {
  708. string.Format("%d...%s...%s",i+1,g_entry[i]->m_URL,g_entry[i]->m_StatusString);
  710. if (PDoc)
  711. PDoc->CheckURLUpdate(string); 
  713. }
  716. }
  718. /***********************************
  719. * Let All the threads  stop,  without crashing the program
  720. ************************************/
  721. void CMainFrame::OnToolsThreadsStop() 
  722. {
  723. int nCount = 0;
  724. POSITION pos= NULL;
  725. int nThreadsLeft = m_threadList.GetCount();
  727. for(int i=0; i<nThreadsLeft; i++)
  728. {
  729. if((pos = m_threadList.FindIndex(i))!= NULL )
  730. {
  731. CSpiderThread* pThread = m_threadList.GetAt(pos);
  732. if(pThread->m_hThread != NULL)
  733. {
  734. nCount++;
  735. pThread->KillThread();
  737. }
  738. }
  739. }
  741. CString string;
  742. string.Format ("Threads:%d",nCount);
  743. m_wndStatusBar.SetPaneText (2, (LPCTSTR) string, TRUE);
  746. if(nCount > 0)
  747. {
  748. string.Format ("Number of Threads %d nStill Active ",nCount );
  749. AfxMessageBox(string);
  750. }
  752. }
  754. void CMainFrame::OnUpdateToolsThreadsStop(CCmdUI* pCmdUI) 
  755. {
  756. pCmdUI->Enable(lThreadCount!=0);
  758. }
  761. /***********************************
  762. * Kill off All threads, might lock the program up at times
  763. ************************************/
  765. void CMainFrame::OnToolsKillthread() 
  766. {
  768. int nCount,tCount,i;
  769. int nThreadsLeft;
  770. POSITION pos= NULL;
  771. DWORD dwStatus;
  773. nCount = 0,tCount=0;
  774. nThreadsLeft = m_threadList.GetCount();
  776. for(i=0; i<nThreadsLeft; i++)
  777. {
  778. if((pos = m_threadList.FindIndex(i))!= NULL )
  779. {
  780. CSpiderThread* pThread = m_threadList.GetAt(pos);
  781. if(pThread->m_hThread != NULL)
  782. pThread->KillThread();
  784. }
  785. }
  787. Sleep(200);
  788. nThreadsLeft = m_threadList.GetCount();
  790. for(i=0; i<nThreadsLeft; i++)
  791. {
  792. if((pos = m_threadList.FindIndex(i))!= NULL )
  793. {
  794. CSpiderThread* pThread = m_threadList.GetAt(pos);
  795. if(pThread->m_hThread != NULL)
  796. {
  797. tCount++;
  798. pThread->KillThread();
  800. ::GetExitCodeThread(pThread->m_hThread, &dwStatus);
  801. if (dwStatus == STILL_ACTIVE)
  802. nCount++;
  803. else 
  804. m_threadList.RemoveAt(pos);
  807. }
  808. }
  809. }
  811. CString string;
  812. string.Format ("Threads:%d",nCount);
  813. m_wndStatusBar.SetPaneText (2, (LPCTSTR) string, TRUE);
  815. if(nCount > 0)
  816. {
  817. string.Format ("Number of Threads %d nStill Active %d",tCount,nCount );
  818. AfxMessageBox(string);
  819. }
  821. }
  823. void CMainFrame::OnUpdateToolsKillthread(CCmdUI* pCmdUI) 
  824. {
  825. int nThreadsLeft = m_threadList.GetCount();
  827. pCmdUI->Enable(nThreadsLeft != 0);
  829. }
  831. /***************************
  832. * for robot exclusion
  833. * will return true if the server has a robots.txt file.
  834. **************************/
  836. BOOL CMainFrame::RobotCheck(LPCTSTR pszURL)
  837. {
  838. DWORD dwRet = 0;
  839. BOOL bRet = FALSE;
  840. CString strServerName;
  841. CString strObject;
  842. DWORD   dwServiceType;
  843. INTERNET_PORT  nPort;
  844. CMyInternetSession* pSession = NULL;
  845. CHttpConnection* pServer = NULL;
  846. CHttpFile* pFile = NULL;
  848. try
  849. {
  850. AfxParseURL(pszURL,dwServiceType,strServerName,strObject,nPort);
  852. pSession = new CMyInternetSession("Robot",1);
  853. pSession->SetOption(INTERNET_OPTION_CONNECT_TIMEOUT,30000);
  855. /* The delay value in milliseconds to wait between connection retries.*/
  856. pSession->SetOption(INTERNET_OPTION_CONNECT_BACKOFF,1000);
  859. /* The retry count to use for Internet connection requests. If a connection 
  860. attempt still fails after the specified number of tries, the request is canceled.
  861. The default is five. */
  862. pSession->SetOption(INTERNET_OPTION_CONNECT_RETRIES,2);
  863.     pSession->EnableStatusCallback(TRUE);
  864. pSession->m_pMainWnd =  AfxGetMainWnd()->m_hWnd;
  865. pSession->m_strHttpSite.Format("%s",pszURL);
  867. pServer = pSession->GetHttpConnection(strServerName,nPort);
  868. pFile = pServer->OpenRequest(_T("GET"),"/robots.txt");
  869. pFile->SendRequest();
  870. if(pFile != NULL)
  871. pFile->QueryInfoStatusCode(dwRet);
  872. if(dwRet== 200)
  873. bRet = TRUE;
  876. if(pFile != NULL)
  877. { pFile->Close();
  878. delete pFile;
  879. pFile= NULL;
  880. }
  884. if (pServer!= NULL)
  885. {
  886. pServer->Close();
  887. delete pServer;
  888. pServer = NULL;
  890. }
  893. if (pSession != NULL)
  894. {
  895. pSession->Close();
  896. delete pSession;
  897. pSession = NULL;
  898. }
  900. }
  901. catch (CInternetException* pEx)
  902. {
  903. // catch errors from WinINet
  904. //pEx->ReportError();
  905. pEx->Delete();
  906. bRet = FALSE;
  907. }
  909. return bRet;
  910. }