开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 代理服务器 > 查看源码
ftp.c
资源名称：squid-2.2.devel3-src.tar.gz　[点击查看]
上传用户：liugui
上传日期：2007-01-04
资源大小：822k
文件大小：67k
源码类别：

代理服务器

开发平台：

Unix_Linux

ftp.c：源码内容
  2. /*
  3.  * $Id: ftp.c,v 1.280.2.2 1999/02/12 22:13:57 wessels Exp $
  4.  *
  5.  * DEBUG: section 9     File Transfer Protocol (FTP)
  6.  * AUTHOR: Harvest Derived
  7.  *
  8.  * SQUID Internet Object Cache  http://squid.nlanr.net/Squid/
  9.  * ----------------------------------------------------------
  10.  *
  11.  *  Squid is the result of efforts by numerous individuals from the
  12.  *  Internet community.  Development is led by Duane Wessels of the
  13.  *  National Laboratory for Applied Network Research and funded by the
  14.  *  National Science Foundation.  Squid is Copyrighted (C) 1998 by
  15.  *  Duane Wessels and the University of California San Diego.  Please
  16.  *  see the COPYRIGHT file for full details.  Squid incorporates
  17.  *  software developed and/or copyrighted by other sources.  Please see
  18.  *  the CREDITS file for full details.
  19.  *
  20.  *  This program is free software; you can redistribute it and/or modify
  21.  *  it under the terms of the GNU General Public License as published by
  22.  *  the Free Software Foundation; either version 2 of the License, or
  23.  *  (at your option) any later version.
  24.  *  
  25.  *  This program is distributed in the hope that it will be useful,
  26.  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  27.  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  28.  *  GNU General Public License for more details.
  29.  *  
  30.  *  You should have received a copy of the GNU General Public License
  31.  *  along with this program; if not, write to the Free Software
  32.  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111, USA.
  33.  *
  34.  */
  36. #include "squid.h"
  38. static const char *const crlf = "rn";
  39. static char cbuf[1024];
  41. typedef enum {
  42.     BEGIN,
  43.     SENT_USER,
  44.     SENT_PASS,
  45.     SENT_TYPE,
  46.     SENT_MDTM,
  47.     SENT_SIZE,
  48.     SENT_PORT,
  49.     SENT_PASV,
  50.     SENT_CWD,
  51.     SENT_LIST,
  52.     SENT_NLST,
  53.     SENT_REST,
  54.     SENT_RETR,
  55.     SENT_STOR,
  56.     SENT_QUIT,
  57.     READING_DATA,
  58.     WRITING_DATA,
  59.     SENT_MKDIR
  60. } ftp_state_t;
  62. struct _ftp_flags {
  63.     int isdir:1;
  64.     int pasv_supported:1;
  65.     int skip_whitespace:1;
  66.     int rest_supported:1;
  67.     int pasv_only:1;
  68.     int authenticated:1;
  69.     int http_header_sent:1;
  70.     int tried_nlst:1;
  71.     int use_base:1;
  72.     int root_dir:1;
  73.     int no_dotdot:1;
  74.     int html_header_sent:1;
  75.     int binary:1;
  76.     int try_slash_hack:1;
  77.     int put:1;
  78.     int put_mkdir:1;
  79.     int listformat_unknown:1;
  80.     int datachannel_hack:1;
  81. };
  83. typedef struct _Ftpdata {
  84.     StoreEntry *entry;
  85.     request_t *request;
  86.     char user[MAX_URL];
  87.     char password[MAX_URL];
  88.     char *reply_hdr;
  89.     int reply_hdr_state;
  90.     char *title_url;
  91.     int conn_att;
  92.     int login_att;
  93.     ftp_state_t state;
  94.     time_t mdtm;
  95.     int size;
  96.     wordlist *pathcomps;
  97.     char *filepath;
  98.     int restart_offset;
  99.     int restarted_offset;
  100.     int rest_att;
  101.     char *proxy_host;
  102.     size_t list_width;
  103.     wordlist *cwd_message;
  104.     char *old_request;
  105.     char *old_reply;
  106.     char *old_filepath;
  107.     char typecode;
  108.     struct {
  109. int fd;
  110. char *buf;
  111. size_t size;
  112. off_t offset;
  113. FREE *freefunc;
  114. wordlist *message;
  115. char *last_command;
  116. char *last_reply;
  117. int replycode;
  118.     } ctrl;
  119.     struct {
  120. int fd;
  121. char *buf;
  122. size_t size;
  123. off_t offset;
  124. FREE *freefunc;
  125. char *host;
  126. u_short port;
  127.     } data;
  128.     struct _ftp_flags flags;
  129.     FwdState *fwd;
  130. } FtpStateData;
  132. typedef struct {
  133.     char type;
  134.     int size;
  135.     char *date;
  136.     char *name;
  137.     char *showname;
  138.     char *link;
  139. } ftpListParts;
  141. typedef void (FTPSM) (FtpStateData *);
  143. #define FTP_LOGIN_ESCAPED 1
  144. #define FTP_LOGIN_NOT_ESCAPED 0
  146. /* Local functions */
  147. static CNCB ftpPasvCallback;
  148. static PF ftpDataRead;
  149. static PF ftpStateFree;
  150. static PF ftpTimeout;
  151. static PF ftpReadControlReply;
  152. static CWCB ftpWriteCommandCallback;
  153. static void ftpLoginParser(const char *, FtpStateData *, int escaped);
  154. static wordlist *ftpParseControlReply(char *, size_t, int *, int *);
  155. static int ftpRestartable(FtpStateData * ftpState);
  156. static void ftpAppendSuccessHeader(FtpStateData * ftpState);
  157. static void ftpAuthRequired(HttpReply * reply, request_t * request, const char *realm);
  158. static void ftpHackShortcut(FtpStateData * ftpState, FTPSM * nextState);
  159. static void ftpPutStart(FtpStateData *);
  160. static CWCB ftpPutTransferDone;
  161. static void ftpUnhack(FtpStateData * ftpState);
  162. static void ftpScheduleReadControlReply(FtpStateData *, int);
  163. static void ftpHandleControlReply(FtpStateData *);
  164. static char *ftpHtmlifyListEntry(char *line, FtpStateData * ftpState);
  166. /* State machine functions
  167.  * send == state transition
  168.  * read == wait for response, and select next state transition
  169.  * other == Transition logic
  170.  */
  171. static FTPSM ftpReadWelcome;
  172. static FTPSM ftpSendUser;
  173. static FTPSM ftpReadUser;
  174. static FTPSM ftpSendPass;
  175. static FTPSM ftpReadPass;
  176. static FTPSM ftpSendType;
  177. static FTPSM ftpReadType;
  178. static FTPSM ftpSendMdtm;
  179. static FTPSM ftpReadMdtm;
  180. static FTPSM ftpSendSize;
  181. static FTPSM ftpReadSize;
  182. static FTPSM ftpSendPort;
  183. static FTPSM ftpReadPort;
  184. static FTPSM ftpSendPasv;
  185. static FTPSM ftpReadPasv;
  186. static FTPSM ftpTraverseDirectory;
  187. static FTPSM ftpListDir;
  188. static FTPSM ftpGetFile;
  189. static FTPSM ftpSendCwd;
  190. static FTPSM ftpReadCwd;
  191. static FTPSM ftpSendList;
  192. static FTPSM ftpSendNlst;
  193. static FTPSM ftpReadList;
  194. static FTPSM ftpSendRest;
  195. static FTPSM ftpReadRest;
  196. static FTPSM ftpSendRetr;
  197. static FTPSM ftpReadRetr;
  198. static FTPSM ftpReadTransferDone;
  199. static FTPSM ftpSendQuit;
  200. static FTPSM ftpReadQuit;
  201. static FTPSM ftpFail;
  202. static FTPSM ftpDataTransferDone;
  203. static FTPSM ftpRestOrList;
  204. static FTPSM ftpSendStor;
  205. static FTPSM ftpReadStor;
  206. static FTPSM ftpSendReply;
  207. static FTPSM ftpTryMkdir;
  208. static FTPSM ftpReadMkdir;
  209. /************************************************
  210. ** State Machine Description (excluding hacks) **
  211. *************************************************
  212. From To
  213. ---------------------------------------
  214. Welcome User
  215. User Pass
  216. Pass Type
  217. Type TraverseDirectory / GetFile
  218. TraverseDirectory Cwd / GetFile / ListDir
  219. Cwd TraverseDirectory
  220. GetFile Mdtm
  221. Mdtm Size
  222. Size Pasv
  223. ListDir Pasv
  224. Pasv RestOrList
  225. RestOrList Rest / Retr / Nlst / List
  226. Rest Retr
  227. Retr / Nlst / List (ftpDataRead on datachannel)
  228. (ftpDataRead) ReadTransferDone
  229. ReadTransferDone DataTransferDone
  230. DataTransferDone Quit
  231. Quit -
  232. ************************************************/
  234. FTPSM *FTP_SM_FUNCS[] =
  235. {
  236.     ftpReadWelcome,
  237.     ftpReadUser,
  238.     ftpReadPass,
  239.     ftpReadType,
  240.     ftpReadMdtm,
  241.     ftpReadSize,
  242.     ftpReadPort,
  243.     ftpReadPasv,
  244.     ftpReadCwd,
  245.     ftpReadList, /* SENT_LIST */
  246.     ftpReadList, /* SENT_NLST */
  247.     ftpReadRest,
  248.     ftpReadRetr,
  249.     ftpReadStor,
  250.     ftpReadQuit,
  251.     ftpReadTransferDone,
  252.     ftpSendReply,
  253.     ftpReadMkdir
  254. };
  256. static void
  257. ftpStateFree(int fdnotused, void *data)
  258. {
  259.     FtpStateData *ftpState = data;
  260.     if (ftpState == NULL)
  261. return;
  262.     debug(9, 3) ("ftpStateFree: %sn", storeUrl(ftpState->entry));
  263.     storeUnregisterAbort(ftpState->entry);
  264.     storeUnlockObject(ftpState->entry);
  265.     if (ftpState->reply_hdr) {
  266. memFree(ftpState->reply_hdr, MEM_8K_BUF);
  267. ftpState->reply_hdr = NULL;
  268.     }
  269.     requestUnlink(ftpState->request);
  270.     if (ftpState->ctrl.buf)
  271. ftpState->ctrl.freefunc(ftpState->ctrl.buf);
  272.     if (ftpState->data.buf)
  273. ftpState->data.freefunc(ftpState->data.buf);
  274.     if (ftpState->pathcomps)
  275. wordlistDestroy(&ftpState->pathcomps);
  276.     if (ftpState->ctrl.message)
  277. wordlistDestroy(&ftpState->ctrl.message);
  278.     if (ftpState->cwd_message)
  279. wordlistDestroy(&ftpState->cwd_message);
  280.     safe_free(ftpState->ctrl.last_reply);
  281.     safe_free(ftpState->ctrl.last_command);
  282.     safe_free(ftpState->old_request);
  283.     safe_free(ftpState->old_reply);
  284.     safe_free(ftpState->old_filepath);
  285.     safe_free(ftpState->title_url);
  286.     safe_free(ftpState->filepath);
  287.     safe_free(ftpState->data.host);
  288.     if (ftpState->data.fd > -1) {
  289. comm_close(ftpState->data.fd);
  290. ftpState->data.fd = -1;
  291.     }
  292.     cbdataFree(ftpState);
  293. }
  295. static void
  296. ftpLoginParser(const char *login, FtpStateData * ftpState, int escaped)
  297. {
  298.     char *s = NULL;
  299.     xstrncpy(ftpState->user, login, MAX_URL);
  300.     if ((s = strchr(ftpState->user, ':'))) {
  301. *s = 0;
  302. xstrncpy(ftpState->password, s + 1, MAX_URL);
  303. if (escaped)
  304.     rfc1738_unescape(ftpState->password);
  305.     } else {
  306. xstrncpy(ftpState->password, null_string, MAX_URL);
  307.     }
  308.     if (escaped)
  309. rfc1738_unescape(ftpState->user);
  310.     if (ftpState->user[0] || ftpState->password[0])
  311. return;
  312.     xstrncpy(ftpState->user, "anonymous", MAX_URL);
  313.     xstrncpy(ftpState->password, Config.Ftp.anon_user, MAX_URL);
  314. }
  316. static void
  317. ftpTimeout(int fd, void *data)
  318. {
  319.     FtpStateData *ftpState = data;
  320.     StoreEntry *entry = ftpState->entry;
  321.     debug(9, 4) ("ftpTimeout: FD %d: '%s'n", fd, storeUrl(entry));
  322.     if (entry->store_status == STORE_PENDING) {
  323. if (entry->mem_obj->inmem_hi == 0) {
  324.     fwdFail(ftpState->fwd,
  325. errorCon(ERR_READ_TIMEOUT, HTTP_GATEWAY_TIMEOUT));
  326. }
  327.     }
  328.     if (ftpState->data.fd > -1) {
  329. comm_close(ftpState->data.fd);
  330. ftpState->data.fd = -1;
  331.     }
  332.     comm_close(ftpState->ctrl.fd);
  333.     /* don't modify ftpState here, it has been freed */
  334. }
  336. static void
  337. ftpListingStart(FtpStateData * ftpState)
  338. {
  339.     StoreEntry *e = ftpState->entry;
  340.     wordlist *w;
  341.     char *dirup;
  342.     int i, j, k;
  343.     storeBuffer(e);
  344.     storeAppendPrintf(e, "<!-- HTML listing generated by Squid %s -->n",
  345. version_string);
  346.     storeAppendPrintf(e, "<!-- %s -->n", mkrfc1123(squid_curtime));
  347.     storeAppendPrintf(e, "<HTML><HEAD><TITLE>n");
  348.     storeAppendPrintf(e, "FTP Directory: %sn",
  349. ftpState->title_url);
  350.     storeAppendPrintf(e, "</TITLE>n");
  351.     if (ftpState->flags.use_base)
  352. storeAppendPrintf(e, "<BASE HREF="%s">n",
  353.     ftpState->title_url);
  354.     storeAppendPrintf(e, "</HEAD><BODY>n");
  355.     if (ftpState->cwd_message) {
  356. storeAppendPrintf(e, "<PRE>n");
  357. for (w = ftpState->cwd_message; w; w = w->next)
  358.     storeAppendPrintf(e, "%sn", w->key);
  359. storeAppendPrintf(e, "</PRE>n");
  360. storeAppendPrintf(e, "<HR>n");
  361. wordlistDestroy(&ftpState->cwd_message);
  362.     }
  363.     storeAppendPrintf(e, "<H2>n");
  364.     storeAppendPrintf(e, "FTP Directory: ");
  365.     /* "ftp://" == 6 characters */
  366.     assert(strlen(ftpState->title_url) >= 6);
  367.     for (i = 6, j = 0; ftpState->title_url[i]; j = i) {
  368. storeAppendPrintf(e, "<A HREF="");
  369. i += strcspn(&ftpState->title_url[i], "/");
  370. if (ftpState->title_url[i] == '/')
  371.     i++;
  372. for (k = 0; k < i; k++)
  373.     storeAppendPrintf(e, "%c", ftpState->title_url[k]);
  374. storeAppendPrintf(e, "">");
  375. for (k = j; k < i - 1; k++)
  376.     storeAppendPrintf(e, "%c", ftpState->title_url[k]);
  377. if (ftpState->title_url[k] != '/')
  378.     storeAppendPrintf(e, "%c", ftpState->title_url[k++]);
  379. storeAppendPrintf(e, "</A>");
  380. if (k < i)
  381.     storeAppendPrintf(e, "%c", ftpState->title_url[k++]);
  382. if (i == j) {
  383.     /* Error guard, or "assert" */
  384.     storeAppendPrintf(e, "ERROR: Failed to parse URL: %sn",
  385. ftpState->title_url);
  386.     debug(9, 0) ("Failed to parse URL: %sn", ftpState->title_url);
  387.     break;
  388. }
  389.     }
  390.     storeAppendPrintf(e, "</H2>n");
  391.     storeAppendPrintf(e, "<PRE>n");
  392.     dirup = ftpHtmlifyListEntry("<internal-dirup>", ftpState);
  393.     storeAppend(e, dirup, strlen(dirup));
  394.     storeBufferFlush(e);
  395.     ftpState->flags.html_header_sent = 1;
  396. }
  398. static void
  399. ftpListingFinish(FtpStateData * ftpState)
  400. {
  401.     StoreEntry *e = ftpState->entry;
  402.     storeBuffer(e);
  403.     storeAppendPrintf(e, "</PRE>n");
  404.     if (ftpState->flags.listformat_unknown && !ftpState->flags.tried_nlst) {
  405. storeAppendPrintf(e, "<A HREF="./;type=d">[As plain directory]</A>n");
  406.     } else if (ftpState->typecode == 'D') {
  407. storeAppendPrintf(e, "<A HREF="./">[As extended directory]</A>n");
  408.     }
  409.     storeAppendPrintf(e, "<HR>n");
  410.     storeAppendPrintf(e, "<ADDRESS>n");
  411.     storeAppendPrintf(e, "Generated %s by %s (<a href="http://squid.nlanr.net/Squid/">%s</a>)n",
  412. mkrfc1123(squid_curtime),
  413. getMyHostname(),
  414. full_appname_string,
  415. version_string);
  416.     storeAppendPrintf(e, "</ADDRESS></BODY></HTML>n");
  417.     storeBufferFlush(e);
  418. }
  420. static const char *Month[] =
  421. {
  422.     "Jan", "Feb", "Mar", "Apr", "May", "Jun",
  423.     "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"
  424. };
  426. static int
  427. is_month(const char *buf)
  428. {
  429.     int i;
  430.     for (i = 0; i < 12; i++)
  431. if (!strcasecmp(buf, Month[i]))
  432.     return 1;
  433.     return 0;
  434. }
  437. static void
  438. ftpListPartsFree(ftpListParts ** parts)
  439. {
  440.     safe_free((*parts)->date);
  441.     safe_free((*parts)->name);
  442.     safe_free((*parts)->showname);
  443.     safe_free((*parts)->link);
  444.     safe_free(*parts);
  445. }
  447. #define MAX_TOKENS 64
  449. #define SCAN_FTP1       "%[0123456789]"
  450. #define SCAN_FTP2       "%[0123456789:]"
  451. #define SCAN_FTP3       "%[0123456789]-%[0123456789]-%[0123456789]"
  452. #define SCAN_FTP4       "%[0123456789]:%[0123456789]%[AaPp]%[Mm]"
  454. static ftpListParts *
  455. ftpListParseParts(const char *buf, struct _ftp_flags flags)
  456. {
  457.     ftpListParts *p = NULL;
  458.     char *t = NULL;
  459.     const char *ct = NULL;
  460.     char *tokens[MAX_TOKENS];
  461.     int i;
  462.     int n_tokens;
  463.     static char sbuf[128];
  464.     char *xbuf = NULL;
  465.     if (buf == NULL)
  466. return NULL;
  467.     if (*buf == '')
  468. return NULL;
  469.     p = xcalloc(1, sizeof(ftpListParts));
  470.     n_tokens = 0;
  471.     for (i = 0; i < MAX_TOKENS; i++)
  472. tokens[i] = (char *) NULL;
  473.     xbuf = xstrdup(buf);
  474.     if (flags.tried_nlst) {
  475. /* Machine readable format, one name per line */
  476. p->name = xbuf;
  477. p->type = '';
  478. return p;
  479.     }
  480.     for (t = strtok(xbuf, w_space); t && n_tokens < MAX_TOKENS; t = strtok(NULL, w_space))
  481. tokens[n_tokens++] = xstrdup(t);
  482.     xfree(xbuf);
  483.     /* locate the Month field */
  484.     for (i = 3; i < n_tokens - 3; i++) {
  485. if (!is_month(tokens[i])) /* Month */
  486.     continue;
  487. if (!sscanf(tokens[i - 1], SCAN_FTP1, sbuf)) /* Size */
  488.     continue;
  489. if (!sscanf(tokens[i + 1], SCAN_FTP1, sbuf)) /* Day */
  490.     continue;
  491. if (!sscanf(tokens[i + 2], SCAN_FTP2, sbuf)) /* Yr | hh:mm */
  492.     continue;
  493. p->type = *tokens[0];
  494. p->size = atoi(tokens[i - 1]);
  495. snprintf(sbuf, 128, "%s %2s %5s",
  496.     tokens[i], tokens[i + 1], tokens[i + 2]);
  497. if (!strstr(buf, sbuf))
  498.     snprintf(sbuf, 128, "%s %2s %-5s",
  499. tokens[i], tokens[i + 1], tokens[i + 2]);
  500. if ((t = strstr(buf, sbuf))) {
  501.     p->date = xstrdup(sbuf);
  502.     if (flags.skip_whitespace) {
  503. t += strlen(sbuf);
  504. while (strchr(w_space, *t))
  505.     t++;
  506.     } else {
  507. /* XXX assumes a single space between date and filename
  508.  * suggested by:  Nathan.Bailey@cc.monash.edu.au and
  509.  * Mike Battersby <mike@starbug.bofh.asn.au> */
  510. t += strlen(sbuf) + 1;
  511.     }
  512.     p->name = xstrdup(t);
  513.     if ((t = strstr(p->name, " -> "))) {
  514. *t = '';
  515. p->link = xstrdup(t + 4);
  516.     }
  517. }
  518. break;
  519.     }
  520.     /* try it as a DOS listing */
  521.     if (n_tokens > 3 && p->name == NULL &&
  522. sscanf(tokens[0], SCAN_FTP3, sbuf, sbuf, sbuf) == 3 &&
  523.     /* 04-05-70 */
  524. sscanf(tokens[1], SCAN_FTP4, sbuf, sbuf, sbuf, sbuf) == 4) {
  525. /* 09:33PM */
  526. if (!strcasecmp(tokens[2], "<dir>")) {
  527.     p->type = 'd';
  528. } else {
  529.     p->type = '-';
  530.     p->size = atoi(tokens[2]);
  531. }
  532. snprintf(sbuf, 128, "%s %s", tokens[0], tokens[1]);
  533. p->date = xstrdup(sbuf);
  534. if (p->type == 'd') {
  535.     /* Directory.. name begins with first printable after <dir> */
  536.     ct = strstr(buf, tokens[2]);
  537.     ct += strlen(tokens[2]);
  538.     while (xisspace(*ct))
  539. ct++;
  540.     if (!*ct)
  541. ct = NULL;
  542. } else {
  543.     /* A file. Name begins after size, with a space in between */
  544.     snprintf(sbuf, 128, " %s %s", tokens[2], tokens[3]);
  545.     ct = strstr(buf, sbuf);
  546.     if (ct) {
  547. ct += strlen(tokens[2]) + 2;
  548.     }
  549. }
  550. p->name = xstrdup(ct ? ct : tokens[3]);
  551.     }
  552.     /* Try EPLF format; carson@lehman.com */
  553.     if (p->name == NULL && buf[0] == '+') {
  554. ct = buf + 1;
  555. p->type = 0;
  556. while (ct && *ct) {
  557.     switch (*ct) {
  558.     case 't':
  559. sscanf(ct + 1, "%[^,]", sbuf);
  560. p->name = xstrdup(sbuf);
  561. break;
  562.     case 's':
  563. sscanf(ct + 1, "%d", &(p->size));
  564. break;
  565.     case 'm':
  566. sscanf(ct + 1, "%d", &i);
  567. p->date = xstrdup(ctime((time_t *) & i));
  568. *(strstr(p->date, "n")) = '';
  569. break;
  570.     case '/':
  571. p->type = 'd';
  572. break;
  573.     case 'r':
  574. p->type = '-';
  575. break;
  576.     case 'i':
  577. break;
  578.     default:
  579. break;
  580.     }
  581.     ct = strstr(ct, ",");
  582.     if (ct) {
  583. ct++;
  584.     }
  585. }
  586. if (p->type == 0) {
  587.     p->type = '-';
  588. }
  589.     }
  590.     for (i = 0; i < n_tokens; i++)
  591. xfree(tokens[i]);
  592.     if (p->name == NULL)
  593. ftpListPartsFree(&p);
  594.     return p;
  595. }
  597. static const char *
  598. dots_fill(size_t len)
  599. {
  600.     static char buf[256];
  601.     int i = 0;
  602.     if (len > Config.Ftp.list_width) {
  603. memset(buf, ' ', 256);
  604. buf[0] = 'n';
  605. buf[Config.Ftp.list_width + 4] = '';
  606. return buf;
  607.     }
  608.     for (i = (int) len; i < Config.Ftp.list_width; i++)
  609. buf[i - len] = (i % 2) ? '.' : ' ';
  610.     buf[i - len] = '';
  611.     return buf;
  612. }
  614. static char *
  615. ftpHtmlifyListEntry(char *line, FtpStateData * ftpState)
  616. {
  617.     LOCAL_ARRAY(char, icon, 2048);
  618.     LOCAL_ARRAY(char, href, 2048 + 40);
  619.     LOCAL_ARRAY(char, text, 2048);
  620.     LOCAL_ARRAY(char, size, 2048);
  621.     LOCAL_ARRAY(char, chdir, 2048 + 40);
  622.     LOCAL_ARRAY(char, view, 2048 + 40);
  623.     LOCAL_ARRAY(char, download, 2048 + 40);
  624.     LOCAL_ARRAY(char, link, 2048 + 40);
  625.     LOCAL_ARRAY(char, html, 8192);
  626.     size_t width = Config.Ftp.list_width;
  627.     ftpListParts *parts;
  628.     *icon = *href = *text = *size = *chdir = *view = *download = *link = *html = '';
  629.     if ((int) strlen(line) > 1024) {
  630. snprintf(html, 8192, "%sn", line);
  631. return html;
  632.     }
  633.     /* Handle builtin <dirup> */
  634.     if (!strcmp(line, "<internal-dirup>")) {
  635. /* <A HREF="{href}">{icon}</A> <A HREF="{href}">{text}</A> {link} */
  636. snprintf(icon, 2048, "<IMG BORDER=0 SRC="%s" ALT="%-6s">",
  637.     mimeGetIconURL("internal-dirup"),
  638.     "[DIRUP]");
  639. if (!ftpState->flags.no_dotdot && !ftpState->flags.root_dir) {
  640.     /* Normal directory */
  641.     strcpy(href, "../");
  642.     strcpy(text, "Parent Directory");
  643. } else if (!ftpState->flags.no_dotdot && ftpState->flags.root_dir) {
  644.     /* "Top level" directory */
  645.     strcpy(href, "%2e%2e/");
  646.     strcpy(text, "Parent Directory");
  647.     snprintf(link, 2048, "(<A HREF="%s">%s</A>)",
  648. "%2f/",
  649. "Root Directory");
  650. } else if (ftpState->flags.no_dotdot && !ftpState->flags.root_dir) {
  651.     /* Normal directory where last component is / or ..  */
  652.     strcpy(href, "%2e%2e/");
  653.     strcpy(text, "Parent Directory");
  654.     snprintf(link, 2048, "(<A HREF="%s">%s</A>)",
  655. "../",
  656. "Back");
  657. } else { /* NO_DOTDOT && ROOT_DIR */
  658.     /* "UNIX Root" directory */
  659.     strcpy(href, "../");
  660.     strcpy(text, "Home Directory");
  661. }
  662. snprintf(html, 8192, "<A HREF="%s">%s</A> <A HREF="%s">%s</A> %sn",
  663.     href, icon, href, text, link);
  664. return html;
  665.     }
  666.     if ((parts = ftpListParseParts(line, ftpState->flags)) == NULL) {
  667. char *p;
  668. snprintf(html, 8192, "%sn", line);
  669. for (p = line; *p && xisspace(*p); p++);
  670. if (*p && !xisspace(*p))
  671.     ftpState->flags.listformat_unknown = 1;
  672. return html;
  673.     }
  674.     if (!strcmp(parts->name, ".") || !strcmp(parts->name, "..")) {
  675. *html = '';
  676. ftpListPartsFree(&parts);
  677. return html;
  678.     }
  679.     parts->size += 1023;
  680.     parts->size >>= 10;
  681.     parts->showname = xstrdup(parts->name);
  682.     if (!Config.Ftp.list_wrap) {
  683. if (strlen(parts->showname) > width - 1) {
  684.     *(parts->showname + width - 1) = '>';
  685.     *(parts->showname + width - 0) = '';
  686. }
  687.     }
  688.     /* {icon} {text} . . . {date}{size}{chdir}{view}{download}{link}n  */
  689.     xstrncpy(href, rfc1738_escape(parts->name), 2048);
  690.     xstrncpy(text, parts->showname, 2048);
  691.     switch (parts->type) {
  692.     case 'd':
  693. snprintf(icon, 2048, "<IMG BORDER=0 SRC="%s" ALT="%-6s">",
  694.     mimeGetIconURL("internal-dir"),
  695.     "[DIR]");
  696. strncat(href, "/", 2048);
  697. break;
  698.     case 'l':
  699. snprintf(icon, 2048, "<IMG BORDER=0 SRC="%s" ALT="%-6s">",
  700.     mimeGetIconURL("internal-link"),
  701.     "[LINK]");
  702. /* sometimes there is an 'l' flag, but no "->" link */
  703. if (parts->link)
  704.     snprintf(link, 2048, " -> <A HREF="%s">%s</A>",
  705. rfc1738_escape(parts->link),
  706. parts->link);
  707. break;
  708.     case '':
  709. snprintf(icon, 2048, "<IMG BORDER=0 SRC="%s" ALT="%-6s">",
  710.     mimeGetIconURL(parts->name),
  711.     "[UNKNOWN]");
  712. snprintf(chdir, 2048, " <A HREF="%s/;type=d"><IMG BORDER=0 SRC="%s" "
  713.     "ALT="[DIR]"></A>",
  714.     rfc1738_escape(parts->name),
  715.     mimeGetIconURL("internal-dir"));
  716. break;
  717.     case '-':
  718.     default:
  719. snprintf(icon, 2048, "<IMG BORDER=0 SRC="%s" ALT="%-6s">",
  720.     mimeGetIconURL(parts->name),
  721.     "[FILE]");
  722. snprintf(size, 2048, " %6dk", parts->size);
  723. break;
  724.     }
  725.     if (parts->type != 'd') {
  726. if (mimeGetViewOption(parts->name)) {
  727.     snprintf(view, 2048, " <A HREF="%s;type=a"><IMG BORDER=0 SRC="%s" "
  728. "ALT="[VIEW]"></A>",
  729. href, mimeGetIconURL("internal-view"));
  730. }
  731. if (mimeGetDownloadOption(parts->name)) {
  732.     snprintf(download, 2048, " <A HREF="%s;type=i"><IMG BORDER=0 SRC="%s" "
  733. "ALT="[DOWNLOAD]"></A>",
  734. href, mimeGetIconURL("internal-download"));
  735. }
  736.     }
  737.     /* <A HREF="{href}">{icon}</A> <A HREF="{href}">{text}</A> . . . {date}{size}{chdir}{view}{download}{link}n  */
  738.     if (parts->type != '') {
  739. snprintf(html, 8192, "<A HREF="%s">%s</A> <A HREF="%s">%s</A>%s "
  740.     "%s%8s%s%s%s%sn",
  741.     href, icon, href, text, dots_fill(strlen(text)),
  742.     parts->date, size, chdir, view, download, link);
  743.     } else {
  744. /* Plain listing. {icon} {text} ... {chdir}{view}{download} */
  745. snprintf(html, 8192, "<A HREF="%s">%s</A> <A HREF="%s">%s</A>%s "
  746.     "%s%s%s%sn",
  747.     href, icon, href, text, dots_fill(strlen(text)),
  748.     chdir, view, download, link);
  749.     }
  750.     ftpListPartsFree(&parts);
  751.     return html;
  752. }
  754. static void
  755. ftpParseListing(FtpStateData * ftpState)
  756. {
  757.     char *buf = ftpState->data.buf;
  758.     char *sbuf; /* NULL-terminated copy of buf */
  759.     char *end;
  760.     char *line;
  761.     char *s;
  762.     char *t;
  763.     size_t linelen;
  764.     size_t usable;
  765.     StoreEntry *e = ftpState->entry;
  766.     int len = ftpState->data.offset;
  767.     /*
  768.      * We need a NULL-terminated buffer for scanning, ick
  769.      */
  770.     sbuf = xmalloc(len + 1);
  771.     xstrncpy(sbuf, buf, len + 1);
  772.     end = sbuf + len - 1;
  773.     while (*end != 'r' && *end != 'n' && end > sbuf)
  774. end--;
  775.     usable = end - sbuf;
  776.     debug(9, 3) ("ftpParseListing: usable = %dn", usable);
  777.     if (usable == 0) {
  778. debug(9, 3) ("ftpParseListing: didn't find end for %sn", storeUrl(e));
  779. xfree(sbuf);
  780. return;
  781.     }
  782.     debug(9, 3) ("ftpParseListing: %d bytes to play withn", len);
  783.     line = memAllocate(MEM_4K_BUF);
  784.     end++;
  785.     storeBuffer(e);
  786.     s = sbuf;
  787.     s += strspn(s, crlf);
  788.     for (; s < end; s += strcspn(s, crlf), s += strspn(s, crlf)) {
  789. debug(9, 3) ("ftpParseListing: s = {%s}n", s);
  790. linelen = strcspn(s, crlf) + 1;
  791. if (linelen < 2)
  792.     break;
  793. if (linelen > 4096)
  794.     linelen = 4096;
  795. xstrncpy(line, s, linelen);
  796. debug(9, 7) ("ftpParseListing: {%s}n", line);
  797. if (!strncmp(line, "total", 5))
  798.     continue;
  799. t = ftpHtmlifyListEntry(line, ftpState);
  800. assert(t != NULL);
  801. storeAppend(e, t, strlen(t));
  802.     }
  803.     storeBufferFlush(e);
  804.     assert(usable <= len);
  805.     if (usable < len) {
  806. /* must copy partial line to beginning of buf */
  807. linelen = len - usable;
  808. if (linelen > 4096)
  809.     linelen = 4096;
  810. xstrncpy(line, end, linelen);
  811. xstrncpy(ftpState->data.buf, line, ftpState->data.size);
  812. ftpState->data.offset = strlen(ftpState->data.buf);
  813.     }
  814.     memFree(line, MEM_4K_BUF);
  815.     xfree(sbuf);
  816. }
  818. static void
  819. ftpReadComplete(FtpStateData * ftpState)
  820. {
  821.     debug(9, 3) ("ftpReadCompleten");
  822.     /* Connection closed; retrieval done. */
  823.     if (ftpState->flags.html_header_sent)
  824. ftpListingFinish(ftpState);
  825.     if (!ftpState->flags.put) {
  826. storeTimestampsSet(ftpState->entry);
  827. fwdComplete(ftpState->fwd);
  828.     }
  829.     /* expect the "transfer complete" message on the control socket */
  830.     ftpScheduleReadControlReply(ftpState, 1);
  831. }
  833. static void
  834. ftpDataRead(int fd, void *data)
  835. {
  836.     FtpStateData *ftpState = data;
  837.     int len;
  838.     int j;
  839.     int bin;
  840.     StoreEntry *entry = ftpState->entry;
  841.     MemObject *mem = entry->mem_obj;
  842.     size_t read_sz;
  843. #if DELAY_POOLS
  844.     delay_id delay_id = delayMostBytesAllowed(mem);
  845. #endif
  846.     assert(fd == ftpState->data.fd);
  847.     if (EBIT_TEST(entry->flags, ENTRY_ABORTED)) {
  848. comm_close(ftpState->ctrl.fd);
  849. return;
  850.     }
  851.     errno = 0;
  852.     read_sz = ftpState->data.size - ftpState->data.offset;
  853. #if DELAY_POOLS
  854.     read_sz = delayBytesWanted(delay_id, 1, read_sz);
  855. #endif
  856.     memset(ftpState->data.buf + ftpState->data.offset, '', read_sz);
  857.     Counter.syscalls.sock.reads++;
  858.     len = read(fd, ftpState->data.buf + ftpState->data.offset, read_sz);
  859.     if (len > 0) {
  860. fd_bytes(fd, len, FD_READ);
  861. #if DELAY_POOLS
  862. delayBytesIn(delay_id, len);
  863. #endif
  864. kb_incr(&Counter.server.all.kbytes_in, len);
  865. kb_incr(&Counter.server.ftp.kbytes_in, len);
  866. ftpState->data.offset += len;
  867.     }
  868.     debug(9, 5) ("ftpDataRead: FD %d, Read %d bytesn", fd, len);
  869.     if (len > 0) {
  870. IOStats.Ftp.reads++;
  871. for (j = len - 1, bin = 0; j; bin++)
  872.     j >>= 1;
  873. IOStats.Ftp.read_hist[bin]++;
  874.     }
  875.     if (ftpState->flags.isdir && !ftpState->flags.html_header_sent && len >= 0) {
  876. ftpListingStart(ftpState);
  877.     }
  878.     if (len < 0) {
  879. debug(50, 1) ("ftpDataRead: read error: %sn", xstrerror());
  880. if (ignoreErrno(errno)) {
  881.     commSetSelect(fd,
  882. COMM_SELECT_READ,
  883. ftpDataRead,
  884. data,
  885. Config.Timeout.read);
  886. } else {
  887.     assert(mem->inmem_hi > 0);
  888.     ftpDataTransferDone(ftpState);
  889. }
  890.     } else if (len == 0) {
  891. ftpReadComplete(ftpState);
  892.     } else {
  893. if (ftpState->flags.isdir) {
  894.     ftpParseListing(ftpState);
  895. } else {
  896.     storeAppend(entry, ftpState->data.buf, len);
  897.     ftpState->data.offset = 0;
  898. }
  899. if (ftpState->size > 0 && mem->inmem_hi >= ftpState->size + mem->reply->hdr_sz)
  900.     ftpReadComplete(ftpState);
  901. else
  902.     commSetSelect(fd,
  903. COMM_SELECT_READ,
  904. ftpDataRead,
  905. data,
  906. Config.Timeout.read);
  907.     }
  908. }
  910. /*
  911.  * ftpCheckAuth
  912.  *
  913.  * Return 1 if we have everything needed to complete this request.
  914.  * Return 0 if something is missing.
  915.  */
  916. static int
  917. ftpCheckAuth(FtpStateData * ftpState, const HttpHeader * req_hdr)
  918. {
  919.     char *orig_user;
  920.     const char *auth;
  921.     ftpLoginParser(ftpState->request->login, ftpState, FTP_LOGIN_ESCAPED);
  922.     if (ftpState->user[0] && ftpState->password[0])
  923. return 1; /* name and passwd both in URL */
  924.     if (!ftpState->user[0] && !ftpState->password[0])
  925. return 1; /* no name or passwd */
  926.     if (ftpState->password[0])
  927. return 1; /* passwd with no name? */
  928.     /* URL has name, but no passwd */
  929.     if (!(auth = httpHeaderGetAuth(req_hdr, HDR_AUTHORIZATION, "Basic")))
  930. return 0; /* need auth header */
  931.     ftpState->flags.authenticated = 1;
  932.     orig_user = xstrdup(ftpState->user);
  933.     ftpLoginParser(auth, ftpState, FTP_LOGIN_NOT_ESCAPED);
  934.     if (!strcmp(orig_user, ftpState->user)) {
  935. xfree(orig_user);
  936. return 1; /* same username */
  937.     }
  938.     strcpy(ftpState->user, orig_user);
  939.     xfree(orig_user);
  940.     return 0; /* different username */
  941. }
  943. static void
  944. ftpCheckUrlpath(FtpStateData * ftpState)
  945. {
  946.     request_t *request = ftpState->request;
  947.     int l;
  948.     const char *t;
  949.     if ((t = strRChr(request->urlpath, ';')) != NULL) {
  950. if (strncasecmp(t + 1, "type=", 5) == 0) {
  951.     ftpState->typecode = (char) toupper((int) *(t + 6));
  952.     strCutPtr(request->urlpath, t);
  953. }
  954.     }
  955.     l = strLen(request->urlpath);
  956.     ftpState->flags.use_base = 1;
  957.     /* check for null path */
  958.     if (!l) {
  959. stringReset(&request->urlpath, "/");
  960. ftpState->flags.isdir = 1;
  961. ftpState->flags.root_dir = 1;
  962.     } else if (!strCmp(request->urlpath, "/%2f/")) {
  963. /* UNIX root directory */
  964. ftpState->flags.use_base = 0;
  965. ftpState->flags.isdir = 1;
  966. ftpState->flags.root_dir = 1;
  967.     } else if ((l >= 1) && (*(strBuf(request->urlpath) + l - 1) == '/')) {
  968. /* Directory URL, ending in / */
  969. ftpState->flags.isdir = 1;
  970. ftpState->flags.use_base = 0;
  971. if (l == 1)
  972.     ftpState->flags.root_dir = 1;
  973.     }
  974. }
  976. static void
  977. ftpBuildTitleUrl(FtpStateData * ftpState)
  978. {
  979.     request_t *request = ftpState->request;
  980.     size_t len;
  981.     char *t;
  982.     len = 64
  983. + strlen(ftpState->user)
  984. + strlen(ftpState->password)
  985. + strlen(request->host)
  986. + strLen(request->urlpath);
  987.     t = ftpState->title_url = xcalloc(len, 1);
  988.     strcat(t, "ftp://");
  989.     if (strcmp(ftpState->user, "anonymous")) {
  990. strcat(t, ftpState->user);
  991. strcat(t, "@");
  992.     }
  993.     strcat(t, request->host);
  994.     if (request->port != urlDefaultPort(PROTO_FTP))
  995. snprintf(&t[strlen(t)], len - strlen(t), ":%d", request->port);
  996.     strcat(t, strBuf(request->urlpath));
  997. }
  999. void
  1000. ftpStart(FwdState * fwd)
  1001. {
  1002.     request_t *request = fwd->request;
  1003.     StoreEntry *entry = fwd->entry;
  1004.     int fd = fwd->server_fd;
  1005.     LOCAL_ARRAY(char, realm, 8192);
  1006.     const char *url = storeUrl(entry);
  1007.     FtpStateData *ftpState = xcalloc(1, sizeof(FtpStateData));
  1008.     HttpReply *reply;
  1009.     StoreEntry *pe = NULL;
  1010.     const cache_key *key = NULL;
  1011.     cbdataAdd(ftpState, cbdataXfree, 0);
  1012.     debug(9, 3) ("ftpStart: '%s'n", url);
  1013.     Counter.server.all.requests++;
  1014.     Counter.server.ftp.requests++;
  1015.     storeLockObject(entry);
  1016.     ftpState->entry = entry;
  1017.     ftpState->request = requestLink(request);
  1018.     ftpState->ctrl.fd = fd;
  1019.     ftpState->data.fd = -1;
  1020.     ftpState->size = -1;
  1021.     ftpState->flags.pasv_supported = 1;
  1022.     ftpState->flags.rest_supported = 1;
  1023.     ftpState->fwd = fwd;
  1024.     comm_add_close_handler(fd, ftpStateFree, ftpState);
  1025.     if (ftpState->request->method == METHOD_PUT)
  1026. ftpState->flags.put = 1;
  1027.     if (!ftpCheckAuth(ftpState, &request->header)) {
  1028. /* This request is not fully authenticated */
  1029. if (request->port == 21) {
  1030.     snprintf(realm, 8192, "ftp %s", ftpState->user);
  1031. } else {
  1032.     snprintf(realm, 8192, "ftp %s port %d",
  1033. ftpState->user, request->port);
  1034. }
  1035. /* eject any old cached object */
  1036. key = storeKeyPublic(entry->mem_obj->url, entry->mem_obj->method);
  1037. if ((pe = storeGet(key)) != NULL)
  1038.     storeRelease(pe);
  1039. /* create reply */
  1040. reply = entry->mem_obj->reply;
  1041. assert(reply != NULL);
  1042. /* create appropriate reply */
  1043. ftpAuthRequired(reply, request, realm);
  1044. httpReplySwapOut(reply, entry);
  1045. fwdComplete(ftpState->fwd);
  1046. comm_close(fd);
  1047. return;
  1048.     }
  1049.     ftpCheckUrlpath(ftpState);
  1050.     ftpBuildTitleUrl(ftpState);
  1051.     debug(9, 5) ("ftpStart: host=%s, path=%s, user=%s, passwd=%sn",
  1052. ftpState->request->host, strBuf(ftpState->request->urlpath),
  1053. ftpState->user, ftpState->password);
  1054.     ftpState->state = BEGIN;
  1055.     ftpState->ctrl.last_command = xstrdup("Connect to server");
  1056.     ftpState->ctrl.buf = memAllocate(MEM_4K_BUF);
  1057.     ftpState->ctrl.freefunc = memFree4K;
  1058.     ftpState->ctrl.size = 4096;
  1059.     ftpState->ctrl.offset = 0;
  1060.     ftpState->data.buf = xmalloc(SQUID_TCP_SO_RCVBUF);
  1061.     ftpState->data.size = SQUID_TCP_SO_RCVBUF;
  1062.     ftpState->data.freefunc = xfree;
  1063.     ftpScheduleReadControlReply(ftpState, 0);
  1064.     commSetTimeout(fd, Config.Timeout.read, ftpTimeout, ftpState);
  1065. }
  1067. /* ====================================================================== */
  1069. static void
  1070. ftpWriteCommand(const char *buf, FtpStateData * ftpState)
  1071. {
  1072.     debug(9, 5) ("ftpWriteCommand: %sn", buf);
  1073.     safe_free(ftpState->ctrl.last_command);
  1074.     ftpState->ctrl.last_command = xstrdup(buf);
  1075.     comm_write(ftpState->ctrl.fd,
  1076. xstrdup(buf),
  1077. strlen(buf),
  1078. ftpWriteCommandCallback,
  1079. ftpState,
  1080. xfree);
  1081.     ftpScheduleReadControlReply(ftpState, 0);
  1082. }
  1084. static void
  1085. ftpWriteCommandCallback(int fd, char *bufnotused, size_t size, int errflag, void *data)
  1086. {
  1087.     FtpStateData *ftpState = data;
  1088.     StoreEntry *entry = ftpState->entry;
  1089.     ErrorState *err;
  1090.     debug(9, 7) ("ftpWriteCommandCallback: wrote %d bytesn", size);
  1091.     if (size > 0) {
  1092. fd_bytes(fd, size, FD_WRITE);
  1093. kb_incr(&Counter.server.all.kbytes_out, size);
  1094. kb_incr(&Counter.server.ftp.kbytes_out, size);
  1095.     }
  1096.     if (errflag == COMM_ERR_CLOSING)
  1097. return;
  1098.     if (errflag) {
  1099. debug(50, 1) ("ftpWriteCommandCallback: FD %d: %sn", fd, xstrerror());
  1100. if (entry->mem_obj->inmem_hi == 0) {
  1101.     err = errorCon(ERR_WRITE_ERROR, HTTP_SERVICE_UNAVAILABLE);
  1102.     err->xerrno = errno;
  1103.     err->request = requestLink(ftpState->request);
  1104.     errorAppendEntry(entry, err);
  1105. }
  1106. comm_close(ftpState->ctrl.fd);
  1107.     }
  1108. }
  1110. static wordlist *
  1111. ftpParseControlReply(char *buf, size_t len, int *codep, int *used)
  1112. {
  1113.     char *s;
  1114.     char *sbuf;
  1115.     char *end;
  1116.     int usable;
  1117.     int complete = 0;
  1118.     wordlist *head = NULL;
  1119.     wordlist *list;
  1120.     wordlist **tail = &head;
  1121.     off_t offset;
  1122.     size_t linelen;
  1123.     int code = -1;
  1124.     debug(9, 5) ("ftpParseControlReplyn");
  1125.     /*
  1126.      * We need a NULL-terminated buffer for scanning, ick
  1127.      */
  1128.     sbuf = xmalloc(len + 1);
  1129.     xstrncpy(sbuf, buf, len + 1);
  1130.     end = sbuf + len - 1;
  1131.     while (*end != 'r' && *end != 'n' && end > sbuf)
  1132. end--;
  1133.     usable = end - sbuf;
  1134.     debug(9, 3) ("ftpParseControlReply: usable = %dn", usable);
  1135.     if (usable == 0) {
  1136. debug(9, 3) ("ftpParseControlReply: didn't find end of linen");
  1137. safe_free(sbuf);
  1138. return NULL;
  1139.     }
  1140.     debug(9, 3) ("ftpParseControlReply: %d bytes to play withn", len);
  1141.     end++;
  1142.     s = sbuf;
  1143.     s += strspn(s, crlf);
  1144.     for (; s < end; s += strcspn(s, crlf), s += strspn(s, crlf)) {
  1145. if (complete)
  1146.     break;
  1147. debug(9, 3) ("ftpParseControlReply: s = {%s}n", s);
  1148. linelen = strcspn(s, crlf) + 1;
  1149. if (linelen < 2)
  1150.     break;
  1151. if (linelen > 3)
  1152.     complete = (*s >= '0' && *s <= '9' && *(s + 3) == ' ');
  1153. if (complete)
  1154.     code = atoi(s);
  1155. offset = 0;
  1156. if (linelen > 3)
  1157.     if (*s >= '0' && *s <= '9' && (*(s + 3) == '-' || *(s + 3) == ' '))
  1158. offset = 4;
  1159. list = memAllocate(MEM_WORDLIST);
  1160. list->key = xmalloc(linelen - offset);
  1161. xstrncpy(list->key, s + offset, linelen - offset);
  1162. debug(9, 7) ("%d %sn", code, list->key);
  1163. *tail = list;
  1164. tail = &list->next;
  1165.     }
  1166.     *used = (int) (s - sbuf);
  1167.     safe_free(sbuf);
  1168.     if (!complete)
  1169. wordlistDestroy(&head);
  1170.     if (codep)
  1171. *codep = code;
  1172.     return head;
  1173. }
  1175. static void
  1176. ftpScheduleReadControlReply(FtpStateData * ftpState, int buffered_ok)
  1177. {
  1178.     debug(9, 3) ("ftpScheduleReadControlReply: FD %dn", ftpState->ctrl.fd);
  1179.     if (buffered_ok && ftpState->ctrl.offset > 0) {
  1180. /* We've already read some reply data */
  1181. ftpHandleControlReply(ftpState);
  1182.     } else {
  1183. commSetSelect(ftpState->ctrl.fd,
  1184.     COMM_SELECT_READ,
  1185.     ftpReadControlReply,
  1186.     ftpState,
  1187.     Config.Timeout.read);
  1188.     }
  1189. }
  1191. static void
  1192. ftpReadControlReply(int fd, void *data)
  1193. {
  1194.     FtpStateData *ftpState = data;
  1195.     StoreEntry *entry = ftpState->entry;
  1196.     int len;
  1197.     ErrorState *err;
  1198.     debug(9, 5) ("ftpReadControlReplyn");
  1199.     assert(ftpState->ctrl.offset < ftpState->ctrl.size);
  1200.     Counter.syscalls.sock.reads++;
  1201.     len = read(fd,
  1202. ftpState->ctrl.buf + ftpState->ctrl.offset,
  1203. ftpState->ctrl.size - ftpState->ctrl.offset);
  1204.     if (len > 0) {
  1205. fd_bytes(fd, len, FD_READ);
  1206. kb_incr(&Counter.server.all.kbytes_in, len);
  1207. kb_incr(&Counter.server.ftp.kbytes_in, len);
  1208.     }
  1209.     debug(9, 5) ("ftpReadControlReply: FD %d, Read %d bytesn", fd, len);
  1210.     if (len < 0) {
  1211. debug(50, 1) ("ftpReadControlReply: read error: %sn", xstrerror());
  1212. if (ignoreErrno(errno)) {
  1213.     ftpScheduleReadControlReply(ftpState, 0);
  1214. } else {
  1215.     if (entry->mem_obj->inmem_hi == 0) {
  1216. err = errorCon(ERR_READ_ERROR, HTTP_INTERNAL_SERVER_ERROR);
  1217. err->xerrno = errno;
  1218. err->request = requestLink(ftpState->request);
  1219. errorAppendEntry(entry, err);
  1220.     }
  1221.     comm_close(ftpState->ctrl.fd);
  1222. }
  1223. return;
  1224.     }
  1225.     if (len == 0) {
  1226. if (entry->store_status == STORE_PENDING) {
  1227.     storeReleaseRequest(entry);
  1228.     if (entry->mem_obj->inmem_hi == 0) {
  1229. err = errorCon(ERR_FTP_FAILURE, HTTP_INTERNAL_SERVER_ERROR);
  1230. err->xerrno = 0;
  1231. err->request = requestLink(ftpState->request);
  1232. err->ftp_server_msg = ftpState->ctrl.message;
  1233. errorAppendEntry(entry, err);
  1234.     }
  1235. }
  1236. comm_close(ftpState->ctrl.fd);
  1237. return;
  1238.     }
  1239.     len += ftpState->ctrl.offset;
  1240.     ftpState->ctrl.offset = len;
  1241.     assert(len <= ftpState->ctrl.size);
  1242.     ftpHandleControlReply(ftpState);
  1243. }
  1245. static void
  1246. ftpHandleControlReply(FtpStateData * ftpState)
  1247. {
  1248.     char *oldbuf;
  1249.     wordlist **W, **T;
  1250.     int bytes_used = 0;
  1251.     wordlistDestroy(&ftpState->ctrl.message);
  1252.     ftpState->ctrl.message = ftpParseControlReply(ftpState->ctrl.buf,
  1253. ftpState->ctrl.offset, &ftpState->ctrl.replycode, &bytes_used);
  1254.     if (ftpState->ctrl.message == NULL) {
  1255. /* didn't get complete reply yet */
  1256. if (ftpState->ctrl.offset == ftpState->ctrl.size) {
  1257.     oldbuf = ftpState->ctrl.buf;
  1258.     ftpState->ctrl.buf = xcalloc(ftpState->ctrl.size << 1, 1);
  1259.     xmemcpy(ftpState->ctrl.buf, oldbuf, ftpState->ctrl.size);
  1260.     ftpState->ctrl.size <<= 1;
  1261.     ftpState->ctrl.freefunc(oldbuf);
  1262.     ftpState->ctrl.freefunc = xfree;
  1263. }
  1264. ftpScheduleReadControlReply(ftpState, 0);
  1265. return;
  1266.     } else if (ftpState->ctrl.offset == bytes_used) {
  1267. /* used it all up */
  1268. ftpState->ctrl.offset = 0;
  1269.     } else {
  1270. /* Got some data past the complete reply */
  1271. assert(bytes_used < ftpState->ctrl.offset);
  1272. ftpState->ctrl.offset -= bytes_used;
  1273. xmemmove(ftpState->ctrl.buf, ftpState->ctrl.buf + bytes_used,
  1274.     ftpState->ctrl.offset);
  1275.     }
  1276.     /* Extract reply message (last line) */
  1277.     for (T = NULL, W = &ftpState->ctrl.message; *W && (*W)->next; W = &(*W)->next) {
  1278. /* Skip trailing blank lines */
  1279. if (strlen((*W)->key) == 0) {
  1280.     if (T == NULL)
  1281. T = W;
  1282. } else if ((*W)->next) {
  1283.     T = NULL;
  1284. }
  1285.     }
  1286.     safe_free(ftpState->ctrl.last_reply);
  1287.     ftpState->ctrl.last_reply = (*W)->key;
  1288.     safe_free(*W);
  1289.     if (T)
  1290. wordlistDestroy(T);
  1291.     debug(9, 8) ("ftpReadControlReply: state=%d, code=%dn", ftpState->state,
  1292. ftpState->ctrl.replycode);
  1293.     FTP_SM_FUNCS[ftpState->state] (ftpState);
  1294. }
  1296. /* ====================================================================== */
  1298. static void
  1299. ftpReadWelcome(FtpStateData * ftpState)
  1300. {
  1301.     int code = ftpState->ctrl.replycode;
  1302.     debug(9, 3) ("ftpReadWelcomen");
  1303.     if (ftpState->flags.pasv_only)
  1304. ftpState->login_att++;
  1305.     if (code == 220) {
  1306. if (ftpState->ctrl.message) {
  1307.     if (strstr(ftpState->ctrl.message->key, "NetWare"))
  1308. ftpState->flags.skip_whitespace = 1;
  1309.     if (ftpState->cwd_message)
  1310. wordlistDestroy(&ftpState->cwd_message);
  1311.     ftpState->cwd_message = ftpState->ctrl.message;
  1312.     ftpState->ctrl.message = NULL;
  1313. }
  1314. ftpSendUser(ftpState);
  1315.     } else if (code == 120) {
  1316. if (NULL != ftpState->ctrl.message)
  1317.     debug(9, 3) ("FTP server is busy: %sn",
  1318. ftpState->ctrl.message->key);
  1319. return;
  1320.     } else {
  1321. ftpFail(ftpState);
  1322.     }
  1323. }
  1325. static void
  1326. ftpSendUser(FtpStateData * ftpState)
  1327. {
  1328.     if (ftpState->proxy_host != NULL)
  1329. snprintf(cbuf, 1024, "USER %s@%srn",
  1330.     ftpState->user,
  1331.     ftpState->request->host);
  1332.     else
  1333. snprintf(cbuf, 1024, "USER %srn", ftpState->user);
  1334.     ftpWriteCommand(cbuf, ftpState);
  1335.     ftpState->state = SENT_USER;
  1336. }
  1338. static void
  1339. ftpReadUser(FtpStateData * ftpState)
  1340. {
  1341.     int code = ftpState->ctrl.replycode;
  1342.     debug(9, 3) ("ftpReadUsern");
  1343.     if (code == 230) {
  1344. ftpReadPass(ftpState);
  1345.     } else if (code == 331) {
  1346. ftpSendPass(ftpState);
  1347.     } else {
  1348. ftpFail(ftpState);
  1349.     }
  1350. }
  1352. static void
  1353. ftpSendPass(FtpStateData * ftpState)
  1354. {
  1355.     snprintf(cbuf, 1024, "PASS %srn", ftpState->password);
  1356.     ftpWriteCommand(cbuf, ftpState);
  1357.     ftpState->state = SENT_PASS;
  1358. }
  1360. static void
  1361. ftpReadPass(FtpStateData * ftpState)
  1362. {
  1363.     int code = ftpState->ctrl.replycode;
  1364.     debug(9, 3) ("ftpReadPassn");
  1365.     if (ftpState->ctrl.message) {
  1366. if (ftpState->cwd_message)
  1367.     wordlistDestroy(&ftpState->cwd_message);
  1368. ftpState->cwd_message = ftpState->ctrl.message;
  1369. ftpState->ctrl.message = NULL;
  1370.     }
  1371.     if (code == 230) {
  1372. ftpSendType(ftpState);
  1373.     } else {
  1374. ftpFail(ftpState);
  1375.     }
  1376. }
  1378. static void
  1379. ftpSendType(FtpStateData * ftpState)
  1380. {
  1381.     const char *t;
  1382.     const char *filename;
  1383.     char mode;
  1384.     /*
  1385.      * Ref section 3.2.2 of RFC 1738
  1386.      */
  1387.     switch (mode = ftpState->typecode) {
  1388.     case 'D':
  1389. mode = 'A';
  1390. break;
  1391.     case 'A':
  1392.     case 'I':
  1393. break;
  1394.     default:
  1395. if (ftpState->flags.isdir) {
  1396.     mode = 'A';
  1397. } else {
  1398.     t = strRChr(ftpState->request->urlpath, '/');
  1399.     filename = t ? t + 1 : strBuf(ftpState->request->urlpath);
  1400.     mode = mimeGetTransferMode(filename);
  1401. }
  1402. break;
  1403.     }
  1404.     if (mode == 'I')
  1405. ftpState->flags.binary = 1;
  1406.     else
  1407. ftpState->flags.binary = 0;
  1408.     snprintf(cbuf, 1024, "TYPE %crn", mode);
  1409.     ftpWriteCommand(cbuf, ftpState);
  1410.     ftpState->state = SENT_TYPE;
  1411. }
  1413. static void
  1414. ftpReadType(FtpStateData * ftpState)
  1415. {
  1416.     int code = ftpState->ctrl.replycode;
  1417.     char *path;
  1418.     char *d, *p;
  1419.     debug(9, 3) ("This is ftpReadTypen");
  1420.     if (code == 200) {
  1421. p = path = xstrdup(strBuf(ftpState->request->urlpath));
  1422. if (*p == '/')
  1423.     p++;
  1424. while (*p) {
  1425.     d = p;
  1426.     p += strcspn(p, "/");
  1427.     if (*p)
  1428. *p++ = '';
  1429.     rfc1738_unescape(d);
  1430.     wordlistAdd(&ftpState->pathcomps, d);
  1431. }
  1432. xfree(path);
  1433. if (ftpState->pathcomps)
  1434.     ftpTraverseDirectory(ftpState);
  1435. else
  1436.     ftpListDir(ftpState);
  1437.     } else {
  1438. ftpFail(ftpState);
  1439.     }
  1440. }
  1442. static void
  1443. ftpTraverseDirectory(FtpStateData * ftpState)
  1444. {
  1445.     wordlist *w;
  1446.     debug(9, 4) ("ftpTraverseDirectory %sn",
  1447. ftpState->filepath ? ftpState->filepath : "<NULL>");
  1449.     safe_free(ftpState->filepath);
  1450.     /* Done? */
  1451.     if (ftpState->pathcomps == NULL) {
  1452. debug(9, 3) ("the final component was a directoryn");
  1453. ftpListDir(ftpState);
  1454. return;
  1455.     }
  1456.     /* Go to next path component */
  1457.     w = ftpState->pathcomps;
  1458.     ftpState->filepath = w->key;
  1459.     ftpState->pathcomps = w->next;
  1460.     xfree(w);
  1461.     /* Check if we are to CWD or RETR */
  1462.     if (ftpState->pathcomps != NULL || ftpState->flags.isdir) {
  1463. ftpSendCwd(ftpState);
  1464.     } else {
  1465. debug(9, 3) ("final component is probably a filen");
  1466. ftpGetFile(ftpState);
  1467. return;
  1468.     }
  1469. }
  1471. static void
  1472. ftpSendCwd(FtpStateData * ftpState)
  1473. {
  1474.     char *path = ftpState->filepath;
  1475.     debug(9, 3) ("ftpSendCwdn");
  1476.     if (!strcmp(path, "..") || !strcmp(path, "/")) {
  1477. ftpState->flags.no_dotdot = 1;
  1478.     } else {
  1479. ftpState->flags.no_dotdot = 0;
  1480.     }
  1481.     if (*path)
  1482. snprintf(cbuf, 1024, "CWD %srn", path);
  1483.     else
  1484. snprintf(cbuf, 1024, "CWDrn");
  1485.     ftpWriteCommand(cbuf, ftpState);
  1486.     ftpState->state = SENT_CWD;
  1487. }
  1489. static void
  1490. ftpReadCwd(FtpStateData * ftpState)
  1491. {
  1492.     int code = ftpState->ctrl.replycode;
  1493.     debug(9, 3) ("This is ftpReadCwdn");
  1494.     if (code >= 200 && code < 300) {
  1495. /* CWD OK */
  1496. ftpUnhack(ftpState);
  1497. if (ftpState->cwd_message)
  1498.     wordlistDestroy(&ftpState->cwd_message);
  1499. ftpState->cwd_message = ftpState->ctrl.message;
  1500. ftpState->ctrl.message = NULL;
  1501. /* Continue to traverse the path */
  1502. ftpTraverseDirectory(ftpState);
  1503.     } else {
  1504. /* CWD FAILED */
  1505. if (!ftpState->flags.put)
  1506.     ftpFail(ftpState);
  1507. else
  1508.     ftpTryMkdir(ftpState);
  1509.     }
  1510. }
  1512. static void
  1513. ftpTryMkdir(FtpStateData * ftpState)
  1514. {
  1515.     char *path = ftpState->filepath;
  1516.     debug(9, 3) ("ftpTryMkdir: with path=%sn", path);
  1517.     snprintf(cbuf, 1024, "MKD %srn", path);
  1518.     ftpWriteCommand(cbuf, ftpState);
  1519.     ftpState->state = SENT_MKDIR;
  1520. }
  1522. static void
  1523. ftpReadMkdir(FtpStateData * ftpState)
  1524. {
  1525.     char *path = ftpState->filepath;
  1526.     int code = ftpState->ctrl.replycode;
  1528.     debug(9, 3) ("ftpReadMkdir: path %s, code %dn", path, code);
  1529.     if (code == 257) { /* success */
  1530. ftpSendCwd(ftpState);
  1531.     } else if (code == 550) { /* dir exists */
  1532. if (ftpState->flags.put_mkdir) {
  1533.     ftpState->flags.put_mkdir = 1;
  1534.     ftpSendCwd(ftpState);
  1535. } else
  1536.     ftpSendReply(ftpState);
  1537.     } else
  1538. ftpSendReply(ftpState);
  1539. }
  1541. static void
  1542. ftpGetFile(FtpStateData * ftpState)
  1543. {
  1544.     assert(*ftpState->filepath != '');
  1545.     ftpState->flags.isdir = 0;
  1546.     ftpSendMdtm(ftpState);
  1547. }
  1549. static void
  1550. ftpListDir(FtpStateData * ftpState)
  1551. {
  1552.     if (!ftpState->flags.isdir) {
  1553. debug(9, 3) ("Directory path did not end in /n");
  1554. strcat(ftpState->title_url, "/");
  1555. ftpState->flags.isdir = 1;
  1556. ftpState->flags.use_base = 1;
  1557.     }
  1558.     ftpSendPasv(ftpState);
  1559. }
  1561. static void
  1562. ftpSendMdtm(FtpStateData * ftpState)
  1563. {
  1564.     assert(*ftpState->filepath != '');
  1565.     snprintf(cbuf, 1024, "MDTM %srn", ftpState->filepath);
  1566.     ftpWriteCommand(cbuf, ftpState);
  1567.     ftpState->state = SENT_MDTM;
  1568. }
  1570. static void
  1571. ftpReadMdtm(FtpStateData * ftpState)
  1572. {
  1573.     int code = ftpState->ctrl.replycode;
  1574.     debug(9, 3) ("This is ftpReadMdtmn");
  1575.     if (code == 213) {
  1576. ftpState->mdtm = parse_iso3307_time(ftpState->ctrl.last_reply);
  1577. ftpUnhack(ftpState);
  1578.     } else if (code < 0) {
  1579. ftpFail(ftpState);
  1580.     }
  1581.     ftpSendSize(ftpState);
  1582. }
  1584. static void
  1585. ftpSendSize(FtpStateData * ftpState)
  1586. {
  1587.     /* Only send SIZE for binary transfers. The returned size
  1588.      * is useless on ASCII transfers */
  1589.     if (ftpState->flags.binary) {
  1590. assert(ftpState->filepath != NULL);
  1591. assert(*ftpState->filepath != '');
  1592. snprintf(cbuf, 1024, "SIZE %srn", ftpState->filepath);
  1593. ftpWriteCommand(cbuf, ftpState);
  1594. ftpState->state = SENT_SIZE;
  1595.     } else
  1596. /* Skip to next state no non-binary transfers */
  1597. ftpSendPasv(ftpState);
  1598. }
  1600. static void
  1601. ftpReadSize(FtpStateData * ftpState)
  1602. {
  1603.     int code = ftpState->ctrl.replycode;
  1604.     debug(9, 3) ("This is ftpReadSizen");
  1605.     if (code == 213) {
  1606. ftpUnhack(ftpState);
  1607. ftpState->size = atoi(ftpState->ctrl.last_reply);
  1608.     } else if (code < 0) {
  1609. ftpFail(ftpState);
  1610.     }
  1611.     ftpSendPasv(ftpState);
  1612. }
  1614. static void
  1615. ftpSendPasv(FtpStateData * ftpState)
  1616. {
  1617.     int fd;
  1618.     struct sockaddr_in addr;
  1619.     socklen_t addr_len;
  1620.     if (ftpState->data.fd >= 0) {
  1621. if (!ftpState->flags.datachannel_hack) {
  1622.     /* We are already connected, reuse this connection. */
  1623.     ftpRestOrList(ftpState);
  1624.     return;
  1625. } else {
  1626.     /* Close old connection */
  1627.     comm_close(ftpState->data.fd);
  1628.     ftpState->data.fd = -1;
  1629. }
  1630.     }
  1631.     if (!ftpState->flags.pasv_supported) {
  1632. ftpSendPort(ftpState);
  1633. return;
  1634.     }
  1635.     addr_len = sizeof(addr);
  1636.     if (getsockname(ftpState->ctrl.fd, (struct sockaddr *) &addr, &addr_len)) {
  1637. debug(9, 0) ("ftpSendPasv: getsockname(%d,..): %sn",
  1638.     ftpState->ctrl.fd, xstrerror());
  1639. addr.sin_addr = Config.Addrs.tcp_outgoing;
  1640.     }
  1641.     /* Open data channel with the same local address as control channel */
  1642.     fd = comm_open(SOCK_STREAM,
  1643. 0,
  1644. addr.sin_addr,
  1645. 0,
  1646. COMM_NONBLOCKING,
  1647. storeUrl(ftpState->entry));
  1648.     debug(9, 3) ("ftpSendPasv: Unconnected data socket created on FD %dn", fd);
  1649.     if (fd < 0) {
  1650. ftpFail(ftpState);
  1651. return;
  1652.     }
  1653.     /*
  1654.      * No comm_add_close_handler() here.  If we have both ctrl and
  1655.      * data FD's call ftpStateFree() upon close, then we have
  1656.      * to delete the close handler which did NOT get called
  1657.      * to prevent ftpStateFree() getting called twice.
  1658.      * Instead we'll always call comm_close() on the ctrl FD.
  1659.      */
  1660.     ftpState->data.fd = fd;
  1661.     snprintf(cbuf, 1024, "PASVrn");
  1662.     ftpWriteCommand(cbuf, ftpState);
  1663.     ftpState->state = SENT_PASV;
  1664. }
  1666. static void
  1667. ftpReadPasv(FtpStateData * ftpState)
  1668. {
  1669.     int code = ftpState->ctrl.replycode;
  1670.     int h1, h2, h3, h4;
  1671.     int p1, p2;
  1672.     int n;
  1673.     u_short port;
  1674.     int fd = ftpState->data.fd;
  1675.     char *buf = ftpState->ctrl.last_reply;
  1676.     LOCAL_ARRAY(char, junk, 1024);
  1677.     debug(9, 3) ("This is ftpReadPasvn");
  1678.     if (code != 227) {
  1679. debug(9, 3) ("PASV not supported by remote endn");
  1680. comm_close(ftpState->data.fd);
  1681. ftpState->data.fd = -1;
  1682. ftpSendPort(ftpState);
  1683. return;
  1684.     }
  1685.     if ((int) strlen(buf) > 1024) {
  1686. debug(9, 1) ("ftpReadPasv: Avoiding potential buffer overflown");
  1687. ftpSendPort(ftpState);
  1688. return;
  1689.     }
  1690.     /*  227 Entering Passive Mode (h1,h2,h3,h4,p1,p2).  */
  1691.     /*  ANSI sez [^0-9] is undefined, it breaks on Watcom cc */
  1692.     debug(9, 5) ("scanning: %sn", buf);
  1693.     n = sscanf(buf, "%[^0123456789]%d,%d,%d,%d,%d,%d",
  1694. junk, &h1, &h2, &h3, &h4, &p1, &p2);
  1695.     if (n != 7 || p1 < 0 || p2 < 0 || p1 > 255 || p2 > 255) {
  1696. debug(9, 3) ("Bad 227 replyn");
  1697. debug(9, 3) ("n=%d, p1=%d, p2=%dn", n, p1, p2);
  1698. ftpSendPort(ftpState);
  1699. return;
  1700.     }
  1701.     snprintf(junk, 1024, "%d.%d.%d.%d", h1, h2, h3, h4);
  1702.     if (!safe_inet_addr(junk, NULL)) {
  1703. debug(9, 1) ("unsafe address (%s)n", junk);
  1704. ftpSendPort(ftpState);
  1705. return;
  1706.     }
  1707.     port = ((p1 << 8) + p2);
  1708.     if (0 == port) {
  1709. debug(9, 1) ("ftpReadPasv: Invalid PASV reply: %sn", buf);
  1710. ftpSendPort(ftpState);
  1711. return;
  1712.     }
  1713.     debug(9, 5) ("ftpReadPasv: connecting to %s, port %dn", junk, port);
  1714.     ftpState->data.port = port;
  1715.     ftpState->data.host = xstrdup(junk);
  1716.     commConnectStart(fd, junk, port, ftpPasvCallback, ftpState);
  1717. }
  1719. static void
  1720. ftpPasvCallback(int fd, int status, void *data)
  1721. {
  1722.     FtpStateData *ftpState = data;
  1723.     request_t *request = ftpState->request;
  1724.     ErrorState *err;
  1725.     debug(9, 3) ("ftpPasvCallbackn");
  1726.     if (status != COMM_OK) {
  1727. err = errorCon(ERR_CONNECT_FAIL, HTTP_SERVICE_UNAVAILABLE);
  1728. err->xerrno = errno;
  1729. err->host = xstrdup(ftpState->data.host);
  1730. err->port = ftpState->data.port;
  1731. err->request = requestLink(request);
  1732. errorAppendEntry(ftpState->entry, err);
  1733. comm_close(ftpState->ctrl.fd);
  1734. return;
  1735.     }
  1736.     ftpRestOrList(ftpState);
  1737. }
  1739. static int
  1740. ftpOpenListenSocket(FtpStateData * ftpState, int fallback)
  1741. {
  1742.     int fd;
  1743.     struct sockaddr_in addr;
  1744.     socklen_t addr_len;
  1745.     int on = 1;
  1746.     u_short port = 0;
  1747.     /*
  1748.      * Set up a listen socket on the same local address as the
  1749.      * control connection.
  1750.      */
  1751.     addr_len = sizeof(addr);
  1752.     if (getsockname(ftpState->ctrl.fd, (struct sockaddr *) &addr, &addr_len)) {
  1753. debug(9, 0) ("ftpOpenListenSocket: getsockname(%d,..): %sn",
  1754.     ftpState->ctrl.fd, xstrerror());
  1755. return -1;
  1756.     }
  1757.     /*
  1758.      * REUSEADDR is needed in fallback mode, since the same port is
  1759.      * used for both control and data.
  1760.      */
  1761.     if (fallback) {
  1762. setsockopt(ftpState->ctrl.fd, SOL_SOCKET, SO_REUSEADDR, (char *) &on, sizeof(on));
  1763. port = ntohs(addr.sin_port);
  1764.     }
  1765.     fd = comm_open(SOCK_STREAM,
  1766. 0,
  1767. addr.sin_addr,
  1768. port,
  1769. COMM_NONBLOCKING | (fallback ? COMM_REUSEADDR : 0),
  1770. storeUrl(ftpState->entry));
  1771.     debug(9, 3) ("ftpOpenListenSocket: Unconnected data socket created on FD %dn", fd);
  1772.     if (fd < 0) {
  1773. debug(9, 0) ("ftpOpenListenSocket: comm_open failedn");
  1774. return -1;
  1775.     }
  1776.     if (comm_listen(fd) < 0) {
  1777. comm_close(fd);
  1778. return -1;
  1779.     }
  1780.     ftpState->data.fd = fd;
  1781.     ftpState->data.port = comm_local_port(fd);;
  1782.     ftpState->data.host = NULL;
  1783.     return fd;
  1784. }
  1786. static void
  1787. ftpSendPort(FtpStateData * ftpState)
  1788. {
  1789.     int fd;
  1790.     struct sockaddr_in addr;
  1791.     socklen_t addr_len;
  1792.     unsigned char *addrptr;
  1793.     unsigned char *portptr;
  1794.     debug(9, 3) ("This is ftpSendPortn");
  1795.     ftpState->flags.pasv_supported = 0;
  1796.     fd = ftpOpenListenSocket(ftpState, 0);
  1797.     addr_len = sizeof(addr);
  1798.     if (getsockname(fd, (struct sockaddr *) &addr, &addr_len)) {
  1799. debug(9, 0) ("ftpSendPort: getsockname(%d,..): %sn", fd, xstrerror());
  1800. /* XXX Need to set error message */
  1801. ftpFail(ftpState);
  1802. return;
  1803.     }
  1804.     addrptr = (unsigned char *) &addr.sin_addr.s_addr;
  1805.     portptr = (unsigned char *) &addr.sin_port;
  1806.     snprintf(cbuf, 1024, "PORT %d,%d,%d,%d,%d,%drn",
  1807. addrptr[0], addrptr[1], addrptr[2], addrptr[3],
  1808. portptr[0], portptr[1]);
  1809.     ftpWriteCommand(cbuf, ftpState);
  1810.     ftpState->state = SENT_PORT;
  1811. }
  1813. static void
  1814. ftpReadPort(FtpStateData * ftpState)
  1815. {
  1816.     int code = ftpState->ctrl.replycode;
  1817.     debug(9, 3) ("This is ftpReadPortn");
  1818.     if (code != 200) {
  1819. /* Fall back on using the same port as the control connection */
  1820. debug(9, 3) ("PORT not supported by remote endn");
  1821. comm_close(ftpState->data.fd);
  1822. ftpState->data.fd = -1;
  1823. ftpOpenListenSocket(ftpState, 1);
  1824.     }
  1825.     ftpRestOrList(ftpState);
  1826. }
  1828. /* "read" handler to accept data connection */
  1829. static void
  1830. ftpAcceptDataConnection(int fd, void *data)
  1831. {
  1832.     FtpStateData *ftpState = data;
  1833.     struct sockaddr_in peer, me;
  1834.     debug(9, 3) ("ftpAcceptDataConnectionn");
  1836.     fd = comm_accept(fd, &peer, &me);
  1837.     if (fd < 0) {
  1838. debug(9, 1) ("ftpHandleDataAccept: comm_accept(%d): %s", fd, xstrerror());
  1839. /* XXX Need to set error message */
  1840. ftpFail(ftpState);
  1841. return;
  1842.     }
  1843.     /* Replace the Listen socket with the accepted data socket */
  1844.     comm_close(ftpState->data.fd);
  1845.     debug(9, 3) ("ftpAcceptDataConnection: Connected data socket on FD %dn", fd);
  1846.     ftpState->data.fd = fd;
  1847.     ftpState->data.port = ntohs(peer.sin_port);
  1848.     ftpState->data.host = xstrdup(inet_ntoa(peer.sin_addr));
  1849.     commSetTimeout(ftpState->ctrl.fd, -1, NULL, NULL);
  1850.     commSetTimeout(ftpState->data.fd, Config.Timeout.read, ftpTimeout,
  1851. ftpState);
  1852.     /* XXX We should have a flag to track connect state...
  1853.      *    host NULL -> not connected, port == local port
  1854.      *    host set  -> connected, port == remote port
  1855.      */
  1856.     /* Restart state (SENT_NLST/LIST/RETR) */
  1857.     FTP_SM_FUNCS[ftpState->state] (ftpState);
  1858. }
  1860. static void
  1861. ftpRestOrList(FtpStateData * ftpState)
  1862. {
  1864.     debug(9, 3) ("This is ftpRestOrListn");
  1865.     if (ftpState->flags.put) {
  1866. debug(9, 3) ("ftpRestOrList: Sending STOR request...n");
  1867. ftpSendStor(ftpState);
  1868.     } else if (ftpState->typecode == 'D') {
  1869. /* XXX This should NOT be here */
  1870. ftpSendNlst(ftpState); /* sec 3.2.2 of RFC 1738 */
  1871. ftpState->flags.isdir = 1;
  1872. ftpState->flags.use_base = 1;
  1873.     } else if (ftpState->flags.isdir)
  1874. ftpSendList(ftpState);
  1875.     else if (ftpRestartable(ftpState))
  1876. ftpSendRest(ftpState);
  1877.     else
  1878. ftpSendRetr(ftpState);
  1879. }
  1881. static void
  1882. ftpSendStor(FtpStateData * ftpState)
  1883. {
  1884.     assert(ftpState->filepath != NULL);
  1885.     snprintf(cbuf, 1024, "STOR %srn", ftpState->filepath);
  1886.     ftpWriteCommand(cbuf, ftpState);
  1887.     ftpState->state = SENT_STOR;
  1888. }
  1890. static void
  1891. ftpReadStor(FtpStateData * ftpState)
  1892. {
  1893.     int code = ftpState->ctrl.replycode;
  1894.     debug(9, 3) ("This is ftpReadStorn");
  1895.     if (code >= 100 && code < 200) {
  1896. /*
  1897.  * Cancel the timeout on the Control socket, pumpStart will
  1898.  * establish one on the data socket.
  1899.  */
  1900. commSetTimeout(ftpState->ctrl.fd, -1, NULL, NULL);
  1901. ftpPutStart(ftpState);
  1902. debug(9, 3) ("ftpReadStor: writing data channeln");
  1903. ftpState->state = WRITING_DATA;
  1904.     } else if (code == 553) {
  1905. /* directory does not exist, have to create, sigh */
  1906. #if WORK_IN_PROGRESS
  1907. ftpTraverseDirectory(ftpState);
  1908. #endif
  1909. ftpSendReply(ftpState);
  1910.     } else {
  1911. debug(9, 3) ("ftpReadStor: that's all folksn");
  1912. ftpSendReply(ftpState);
  1913.     }
  1914. }
  1916. static void
  1917. ftpSendRest(FtpStateData * ftpState)
  1918. {
  1919.     snprintf(cbuf, 1024, "REST %drn", ftpState->restart_offset);
  1920.     ftpWriteCommand(cbuf, ftpState);
  1921.     ftpState->state = SENT_REST;
  1922. }
  1924. static int
  1925. ftpRestartable(FtpStateData * ftpState)
  1926. {
  1927.     if (ftpState->restart_offset > 0)
  1928. return 1;
  1929.     if (!ftpState->request->range)
  1930. return 0;
  1931.     if (!ftpState->flags.binary)
  1932. return 0;
  1933.     if (ftpState->size <= 0)
  1934. return 0;
  1936.     ftpState->restart_offset = httpHdrRangeLowestOffset(ftpState->request->range, (size_t) ftpState->size);
  1937.     if (ftpState->restart_offset <= 0)
  1938. return 0;
  1939.     return 1;
  1940. }
  1942. static void
  1943. ftpReadRest(FtpStateData * ftpState)
  1944. {
  1945.     int code = ftpState->ctrl.replycode;
  1946.     debug(9, 3) ("This is ftpReadRestn");
  1947.     assert(ftpState->restart_offset > 0);
  1948.     if (code == 350) {
  1949. ftpState->restarted_offset = ftpState->restart_offset;
  1950. ftpSendRetr(ftpState);
  1951.     } else if (code > 0) {
  1952. debug(9, 3) ("ftpReadRest: REST not supportedn");
  1953. ftpState->flags.rest_supported = 0;
  1954. ftpSendRetr(ftpState);
  1955.     } else {
  1956. ftpFail(ftpState);
  1957.     }
  1958. }
  1960. static void
  1961. ftpSendList(FtpStateData * ftpState)
  1962. {
  1963.     if (ftpState->filepath) {
  1964. ftpState->flags.use_base = 1;
  1965. snprintf(cbuf, 1024, "LIST %srn", ftpState->filepath);
  1966.     } else {
  1967. snprintf(cbuf, 1024, "LISTrn");
  1968.     }
  1969.     ftpWriteCommand(cbuf, ftpState);
  1970.     ftpState->state = SENT_LIST;
  1971. }
  1973. static void
  1974. ftpSendNlst(FtpStateData * ftpState)
  1975. {
  1976.     ftpState->flags.tried_nlst = 1;
  1977.     if (ftpState->filepath) {
  1978. ftpState->flags.use_base = 1;
  1979. snprintf(cbuf, 1024, "NLST %srn", ftpState->filepath);
  1980.     } else {
  1981. snprintf(cbuf, 1024, "NLSTrn");
  1982.     }
  1983.     ftpWriteCommand(cbuf, ftpState);
  1984.     ftpState->state = SENT_NLST;
  1985. }
  1987. static void
  1988. ftpReadList(FtpStateData * ftpState)
  1989. {
  1990.     int code = ftpState->ctrl.replycode;
  1991.     debug(9, 3) ("This is ftpReadListn");
  1992.     if (code == 125 || (code == 150 && ftpState->data.host)) {
  1993. /* Begin data transfer */
  1994. ftpAppendSuccessHeader(ftpState);
  1995. commSetSelect(ftpState->data.fd,
  1996.     COMM_SELECT_READ,
  1997.     ftpDataRead,
  1998.     ftpState,
  1999.     Config.Timeout.read);
  2000. commSetDefer(ftpState->data.fd, fwdCheckDeferRead, ftpState->entry);
  2001. ftpState->state = READING_DATA;
  2002. /*
  2003.  * Cancel the timeout on the Control socket and establish one
  2004.  * on the data socket
  2005.  */
  2006. commSetTimeout(ftpState->ctrl.fd, -1, NULL, NULL);
  2007. commSetTimeout(ftpState->data.fd, Config.Timeout.read, ftpTimeout, ftpState);
  2008. return;
  2009.     } else if (code == 150) {
  2010. /* Accept data channel */
  2011. commSetSelect(ftpState->data.fd,
  2012.     COMM_SELECT_READ,
  2013.     ftpAcceptDataConnection,
  2014.     ftpState,
  2015.     0);
  2016. /*
  2017.  * Cancel the timeout on the Control socket and establish one
  2018.  * on the data socket
  2019.  */
  2020. commSetTimeout(ftpState->ctrl.fd, -1, NULL, NULL);
  2021. commSetTimeout(ftpState->data.fd, Config.Timeout.read, ftpTimeout, ftpState);
  2022. return;
  2023.     } else if (!ftpState->flags.tried_nlst && code > 300) {
  2024. ftpSendNlst(ftpState);
  2025.     } else {
  2026. ftpFail(ftpState);
  2027. return;
  2028.     }
  2029. }
  2031. static void
  2032. ftpSendRetr(FtpStateData * ftpState)
  2033. {
  2034.     assert(ftpState->filepath != NULL);
  2035.     snprintf(cbuf, 1024, "RETR %srn", ftpState->filepath);
  2036.     ftpWriteCommand(cbuf, ftpState);
  2037.     ftpState->state = SENT_RETR;
  2038. }
  2040. static void
  2041. ftpReadRetr(FtpStateData * ftpState)
  2042. {
  2043.     int code = ftpState->ctrl.replycode;
  2044.     debug(9, 3) ("This is ftpReadRetrn");
  2045.     if (code == 125 || (code == 150 && ftpState->data.host)) {
  2046. /* Begin data transfer */
  2047. debug(9, 3) ("ftpReadRetr: reading data channeln");
  2048. ftpAppendSuccessHeader(ftpState);
  2049. commSetSelect(ftpState->data.fd,
  2050.     COMM_SELECT_READ,
  2051.     ftpDataRead,
  2052.     ftpState,
  2053.     Config.Timeout.read);
  2054. commSetDefer(ftpState->data.fd, fwdCheckDeferRead, ftpState->entry);
  2055. ftpState->state = READING_DATA;
  2056. /*
  2057.  * Cancel the timeout on the Control socket and establish one
  2058.  * on the data socket
  2059.  */
  2060. commSetTimeout(ftpState->ctrl.fd, -1, NULL, NULL);
  2061. commSetTimeout(ftpState->data.fd, Config.Timeout.read, ftpTimeout,
  2062.     ftpState);
  2063.     } else if (code == 150) {
  2064. /* Accept data channel */
  2065. commSetSelect(ftpState->data.fd,
  2066.     COMM_SELECT_READ,
  2067.     ftpAcceptDataConnection,
  2068.     ftpState,
  2069.     0);
  2070. /*
  2071.  * Cancel the timeout on the Control socket and establish one
  2072.  * on the data socket
  2073.  */
  2074. commSetTimeout(ftpState->ctrl.fd, -1, NULL, NULL);
  2075. commSetTimeout(ftpState->data.fd, Config.Timeout.read, ftpTimeout,
  2076.     ftpState);
  2077.     } else if (code >= 300) {
  2078. if (!ftpState->flags.try_slash_hack) {
  2079.     /* Try this as a directory missing trailing slash... */
  2080.     ftpHackShortcut(ftpState, ftpSendCwd);
  2081. } else {
  2082.     ftpFail(ftpState);
  2083. }
  2084.     } else {
  2085. ftpFail(ftpState);
  2086.     }
  2087. }
  2089. static void
  2090. ftpReadTransferDone(FtpStateData * ftpState)
  2091. {
  2092.     int code = ftpState->ctrl.replycode;
  2093.     debug(9, 3) ("This is ftpReadTransferDonen");
  2094.     if (code != 226) {
  2095. debug(9, 1) ("ftpReadTransferDone: Got code %d after reading datan",
  2096.     code);
  2097. debug(9, 1) ("--> releasing '%s'n", storeUrl(ftpState->entry));
  2098. storeReleaseRequest(ftpState->entry);
  2099.     }
  2100.     ftpDataTransferDone(ftpState);
  2101. }
  2103. static void
  2104. ftpDataTransferDone(FtpStateData * ftpState)
  2105. {
  2106.     debug(9, 3) ("This is ftpDataTransferDonen");
  2107.     if (ftpState->data.fd > -1) {
  2108. comm_close(ftpState->data.fd);
  2109. ftpState->data.fd = -1;
  2110.     }
  2111.     ftpSendQuit(ftpState);
  2112. }
  2114. static void
  2115. ftpSendQuit(FtpStateData * ftpState)
  2116. {
  2117.     assert(ftpState->ctrl.fd > -1);
  2118.     snprintf(cbuf, 1024, "QUITrn");
  2119.     ftpWriteCommand(cbuf, ftpState);
  2120.     ftpState->state = SENT_QUIT;
  2121. }
  2123. static void
  2124. ftpReadQuit(FtpStateData * ftpState)
  2125. {
  2126.     comm_close(ftpState->ctrl.fd);
  2127. }
  2129. static void
  2130. ftpTrySlashHack(FtpStateData * ftpState)
  2131. {
  2132.     char *path;
  2133.     ftpState->flags.try_slash_hack = 1;
  2134.     /* Free old paths */
  2135.     if (ftpState->pathcomps)
  2136. wordlistDestroy(&ftpState->pathcomps);
  2137.     safe_free(ftpState->filepath);
  2138.     /* Build the new path (urlpath begins with /) */
  2139.     path = xstrdup(strBuf(ftpState->request->urlpath));
  2140.     rfc1738_unescape(path);
  2141.     ftpState->filepath = path;
  2142.     /* And off we go */
  2143.     ftpGetFile(ftpState);
  2144. }
  2146. static void
  2147. ftpTryDatachannelHack(FtpStateData * ftpState)
  2148. {
  2149.     ftpState->flags.datachannel_hack = 1;
  2150.     /* we have to undo some of the slash hack... */
  2151.     if (ftpState->old_filepath != NULL) {
  2152. ftpState->flags.try_slash_hack = 0;
  2153. safe_free(ftpState->filepath);
  2154. ftpState->filepath = ftpState->old_filepath;
  2155. ftpState->old_filepath = NULL;
  2156.     }
  2157.     ftpState->flags.tried_nlst = 0;
  2158.     /* And off we go */
  2159.     if (ftpState->flags.isdir) {
  2160. ftpListDir(ftpState);
  2161.     } else {
  2162. ftpGetFile(ftpState);
  2163.     }
  2164.     return;
  2165. }
  2167. /* Forget hack status. Next error is shown to the user */
  2168. static void
  2169. ftpUnhack(FtpStateData * ftpState)
  2170. {
  2171.     if (ftpState->old_request != NULL) {
  2172. safe_free(ftpState->old_request);
  2173. safe_free(ftpState->old_reply);
  2174.     }
  2175. }
  2177. static void
  2178. ftpHackShortcut(FtpStateData * ftpState, FTPSM * nextState)
  2179. {
  2180.     /* Clear some unwanted state */
  2181.     ftpState->restarted_offset = 0;
  2182.     ftpState->restart_offset = 0;
  2183.     /* Save old error message & some state info */
  2184.     if (ftpState->old_request == NULL) {
  2185. ftpState->old_request = ftpState->ctrl.last_command;
  2186. ftpState->ctrl.last_command = NULL;
  2187. ftpState->old_reply = ftpState->ctrl.last_reply;
  2188. ftpState->ctrl.last_reply = NULL;
  2189. if (ftpState->pathcomps == NULL && ftpState->filepath != NULL)
  2190.     ftpState->old_filepath = xstrdup(ftpState->filepath);
  2191.     }
  2192.     /* Jump to the "hack" state */
  2193.     nextState(ftpState);
  2194. }
  2196. static void
  2197. ftpFail(FtpStateData * ftpState)
  2198. {
  2199.     ErrorState *err;
  2200.     debug(9, 3) ("ftpFailn");
  2201.     /* Try the / hack to support "Netscape" FTP URL's for retreiving files */
  2202.     if (!ftpState->flags.isdir && /* Not a directory */
  2203. !ftpState->flags.try_slash_hack && /* Not in slash hack */
  2204. ftpState->mdtm <= 0 && ftpState->size < 0 && /* Not known as a file */
  2205. strNCaseCmp(ftpState->request->urlpath, "/%2f", 4) != 0) { /* No slash encoded */
  2206. switch (ftpState->state) {
  2207. case SENT_CWD:
  2208. case SENT_RETR:
  2209.     /* Try the / hack */
  2210.     ftpHackShortcut(ftpState, ftpTrySlashHack);
  2211.     return;
  2212. default:
  2213.     break;
  2214. }
  2215.     }
  2216.     /* Try to reopen datachannel */
  2217.     if (!ftpState->flags.datachannel_hack &&
  2218. ftpState->pathcomps == NULL) {
  2219. switch (ftpState->state) {
  2220. case SENT_RETR:
  2221. case SENT_LIST:
  2222. case SENT_NLST:
  2223.     /* Try to reopen datachannel */
  2224.     ftpHackShortcut(ftpState, ftpTryDatachannelHack);
  2225.     return;
  2226. default:
  2227.     break;
  2228. }
  2229.     }
  2230.     /* Translate FTP errors into HTTP errors */
  2231.     err = NULL;
  2232.     switch (ftpState->state) {
  2233.     case SENT_USER:
  2234.     case SENT_PASS:
  2235. if (ftpState->ctrl.replycode > 500)
  2236.     err = errorCon(ERR_FTP_FORBIDDEN, HTTP_FORBIDDEN);
  2237. else if (ftpState->ctrl.replycode == 421)
  2238.     err = errorCon(ERR_FTP_UNAVAILABLE, HTTP_SERVICE_UNAVAILABLE);
  2239. break;
  2240.     case SENT_CWD:
  2241.     case SENT_RETR:
  2242. if (ftpState->ctrl.replycode == 550)
  2243.     err = errorCon(ERR_FTP_NOT_FOUND, HTTP_NOT_FOUND);
  2244. break;
  2245.     default:
  2246. break;
  2247.     }
  2248.     if (err == NULL)
  2249. err = errorCon(ERR_FTP_FAILURE, HTTP_BAD_GATEWAY);
  2250.     err->request = requestLink(ftpState->request);
  2251.     err->ftp_server_msg = ftpState->ctrl.message;
  2252.     if (ftpState->old_request)
  2253. err->ftp.request = ftpState->old_request;
  2254.     else
  2255. err->ftp.request = ftpState->ctrl.last_command;
  2256.     if (err->ftp.request) {
  2257. if (!strncmp(err->ftp.request, "PASS", 4))
  2258.     err->ftp.request = "PASS <yourpassword>";
  2259.     }
  2260.     if (ftpState->old_reply)
  2261. err->ftp.reply = ftpState->old_reply;
  2262.     else
  2263. err->ftp.reply = ftpState->ctrl.last_reply;
  2264.     errorAppendEntry(ftpState->entry, err);
  2265.     comm_close(ftpState->ctrl.fd);
  2266. }
  2268. static void
  2269. ftpPutStart(FtpStateData * ftpState)
  2270. {
  2271.     debug(9, 3) ("ftpPutStartn");
  2272.     pumpStart(ftpState->data.fd, ftpState->fwd, ftpPutTransferDone, ftpState);
  2273. }
  2275. static void
  2276. ftpPutTransferDone(int fd, char *bufnotused, size_t size, int errflag, void *data)
  2277. {
  2278.     FtpStateData *ftpState = data;
  2279.     if (ftpState->data.fd >= 0) {
  2280. comm_close(ftpState->data.fd);
  2281. ftpState->data.fd = -1;
  2282.     }
  2283.     ftpReadComplete(ftpState);
  2284. }
  2286. static void
  2287. ftpSendReply(FtpStateData * ftpState)
  2288. {
  2289.     ErrorState *err;
  2290.     int code = ftpState->ctrl.replycode;
  2291.     http_status http_code;
  2292.     err_type err_code = ERR_NONE;
  2293.     debug(9, 5) ("ftpSendReply: %s, code %dn",
  2294. storeUrl(ftpState->entry), code);
  2295.     if (cbdataValid(ftpState))
  2296. debug(9, 5) ("ftpSendReply: ftpState (%p) is valid!n", ftpState);
  2297.     if (code == 226) {
  2298. err_code = (ftpState->mdtm > 0) ? ERR_FTP_PUT_MODIFIED : ERR_FTP_PUT_CREATED;
  2299. http_code = (ftpState->mdtm > 0) ? HTTP_ACCEPTED : HTTP_CREATED;
  2300.     } else {
  2301. err_code = ERR_FTP_PUT_ERROR;
  2302. http_code = HTTP_INTERNAL_SERVER_ERROR;
  2303.     }
  2304.     err = errorCon(err_code, http_code);
  2305.     err->request = requestLink(ftpState->request);
  2306.     if (ftpState->old_request)
  2307. err->ftp.request = ftpState->old_request;
  2308.     else
  2309. err->ftp.request = ftpState->ctrl.last_command;
  2310.     if (ftpState->old_reply)
  2311. err->ftp.reply = ftpState->old_reply;
  2312.     else
  2313. err->ftp.reply = ftpState->ctrl.last_reply;
  2314.     errorAppendEntry(ftpState->entry, err);
  2315.     storeBufferFlush(ftpState->entry);
  2316.     comm_close(ftpState->ctrl.fd);
  2317. }
  2319. static void
  2320. ftpAppendSuccessHeader(FtpStateData * ftpState)
  2321. {
  2322.     char *mime_type = NULL;
  2323.     char *mime_enc = NULL;
  2324.     String urlpath = ftpState->request->urlpath;
  2325.     const char *filename = NULL;
  2326.     const char *t = NULL;
  2327.     StoreEntry *e = ftpState->entry;
  2328.     StoreEntry *pe = NULL;
  2329.     http_reply *reply = e->mem_obj->reply;
  2330.     if (ftpState->flags.http_header_sent)
  2331. return;
  2332.     ftpState->flags.http_header_sent = 1;
  2333.     assert(e->mem_obj->inmem_hi == 0);
  2334.     EBIT_CLR(e->flags, ENTRY_FWD_HDR_WAIT);
  2335.     filename = (t = strRChr(urlpath, '/')) ? t + 1 : strBuf(urlpath);
  2336.     if (ftpState->flags.isdir) {
  2337. mime_type = "text/html";
  2338.     } else {
  2339. switch (ftpState->typecode) {
  2340. case 'I':
  2341.     mime_type = "application/octet-stream";
  2342.     mime_enc = mimeGetContentEncoding(filename);
  2343.     break;
  2344. case 'A':
  2345.     mime_type = "text/plain";
  2346.     break;
  2347. default:
  2348.     mime_type = mimeGetContentType(filename);
  2349.     mime_enc = mimeGetContentEncoding(filename);
  2350.     break;
  2351. }
  2352.     }
  2353.     storeBuffer(e);
  2354.     httpReplyReset(reply);
  2355.     /* set standard stuff */
  2356.     if (ftpState->restarted_offset) {
  2357. /* Partial reply */
  2358. HttpHdrRangeSpec range_spec;
  2359. range_spec.offset = ftpState->restarted_offset;
  2360. range_spec.length = ftpState->size - ftpState->restarted_offset;
  2361. httpReplySetHeaders(reply, 1.0, HTTP_PARTIAL_CONTENT, "Gatewaying",
  2362.     mime_type, ftpState->size - ftpState->restarted_offset, ftpState->mdtm, -2);
  2363. httpHeaderAddContRange(&reply->header, range_spec, ftpState->size);
  2364.     } else {
  2365. /* Full reply */
  2366. httpReplySetHeaders(reply, 1.0, HTTP_OK, "Gatewaying",
  2367.     mime_type, ftpState->size, ftpState->mdtm, -2);
  2368.     }
  2369.     /* additional info */
  2370.     if (mime_enc)
  2371. httpHeaderPutStr(&reply->header, HDR_CONTENT_ENCODING, mime_enc);
  2372.     httpReplySwapOut(reply, e);
  2373.     storeBufferFlush(e);
  2374.     reply->hdr_sz = e->mem_obj->inmem_hi;
  2375.     storeTimestampsSet(e);
  2376.     if (ftpState->flags.authenticated) {
  2377. /*
  2378.  * Authenticated requests can't be cached. Eject any old cached
  2379.  * object
  2380.  */
  2381. pe = storeGetPublic(e->mem_obj->url, e->mem_obj->method);
  2382. if (pe)
  2383.     storeRelease(pe);
  2384. storeRelease(e);
  2385.     } else if (EBIT_TEST(e->flags, ENTRY_CACHABLE) && !ftpState->restarted_offset) {
  2386. storeSetPublicKey(e);
  2387.     } else {
  2388. storeRelease(e);
  2389.     }
  2390. }
  2392. static void
  2393. ftpAuthRequired(HttpReply * old_reply, request_t * request, const char *realm)
  2394. {
  2395.     ErrorState *err = errorCon(ERR_ACCESS_DENIED, HTTP_UNAUTHORIZED);
  2396.     HttpReply *rep;
  2397.     err->request = requestLink(request);
  2398.     rep = errorBuildReply(err);
  2399.     errorStateFree(err);
  2400.     /* add Authenticate header */
  2401.     httpHeaderPutAuth(&rep->header, "Basic", realm);
  2402.     /* move new reply to the old one */
  2403.     httpReplyAbsorb(old_reply, rep);
  2404. }
  2406. char *
  2407. ftpUrlWith2f(const request_t * request)
  2408. {
  2409.     LOCAL_ARRAY(char, buf, MAX_URL);
  2410.     LOCAL_ARRAY(char, loginbuf, MAX_LOGIN_SZ + 1);
  2411.     LOCAL_ARRAY(char, portbuf, 32);
  2412.     char *t;
  2413.     portbuf[0] = '';
  2414.     if (request->protocol != PROTO_FTP)
  2415. return NULL;
  2416.     if (request->port != urlDefaultPort(request->protocol))
  2417. snprintf(portbuf, 32, ":%d", request->port);
  2418.     loginbuf[0] = '';
  2419.     if ((int) strlen(request->login) > 0) {
  2420. strcpy(loginbuf, request->login);
  2421. if ((t = strchr(loginbuf, ':')))
  2422.     *t = '';
  2423. strcat(loginbuf, "@");
  2424.     }
  2425.     snprintf(buf, MAX_URL, "%s://%s%s%s%s%s",
  2426. ProtocolStr[request->protocol],
  2427. loginbuf,
  2428. request->host,
  2429. portbuf,
  2430. "/%2f",
  2431. strBuf(request->urlpath));
  2432.     if ((t = strchr(buf, '?')))
  2433. *t = '';
  2434.     return buf;
  2435. }