main.c
上传用户:awang829
上传日期:2019-07-14
资源大小:2356k
文件大小:70k
源码类别:

网络

开发平台:

Unix_Linux

  1. /* Copyright (c) 2001 Matej Pfajfar.
  2.  * Copyright (c) 2001-2004, Roger Dingledine.
  3.  * Copyright (c) 2004-2006, Roger Dingledine, Nick Mathewson.
  4.  * Copyright (c) 2007-2009, The Tor Project, Inc. */
  5. /* See LICENSE for licensing information */
  6. /**
  7.  * file main.c
  8.  * brief Toplevel module. Handles signals, multiplexes between
  9.  * connections, implements main loop, and drives scheduled events.
  10.  **/
  11. #define MAIN_PRIVATE
  12. #include "or.h"
  13. #ifdef USE_DMALLOC
  14. #include <dmalloc.h>
  15. #include <openssl/crypto.h>
  16. #endif
  17. #include "memarea.h"
  18. void evdns_shutdown(int);
  19. /********* PROTOTYPES **********/
  20. static void dumpmemusage(int severity);
  21. static void dumpstats(int severity); /* log stats */
  22. static void conn_read_callback(int fd, short event, void *_conn);
  23. static void conn_write_callback(int fd, short event, void *_conn);
  24. static void signal_callback(int fd, short events, void *arg);
  25. static void second_elapsed_callback(int fd, short event, void *args);
  26. static int conn_close_if_marked(int i);
  27. static void connection_start_reading_from_linked_conn(connection_t *conn);
  28. static int connection_should_read_from_linked_conn(connection_t *conn);
  29. /********* START VARIABLES **********/
  30. int global_read_bucket; /**< Max number of bytes I can read this second. */
  31. int global_write_bucket; /**< Max number of bytes I can write this second. */
  32. /** Max number of relayed (bandwidth class 1) bytes I can read this second. */
  33. int global_relayed_read_bucket;
  34. /** Max number of relayed (bandwidth class 1) bytes I can write this second. */
  35. int global_relayed_write_bucket;
  36. /** What was the read bucket before the last second_elapsed_callback() call?
  37.  * (used to determine how many bytes we've read). */
  38. static int stats_prev_global_read_bucket;
  39. /** What was the write bucket before the last second_elapsed_callback() call?
  40.  * (used to determine how many bytes we've written). */
  41. static int stats_prev_global_write_bucket;
  42. /* XXX we might want to keep stats about global_relayed_*_bucket too. Or not.*/
  43. /** How many bytes have we read since we started the process? */
  44. static uint64_t stats_n_bytes_read = 0;
  45. /** How many bytes have we written since we started the process? */
  46. static uint64_t stats_n_bytes_written = 0;
  47. /** What time did this process start up? */
  48. time_t time_of_process_start = 0;
  49. /** How many seconds have we been running? */
  50. long stats_n_seconds_working = 0;
  51. /** When do we next launch DNS wildcarding checks? */
  52. static time_t time_to_check_for_correct_dns = 0;
  53. /** How often will we honor SIGNEWNYM requests? */
  54. #define MAX_SIGNEWNYM_RATE 10
  55. /** When did we last process a SIGNEWNYM request? */
  56. static time_t time_of_last_signewnym = 0;
  57. /** Is there a signewnym request we're currently waiting to handle? */
  58. static int signewnym_is_pending = 0;
  59. /** Smartlist of all open connections. */
  60. static smartlist_t *connection_array = NULL;
  61. /** List of connections that have been marked for close and need to be freed
  62.  * and removed from connection_array. */
  63. static smartlist_t *closeable_connection_lst = NULL;
  64. /** List of linked connections that are currently reading data into their
  65.  * inbuf from their partner's outbuf. */
  66. static smartlist_t *active_linked_connection_lst = NULL;
  67. /** Flag: Set to true iff we entered the current libevent main loop via
  68.  * <b>loop_once</b>. If so, there's no need to trigger a loopexit in order
  69.  * to handle linked connections. */
  70. static int called_loop_once = 0;
  71. /** We set this to 1 when we've opened a circuit, so we can print a log
  72.  * entry to inform the user that Tor is working. */
  73. int has_completed_circuit=0;
  74. /** How often do we check for router descriptors that we should download
  75.  * when we have too little directory info? */
  76. #define GREEDY_DESCRIPTOR_RETRY_INTERVAL (10)
  77. /** How often do we check for router descriptors that we should download
  78.  * when we have enough directory info? */
  79. #define LAZY_DESCRIPTOR_RETRY_INTERVAL (60)
  80. /** How often do we 'forgive' undownloadable router descriptors and attempt
  81.  * to download them again? */
  82. #define DESCRIPTOR_FAILURE_RESET_INTERVAL (60*60)
  83. /** How long do we let a directory connection stall before expiring it? */
  84. #define DIR_CONN_MAX_STALL (5*60)
  85. /** How long do we let OR connections handshake before we decide that
  86.  * they are obsolete? */
  87. #define TLS_HANDSHAKE_TIMEOUT (60)
  88. /********* END VARIABLES ************/
  89. /****************************************************************************
  90. *
  91. * This section contains accessors and other methods on the connection_array
  92. * variables (which are global within this file and unavailable outside it).
  93. *
  94. ****************************************************************************/
  95. /** Add <b>conn</b> to the array of connections that we can poll on.  The
  96.  * connection's socket must be set; the connection starts out
  97.  * non-reading and non-writing.
  98.  */
  99. int
  100. connection_add(connection_t *conn)
  101. {
  102.   tor_assert(conn);
  103.   tor_assert(conn->s >= 0 ||
  104.              conn->linked ||
  105.              (conn->type == CONN_TYPE_AP &&
  106.               TO_EDGE_CONN(conn)->is_dns_request));
  107.   tor_assert(conn->conn_array_index == -1); /* can only connection_add once */
  108.   conn->conn_array_index = smartlist_len(connection_array);
  109.   smartlist_add(connection_array, conn);
  110.   if (conn->s >= 0 || conn->linked) {
  111.     conn->read_event = tor_malloc_zero(sizeof(struct event));
  112.     conn->write_event = tor_malloc_zero(sizeof(struct event));
  113.     event_set(conn->read_event, conn->s, EV_READ|EV_PERSIST,
  114.               conn_read_callback, conn);
  115.     event_set(conn->write_event, conn->s, EV_WRITE|EV_PERSIST,
  116.               conn_write_callback, conn);
  117.   }
  118.   log_debug(LD_NET,"new conn type %s, socket %d, address %s, n_conns %d.",
  119.             conn_type_to_string(conn->type), conn->s, conn->address,
  120.             smartlist_len(connection_array));
  121.   return 0;
  122. }
  123. /** Remove the connection from the global list, and remove the
  124.  * corresponding poll entry.  Calling this function will shift the last
  125.  * connection (if any) into the position occupied by conn.
  126.  */
  127. int
  128. connection_remove(connection_t *conn)
  129. {
  130.   int current_index;
  131.   connection_t *tmp;
  132.   tor_assert(conn);
  133.   log_debug(LD_NET,"removing socket %d (type %s), n_conns now %d",
  134.             conn->s, conn_type_to_string(conn->type),
  135.             smartlist_len(connection_array));
  136.   tor_assert(conn->conn_array_index >= 0);
  137.   current_index = conn->conn_array_index;
  138.   connection_unregister_events(conn); /* This is redundant, but cheap. */
  139.   if (current_index == smartlist_len(connection_array)-1) { /* at the end */
  140.     smartlist_del(connection_array, current_index);
  141.     return 0;
  142.   }
  143.   /* replace this one with the one at the end */
  144.   smartlist_del(connection_array, current_index);
  145.   tmp = smartlist_get(connection_array, current_index);
  146.   tmp->conn_array_index = current_index;
  147.   return 0;
  148. }
  149. /** If <b>conn</b> is an edge conn, remove it from the list
  150.  * of conn's on this circuit. If it's not on an edge,
  151.  * flush and send destroys for all circuits on this conn.
  152.  *
  153.  * Remove it from connection_array (if applicable) and
  154.  * from closeable_connection_list.
  155.  *
  156.  * Then free it.
  157.  */
  158. static void
  159. connection_unlink(connection_t *conn)
  160. {
  161.   connection_about_to_close_connection(conn);
  162.   if (conn->conn_array_index >= 0) {
  163.     connection_remove(conn);
  164.   }
  165.   if (conn->linked_conn) {
  166.     conn->linked_conn->linked_conn = NULL;
  167.     if (! conn->linked_conn->marked_for_close &&
  168.         conn->linked_conn->reading_from_linked_conn)
  169.       connection_start_reading(conn->linked_conn);
  170.     conn->linked_conn = NULL;
  171.   }
  172.   smartlist_remove(closeable_connection_lst, conn);
  173.   smartlist_remove(active_linked_connection_lst, conn);
  174.   if (conn->type == CONN_TYPE_EXIT) {
  175.     assert_connection_edge_not_dns_pending(TO_EDGE_CONN(conn));
  176.   }
  177.   if (conn->type == CONN_TYPE_OR) {
  178.     if (!tor_digest_is_zero(TO_OR_CONN(conn)->identity_digest))
  179.       connection_or_remove_from_identity_map(TO_OR_CONN(conn));
  180.   }
  181.   connection_free(conn);
  182. }
  183. /** Schedule <b>conn</b> to be closed. **/
  184. void
  185. add_connection_to_closeable_list(connection_t *conn)
  186. {
  187.   tor_assert(!smartlist_isin(closeable_connection_lst, conn));
  188.   tor_assert(conn->marked_for_close);
  189.   assert_connection_ok(conn, time(NULL));
  190.   smartlist_add(closeable_connection_lst, conn);
  191. }
  192. /** Return 1 if conn is on the closeable list, else return 0. */
  193. int
  194. connection_is_on_closeable_list(connection_t *conn)
  195. {
  196.   return smartlist_isin(closeable_connection_lst, conn);
  197. }
  198. /** Return true iff conn is in the current poll array. */
  199. int
  200. connection_in_array(connection_t *conn)
  201. {
  202.   return smartlist_isin(connection_array, conn);
  203. }
  204. /** Set <b>*array</b> to an array of all connections, and <b>*n</b>
  205.  * to the length of the array. <b>*array</b> and <b>*n</b> must not
  206.  * be modified.
  207.  */
  208. smartlist_t *
  209. get_connection_array(void)
  210. {
  211.   if (!connection_array)
  212.     connection_array = smartlist_create();
  213.   return connection_array;
  214. }
  215. /** Set the event mask on <b>conn</b> to <b>events</b>.  (The event
  216.  * mask is a bitmask whose bits are EV_READ and EV_WRITE.)
  217.  */
  218. void
  219. connection_watch_events(connection_t *conn, short events)
  220. {
  221.   if (events & EV_READ)
  222.     connection_start_reading(conn);
  223.   else
  224.     connection_stop_reading(conn);
  225.   if (events & EV_WRITE)
  226.     connection_start_writing(conn);
  227.   else
  228.     connection_stop_writing(conn);
  229. }
  230. /** Return true iff <b>conn</b> is listening for read events. */
  231. int
  232. connection_is_reading(connection_t *conn)
  233. {
  234.   tor_assert(conn);
  235.   return conn->reading_from_linked_conn ||
  236.     (conn->read_event && event_pending(conn->read_event, EV_READ, NULL));
  237. }
  238. /** Tell the main loop to stop notifying <b>conn</b> of any read events. */
  239. void
  240. connection_stop_reading(connection_t *conn)
  241. {
  242.   tor_assert(conn);
  243.   tor_assert(conn->read_event);
  244.   if (conn->linked) {
  245.     conn->reading_from_linked_conn = 0;
  246.     connection_stop_reading_from_linked_conn(conn);
  247.   } else {
  248.     if (event_del(conn->read_event))
  249.       log_warn(LD_NET, "Error from libevent setting read event state for %d "
  250.                "to unwatched: %s",
  251.                conn->s,
  252.                tor_socket_strerror(tor_socket_errno(conn->s)));
  253.   }
  254. }
  255. /** Tell the main loop to start notifying <b>conn</b> of any read events. */
  256. void
  257. connection_start_reading(connection_t *conn)
  258. {
  259.   tor_assert(conn);
  260.   tor_assert(conn->read_event);
  261.   if (conn->linked) {
  262.     conn->reading_from_linked_conn = 1;
  263.     if (connection_should_read_from_linked_conn(conn))
  264.       connection_start_reading_from_linked_conn(conn);
  265.   } else {
  266.     if (event_add(conn->read_event, NULL))
  267.       log_warn(LD_NET, "Error from libevent setting read event state for %d "
  268.                "to watched: %s",
  269.                conn->s,
  270.                tor_socket_strerror(tor_socket_errno(conn->s)));
  271.   }
  272. }
  273. /** Return true iff <b>conn</b> is listening for write events. */
  274. int
  275. connection_is_writing(connection_t *conn)
  276. {
  277.   tor_assert(conn);
  278.   return conn->writing_to_linked_conn ||
  279.     (conn->write_event && event_pending(conn->write_event, EV_WRITE, NULL));
  280. }
  281. /** Tell the main loop to stop notifying <b>conn</b> of any write events. */
  282. void
  283. connection_stop_writing(connection_t *conn)
  284. {
  285.   tor_assert(conn);
  286.   tor_assert(conn->write_event);
  287.   if (conn->linked) {
  288.     conn->writing_to_linked_conn = 0;
  289.     if (conn->linked_conn)
  290.       connection_stop_reading_from_linked_conn(conn->linked_conn);
  291.   } else {
  292.     if (event_del(conn->write_event))
  293.       log_warn(LD_NET, "Error from libevent setting write event state for %d "
  294.                "to unwatched: %s",
  295.                conn->s,
  296.                tor_socket_strerror(tor_socket_errno(conn->s)));
  297.   }
  298. }
  299. /** Tell the main loop to start notifying <b>conn</b> of any write events. */
  300. void
  301. connection_start_writing(connection_t *conn)
  302. {
  303.   tor_assert(conn);
  304.   tor_assert(conn->write_event);
  305.   if (conn->linked) {
  306.     conn->writing_to_linked_conn = 1;
  307.     if (conn->linked_conn &&
  308.         connection_should_read_from_linked_conn(conn->linked_conn))
  309.       connection_start_reading_from_linked_conn(conn->linked_conn);
  310.   } else {
  311.     if (event_add(conn->write_event, NULL))
  312.       log_warn(LD_NET, "Error from libevent setting write event state for %d "
  313.                "to watched: %s",
  314.                conn->s,
  315.                tor_socket_strerror(tor_socket_errno(conn->s)));
  316.   }
  317. }
  318. /** Return true iff <b>conn</b> is linked conn, and reading from the conn
  319.  * linked to it would be good and feasible.  (Reading is "feasible" if the
  320.  * other conn exists and has data in its outbuf, and is "good" if we have our
  321.  * reading_from_linked_conn flag set and the other conn has its
  322.  * writing_to_linked_conn flag set.)*/
  323. static int
  324. connection_should_read_from_linked_conn(connection_t *conn)
  325. {
  326.   if (conn->linked && conn->reading_from_linked_conn) {
  327.     if (! conn->linked_conn ||
  328.         (conn->linked_conn->writing_to_linked_conn &&
  329.          buf_datalen(conn->linked_conn->outbuf)))
  330.       return 1;
  331.   }
  332.   return 0;
  333. }
  334. /** Helper: Tell the main loop to begin reading bytes into <b>conn</b> from
  335.  * its linked connection, if it is not doing so already.  Called by
  336.  * connection_start_reading and connection_start_writing as appropriate. */
  337. static void
  338. connection_start_reading_from_linked_conn(connection_t *conn)
  339. {
  340.   tor_assert(conn);
  341.   tor_assert(conn->linked == 1);
  342.   if (!conn->active_on_link) {
  343.     conn->active_on_link = 1;
  344.     smartlist_add(active_linked_connection_lst, conn);
  345.     if (!called_loop_once) {
  346.       /* This is the first event on the list; we won't be in LOOP_ONCE mode,
  347.        * so we need to make sure that the event_loop() actually exits at the
  348.        * end of its run through the current connections and
  349.        * lets us activate read events for linked connections. */
  350.       struct timeval tv = { 0, 0 };
  351.       event_loopexit(&tv);
  352.     }
  353.   } else {
  354.     tor_assert(smartlist_isin(active_linked_connection_lst, conn));
  355.   }
  356. }
  357. /** Tell the main loop to stop reading bytes into <b>conn</b> from its linked
  358.  * connection, if is currently doing so.  Called by connection_stop_reading,
  359.  * connection_stop_writing, and connection_read. */
  360. void
  361. connection_stop_reading_from_linked_conn(connection_t *conn)
  362. {
  363.   tor_assert(conn);
  364.   tor_assert(conn->linked == 1);
  365.   if (conn->active_on_link) {
  366.     conn->active_on_link = 0;
  367.     /* FFFF We could keep an index here so we can smartlist_del
  368.      * cleanly.  On the other hand, this doesn't show up on profiles,
  369.      * so let's leave it alone for now. */
  370.     smartlist_remove(active_linked_connection_lst, conn);
  371.   } else {
  372.     tor_assert(!smartlist_isin(active_linked_connection_lst, conn));
  373.   }
  374. }
  375. /** Close all connections that have been scheduled to get closed. */
  376. static void
  377. close_closeable_connections(void)
  378. {
  379.   int i;
  380.   for (i = 0; i < smartlist_len(closeable_connection_lst); ) {
  381.     connection_t *conn = smartlist_get(closeable_connection_lst, i);
  382.     if (conn->conn_array_index < 0) {
  383.       connection_unlink(conn); /* blow it away right now */
  384.     } else {
  385.       if (!conn_close_if_marked(conn->conn_array_index))
  386.         ++i;
  387.     }
  388.   }
  389. }
  390. /** Libevent callback: this gets invoked when (connection_t*)<b>conn</b> has
  391.  * some data to read. */
  392. static void
  393. conn_read_callback(int fd, short event, void *_conn)
  394. {
  395.   connection_t *conn = _conn;
  396.   (void)fd;
  397.   (void)event;
  398.   log_debug(LD_NET,"socket %d wants to read.",conn->s);
  399.   /* assert_connection_ok(conn, time(NULL)); */
  400.   if (connection_handle_read(conn) < 0) {
  401.     if (!conn->marked_for_close) {
  402. #ifndef MS_WINDOWS
  403.       log_warn(LD_BUG,"Unhandled error on read for %s connection "
  404.                "(fd %d); removing",
  405.                conn_type_to_string(conn->type), conn->s);
  406.       tor_fragile_assert();
  407. #endif
  408.       if (CONN_IS_EDGE(conn))
  409.         connection_edge_end_errno(TO_EDGE_CONN(conn));
  410.       connection_mark_for_close(conn);
  411.     }
  412.   }
  413.   assert_connection_ok(conn, time(NULL));
  414.   if (smartlist_len(closeable_connection_lst))
  415.     close_closeable_connections();
  416. }
  417. /** Libevent callback: this gets invoked when (connection_t*)<b>conn</b> has
  418.  * some data to write. */
  419. static void
  420. conn_write_callback(int fd, short events, void *_conn)
  421. {
  422.   connection_t *conn = _conn;
  423.   (void)fd;
  424.   (void)events;
  425.   LOG_FN_CONN(conn, (LOG_DEBUG, LD_NET, "socket %d wants to write.",conn->s));
  426.   /* assert_connection_ok(conn, time(NULL)); */
  427.   if (connection_handle_write(conn, 0) < 0) {
  428.     if (!conn->marked_for_close) {
  429.       /* this connection is broken. remove it. */
  430.       log_fn(LOG_WARN,LD_BUG,
  431.              "unhandled error on write for %s connection (fd %d); removing",
  432.              conn_type_to_string(conn->type), conn->s);
  433.       tor_fragile_assert();
  434.       if (CONN_IS_EDGE(conn)) {
  435.         /* otherwise we cry wolf about duplicate close */
  436.         edge_connection_t *edge_conn = TO_EDGE_CONN(conn);
  437.         if (!edge_conn->end_reason)
  438.           edge_conn->end_reason = END_STREAM_REASON_INTERNAL;
  439.         edge_conn->edge_has_sent_end = 1;
  440.       }
  441.       connection_close_immediate(conn); /* So we don't try to flush. */
  442.       connection_mark_for_close(conn);
  443.     }
  444.   }
  445.   assert_connection_ok(conn, time(NULL));
  446.   if (smartlist_len(closeable_connection_lst))
  447.     close_closeable_connections();
  448. }
  449. /** If the connection at connection_array[i] is marked for close, then:
  450.  *    - If it has data that it wants to flush, try to flush it.
  451.  *    - If it _still_ has data to flush, and conn->hold_open_until_flushed is
  452.  *      true, then leave the connection open and return.
  453.  *    - Otherwise, remove the connection from connection_array and from
  454.  *      all other lists, close it, and free it.
  455.  * Returns 1 if the connection was closed, 0 otherwise.
  456.  */
  457. static int
  458. conn_close_if_marked(int i)
  459. {
  460.   connection_t *conn;
  461.   int retval;
  462.   time_t now;
  463.   conn = smartlist_get(connection_array, i);
  464.   if (!conn->marked_for_close)
  465.     return 0; /* nothing to see here, move along */
  466.   now = time(NULL);
  467.   assert_connection_ok(conn, now);
  468.   /* assert_all_pending_dns_resolves_ok(); */
  469.   log_debug(LD_NET,"Cleaning up connection (fd %d).",conn->s);
  470.   if ((conn->s >= 0 || conn->linked_conn) && connection_wants_to_flush(conn)) {
  471.     /* s == -1 means it's an incomplete edge connection, or that the socket
  472.      * has already been closed as unflushable. */
  473.     ssize_t sz = connection_bucket_write_limit(conn, now);
  474.     if (!conn->hold_open_until_flushed)
  475.       log_info(LD_NET,
  476.                "Conn (addr %s, fd %d, type %s, state %d) marked, but wants "
  477.                "to flush %d bytes. (Marked at %s:%d)",
  478.                escaped_safe_str(conn->address),
  479.                conn->s, conn_type_to_string(conn->type), conn->state,
  480.                (int)conn->outbuf_flushlen,
  481.                 conn->marked_for_close_file, conn->marked_for_close);
  482.     if (conn->linked_conn) {
  483.       retval = move_buf_to_buf(conn->linked_conn->inbuf, conn->outbuf,
  484.                                &conn->outbuf_flushlen);
  485.       if (retval >= 0) {
  486.         /* The linked conn will notice that it has data when it notices that
  487.          * we're gone. */
  488.         connection_start_reading_from_linked_conn(conn->linked_conn);
  489.       }
  490.       log_debug(LD_GENERAL, "Flushed last %d bytes from a linked conn; "
  491.                "%d left; flushlen %d; wants-to-flush==%d", retval,
  492.                (int)buf_datalen(conn->outbuf),
  493.                (int)conn->outbuf_flushlen,
  494.                 connection_wants_to_flush(conn));
  495.     } else if (connection_speaks_cells(conn)) {
  496.       if (conn->state == OR_CONN_STATE_OPEN) {
  497.         retval = flush_buf_tls(TO_OR_CONN(conn)->tls, conn->outbuf, sz,
  498.                                &conn->outbuf_flushlen);
  499.       } else
  500.         retval = -1; /* never flush non-open broken tls connections */
  501.     } else {
  502.       retval = flush_buf(conn->s, conn->outbuf, sz, &conn->outbuf_flushlen);
  503.     }
  504.     if (retval >= 0 && /* Technically, we could survive things like
  505.                           TLS_WANT_WRITE here. But don't bother for now. */
  506.         conn->hold_open_until_flushed && connection_wants_to_flush(conn)) {
  507.       if (retval > 0) {
  508.         LOG_FN_CONN(conn, (LOG_INFO,LD_NET,
  509.                            "Holding conn (fd %d) open for more flushing.",
  510.                            conn->s));
  511.         conn->timestamp_lastwritten = now; /* reset so we can flush more */
  512.       }
  513.       return 0;
  514.     }
  515.     if (connection_wants_to_flush(conn)) {
  516.       int severity;
  517.       if (conn->type == CONN_TYPE_EXIT ||
  518.           (conn->type == CONN_TYPE_OR && server_mode(get_options())) ||
  519.           (conn->type == CONN_TYPE_DIR && conn->purpose == DIR_PURPOSE_SERVER))
  520.         severity = LOG_INFO;
  521.       else
  522.         severity = LOG_NOTICE;
  523.       /* XXXX Maybe allow this to happen a certain amount per hour; it usually
  524.        * is meaningless. */
  525.       log_fn(severity, LD_NET, "We stalled too much while trying to write %d "
  526.              "bytes to address %s.  If this happens a lot, either "
  527.              "something is wrong with your network connection, or "
  528.              "something is wrong with theirs. "
  529.              "(fd %d, type %s, state %d, marked at %s:%d).",
  530.              (int)buf_datalen(conn->outbuf),
  531.              escaped_safe_str(conn->address), conn->s,
  532.              conn_type_to_string(conn->type), conn->state,
  533.              conn->marked_for_close_file,
  534.              conn->marked_for_close);
  535.     }
  536.   }
  537.   connection_unlink(conn); /* unlink, remove, free */
  538.   return 1;
  539. }
  540. /** We've just tried every dirserver we know about, and none of
  541.  * them were reachable. Assume the network is down. Change state
  542.  * so next time an application connection arrives we'll delay it
  543.  * and try another directory fetch. Kill off all the circuit_wait
  544.  * streams that are waiting now, since they will all timeout anyway.
  545.  */
  546. void
  547. directory_all_unreachable(time_t now)
  548. {
  549.   connection_t *conn;
  550.   (void)now;
  551.   stats_n_seconds_working=0; /* reset it */
  552.   while ((conn = connection_get_by_type_state(CONN_TYPE_AP,
  553.                                               AP_CONN_STATE_CIRCUIT_WAIT))) {
  554.     edge_connection_t *edge_conn = TO_EDGE_CONN(conn);
  555.     log_notice(LD_NET,
  556.                "Is your network connection down? "
  557.                "Failing connection to '%s:%d'.",
  558.                safe_str(edge_conn->socks_request->address),
  559.                edge_conn->socks_request->port);
  560.     connection_mark_unattached_ap(edge_conn,
  561.                                   END_STREAM_REASON_NET_UNREACHABLE);
  562.   }
  563.   control_event_general_status(LOG_ERR, "DIR_ALL_UNREACHABLE");
  564. }
  565. /** This function is called whenever we successfully pull down some new
  566.  * network statuses or server descriptors. */
  567. void
  568. directory_info_has_arrived(time_t now, int from_cache)
  569. {
  570.   or_options_t *options = get_options();
  571.   if (!router_have_minimum_dir_info()) {
  572.     int quiet = directory_too_idle_to_fetch_descriptors(options, now);
  573.     log(quiet ? LOG_INFO : LOG_NOTICE, LD_DIR,
  574.         "I learned some more directory information, but not enough to "
  575.         "build a circuit: %s", get_dir_info_status_string());
  576.     update_router_descriptor_downloads(now);
  577.     return;
  578.   } else {
  579.     if (directory_fetches_from_authorities(options))
  580.       update_router_descriptor_downloads(now);
  581.     /* if we have enough dir info, then update our guard status with
  582.      * whatever we just learned. */
  583.     entry_guards_compute_status();
  584.     /* Don't even bother trying to get extrainfo until the rest of our
  585.      * directory info is up-to-date */
  586.     if (options->DownloadExtraInfo)
  587.       update_extrainfo_downloads(now);
  588.   }
  589.   if (server_mode(options) && !we_are_hibernating() && !from_cache &&
  590.       (has_completed_circuit || !any_predicted_circuits(now)))
  591.     consider_testing_reachability(1, 1);
  592. }
  593. /** Perform regular maintenance tasks for a single connection.  This
  594.  * function gets run once per second per connection by run_scheduled_events.
  595.  */
  596. static void
  597. run_connection_housekeeping(int i, time_t now)
  598. {
  599.   cell_t cell;
  600.   connection_t *conn = smartlist_get(connection_array, i);
  601.   or_options_t *options = get_options();
  602.   or_connection_t *or_conn;
  603.   if (conn->outbuf && !buf_datalen(conn->outbuf) && conn->type == CONN_TYPE_OR)
  604.     TO_OR_CONN(conn)->timestamp_lastempty = now;
  605.   if (conn->marked_for_close) {
  606.     /* nothing to do here */
  607.     return;
  608.   }
  609.   /* Expire any directory connections that haven't been active (sent
  610.    * if a server or received if a client) for 5 min */
  611.   if (conn->type == CONN_TYPE_DIR &&
  612.       ((DIR_CONN_IS_SERVER(conn) &&
  613.         conn->timestamp_lastwritten + DIR_CONN_MAX_STALL < now) ||
  614.        (!DIR_CONN_IS_SERVER(conn) &&
  615.         conn->timestamp_lastread + DIR_CONN_MAX_STALL < now))) {
  616.     log_info(LD_DIR,"Expiring wedged directory conn (fd %d, purpose %d)",
  617.              conn->s, conn->purpose);
  618.     /* This check is temporary; it's to let us know whether we should consider
  619.      * parsing partial serverdesc responses. */
  620.     if (conn->purpose == DIR_PURPOSE_FETCH_SERVERDESC &&
  621.         buf_datalen(conn->inbuf)>=1024) {
  622.       log_info(LD_DIR,"Trying to extract information from wedged server desc "
  623.                "download.");
  624.       connection_dir_reached_eof(TO_DIR_CONN(conn));
  625.     } else {
  626.       connection_mark_for_close(conn);
  627.     }
  628.     return;
  629.   }
  630.   if (!connection_speaks_cells(conn))
  631.     return; /* we're all done here, the rest is just for OR conns */
  632.   or_conn = TO_OR_CONN(conn);
  633.   if (or_conn->is_bad_for_new_circs && !or_conn->n_circuits) {
  634.     /* It's bad for new circuits, and has no unmarked circuits on it:
  635.      * mark it now. */
  636.     log_info(LD_OR,
  637.              "Expiring non-used OR connection to fd %d (%s:%d) [Too old].",
  638.              conn->s, conn->address, conn->port);
  639.     if (conn->state == OR_CONN_STATE_CONNECTING)
  640.       connection_or_connect_failed(TO_OR_CONN(conn),
  641.                                    END_OR_CONN_REASON_TIMEOUT,
  642.                                    "Tor gave up on the connection");
  643.     connection_mark_for_close(conn);
  644.     conn->hold_open_until_flushed = 1;
  645.     return;
  646.   }
  647.   /* If we haven't written to an OR connection for a while, then either nuke
  648.      the connection or send a keepalive, depending. */
  649.   if (now >= conn->timestamp_lastwritten + options->KeepalivePeriod) {
  650.     routerinfo_t *router = router_get_by_digest(or_conn->identity_digest);
  651.     int maxCircuitlessPeriod = options->MaxCircuitDirtiness*3/2;
  652.     if (!connection_state_is_open(conn)) {
  653.       /* We never managed to actually get this connection open and happy. */
  654.       log_info(LD_OR,"Expiring non-open OR connection to fd %d (%s:%d).",
  655.                conn->s,conn->address, conn->port);
  656.       connection_mark_for_close(conn);
  657.       conn->hold_open_until_flushed = 1;
  658.     } else if (we_are_hibernating() && !or_conn->n_circuits &&
  659.                !buf_datalen(conn->outbuf)) {
  660.       /* We're hibernating, there's no circuits, and nothing to flush.*/
  661.       log_info(LD_OR,"Expiring non-used OR connection to fd %d (%s:%d) "
  662.                "[Hibernating or exiting].",
  663.                conn->s,conn->address, conn->port);
  664.       connection_mark_for_close(conn);
  665.       conn->hold_open_until_flushed = 1;
  666.     } else if (!clique_mode(options) && !or_conn->n_circuits &&
  667.                now >= or_conn->timestamp_last_added_nonpadding +
  668.                                            maxCircuitlessPeriod &&
  669.                (!router || !server_mode(options) ||
  670.                 !router_is_clique_mode(router))) {
  671.       log_info(LD_OR,"Expiring non-used OR connection to fd %d (%s:%d) "
  672.                "[Not in clique mode].",
  673.                conn->s,conn->address, conn->port);
  674.       connection_mark_for_close(conn);
  675.       conn->hold_open_until_flushed = 1;
  676.     } else if (
  677.          now >= or_conn->timestamp_lastempty + options->KeepalivePeriod*10 &&
  678.          now >= conn->timestamp_lastwritten + options->KeepalivePeriod*10) {
  679.       log_fn(LOG_PROTOCOL_WARN,LD_PROTOCOL,
  680.              "Expiring stuck OR connection to fd %d (%s:%d). (%d bytes to "
  681.              "flush; %d seconds since last write)",
  682.              conn->s, conn->address, conn->port,
  683.              (int)buf_datalen(conn->outbuf),
  684.              (int)(now-conn->timestamp_lastwritten));
  685.       connection_mark_for_close(conn);
  686.     } else if (!buf_datalen(conn->outbuf)) {
  687.       /* either in clique mode, or we've got a circuit. send a padding cell. */
  688.       log_fn(LOG_DEBUG,LD_OR,"Sending keepalive to (%s:%d)",
  689.              conn->address, conn->port);
  690.       memset(&cell,0,sizeof(cell_t));
  691.       cell.command = CELL_PADDING;
  692.       connection_or_write_cell_to_buf(&cell, or_conn);
  693.     }
  694.   }
  695. }
  696. /** Honor a NEWNYM request: make future requests unlinkability to past
  697.  * requests. */
  698. static void
  699. signewnym_impl(time_t now)
  700. {
  701.   circuit_expire_all_dirty_circs();
  702.   addressmap_clear_transient();
  703.   time_of_last_signewnym = now;
  704.   signewnym_is_pending = 0;
  705. }
  706. /** Perform regular maintenance tasks.  This function gets run once per
  707.  * second by second_elapsed_callback().
  708.  */
  709. static void
  710. run_scheduled_events(time_t now)
  711. {
  712.   static time_t last_rotated_x509_certificate = 0;
  713.   static time_t time_to_check_v3_certificate = 0;
  714.   static time_t time_to_check_listeners = 0;
  715.   static time_t time_to_check_descriptor = 0;
  716.   static time_t time_to_check_ipaddress = 0;
  717.   static time_t time_to_shrink_memory = 0;
  718.   static time_t time_to_try_getting_descriptors = 0;
  719.   static time_t time_to_reset_descriptor_failures = 0;
  720.   static time_t time_to_add_entropy = 0;
  721.   static time_t time_to_write_hs_statistics = 0;
  722.   static time_t time_to_write_bridge_status_file = 0;
  723.   static time_t time_to_downrate_stability = 0;
  724.   static time_t time_to_save_stability = 0;
  725.   static time_t time_to_clean_caches = 0;
  726.   static time_t time_to_recheck_bandwidth = 0;
  727.   static time_t time_to_check_for_expired_networkstatus = 0;
  728.   static time_t time_to_dump_geoip_stats = 0;
  729.   static time_t time_to_retry_dns_init = 0;
  730.   or_options_t *options = get_options();
  731.   int i;
  732.   int have_dir_info;
  733.   /** 0. See if we've been asked to shut down and our timeout has
  734.    * expired; or if our bandwidth limits are exhausted and we
  735.    * should hibernate; or if it's time to wake up from hibernation.
  736.    */
  737.   consider_hibernation(now);
  738.   /* 0b. If we've deferred a signewnym, make sure it gets handled
  739.    * eventually. */
  740.   if (signewnym_is_pending &&
  741.       time_of_last_signewnym + MAX_SIGNEWNYM_RATE <= now) {
  742.     log(LOG_INFO, LD_CONTROL, "Honoring delayed NEWNYM request");
  743.     signewnym_impl(now);
  744.   }
  745.   /** 1a. Every MIN_ONION_KEY_LIFETIME seconds, rotate the onion keys,
  746.    *  shut down and restart all cpuworkers, and update the directory if
  747.    *  necessary.
  748.    */
  749.   if (server_mode(options) &&
  750.       get_onion_key_set_at()+MIN_ONION_KEY_LIFETIME < now) {
  751.     log_info(LD_GENERAL,"Rotating onion key.");
  752.     rotate_onion_key();
  753.     cpuworkers_rotate();
  754.     if (router_rebuild_descriptor(1)<0) {
  755.       log_info(LD_CONFIG, "Couldn't rebuild router descriptor");
  756.     }
  757.     if (advertised_server_mode())
  758.       router_upload_dir_desc_to_dirservers(0);
  759.   }
  760.   if (time_to_try_getting_descriptors < now) {
  761.     update_router_descriptor_downloads(now);
  762.     update_extrainfo_downloads(now);
  763.     if (options->UseBridges)
  764.       fetch_bridge_descriptors(now);
  765.     if (router_have_minimum_dir_info())
  766.       time_to_try_getting_descriptors = now + LAZY_DESCRIPTOR_RETRY_INTERVAL;
  767.     else
  768.       time_to_try_getting_descriptors = now + GREEDY_DESCRIPTOR_RETRY_INTERVAL;
  769.   }
  770.   if (time_to_reset_descriptor_failures < now) {
  771.     router_reset_descriptor_download_failures();
  772.     time_to_reset_descriptor_failures =
  773.       now + DESCRIPTOR_FAILURE_RESET_INTERVAL;
  774.   }
  775.   /** 1b. Every MAX_SSL_KEY_LIFETIME seconds, we change our TLS context. */
  776.   if (!last_rotated_x509_certificate)
  777.     last_rotated_x509_certificate = now;
  778.   if (last_rotated_x509_certificate+MAX_SSL_KEY_LIFETIME < now) {
  779.     log_info(LD_GENERAL,"Rotating tls context.");
  780.     if (tor_tls_context_new(get_identity_key(), MAX_SSL_KEY_LIFETIME) < 0) {
  781.       log_warn(LD_BUG, "Error reinitializing TLS context");
  782.       /* XXX is it a bug here, that we just keep going? -RD */
  783.     }
  784.     last_rotated_x509_certificate = now;
  785.     /* We also make sure to rotate the TLS connections themselves if they've
  786.      * been up for too long -- but that's done via is_bad_for_new_circs in
  787.      * connection_run_housekeeping() above. */
  788.   }
  789.   if (time_to_add_entropy < now) {
  790.     if (time_to_add_entropy) {
  791.       /* We already seeded once, so don't die on failure. */
  792.       crypto_seed_rng(0);
  793.     }
  794. /** How often do we add more entropy to OpenSSL's RNG pool? */
  795. #define ENTROPY_INTERVAL (60*60)
  796.     time_to_add_entropy = now + ENTROPY_INTERVAL;
  797.   }
  798.   /** 1c. If we have to change the accounting interval or record
  799.    * bandwidth used in this accounting interval, do so. */
  800.   if (accounting_is_enabled(options))
  801.     accounting_run_housekeeping(now);
  802.   if (now % 10 == 0 && (authdir_mode_tests_reachability(options)) &&
  803.       !we_are_hibernating()) {
  804.     /* try to determine reachability of the other Tor relays */
  805.     dirserv_test_reachability(now, 0);
  806.   }
  807.   /** 1d. Periodically, we discount older stability information so that new
  808.    * stability info counts more, and save the stability information to disk as
  809.    * appropriate. */
  810.   if (time_to_downrate_stability < now)
  811.     time_to_downrate_stability = rep_hist_downrate_old_runs(now);
  812.   if (authdir_mode_tests_reachability(options)) {
  813.     if (time_to_save_stability < now) {
  814.       if (time_to_save_stability && rep_hist_record_mtbf_data(now, 1)<0) {
  815.         log_warn(LD_GENERAL, "Couldn't store mtbf data.");
  816.       }
  817. #define SAVE_STABILITY_INTERVAL (30*60)
  818.       time_to_save_stability = now + SAVE_STABILITY_INTERVAL;
  819.     }
  820.   }
  821.   /* 1e. Periodically, if we're a v3 authority, we check whether our cert is
  822.    * close to expiring and warn the admin if it is. */
  823.   if (time_to_check_v3_certificate < now) {
  824.     v3_authority_check_key_expiry();
  825. #define CHECK_V3_CERTIFICATE_INTERVAL (5*60)
  826.     time_to_check_v3_certificate = now + CHECK_V3_CERTIFICATE_INTERVAL;
  827.   }
  828.   /* 1f. Check whether our networkstatus has expired.
  829.    */
  830.   if (time_to_check_for_expired_networkstatus < now) {
  831.     networkstatus_t *ns = networkstatus_get_latest_consensus();
  832.     /*XXXX RD: This value needs to be the same as REASONABLY_LIVE_TIME in
  833.      * networkstatus_get_reasonably_live_consensus(), but that value is way
  834.      * way too high.  Arma: is the bridge issue there resolved yet? -NM */
  835. #define NS_EXPIRY_SLOP (24*60*60)
  836.     if (ns && ns->valid_until < now+NS_EXPIRY_SLOP &&
  837.         router_have_minimum_dir_info()) {
  838.       router_dir_info_changed();
  839.     }
  840. #define CHECK_EXPIRED_NS_INTERVAL (2*60)
  841.     time_to_check_for_expired_networkstatus = now + CHECK_EXPIRED_NS_INTERVAL;
  842.   }
  843.   if (time_to_dump_geoip_stats < now) {
  844. #define DUMP_GEOIP_STATS_INTERVAL (60*60);
  845.     if (time_to_dump_geoip_stats)
  846.       dump_geoip_stats();
  847.     time_to_dump_geoip_stats = now + DUMP_GEOIP_STATS_INTERVAL;
  848.   }
  849.   /* Remove old information from rephist and the rend cache. */
  850.   if (time_to_clean_caches < now) {
  851.     rep_history_clean(now - options->RephistTrackTime);
  852.     rend_cache_clean();
  853.     rend_cache_clean_v2_descs_as_dir();
  854. #define CLEAN_CACHES_INTERVAL (30*60)
  855.     time_to_clean_caches = now + CLEAN_CACHES_INTERVAL;
  856.   }
  857. #define RETRY_DNS_INTERVAL (10*60)
  858.   /* If we're a server and initializing dns failed, retry periodically. */
  859.   if (time_to_retry_dns_init < now) {
  860.     time_to_retry_dns_init = now + RETRY_DNS_INTERVAL;
  861.     if (server_mode(options) && has_dns_init_failed())
  862.       dns_init();
  863.   }
  864.   /** 2. Periodically, we consider force-uploading our descriptor
  865.    * (if we've passed our internal checks). */
  866. /** How often do we check whether part of our router info has changed in a way
  867.  * that would require an upload? */
  868. #define CHECK_DESCRIPTOR_INTERVAL (60)
  869. /** How often do we (as a router) check whether our IP address has changed? */
  870. #define CHECK_IPADDRESS_INTERVAL (15*60)
  871.   /* 2b. Once per minute, regenerate and upload the descriptor if the old
  872.    * one is inaccurate. */
  873.   if (time_to_check_descriptor < now) {
  874.     static int dirport_reachability_count = 0;
  875.     time_to_check_descriptor = now + CHECK_DESCRIPTOR_INTERVAL;
  876.     check_descriptor_bandwidth_changed(now);
  877.     if (time_to_check_ipaddress < now) {
  878.       time_to_check_ipaddress = now + CHECK_IPADDRESS_INTERVAL;
  879.       check_descriptor_ipaddress_changed(now);
  880.     }
  881. /** If our router descriptor ever goes this long without being regenerated
  882.  * because something changed, we force an immediate regenerate-and-upload. */
  883. #define FORCE_REGENERATE_DESCRIPTOR_INTERVAL (18*60*60)
  884.     mark_my_descriptor_dirty_if_older_than(
  885.                                   now - FORCE_REGENERATE_DESCRIPTOR_INTERVAL);
  886.     consider_publishable_server(0);
  887.     /* also, check religiously for reachability, if it's within the first
  888.      * 20 minutes of our uptime. */
  889.     if (server_mode(options) &&
  890.         (has_completed_circuit || !any_predicted_circuits(now)) &&
  891.         !we_are_hibernating()) {
  892.       if (stats_n_seconds_working < TIMEOUT_UNTIL_UNREACHABILITY_COMPLAINT) {
  893.         consider_testing_reachability(1, dirport_reachability_count==0);
  894.         if (++dirport_reachability_count > 5)
  895.           dirport_reachability_count = 0;
  896.       } else if (time_to_recheck_bandwidth < now) {
  897.         /* If we haven't checked for 12 hours and our bandwidth estimate is
  898.          * low, do another bandwidth test. This is especially important for
  899.          * bridges, since they might go long periods without much use. */
  900.         routerinfo_t *me = router_get_my_routerinfo();
  901.         if (time_to_recheck_bandwidth && me &&
  902.             me->bandwidthcapacity < me->bandwidthrate &&
  903.             me->bandwidthcapacity < 51200) {
  904.           reset_bandwidth_test();
  905.         }
  906. #define BANDWIDTH_RECHECK_INTERVAL (12*60*60)
  907.         time_to_recheck_bandwidth = now + BANDWIDTH_RECHECK_INTERVAL;
  908.       }
  909.     }
  910.     /* If any networkstatus documents are no longer recent, we need to
  911.      * update all the descriptors' running status. */
  912.     /* purge obsolete entries */
  913.     networkstatus_v2_list_clean(now);
  914.     /* Remove dead routers. */
  915.     routerlist_remove_old_routers();
  916.     /* Also, once per minute, check whether we want to download any
  917.      * networkstatus documents.
  918.      */
  919.     update_networkstatus_downloads(now);
  920.   }
  921.   /** 2c. Let directory voting happen. */
  922.   if (authdir_mode_v3(options))
  923.     dirvote_act(options, now);
  924.   /** 3a. Every second, we examine pending circuits and prune the
  925.    *    ones which have been pending for more than a few seconds.
  926.    *    We do this before step 4, so it can try building more if
  927.    *    it's not comfortable with the number of available circuits.
  928.    */
  929.   circuit_expire_building(now);
  930.   /** 3b. Also look at pending streams and prune the ones that 'began'
  931.    *     a long time ago but haven't gotten a 'connected' yet.
  932.    *     Do this before step 4, so we can put them back into pending
  933.    *     state to be picked up by the new circuit.
  934.    */
  935.   connection_ap_expire_beginning();
  936.   /** 3c. And expire connections that we've held open for too long.
  937.    */
  938.   connection_expire_held_open();
  939.   /** 3d. And every 60 seconds, we relaunch listeners if any died. */
  940.   if (!we_are_hibernating() && time_to_check_listeners < now) {
  941.     retry_all_listeners(NULL, NULL);
  942.     time_to_check_listeners = now+60;
  943.   }
  944.   /** 4. Every second, we try a new circuit if there are no valid
  945.    *    circuits. Every NewCircuitPeriod seconds, we expire circuits
  946.    *    that became dirty more than MaxCircuitDirtiness seconds ago,
  947.    *    and we make a new circ if there are no clean circuits.
  948.    */
  949.   have_dir_info = router_have_minimum_dir_info();
  950.   if (have_dir_info && !we_are_hibernating())
  951.     circuit_build_needed_circs(now);
  952.   /** 5. We do housekeeping for each connection... */
  953.   connection_or_set_bad_connections();
  954.   for (i=0;i<smartlist_len(connection_array);i++) {
  955.     run_connection_housekeeping(i, now);
  956.   }
  957.   if (time_to_shrink_memory < now) {
  958.     SMARTLIST_FOREACH(connection_array, connection_t *, conn, {
  959.         if (conn->outbuf)
  960.           buf_shrink(conn->outbuf);
  961.         if (conn->inbuf)
  962.           buf_shrink(conn->inbuf);
  963.       });
  964.     clean_cell_pool();
  965.     buf_shrink_freelists(0);
  966. /** How often do we check buffers and pools for empty space that can be
  967.  * deallocated? */
  968. #define MEM_SHRINK_INTERVAL (60)
  969.     time_to_shrink_memory = now + MEM_SHRINK_INTERVAL;
  970.   }
  971.   /** 6. And remove any marked circuits... */
  972.   circuit_close_all_marked();
  973.   /** 7. And upload service descriptors if necessary. */
  974.   if (has_completed_circuit && !we_are_hibernating()) {
  975.     rend_consider_services_upload(now);
  976.     rend_consider_descriptor_republication();
  977.   }
  978.   /** 8. and blow away any connections that need to die. have to do this now,
  979.    * because if we marked a conn for close and left its socket -1, then
  980.    * we'll pass it to poll/select and bad things will happen.
  981.    */
  982.   close_closeable_connections();
  983.   /** 8b. And if anything in our state is ready to get flushed to disk, we
  984.    * flush it. */
  985.   or_state_save(now);
  986.   /** 9. and if we're a server, check whether our DNS is telling stories to
  987.    * us. */
  988.   if (server_mode(options) && time_to_check_for_correct_dns < now) {
  989.     if (!time_to_check_for_correct_dns) {
  990.       time_to_check_for_correct_dns = now + 60 + crypto_rand_int(120);
  991.     } else {
  992.       dns_launch_correctness_checks();
  993.       time_to_check_for_correct_dns = now + 12*3600 +
  994.         crypto_rand_int(12*3600);
  995.     }
  996.   }
  997.   /** 10. write hidden service usage statistic to disk */
  998.   if (options->HSAuthorityRecordStats && time_to_write_hs_statistics < now) {
  999.     hs_usage_write_statistics_to_file(now);
  1000. #define WRITE_HSUSAGE_INTERVAL (30*60)
  1001.     time_to_write_hs_statistics = now+WRITE_HSUSAGE_INTERVAL;
  1002.   }
  1003.   /** 10b. write bridge networkstatus file to disk */
  1004.   if (options->BridgeAuthoritativeDir &&
  1005.       time_to_write_bridge_status_file < now) {
  1006.     networkstatus_dump_bridge_status_to_file(now);
  1007. #define BRIDGE_STATUSFILE_INTERVAL (30*60)
  1008.     time_to_write_bridge_status_file = now+BRIDGE_STATUSFILE_INTERVAL;
  1009.   }
  1010. }
  1011. /** Libevent timer: used to invoke second_elapsed_callback() once per
  1012.  * second. */
  1013. static struct event *timeout_event = NULL;
  1014. /** Number of libevent errors in the last second: we die if we get too many. */
  1015. static int n_libevent_errors = 0;
  1016. /** Libevent callback: invoked once every second. */
  1017. static void
  1018. second_elapsed_callback(int fd, short event, void *args)
  1019. {
  1020.   /* XXXX This could be sensibly refactored into multiple callbacks, and we
  1021.    * could use Libevent's timers for this rather than checking the current
  1022.    * time against a bunch of timeouts every second. */
  1023.   static struct timeval one_second;
  1024.   static time_t current_second = 0;
  1025.   time_t now;
  1026.   size_t bytes_written;
  1027.   size_t bytes_read;
  1028.   int seconds_elapsed;
  1029.   or_options_t *options = get_options();
  1030.   (void)fd;
  1031.   (void)event;
  1032.   (void)args;
  1033.   if (!timeout_event) {
  1034.     timeout_event = tor_malloc_zero(sizeof(struct event));
  1035.     evtimer_set(timeout_event, second_elapsed_callback, NULL);
  1036.     one_second.tv_sec = 1;
  1037.     one_second.tv_usec = 0;
  1038.   }
  1039.   n_libevent_errors = 0;
  1040.   /* log_fn(LOG_NOTICE, "Tick."); */
  1041.   now = time(NULL);
  1042.   update_approx_time(now);
  1043.   /* the second has rolled over. check more stuff. */
  1044.   bytes_written = stats_prev_global_write_bucket - global_write_bucket;
  1045.   bytes_read = stats_prev_global_read_bucket - global_read_bucket;
  1046.   seconds_elapsed = current_second ? (int)(now - current_second) : 0;
  1047.   stats_n_bytes_read += bytes_read;
  1048.   stats_n_bytes_written += bytes_written;
  1049.   if (accounting_is_enabled(options) && seconds_elapsed >= 0)
  1050.     accounting_add_bytes(bytes_read, bytes_written, seconds_elapsed);
  1051.   control_event_bandwidth_used((uint32_t)bytes_read,(uint32_t)bytes_written);
  1052.   control_event_stream_bandwidth_used();
  1053.   if (seconds_elapsed > 0)
  1054.     connection_bucket_refill(seconds_elapsed, now);
  1055.   stats_prev_global_read_bucket = global_read_bucket;
  1056.   stats_prev_global_write_bucket = global_write_bucket;
  1057.   if (server_mode(options) &&
  1058.       !we_are_hibernating() &&
  1059.       seconds_elapsed > 0 &&
  1060.       has_completed_circuit &&
  1061.       stats_n_seconds_working / TIMEOUT_UNTIL_UNREACHABILITY_COMPLAINT !=
  1062.       (stats_n_seconds_working+seconds_elapsed) /
  1063.         TIMEOUT_UNTIL_UNREACHABILITY_COMPLAINT) {
  1064.     /* every 20 minutes, check and complain if necessary */
  1065.     routerinfo_t *me = router_get_my_routerinfo();
  1066.     if (me && !check_whether_orport_reachable()) {
  1067.       log_warn(LD_CONFIG,"Your server (%s:%d) has not managed to confirm that "
  1068.                "its ORPort is reachable. Please check your firewalls, ports, "
  1069.                "address, /etc/hosts file, etc.",
  1070.                me->address, me->or_port);
  1071.       control_event_server_status(LOG_WARN,
  1072.                                   "REACHABILITY_FAILED ORADDRESS=%s:%d",
  1073.                                   me->address, me->or_port);
  1074.     }
  1075.     if (me && !check_whether_dirport_reachable()) {
  1076.       log_warn(LD_CONFIG,
  1077.                "Your server (%s:%d) has not managed to confirm that its "
  1078.                "DirPort is reachable. Please check your firewalls, ports, "
  1079.                "address, /etc/hosts file, etc.",
  1080.                me->address, me->dir_port);
  1081.       control_event_server_status(LOG_WARN,
  1082.                                   "REACHABILITY_FAILED DIRADDRESS=%s:%d",
  1083.                                   me->address, me->dir_port);
  1084.     }
  1085.   }
  1086. /** If more than this many seconds have elapsed, probably the clock
  1087.  * jumped: doesn't count. */
  1088. #define NUM_JUMPED_SECONDS_BEFORE_WARN 100
  1089.   if (seconds_elapsed < -NUM_JUMPED_SECONDS_BEFORE_WARN ||
  1090.       seconds_elapsed >= NUM_JUMPED_SECONDS_BEFORE_WARN) {
  1091.     circuit_note_clock_jumped(seconds_elapsed);
  1092.     /* XXX if the time jumps *back* many months, do our events in
  1093.      * run_scheduled_events() recover? I don't think they do. -RD */
  1094.   } else if (seconds_elapsed > 0)
  1095.     stats_n_seconds_working += seconds_elapsed;
  1096.   run_scheduled_events(now);
  1097.   current_second = now; /* remember which second it is, for next time */
  1098. #if 0
  1099.   if (current_second % 300 == 0) {
  1100.     rep_history_clean(current_second - options->RephistTrackTime);
  1101.     dumpmemusage(get_min_log_level()<LOG_INFO ?
  1102.                  get_min_log_level() : LOG_INFO);
  1103.   }
  1104. #endif
  1105.   if (evtimer_add(timeout_event, &one_second))
  1106.     log_err(LD_NET,
  1107.             "Error from libevent when setting one-second timeout event");
  1108. }
  1109. #ifndef MS_WINDOWS
  1110. /** Called when a possibly ignorable libevent error occurs; ensures that we
  1111.  * don't get into an infinite loop by ignoring too many errors from
  1112.  * libevent. */
  1113. static int
  1114. got_libevent_error(void)
  1115. {
  1116.   if (++n_libevent_errors > 8) {
  1117.     log_err(LD_NET, "Too many libevent errors in one second; dying");
  1118.     return -1;
  1119.   }
  1120.   return 0;
  1121. }
  1122. #endif
  1123. #define UPTIME_CUTOFF_FOR_NEW_BANDWIDTH_TEST (6*60*60)
  1124. /** Called when our IP address seems to have changed. <b>at_interface</b>
  1125.  * should be true if we detected a change in our interface, and false if we
  1126.  * detected a change in our published address. */
  1127. void
  1128. ip_address_changed(int at_interface)
  1129. {
  1130.   int server = server_mode(get_options());
  1131.   if (at_interface) {
  1132.     if (! server) {
  1133.       /* Okay, change our keys. */
  1134.       init_keys();
  1135.     }
  1136.   } else {
  1137.     if (server) {
  1138.       if (stats_n_seconds_working > UPTIME_CUTOFF_FOR_NEW_BANDWIDTH_TEST)
  1139.         reset_bandwidth_test();
  1140.       stats_n_seconds_working = 0;
  1141.       router_reset_reachability();
  1142.       mark_my_descriptor_dirty();
  1143.     }
  1144.   }
  1145.   dns_servers_relaunch_checks();
  1146. }
  1147. /** Forget what we've learned about the correctness of our DNS servers, and
  1148.  * start learning again. */
  1149. void
  1150. dns_servers_relaunch_checks(void)
  1151. {
  1152.   if (server_mode(get_options())) {
  1153.     dns_reset_correctness_checks();
  1154.     time_to_check_for_correct_dns = 0;
  1155.   }
  1156. }
  1157. /** Called when we get a SIGHUP: reload configuration files and keys,
  1158.  * retry all connections, and so on. */
  1159. static int
  1160. do_hup(void)
  1161. {
  1162.   or_options_t *options = get_options();
  1163. #ifdef USE_DMALLOC
  1164.   dmalloc_log_stats();
  1165.   dmalloc_log_changed(0, 1, 0, 0);
  1166. #endif
  1167.   log_notice(LD_GENERAL,"Received reload signal (hup). Reloading config and "
  1168.              "resetting internal state.");
  1169.   if (accounting_is_enabled(options))
  1170.     accounting_record_bandwidth_usage(time(NULL), get_or_state());
  1171.   router_reset_warnings();
  1172.   routerlist_reset_warnings();
  1173.   addressmap_clear_transient();
  1174.   /* first, reload config variables, in case they've changed */
  1175.   if (options->ReloadTorrcOnSIGHUP) {
  1176.     /* no need to provide argc/v, they've been cached in init_from_config */
  1177.     if (options_init_from_torrc(0, NULL) < 0) {
  1178.       log_err(LD_CONFIG,"Reading config failed--see warnings above. "
  1179.               "For usage, try -h.");
  1180.       return -1;
  1181.     }
  1182.     options = get_options(); /* they have changed now */
  1183.   } else {
  1184.     log_notice(LD_GENERAL, "Not reloading config file: the controller told "
  1185.                "us not to.");
  1186.   }
  1187.   if (authdir_mode_handles_descs(options, -1)) {
  1188.     /* reload the approved-routers file */
  1189.     if (dirserv_load_fingerprint_file() < 0) {
  1190.       /* warnings are logged from dirserv_load_fingerprint_file() directly */
  1191.       log_info(LD_GENERAL, "Error reloading fingerprints. "
  1192.                "Continuing with old list.");
  1193.     }
  1194.   }
  1195.   /* Rotate away from the old dirty circuits. This has to be done
  1196.    * after we've read the new options, but before we start using
  1197.    * circuits for directory fetches. */
  1198.   circuit_expire_all_dirty_circs();
  1199.   /* retry appropriate downloads */
  1200.   router_reset_status_download_failures();
  1201.   router_reset_descriptor_download_failures();
  1202.   update_networkstatus_downloads(time(NULL));
  1203.   /* We'll retry routerstatus downloads in about 10 seconds; no need to
  1204.    * force a retry there. */
  1205.   if (server_mode(options)) {
  1206.     /* Restart cpuworker and dnsworker processes, so they get up-to-date
  1207.      * configuration options. */
  1208.     cpuworkers_rotate();
  1209.     dns_reset();
  1210.   }
  1211.   return 0;
  1212. }
  1213. /** Tor main loop. */
  1214. /* static */ int
  1215. do_main_loop(void)
  1216. {
  1217.   int loop_result;
  1218.   time_t now;
  1219.   /* initialize dns resolve map, spawn workers if needed */
  1220.   if (dns_init() < 0) {
  1221.     if (get_options()->ServerDNSAllowBrokenConfig)
  1222.       log_warn(LD_GENERAL, "Couldn't set up any working nameservers. "
  1223.                "Network not up yet?  Will try again soon.");
  1224.     else {
  1225.       log_err(LD_GENERAL,"Error initializing dns subsystem; exiting.  To "
  1226.               "retry instead, set the ServerDNSAllowBrokenResolvConf option.");
  1227.     }
  1228.   }
  1229.   handle_signals(1);
  1230.   /* load the private keys, if we're supposed to have them, and set up the
  1231.    * TLS context. */
  1232.   if (! identity_key_is_set()) {
  1233.     if (init_keys() < 0) {
  1234.       log_err(LD_BUG,"Error initializing keys; exiting");
  1235.       return -1;
  1236.     }
  1237.   }
  1238.   /* Set up the packed_cell_t memory pool. */
  1239.   init_cell_pool();
  1240.   /* Set up our buckets */
  1241.   connection_bucket_init();
  1242.   stats_prev_global_read_bucket = global_read_bucket;
  1243.   stats_prev_global_write_bucket = global_write_bucket;
  1244.   /* initialize the bootstrap status events to know we're starting up */
  1245.   control_event_bootstrap(BOOTSTRAP_STATUS_STARTING, 0);
  1246.   if (trusted_dirs_reload_certs())
  1247.     return -1;
  1248.   if (router_reload_v2_networkstatus()) {
  1249.     return -1;
  1250.   }
  1251.   if (router_reload_consensus_networkstatus()) {
  1252.     return -1;
  1253.   }
  1254.   /* load the routers file, or assign the defaults. */
  1255.   if (router_reload_router_list()) {
  1256.     return -1;
  1257.   }
  1258.   /* load the networkstatuses. (This launches a download for new routers as
  1259.    * appropriate.)
  1260.    */
  1261.   now = time(NULL);
  1262.   directory_info_has_arrived(now, 1);
  1263.   if (authdir_mode_tests_reachability(get_options())) {
  1264.     /* the directory is already here, run startup things */
  1265.     dirserv_test_reachability(now, 1);
  1266.   }
  1267.   if (server_mode(get_options())) {
  1268.     /* launch cpuworkers. Need to do this *after* we've read the onion key. */
  1269.     cpu_init();
  1270.   }
  1271.   /* set up once-a-second callback. */
  1272.   second_elapsed_callback(0,0,NULL);
  1273.   for (;;) {
  1274.     if (nt_service_is_stopping())
  1275.       return 0;
  1276. #ifndef MS_WINDOWS
  1277.     /* Make it easier to tell whether libevent failure is our fault or not. */
  1278.     errno = 0;
  1279. #endif
  1280.     /* All active linked conns should get their read events activated. */
  1281.     SMARTLIST_FOREACH(active_linked_connection_lst, connection_t *, conn,
  1282.                       event_active(conn->read_event, EV_READ, 1));
  1283.     called_loop_once = smartlist_len(active_linked_connection_lst) ? 1 : 0;
  1284.     update_approx_time(time(NULL));
  1285.     /* poll until we have an event, or the second ends, or until we have
  1286.      * some active linked connections to trigger events for. */
  1287.     loop_result = event_loop(called_loop_once ? EVLOOP_ONCE : 0);
  1288.     /* let catch() handle things like ^c, and otherwise don't worry about it */
  1289.     if (loop_result < 0) {
  1290.       int e = tor_socket_errno(-1);
  1291.       /* let the program survive things like ^z */
  1292.       if (e != EINTR && !ERRNO_IS_EINPROGRESS(e)) {
  1293. #ifdef HAVE_EVENT_GET_METHOD
  1294.         log_err(LD_NET,"libevent call with %s failed: %s [%d]",
  1295.                 event_get_method(), tor_socket_strerror(e), e);
  1296. #else
  1297.         log_err(LD_NET,"libevent call failed: %s [%d]",
  1298.                 tor_socket_strerror(e), e);
  1299. #endif
  1300.         return -1;
  1301. #ifndef MS_WINDOWS
  1302.       } else if (e == EINVAL) {
  1303.         log_warn(LD_NET, "EINVAL from libevent: should you upgrade libevent?");
  1304.         if (got_libevent_error())
  1305.           return -1;
  1306. #endif
  1307.       } else {
  1308.         if (ERRNO_IS_EINPROGRESS(e))
  1309.           log_warn(LD_BUG,
  1310.                    "libevent call returned EINPROGRESS? Please report.");
  1311.         log_debug(LD_NET,"libevent call interrupted.");
  1312.         /* You can't trust the results of this poll(). Go back to the
  1313.          * top of the big for loop. */
  1314.         continue;
  1315.       }
  1316.     }
  1317.   }
  1318. }
  1319. /** Used to implement the SIGNAL control command: if we accept
  1320.  * <b>the_signal</b> as a remote pseudo-signal, act on it. */
  1321. /* We don't re-use catch() here because:
  1322.  *   1. We handle a different set of signals than those allowed in catch.
  1323.  *   2. Platforms without signal() are unlikely to define SIGfoo.
  1324.  *   3. The control spec is defined to use fixed numeric signal values
  1325.  *      which just happen to match the Unix values.
  1326.  */
  1327. void
  1328. control_signal_act(int the_signal)
  1329. {
  1330.   switch (the_signal)
  1331.     {
  1332.     case 1:
  1333.       signal_callback(0,0,(void*)(uintptr_t)SIGHUP);
  1334.       break;
  1335.     case 2:
  1336.       signal_callback(0,0,(void*)(uintptr_t)SIGINT);
  1337.       break;
  1338.     case 10:
  1339.       signal_callback(0,0,(void*)(uintptr_t)SIGUSR1);
  1340.       break;
  1341.     case 12:
  1342.       signal_callback(0,0,(void*)(uintptr_t)SIGUSR2);
  1343.       break;
  1344.     case 15:
  1345.       signal_callback(0,0,(void*)(uintptr_t)SIGTERM);
  1346.       break;
  1347.     case SIGNEWNYM:
  1348.       signal_callback(0,0,(void*)(uintptr_t)SIGNEWNYM);
  1349.       break;
  1350.     case SIGCLEARDNSCACHE:
  1351.       signal_callback(0,0,(void*)(uintptr_t)SIGCLEARDNSCACHE);
  1352.       break;
  1353.     default:
  1354.       log_warn(LD_BUG, "Unrecognized signal number %d.", the_signal);
  1355.       break;
  1356.     }
  1357. }
  1358. /** Libevent callback: invoked when we get a signal.
  1359.  */
  1360. static void
  1361. signal_callback(int fd, short events, void *arg)
  1362. {
  1363.   uintptr_t sig = (uintptr_t)arg;
  1364.   (void)fd;
  1365.   (void)events;
  1366.   switch (sig)
  1367.     {
  1368.     case SIGTERM:
  1369.       log_notice(LD_GENERAL,"Catching signal TERM, exiting cleanly.");
  1370.       tor_cleanup();
  1371.       exit(0);
  1372.       break;
  1373.     case SIGINT:
  1374.       if (!server_mode(get_options())) { /* do it now */
  1375.         log_notice(LD_GENERAL,"Interrupt: exiting cleanly.");
  1376.         tor_cleanup();
  1377.         exit(0);
  1378.       }
  1379.       hibernate_begin_shutdown();
  1380.       break;
  1381. #ifdef SIGPIPE
  1382.     case SIGPIPE:
  1383.       log_debug(LD_GENERAL,"Caught SIGPIPE. Ignoring.");
  1384.       break;
  1385. #endif
  1386.     case SIGUSR1:
  1387.       /* prefer to log it at INFO, but make sure we always see it */
  1388.       dumpstats(get_min_log_level()<LOG_INFO ? get_min_log_level() : LOG_INFO);
  1389.       break;
  1390.     case SIGUSR2:
  1391.       switch_logs_debug();
  1392.       log_debug(LD_GENERAL,"Caught USR2, going to loglevel debug. "
  1393.                 "Send HUP to change back.");
  1394.       break;
  1395.     case SIGHUP:
  1396.       if (do_hup() < 0) {
  1397.         log_warn(LD_CONFIG,"Restart failed (config error?). Exiting.");
  1398.         tor_cleanup();
  1399.         exit(1);
  1400.       }
  1401.       break;
  1402. #ifdef SIGCHLD
  1403.     case SIGCHLD:
  1404.       while (waitpid(-1,NULL,WNOHANG) > 0) ; /* keep reaping until no more
  1405.                                                 zombies */
  1406.       break;
  1407. #endif
  1408.     case SIGNEWNYM: {
  1409.       time_t now = time(NULL);
  1410.       if (time_of_last_signewnym + MAX_SIGNEWNYM_RATE > now) {
  1411.         signewnym_is_pending = 1;
  1412.         log(LOG_NOTICE, LD_CONTROL,
  1413.             "Rate limiting NEWNYM request: delaying by %d second(s)",
  1414.             (int)(MAX_SIGNEWNYM_RATE+time_of_last_signewnym-now));
  1415.       } else {
  1416.         signewnym_impl(now);
  1417.       }
  1418.       break;
  1419.     }
  1420.     case SIGCLEARDNSCACHE:
  1421.       addressmap_clear_transient();
  1422.       break;
  1423.   }
  1424. }
  1425. extern uint64_t rephist_total_alloc;
  1426. extern uint32_t rephist_total_num;
  1427. /**
  1428.  * Write current memory usage information to the log.
  1429.  */
  1430. static void
  1431. dumpmemusage(int severity)
  1432. {
  1433.   connection_dump_buffer_mem_stats(severity);
  1434.   log(severity, LD_GENERAL, "In rephist: "U64_FORMAT" used by %d Tors.",
  1435.       U64_PRINTF_ARG(rephist_total_alloc), rephist_total_num);
  1436.   dump_routerlist_mem_usage(severity);
  1437.   dump_cell_pool_usage(severity);
  1438.   buf_dump_freelist_sizes(severity);
  1439.   tor_log_mallinfo(severity);
  1440. }
  1441. /** Write all statistics to the log, with log level 'severity'.  Called
  1442.  * in response to a SIGUSR1. */
  1443. static void
  1444. dumpstats(int severity)
  1445. {
  1446.   time_t now = time(NULL);
  1447.   time_t elapsed;
  1448.   size_t rbuf_cap, wbuf_cap, rbuf_len, wbuf_len;
  1449.   log(severity, LD_GENERAL, "Dumping stats:");
  1450.   SMARTLIST_FOREACH(connection_array, connection_t *, conn,
  1451.   {
  1452.     int i = conn_sl_idx;
  1453.     log(severity, LD_GENERAL,
  1454.         "Conn %d (socket %d) type %d (%s), state %d (%s), created %d secs ago",
  1455.         i, conn->s, conn->type, conn_type_to_string(conn->type),
  1456.         conn->state, conn_state_to_string(conn->type, conn->state),
  1457.         (int)(now - conn->timestamp_created));
  1458.     if (!connection_is_listener(conn)) {
  1459.       log(severity,LD_GENERAL,
  1460.           "Conn %d is to %s:%d.", i,
  1461.           safe_str(conn->address), conn->port);
  1462.       log(severity,LD_GENERAL,
  1463.           "Conn %d: %d bytes waiting on inbuf (len %d, last read %d secs ago)",
  1464.           i,
  1465.           (int)buf_datalen(conn->inbuf),
  1466.           (int)buf_allocation(conn->inbuf),
  1467.           (int)(now - conn->timestamp_lastread));
  1468.       log(severity,LD_GENERAL,
  1469.           "Conn %d: %d bytes waiting on outbuf "
  1470.           "(len %d, last written %d secs ago)",i,
  1471.           (int)buf_datalen(conn->outbuf),
  1472.           (int)buf_allocation(conn->outbuf),
  1473.           (int)(now - conn->timestamp_lastwritten));
  1474.       if (conn->type == CONN_TYPE_OR) {
  1475.         or_connection_t *or_conn = TO_OR_CONN(conn);
  1476.         if (or_conn->tls) {
  1477.           tor_tls_get_buffer_sizes(or_conn->tls, &rbuf_cap, &rbuf_len,
  1478.                                    &wbuf_cap, &wbuf_len);
  1479.           log(severity, LD_GENERAL,
  1480.               "Conn %d: %d/%d bytes used on OpenSSL read buffer; "
  1481.               "%d/%d bytes used on write buffer.",
  1482.               i, (int)rbuf_len, (int)rbuf_cap, (int)wbuf_len, (int)wbuf_cap);
  1483.         }
  1484.       }
  1485.     }
  1486.     circuit_dump_by_conn(conn, severity); /* dump info about all the circuits
  1487.                                            * using this conn */
  1488.   });
  1489.   log(severity, LD_NET,
  1490.       "Cells processed: "U64_FORMAT" paddingn"
  1491.       "                 "U64_FORMAT" createn"
  1492.       "                 "U64_FORMAT" createdn"
  1493.       "                 "U64_FORMAT" relayn"
  1494.       "                        ("U64_FORMAT" relayed)n"
  1495.       "                        ("U64_FORMAT" delivered)n"
  1496.       "                 "U64_FORMAT" destroy",
  1497.       U64_PRINTF_ARG(stats_n_padding_cells_processed),
  1498.       U64_PRINTF_ARG(stats_n_create_cells_processed),
  1499.       U64_PRINTF_ARG(stats_n_created_cells_processed),
  1500.       U64_PRINTF_ARG(stats_n_relay_cells_processed),
  1501.       U64_PRINTF_ARG(stats_n_relay_cells_relayed),
  1502.       U64_PRINTF_ARG(stats_n_relay_cells_delivered),
  1503.       U64_PRINTF_ARG(stats_n_destroy_cells_processed));
  1504.   if (stats_n_data_cells_packaged)
  1505.     log(severity,LD_NET,"Average packaged cell fullness: %2.3f%%",
  1506.         100*(U64_TO_DBL(stats_n_data_bytes_packaged) /
  1507.              U64_TO_DBL(stats_n_data_cells_packaged*RELAY_PAYLOAD_SIZE)) );
  1508.   if (stats_n_data_cells_received)
  1509.     log(severity,LD_NET,"Average delivered cell fullness: %2.3f%%",
  1510.         100*(U64_TO_DBL(stats_n_data_bytes_received) /
  1511.              U64_TO_DBL(stats_n_data_cells_received*RELAY_PAYLOAD_SIZE)) );
  1512.   if (now - time_of_process_start >= 0)
  1513.     elapsed = now - time_of_process_start;
  1514.   else
  1515.     elapsed = 0;
  1516.   if (elapsed) {
  1517.     log(severity, LD_NET,
  1518.         "Average bandwidth: "U64_FORMAT"/%d = %d bytes/sec reading",
  1519.         U64_PRINTF_ARG(stats_n_bytes_read),
  1520.         (int)elapsed,
  1521.         (int) (stats_n_bytes_read/elapsed));
  1522.     log(severity, LD_NET,
  1523.         "Average bandwidth: "U64_FORMAT"/%d = %d bytes/sec writing",
  1524.         U64_PRINTF_ARG(stats_n_bytes_written),
  1525.         (int)elapsed,
  1526.         (int) (stats_n_bytes_written/elapsed));
  1527.   }
  1528.   log(severity, LD_NET, "--------------- Dumping memory information:");
  1529.   dumpmemusage(severity);
  1530.   rep_hist_dump_stats(now,severity);
  1531.   rend_service_dump_stats(severity);
  1532.   dump_pk_ops(severity);
  1533.   dump_distinct_digest_count(severity);
  1534. }
  1535. /** Called by exit() as we shut down the process.
  1536.  */
  1537. static void
  1538. exit_function(void)
  1539. {
  1540.   /* NOTE: If we ever daemonize, this gets called immediately.  That's
  1541.    * okay for now, because we only use this on Windows.  */
  1542. #ifdef MS_WINDOWS
  1543.   WSACleanup();
  1544. #endif
  1545. }
  1546. /** Set up the signal handlers for either parent or child. */
  1547. void
  1548. handle_signals(int is_parent)
  1549. {
  1550. #ifndef MS_WINDOWS /* do signal stuff only on Unix */
  1551.   int i;
  1552.   static int signals[] = {
  1553.     SIGINT,  /* do a controlled slow shutdown */
  1554.     SIGTERM, /* to terminate now */
  1555.     SIGPIPE, /* otherwise SIGPIPE kills us */
  1556.     SIGUSR1, /* dump stats */
  1557.     SIGUSR2, /* go to loglevel debug */
  1558.     SIGHUP,  /* to reload config, retry conns, etc */
  1559. #ifdef SIGXFSZ
  1560.     SIGXFSZ, /* handle file-too-big resource exhaustion */
  1561. #endif
  1562.     SIGCHLD, /* handle dns/cpu workers that exit */
  1563.     -1 };
  1564.   static struct event signal_events[16]; /* bigger than it has to be. */
  1565.   if (is_parent) {
  1566.     for (i = 0; signals[i] >= 0; ++i) {
  1567.       signal_set(&signal_events[i], signals[i], signal_callback,
  1568.                  (void*)(uintptr_t)signals[i]);
  1569.       if (signal_add(&signal_events[i], NULL))
  1570.         log_warn(LD_BUG, "Error from libevent when adding event for signal %d",
  1571.                  signals[i]);
  1572.     }
  1573.   } else {
  1574.     struct sigaction action;
  1575.     action.sa_flags = 0;
  1576.     sigemptyset(&action.sa_mask);
  1577.     action.sa_handler = SIG_IGN;
  1578.     sigaction(SIGINT,  &action, NULL);
  1579.     sigaction(SIGTERM, &action, NULL);
  1580.     sigaction(SIGPIPE, &action, NULL);
  1581.     sigaction(SIGUSR1, &action, NULL);
  1582.     sigaction(SIGUSR2, &action, NULL);
  1583.     sigaction(SIGHUP,  &action, NULL);
  1584. #ifdef SIGXFSZ
  1585.     sigaction(SIGXFSZ, &action, NULL);
  1586. #endif
  1587.   }
  1588. #else /* MS windows */
  1589.   (void)is_parent;
  1590. #endif /* signal stuff */
  1591. }
  1592. /** Main entry point for the Tor command-line client.
  1593.  */
  1594. /* static */ int
  1595. tor_init(int argc, char *argv[])
  1596. {
  1597.   char buf[256];
  1598.   int i, quiet = 0;
  1599.   time_of_process_start = time(NULL);
  1600.   if (!connection_array)
  1601.     connection_array = smartlist_create();
  1602.   if (!closeable_connection_lst)
  1603.     closeable_connection_lst = smartlist_create();
  1604.   if (!active_linked_connection_lst)
  1605.     active_linked_connection_lst = smartlist_create();
  1606.   /* Have the log set up with our application name. */
  1607.   tor_snprintf(buf, sizeof(buf), "Tor %s", get_version());
  1608.   log_set_application_name(buf);
  1609.   /* Initialize the history structures. */
  1610.   rep_hist_init();
  1611.   /* Initialize the service cache. */
  1612.   rend_cache_init();
  1613.   addressmap_init(); /* Init the client dns cache. Do it always, since it's
  1614.                       * cheap. */
  1615.   /* We search for the "quiet" option first, since it decides whether we
  1616.    * will log anything at all to the command line. */
  1617.   for (i=1;i<argc;++i) {
  1618.     if (!strcmp(argv[i], "--hush"))
  1619.       quiet = 1;
  1620.     if (!strcmp(argv[i], "--quiet"))
  1621.       quiet = 2;
  1622.   }
  1623.  /* give it somewhere to log to initially */
  1624.   switch (quiet) {
  1625.     case 2:
  1626.       /* no initial logging */
  1627.       break;
  1628.     case 1:
  1629.       add_temp_log(LOG_WARN);
  1630.       break;
  1631.     default:
  1632.       add_temp_log(LOG_NOTICE);
  1633.   }
  1634.   log(LOG_NOTICE, LD_GENERAL, "Tor v%s. This is experimental software. "
  1635.       "Do not rely on it for strong anonymity. (Running on %s)",get_version(),
  1636.       get_uname());
  1637.   if (network_init()<0) {
  1638.     log_err(LD_BUG,"Error initializing network; exiting.");
  1639.     return -1;
  1640.   }
  1641.   atexit(exit_function);
  1642.   if (options_init_from_torrc(argc,argv) < 0) {
  1643.     log_err(LD_CONFIG,"Reading config failed--see warnings above.");
  1644.     return -1;
  1645.   }
  1646. #ifndef MS_WINDOWS
  1647.   if (geteuid()==0)
  1648.     log_warn(LD_GENERAL,"You are running Tor as root. You don't need to, "
  1649.              "and you probably shouldn't.");
  1650. #endif
  1651.   if (crypto_global_init(get_options()->HardwareAccel)) {
  1652.     log_err(LD_BUG, "Unable to initialize OpenSSL. Exiting.");
  1653.     return -1;
  1654.   }
  1655.   return 0;
  1656. }
  1657. /** A lockfile structure, used to prevent two Tors from messing with the
  1658.  * data directory at once.  If this variable is non-NULL, we're holding
  1659.  * the lockfile. */
  1660. static tor_lockfile_t *lockfile = NULL;
  1661. /** Try to grab the lock file described in <b>options</b>, if we do not
  1662.  * already have it.  If <b>err_if_locked</b> is true, warn if somebody else is
  1663.  * holding the lock, and exit if we can't get it after waiting.  Otherwise,
  1664.  * return -1 if we can't get the lockfile.  Return 0 on success.
  1665.  */
  1666. int
  1667. try_locking(or_options_t *options, int err_if_locked)
  1668. {
  1669.   if (lockfile)
  1670.     return 0;
  1671.   else {
  1672.     char *fname = options_get_datadir_fname2_suffix(options, "lock",NULL,NULL);
  1673.     int already_locked = 0;
  1674.     tor_lockfile_t *lf = tor_lockfile_lock(fname, 0, &already_locked);
  1675.     tor_free(fname);
  1676.     if (!lf) {
  1677.       if (err_if_locked && already_locked) {
  1678.         int r;
  1679.         log_warn(LD_GENERAL, "It looks like another Tor process is running "
  1680.                  "with the same data directory.  Waiting 5 seconds to see "
  1681.                  "if it goes away.");
  1682. #ifndef WIN32
  1683.         sleep(5);
  1684. #else
  1685.         Sleep(5000);
  1686. #endif
  1687.         r = try_locking(options, 0);
  1688.         if (r<0) {
  1689.           log_err(LD_GENERAL, "No, it's still there.  Exiting.");
  1690.           exit(0);
  1691.         }
  1692.         return r;
  1693.       }
  1694.       return -1;
  1695.     }
  1696.     lockfile = lf;
  1697.     return 0;
  1698.   }
  1699. }
  1700. /** Return true iff we've successfully acquired the lock file. */
  1701. int
  1702. have_lockfile(void)
  1703. {
  1704.   return lockfile != NULL;
  1705. }
  1706. /** If we have successfully acquired the lock file, release it. */
  1707. void
  1708. release_lockfile(void)
  1709. {
  1710.   if (lockfile) {
  1711.     tor_lockfile_unlock(lockfile);
  1712.     lockfile = NULL;
  1713.   }
  1714. }
  1715. /** Free all memory that we might have allocated somewhere.
  1716.  * If <b>postfork</b>, we are a worker process and we want to free
  1717.  * only the parts of memory that we won't touch. If !<b>postfork</b>,
  1718.  * Tor is shutting down and we should free everything.
  1719.  *
  1720.  * Helps us find the real leaks with dmalloc and the like. Also valgrind
  1721.  * should then report 0 reachable in its leak report (in an ideal world --
  1722.  * in practice libevent, SSL, libc etc never quite free everything). */
  1723. void
  1724. tor_free_all(int postfork)
  1725. {
  1726.   if (!postfork) {
  1727.     evdns_shutdown(1);
  1728.   }
  1729.   geoip_free_all();
  1730.   dirvote_free_all();
  1731.   routerlist_free_all();
  1732.   networkstatus_free_all();
  1733.   addressmap_free_all();
  1734.   dirserv_free_all();
  1735.   rend_service_free_all();
  1736.   rend_cache_free_all();
  1737.   rend_service_authorization_free_all();
  1738.   rep_hist_free_all();
  1739.   hs_usage_free_all();
  1740.   dns_free_all();
  1741.   clear_pending_onions();
  1742.   circuit_free_all();
  1743.   entry_guards_free_all();
  1744.   connection_free_all();
  1745.   buf_shrink_freelists(1);
  1746.   memarea_clear_freelist();
  1747.   if (!postfork) {
  1748.     config_free_all();
  1749.     router_free_all();
  1750.     policies_free_all();
  1751.   }
  1752.   free_cell_pool();
  1753.   if (!postfork) {
  1754.     tor_tls_free_all();
  1755.   }
  1756.   /* stuff in main.c */
  1757.   if (connection_array)
  1758.     smartlist_free(connection_array);
  1759.   if (closeable_connection_lst)
  1760.     smartlist_free(closeable_connection_lst);
  1761.   if (active_linked_connection_lst)
  1762.     smartlist_free(active_linked_connection_lst);
  1763.   tor_free(timeout_event);
  1764.   if (!postfork) {
  1765.     release_lockfile();
  1766.   }
  1767.   /* Stuff in util.c and address.c*/
  1768.   if (!postfork) {
  1769.     escaped(NULL);
  1770.     esc_router_info(NULL);
  1771.     logs_free_all(); /* free log strings. do this last so logs keep working. */
  1772.   }
  1773. }
  1774. /** Do whatever cleanup is necessary before shutting Tor down. */
  1775. void
  1776. tor_cleanup(void)
  1777. {
  1778.   or_options_t *options = get_options();
  1779.   /* Remove our pid file. We don't care if there was an error when we
  1780.    * unlink, nothing we could do about it anyways. */
  1781.   if (options->command == CMD_RUN_TOR) {
  1782.     time_t now = time(NULL);
  1783.     if (options->PidFile)
  1784.       unlink(options->PidFile);
  1785.     if (accounting_is_enabled(options))
  1786.       accounting_record_bandwidth_usage(now, get_or_state());
  1787.     or_state_mark_dirty(get_or_state(), 0); /* force an immediate save. */
  1788.     or_state_save(now);
  1789.     if (authdir_mode_tests_reachability(options))
  1790.       rep_hist_record_mtbf_data(now, 0);
  1791.   }
  1792. #ifdef USE_DMALLOC
  1793.   dmalloc_log_stats();
  1794. #endif
  1795.   tor_free_all(0); /* We could move tor_free_all back into the ifdef below
  1796.                       later, if it makes shutdown unacceptably slow.  But for
  1797.                       now, leave it here: it's helped us catch bugs in the
  1798.                       past. */
  1799.   crypto_global_cleanup();
  1800. #ifdef USE_DMALLOC
  1801.   dmalloc_log_unfreed();
  1802.   dmalloc_shutdown();
  1803. #endif
  1804. }
  1805. /** Read/create keys as needed, and echo our fingerprint to stdout. */
  1806. /* static */ int
  1807. do_list_fingerprint(void)
  1808. {
  1809.   char buf[FINGERPRINT_LEN+1];
  1810.   crypto_pk_env_t *k;
  1811.   const char *nickname = get_options()->Nickname;
  1812.   if (!server_mode(get_options())) {
  1813.     log_err(LD_GENERAL,
  1814.             "Clients don't have long-term identity keys. Exiting.n");
  1815.     return -1;
  1816.   }
  1817.   tor_assert(nickname);
  1818.   if (init_keys() < 0) {
  1819.     log_err(LD_BUG,"Error initializing keys; can't display fingerprint");
  1820.     return -1;
  1821.   }
  1822.   if (!(k = get_identity_key())) {
  1823.     log_err(LD_GENERAL,"Error: missing identity key.");
  1824.     return -1;
  1825.   }
  1826.   if (crypto_pk_get_fingerprint(k, buf, 1)<0) {
  1827.     log_err(LD_BUG, "Error computing fingerprint");
  1828.     return -1;
  1829.   }
  1830.   printf("%s %sn", nickname, buf);
  1831.   return 0;
  1832. }
  1833. /** Entry point for password hashing: take the desired password from
  1834.  * the command line, and print its salted hash to stdout. **/
  1835. /* static */ void
  1836. do_hash_password(void)
  1837. {
  1838.   char output[256];
  1839.   char key[S2K_SPECIFIER_LEN+DIGEST_LEN];
  1840.   crypto_rand(key, S2K_SPECIFIER_LEN-1);
  1841.   key[S2K_SPECIFIER_LEN-1] = (uint8_t)96; /* Hash 64 K of data. */
  1842.   secret_to_key(key+S2K_SPECIFIER_LEN, DIGEST_LEN,
  1843.                 get_options()->command_arg, strlen(get_options()->command_arg),
  1844.                 key);
  1845.   base16_encode(output, sizeof(output), key, sizeof(key));
  1846.   printf("16:%sn",output);
  1847. }
  1848. /** Main entry point for the Tor process.  Called from main(). */
  1849. /* This function is distinct from main() only so we can link main.c into
  1850.  * the unittest binary without conflicting with the unittests' main. */
  1851. int
  1852. tor_main(int argc, char *argv[])
  1853. {
  1854.   int result = 0;
  1855.   update_approx_time(time(NULL));
  1856.   tor_threads_init();
  1857.   init_logging();
  1858. #ifdef USE_DMALLOC
  1859.   {
  1860.     /* Instruct OpenSSL to use our internal wrappers for malloc,
  1861.        realloc and free. */
  1862.     int r = CRYPTO_set_mem_ex_functions(_tor_malloc, _tor_realloc, _tor_free);
  1863.     tor_assert(r);
  1864.   }
  1865. #endif
  1866. #ifdef NT_SERVICE
  1867.   {
  1868.      int done = 0;
  1869.      result = nt_service_parse_options(argc, argv, &done);
  1870.      if (done) return result;
  1871.   }
  1872. #endif
  1873.   if (tor_init(argc, argv)<0)
  1874.     return -1;
  1875.   switch (get_options()->command) {
  1876.   case CMD_RUN_TOR:
  1877. #ifdef NT_SERVICE
  1878.     nt_service_set_state(SERVICE_RUNNING);
  1879. #endif
  1880.     result = do_main_loop();
  1881.     break;
  1882.   case CMD_LIST_FINGERPRINT:
  1883.     result = do_list_fingerprint();
  1884.     break;
  1885.   case CMD_HASH_PASSWORD:
  1886.     do_hash_password();
  1887.     result = 0;
  1888.     break;
  1889.   case CMD_VERIFY_CONFIG:
  1890.     printf("Configuration was validn");
  1891.     result = 0;
  1892.     break;
  1893.   case CMD_RUN_UNITTESTS: /* only set by test.c */
  1894.   default:
  1895.     log_warn(LD_BUG,"Illegal command number %d: internal error.",
  1896.              get_options()->command);
  1897.     result = -1;
  1898.   }
  1899.   tor_cleanup();
  1900.   return result;
  1901. }