sch_csz.c
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:25k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /*
  2.  * net/sched/sch_csz.c Clark-Shenker-Zhang scheduler.
  3.  *
  4.  * This program is free software; you can redistribute it and/or
  5.  * modify it under the terms of the GNU General Public License
  6.  * as published by the Free Software Foundation; either version
  7.  * 2 of the License, or (at your option) any later version.
  8.  *
  9.  * Authors: Alexey Kuznetsov, <kuznet@ms2.inr.ac.ru>
  10.  *
  11.  */
  12. #include <linux/config.h>
  13. #include <linux/module.h>
  14. #include <asm/uaccess.h>
  15. #include <asm/system.h>
  16. #include <asm/bitops.h>
  17. #include <linux/types.h>
  18. #include <linux/kernel.h>
  19. #include <linux/sched.h>
  20. #include <linux/string.h>
  21. #include <linux/mm.h>
  22. #include <linux/socket.h>
  23. #include <linux/sockios.h>
  24. #include <linux/in.h>
  25. #include <linux/errno.h>
  26. #include <linux/interrupt.h>
  27. #include <linux/if_ether.h>
  28. #include <linux/inet.h>
  29. #include <linux/netdevice.h>
  30. #include <linux/etherdevice.h>
  31. #include <linux/notifier.h>
  32. #include <net/ip.h>
  33. #include <net/route.h>
  34. #include <linux/skbuff.h>
  35. #include <net/sock.h>
  36. #include <net/pkt_sched.h>
  37. /* Clark-Shenker-Zhang algorithm.
  38. =======================================
  39. SOURCE.
  40. David D. Clark, Scott Shenker and Lixia Zhang
  41. "Supporting Real-Time Applications in an Integrated Services Packet
  42. Network: Architecture and Mechanism".
  43. CBQ presents a flexible universal algorithm for packet scheduling,
  44. but it has pretty poor delay characteristics.
  45. Round-robin scheduling and link-sharing goals
  46. apparently contradict minimization of network delay and jitter.
  47. Moreover, correct handling of predictive flows seems to be
  48. impossible in CBQ.
  49. CSZ presents a more precise but less flexible and less efficient
  50. approach. As I understand it, the main idea is to create
  51. WFQ flows for each guaranteed service and to allocate
  52. the rest of bandwith to dummy flow-0. Flow-0 comprises
  53. the predictive services and the best effort traffic;
  54. it is handled by a priority scheduler with the highest
  55. priority band allocated for predictive services, and the rest ---
  56. to the best effort packets.
  57. Note that in CSZ flows are NOT limited to their bandwidth.  It
  58. is supposed that the flow passed admission control at the edge
  59. of the QoS network and it doesn't need further shaping. Any
  60. attempt to improve the flow or to shape it to a token bucket
  61. at intermediate hops will introduce undesired delays and raise
  62. jitter.
  63. At the moment CSZ is the only scheduler that provides
  64. true guaranteed service. Another schemes (including CBQ)
  65. do not provide guaranteed delay and randomize jitter.
  66. There is a proof (Sally Floyd), that delay
  67. can be estimated by a IntServ compliant formula.
  68. This result is true formally, but it is wrong in principle.
  69. It takes into account only round-robin delays,
  70. ignoring delays introduced by link sharing i.e. overlimiting.
  71. Note that temporary overlimits are inevitable because
  72. real links are not ideal, and the real algorithm must take this
  73. into account.
  74.         ALGORITHM.
  75. --- Notations.
  76. $B$ is link bandwidth (bits/sec).
  77. $I$ is set of all flows, including flow $0$.
  78. Every flow $a in I$ has associated bandwidth slice $r_a < 1$ and
  79. $sum_{a in I} r_a = 1$.
  80. --- Flow model.
  81. Let $m_a$ is the number of backlogged bits in flow $a$.
  82. The flow is {em active}, if $m_a > 0$.
  83. This number is a discontinuous function of time;
  84. when a packet $i$ arrives:
  85. [
  86. m_a(t_i+0) - m_a(t_i-0) = L^i,
  87. ]
  88. where $L^i$ is the length of the arrived packet.
  89. The flow queue is drained continuously until $m_a == 0$:
  90. [
  91. {d m_a over dt} = - { B r_a over sum_{b in A} r_b}.
  92. ]
  93. I.e. flow rates are their allocated rates proportionally
  94. scaled to take all available link bandwidth. Apparently,
  95. it is not the only possible policy. F.e. CBQ classes
  96. without borrowing would be modelled by:
  97. [
  98. {d m_a over dt} = - B r_a .
  99. ]
  100. More complicated hierarchical bandwidth allocation
  101. policies are possible, but unfortunately, the basic
  102. flow equations have a simple solution only for proportional
  103. scaling.
  104. --- Departure times.
  105. We calculate the time until the last bit of packet is sent:
  106. [
  107. E_a^i(t) = { m_a(t_i) - delta_a(t) over r_a },
  108. ]
  109. where $delta_a(t)$ is number of bits drained since $t_i$.
  110. We have to evaluate $E_a^i$ for all queued packets,
  111. then find the packet with minimal $E_a^i$ and send it.
  112. This sounds good, but direct implementation of the algorithm
  113. is absolutely infeasible. Luckily, if flow rates
  114. are scaled proportionally, the equations have a simple solution.
  115. The differential equation for $E_a^i$ is
  116. [
  117. {d E_a^i (t) over dt } = - { d delta_a(t) over dt} { 1 over r_a} =
  118. { B over sum_{b in A} r_b}
  119. ]
  120. with initial condition
  121. [
  122. E_a^i (t_i) = { m_a(t_i) over r_a } .
  123. ]
  124. Let's introduce an auxiliary function $R(t)$:
  125. --- Round number.
  126. Consider the following model: we rotate over active flows,
  127. sending $r_a B$ bits from every flow, so that we send
  128. $B sum_{a in A} r_a$ bits per round, that takes
  129. $sum_{a in A} r_a$ seconds.
  130. Hence, $R(t)$ (round number) is a monotonically increasing
  131. linear function of time when $A$ is not changed
  132. [
  133. { d R(t) over dt } = { 1 over sum_{a in A} r_a }
  134. ]
  135. and it is continuous when $A$ changes.
  136. The central observation is that the quantity
  137. $F_a^i = R(t) + E_a^i(t)/B$ does not depend on time at all!
  138. $R(t)$ does not depend on flow, so that $F_a^i$ can be
  139. calculated only once on packet arrival, and we need not
  140. recalculate $E$ numbers and resorting queues.
  141. The number $F_a^i$ is called finish number of the packet.
  142. It is just the value of $R(t)$ when the last bit of packet
  143. is sent out.
  144. Maximal finish number on flow is called finish number of flow
  145. and minimal one is "start number of flow".
  146. Apparently, flow is active if and only if $F_a leq R$.
  147. When a packet of length $L_i$ bit arrives to flow $a$ at time $t_i$,
  148. we calculate $F_a^i$ as:
  149. If flow was inactive ($F_a < R$):
  150. $F_a^i = R(t) + {L_i over B r_a}$
  151. otherwise
  152. $F_a^i = F_a + {L_i over B r_a}$
  153. These equations complete the algorithm specification.
  154. It looks pretty hairy, but there is a simple
  155. procedure for solving these equations.
  156. See procedure csz_update(), that is a generalization of
  157. the algorithm from S. Keshav's thesis Chapter 3
  158. "Efficient Implementation of Fair Queeing".
  159. NOTES.
  160. * We implement only the simplest variant of CSZ,
  161. when flow-0 is a explicit 4band priority fifo.
  162. This is bad, but we need a "peek" operation in addition
  163. to "dequeue" to implement complete CSZ.
  164. I do not want to do that, unless it is absolutely
  165. necessary.
  166. * A primitive support for token bucket filtering
  167. presents itself too. It directly contradicts CSZ, but
  168. even though the Internet is on the globe ... :-)
  169. "the edges of the network" really exist.
  170. BUGS.
  171. * Fixed point arithmetic is overcomplicated, suboptimal and even
  172. wrong. Check it later.  */
  173. /* This number is arbitrary */
  174. #define CSZ_GUARANTEED 16
  175. #define CSZ_FLOWS (CSZ_GUARANTEED+4)
  176. struct csz_head
  177. {
  178. struct csz_head *snext;
  179. struct csz_head *sprev;
  180. struct csz_head *fnext;
  181. struct csz_head *fprev;
  182. };
  183. struct csz_flow
  184. {
  185. struct csz_head *snext;
  186. struct csz_head *sprev;
  187. struct csz_head *fnext;
  188. struct csz_head *fprev;
  189. /* Parameters */
  190. struct tc_ratespec rate;
  191. struct tc_ratespec slice;
  192. u32 *L_tab; /* Lookup table for L/(B*r_a) values */
  193. unsigned long limit; /* Maximal length of queue */
  194. #ifdef CSZ_PLUS_TBF
  195. struct tc_ratespec peakrate;
  196. __u32 buffer; /* Depth of token bucket, normalized
  197.    as L/(B*r_a) */
  198. __u32 mtu;
  199. #endif
  200. /* Variables */
  201. #ifdef CSZ_PLUS_TBF
  202. unsigned long tokens; /* Tokens number: usecs */
  203. psched_time_t t_tbf;
  204. unsigned long R_tbf;
  205. int throttled;
  206. #endif
  207. unsigned peeked;
  208. unsigned long start; /* Finish number of the first skb */
  209. unsigned long finish; /* Finish number of the flow */
  210. struct sk_buff_head q; /* FIFO queue */
  211. };
  212. #define L2R(f,L) ((f)->L_tab[(L)>>(f)->slice.cell_log])
  213. struct csz_sched_data
  214. {
  215. /* Parameters */
  216. unsigned char rate_log; /* fixed point position for rate;
  217.  * really we need not it */
  218. unsigned char R_log; /* fixed point position for round number */
  219. unsigned char delta_log; /* 1<<delta_log is maximal timeout in usecs;
  220.  * 21 <-> 2.1sec is MAXIMAL value */
  221. /* Variables */
  222. struct tcf_proto *filter_list;
  223. u8 prio2band[TC_PRIO_MAX+1];
  224. #ifdef CSZ_PLUS_TBF
  225. struct timer_list wd_timer;
  226. long wd_expires;
  227. #endif
  228. psched_time_t t_c; /* Time check-point */
  229. unsigned long R_c; /* R-number check-point */
  230. unsigned long rate; /* Current sum of rates of active flows */
  231. struct csz_head s; /* Flows sorted by "start" */
  232. struct csz_head f; /* Flows sorted by "finish" */
  233. struct sk_buff_head other[4];/* Predicted (0) and the best efforts
  234.     classes (1,2,3) */
  235. struct csz_flow flow[CSZ_GUARANTEED]; /* Array of flows */
  236. };
  237. /* These routines (csz_insert_finish and csz_insert_start) are
  238.    the most time consuming part of all the algorithm.
  239.    We insert to sorted list, so that time
  240.    is linear with respect to number of active flows in the worst case.
  241.    Note that we have not very large number of guaranteed flows,
  242.    so that logarithmic algorithms (heap etc.) are useless,
  243.    they are slower than linear one when length of list <= 32.
  244.    Heap would take sence if we used WFQ for best efforts
  245.    flows, but SFQ is better choice in this case.
  246.  */
  247. /* Insert flow "this" to the list "b" before
  248.    flow with greater finish number.
  249.  */
  250. #if 0
  251. /* Scan forward */
  252. extern __inline__ void csz_insert_finish(struct csz_head *b,
  253.  struct csz_flow *this)
  254. {
  255. struct csz_head *f = b->fnext;
  256. unsigned long finish = this->finish;
  257. while (f != b) {
  258. if (((struct csz_flow*)f)->finish - finish > 0)
  259. break;
  260. f = f->fnext;
  261. }
  262. this->fnext = f;
  263. this->fprev = f->fprev;
  264. this->fnext->fprev = this->fprev->fnext = (struct csz_head*)this;
  265. }
  266. #else
  267. /* Scan backward */
  268. extern __inline__ void csz_insert_finish(struct csz_head *b,
  269.  struct csz_flow *this)
  270. {
  271. struct csz_head *f = b->fprev;
  272. unsigned long finish = this->finish;
  273. while (f != b) {
  274. if (((struct csz_flow*)f)->finish - finish <= 0)
  275. break;
  276. f = f->fprev;
  277. }
  278. this->fnext = f->fnext;
  279. this->fprev = f;
  280. this->fnext->fprev = this->fprev->fnext = (struct csz_head*)this;
  281. }
  282. #endif
  283. /* Insert flow "this" to the list "b" before
  284.    flow with greater start number.
  285.  */
  286. extern __inline__ void csz_insert_start(struct csz_head *b,
  287. struct csz_flow *this)
  288. {
  289. struct csz_head *f = b->snext;
  290. unsigned long start = this->start;
  291. while (f != b) {
  292. if (((struct csz_flow*)f)->start - start > 0)
  293. break;
  294. f = f->snext;
  295. }
  296. this->snext = f;
  297. this->sprev = f->sprev;
  298. this->snext->sprev = this->sprev->snext = (struct csz_head*)this;
  299. }
  300. /* Calculate and return current round number.
  301.    It is another time consuming part, but
  302.    it is impossible to avoid it.
  303.    It costs O(N) that make all the algorithm useful only
  304.    to play with closest to ideal fluid model.
  305.    There exist less academic, but more practical modifications,
  306.    which might have even better characteristics (WF2Q+, HPFQ, HFSC)
  307.  */
  308. static unsigned long csz_update(struct Qdisc *sch)
  309. {
  310. struct csz_sched_data *q = (struct csz_sched_data*)sch->data;
  311. struct csz_flow  *a;
  312. unsigned long F;
  313. unsigned long tmp;
  314. psched_time_t now;
  315. unsigned long delay;
  316. unsigned long R_c;
  317. PSCHED_GET_TIME(now);
  318. delay = PSCHED_TDIFF_SAFE(now, q->t_c, 0, goto do_reset);
  319. if (delay>>q->delta_log) {
  320. do_reset:
  321. /* Delta is too large.
  322.    It is possible if MTU/BW > 1<<q->delta_log
  323.    (i.e. configuration error) or because of hardware
  324.    fault. We have no choice...
  325.  */
  326. qdisc_reset(sch);
  327. return 0;
  328. }
  329. q->t_c = now;
  330. for (;;) {
  331. a = (struct csz_flow*)q->f.fnext;
  332. /* No more active flows. Reset R and exit. */
  333. if (a == (struct csz_flow*)&q->f) {
  334. #ifdef CSZ_DEBUG
  335. if (q->rate) {
  336. printk("csz_update: rate!=0 on inactive cszn");
  337. q->rate = 0;
  338. }
  339. #endif
  340. q->R_c = 0;
  341. return 0;
  342. }
  343. F = a->finish;
  344. #ifdef CSZ_DEBUG
  345. if (q->rate == 0) {
  346. printk("csz_update: rate=0 on active cszn");
  347. goto do_reset;
  348. }
  349. #endif
  350. /*
  351.  *           tmp = (t - q->t_c)/q->rate;
  352.  */
  353. tmp = ((delay<<(31-q->delta_log))/q->rate)>>(31-q->delta_log+q->R_log);
  354. tmp += q->R_c;
  355. /* OK, this flow (and all flows with greater
  356.    finish numbers) is still active */
  357. if (F - tmp > 0)
  358. break;
  359. /* It is more not active */
  360. a->fprev->fnext = a->fnext;
  361. a->fnext->fprev = a->fprev;
  362. /*
  363.  * q->t_c += (F - q->R_c)*q->rate
  364.  */
  365. tmp = ((F-q->R_c)*q->rate)<<q->R_log;
  366. R_c = F;
  367. q->rate -= a->slice.rate;
  368. if ((long)(delay - tmp) >= 0) {
  369. delay -= tmp;
  370. continue;
  371. }
  372. delay = 0;
  373. }
  374. q->R_c = tmp;
  375. return tmp;
  376. }
  377. unsigned csz_classify(struct sk_buff *skb, struct csz_sched_data *q)
  378. {
  379. return CSZ_GUARANTEED;
  380. }
  381. static int
  382. csz_enqueue(struct sk_buff *skb, struct Qdisc* sch)
  383. {
  384. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  385. unsigned flow_id = csz_classify(skb, q);
  386. unsigned long R;
  387. int prio = 0;
  388. struct csz_flow *this;
  389. if (flow_id >= CSZ_GUARANTEED) {
  390. prio = flow_id - CSZ_GUARANTEED;
  391. flow_id = 0;
  392. }
  393. this = &q->flow[flow_id];
  394. if (this->q.qlen >= this->limit || this->L_tab == NULL) {
  395. sch->stats.drops++;
  396. kfree_skb(skb);
  397. return NET_XMIT_DROP;
  398. }
  399. R = csz_update(sch);
  400. if ((long)(this->finish - R) >= 0) {
  401. /* It was active */
  402. this->finish += L2R(this,skb->len);
  403. } else {
  404. /* It is inactive; activate it */
  405. this->finish = R + L2R(this,skb->len);
  406. q->rate += this->slice.rate;
  407. csz_insert_finish(&q->f, this);
  408. }
  409. /* If this flow was empty, remember start number
  410.    and insert it into start queue */
  411. if (this->q.qlen == 0) {
  412. this->start = this->finish;
  413. csz_insert_start(&q->s, this);
  414. }
  415. if (flow_id)
  416. skb_queue_tail(&this->q, skb);
  417. else
  418. skb_queue_tail(&q->other[prio], skb);
  419. sch->q.qlen++;
  420. sch->stats.bytes += skb->len;
  421. sch->stats.packets++;
  422. return 0;
  423. }
  424. static __inline__ struct sk_buff *
  425. skb_dequeue_best(struct csz_sched_data * q)
  426. {
  427. int i;
  428. struct sk_buff *skb;
  429. for (i=0; i<4; i++) {
  430. skb = skb_dequeue(&q->other[i]);
  431. if (skb) {
  432. q->flow[0].q.qlen--;
  433. return skb;
  434. }
  435. }
  436. return NULL;
  437. }
  438. static __inline__ struct sk_buff *
  439. skb_peek_best(struct csz_sched_data * q)
  440. {
  441. int i;
  442. struct sk_buff *skb;
  443. for (i=0; i<4; i++) {
  444. skb = skb_peek(&q->other[i]);
  445. if (skb)
  446. return skb;
  447. }
  448. return NULL;
  449. }
  450. #ifdef CSZ_PLUS_TBF
  451. static void csz_watchdog(unsigned long arg)
  452. {
  453. struct Qdisc *sch = (struct Qdisc*)arg;
  454. qdisc_wakeup(sch->dev);
  455. }
  456. static __inline__ void
  457. csz_move_queue(struct csz_flow *this, long delta)
  458. {
  459. this->fprev->fnext = this->fnext;
  460. this->fnext->fprev = this->fprev;
  461. this->start += delta;
  462. this->finish += delta;
  463. csz_insert_finish(this);
  464. }
  465. static __inline__ int csz_enough_tokens(struct csz_sched_data *q,
  466. struct csz_flow *this,
  467. struct sk_buff *skb)
  468. {
  469. long toks;
  470. long shift;
  471. psched_time_t now;
  472. PSCHED_GET_TIME(now);
  473. toks = PSCHED_TDIFF(now, t_tbf) + this->tokens - L2R(q,this,skb->len);
  474. shift = 0;
  475. if (this->throttled) {
  476. /* Remember aposteriory delay */
  477. unsigned long R = csz_update(q);
  478. shift = R - this->R_tbf;
  479. this->R_tbf = R;
  480. }
  481. if (toks >= 0) {
  482. /* Now we have enough tokens to proceed */
  483. this->tokens = toks <= this->depth ? toks : this->depth;
  484. this->t_tbf = now;
  485. if (!this->throttled)
  486. return 1;
  487. /* Flow was throttled. Update its start&finish numbers
  488.    with delay calculated aposteriori.
  489.  */
  490. this->throttled = 0;
  491. if (shift > 0)
  492. csz_move_queue(this, shift);
  493. return 1;
  494. }
  495. if (!this->throttled) {
  496. /* Flow has just been throttled; remember
  497.    current round number to calculate aposteriori delay
  498.  */
  499. this->throttled = 1;
  500. this->R_tbf = csz_update(q);
  501. }
  502. /* Move all the queue to the time when it will be allowed to send.
  503.    We should translate time to round number, but it is impossible,
  504.    so that we made the most conservative estimate i.e. we suppose
  505.    that only this flow is active and, hence, R = t.
  506.    Really toks <= R <= toks/r_a.
  507.    This apriory shift in R will be adjusted later to reflect
  508.    real delay. We cannot avoid it because of:
  509.    - throttled flow continues to be active from the viewpoint
  510.      of CSZ, so that it would acquire the highest priority,
  511.      if you not adjusted start numbers.
  512.    - Eventually, finish number would become less than round
  513.      number and flow were declared inactive.
  514.  */
  515. toks = -toks;
  516. /* Remeber, that we should start watchdog */
  517. if (toks < q->wd_expires)
  518. q->wd_expires = toks;
  519. toks >>= q->R_log;
  520. shift += toks;
  521. if (shift > 0) {
  522. this->R_tbf += toks;
  523. csz_move_queue(this, shift);
  524. }
  525. csz_insert_start(this);
  526. return 0;
  527. }
  528. #endif
  529. static struct sk_buff *
  530. csz_dequeue(struct Qdisc* sch)
  531. {
  532. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  533. struct sk_buff *skb;
  534. struct csz_flow *this;
  535. #ifdef CSZ_PLUS_TBF
  536. q->wd_expires = 0;
  537. #endif
  538. this = (struct csz_flow*)q->s.snext;
  539. while (this != (struct csz_flow*)&q->s) {
  540. /* First of all: unlink from start list */
  541. this->sprev->snext = this->snext;
  542. this->snext->sprev = this->sprev;
  543. if (this != &q->flow[0]) { /* Guaranteed flow */
  544. skb = __skb_dequeue(&this->q);
  545. if (skb) {
  546. #ifdef CSZ_PLUS_TBF
  547. if (this->depth) {
  548. if (!csz_enough_tokens(q, this, skb))
  549. continue;
  550. }
  551. #endif
  552. if (this->q.qlen) {
  553. struct sk_buff *nskb = skb_peek(&this->q);
  554. this->start += L2R(this,nskb->len);
  555. csz_insert_start(&q->s, this);
  556. }
  557. sch->q.qlen--;
  558. return skb;
  559. }
  560. } else { /* Predicted or best effort flow */
  561. skb = skb_dequeue_best(q);
  562. if (skb) {
  563. unsigned peeked = this->peeked;
  564. this->peeked = 0;
  565. if (--this->q.qlen) {
  566. struct sk_buff *nskb;
  567. unsigned dequeued = L2R(this,skb->len);
  568. /* We got not the same thing that
  569.    peeked earlier; adjust start number
  570.    */
  571. if (peeked != dequeued && peeked)
  572. this->start += dequeued - peeked;
  573. nskb = skb_peek_best(q);
  574. peeked = L2R(this,nskb->len);
  575. this->start += peeked;
  576. this->peeked = peeked;
  577. csz_insert_start(&q->s, this);
  578. }
  579. sch->q.qlen--;
  580. return skb;
  581. }
  582. }
  583. }
  584. #ifdef CSZ_PLUS_TBF
  585. /* We are about to return no skb.
  586.    Schedule watchdog timer, if it occurred because of shaping.
  587.  */
  588. if (q->wd_expires) {
  589. unsigned long delay = PSCHED_US2JIFFIE(q->wd_expires);
  590. del_timer(&q->wd_timer);
  591. if (delay == 0)
  592. delay = 1;
  593. q->wd_timer.expires = jiffies + delay;
  594. add_timer(&q->wd_timer);
  595. sch->stats.overlimits++;
  596. }
  597. #endif
  598. return NULL;
  599. }
  600. static void
  601. csz_reset(struct Qdisc* sch)
  602. {
  603. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  604. int    i;
  605. for (i=0; i<4; i++)
  606. skb_queue_purge(&q->other[i]);
  607. for (i=0; i<CSZ_GUARANTEED; i++) {
  608. struct csz_flow *this = q->flow + i;
  609. skb_queue_purge(&this->q);
  610. this->snext = this->sprev =
  611. this->fnext = this->fprev = (struct csz_head*)this;
  612. this->start = this->finish = 0;
  613. }
  614. q->s.snext = q->s.sprev = &q->s;
  615. q->f.fnext = q->f.fprev = &q->f;
  616. q->R_c = 0;
  617. #ifdef CSZ_PLUS_TBF
  618. PSCHED_GET_TIME(&q->t_tbf);
  619. q->tokens = q->depth;
  620. del_timer(&q->wd_timer);
  621. #endif
  622. sch->q.qlen = 0;
  623. }
  624. static void
  625. csz_destroy(struct Qdisc* sch)
  626. {
  627. MOD_DEC_USE_COUNT;
  628. }
  629. static int csz_init(struct Qdisc *sch, struct rtattr *opt)
  630. {
  631. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  632. struct rtattr *tb[TCA_CSZ_PTAB];
  633. struct tc_csz_qopt *qopt;
  634. int    i;
  635. rtattr_parse(tb, TCA_CSZ_PTAB, RTA_DATA(opt), RTA_PAYLOAD(opt));
  636. if (tb[TCA_CSZ_PARMS-1] == NULL ||
  637.     RTA_PAYLOAD(tb[TCA_CSZ_PARMS-1]) < sizeof(*qopt))
  638. return -EINVAL;
  639. qopt = RTA_DATA(tb[TCA_CSZ_PARMS-1]);
  640. q->R_log = qopt->R_log;
  641. q->delta_log = qopt->delta_log;
  642. for (i=0; i<=TC_PRIO_MAX; i++) {
  643. if (qopt->priomap[i] >= CSZ_FLOWS)
  644. return -EINVAL;
  645. q->prio2band[i] = qopt->priomap[i];
  646. }
  647. for (i=0; i<4; i++)
  648. skb_queue_head_init(&q->other[i]);
  649. for (i=0; i<CSZ_GUARANTEED; i++) {
  650. struct csz_flow *this = q->flow + i;
  651. skb_queue_head_init(&this->q);
  652. this->snext = this->sprev =
  653. this->fnext = this->fprev = (struct csz_head*)this;
  654. this->start = this->finish = 0;
  655. }
  656. q->s.snext = q->s.sprev = &q->s;
  657. q->f.fnext = q->f.fprev = &q->f;
  658. q->R_c = 0;
  659. #ifdef CSZ_PLUS_TBF
  660. init_timer(&q->wd_timer);
  661. q->wd_timer.data = (unsigned long)sch;
  662. q->wd_timer.function = csz_watchdog;
  663. #endif
  664. MOD_INC_USE_COUNT;
  665. return 0;
  666. }
  667. static int csz_dump(struct Qdisc *sch, struct sk_buff *skb)
  668. {
  669. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  670. unsigned char  *b = skb->tail;
  671. struct rtattr *rta;
  672. struct tc_csz_qopt opt;
  673. rta = (struct rtattr*)b;
  674. RTA_PUT(skb, TCA_OPTIONS, 0, NULL);
  675. opt.flows = CSZ_FLOWS;
  676. memcpy(&opt.priomap, q->prio2band, TC_PRIO_MAX+1);
  677. RTA_PUT(skb, TCA_CSZ_PARMS, sizeof(opt), &opt);
  678. rta->rta_len = skb->tail - b;
  679. return skb->len;
  680. rtattr_failure:
  681. skb_trim(skb, b - skb->data);
  682. return -1;
  683. }
  684. static int csz_graft(struct Qdisc *sch, unsigned long cl, struct Qdisc *new,
  685.      struct Qdisc **old)
  686. {
  687. return -EINVAL;
  688. }
  689. static struct Qdisc * csz_leaf(struct Qdisc *sch, unsigned long cl)
  690. {
  691. return NULL;
  692. }
  693. static unsigned long csz_get(struct Qdisc *sch, u32 classid)
  694. {
  695. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  696. unsigned long band = TC_H_MIN(classid) - 1;
  697. if (band >= CSZ_FLOWS)
  698. return 0;
  699. if (band < CSZ_GUARANTEED && q->flow[band].L_tab == NULL)
  700. return 0;
  701. return band+1;
  702. }
  703. static unsigned long csz_bind(struct Qdisc *sch, unsigned long parent, u32 classid)
  704. {
  705. return csz_get(sch, classid);
  706. }
  707. static void csz_put(struct Qdisc *sch, unsigned long cl)
  708. {
  709. return;
  710. }
  711. static int csz_change(struct Qdisc *sch, u32 handle, u32 parent, struct rtattr **tca, unsigned long *arg)
  712. {
  713. unsigned long cl = *arg;
  714. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  715. struct rtattr *opt = tca[TCA_OPTIONS-1];
  716. struct rtattr *tb[TCA_CSZ_PTAB];
  717. struct tc_csz_copt *copt;
  718. rtattr_parse(tb, TCA_CSZ_PTAB, RTA_DATA(opt), RTA_PAYLOAD(opt));
  719. if (tb[TCA_CSZ_PARMS-1] == NULL ||
  720.     RTA_PAYLOAD(tb[TCA_CSZ_PARMS-1]) < sizeof(*copt))
  721. return -EINVAL;
  722. copt = RTA_DATA(tb[TCA_CSZ_PARMS-1]);
  723. if (tb[TCA_CSZ_RTAB-1] &&
  724.     RTA_PAYLOAD(tb[TCA_CSZ_RTAB-1]) < 1024)
  725. return -EINVAL;
  726. if (cl) {
  727. struct csz_flow *a;
  728. cl--;
  729. if (cl >= CSZ_FLOWS)
  730. return -ENOENT;
  731. if (cl >= CSZ_GUARANTEED || q->flow[cl].L_tab == NULL)
  732. return -EINVAL;
  733. a = &q->flow[cl];
  734. spin_lock_bh(&sch->dev->queue_lock);
  735. #if 0
  736. a->rate_log = copt->rate_log;
  737. #endif
  738. #ifdef CSZ_PLUS_TBF
  739. a->limit = copt->limit;
  740. a->rate = copt->rate;
  741. a->buffer = copt->buffer;
  742. a->mtu = copt->mtu;
  743. #endif
  744. if (tb[TCA_CSZ_RTAB-1])
  745. memcpy(a->L_tab, RTA_DATA(tb[TCA_CSZ_RTAB-1]), 1024);
  746. spin_unlock_bh(&sch->dev->queue_lock);
  747. return 0;
  748. }
  749. /* NI */
  750. return 0;
  751. }
  752. static int csz_delete(struct Qdisc *sch, unsigned long cl)
  753. {
  754. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  755. struct csz_flow *a;
  756. cl--;
  757. if (cl >= CSZ_FLOWS)
  758. return -ENOENT;
  759. if (cl >= CSZ_GUARANTEED || q->flow[cl].L_tab == NULL)
  760. return -EINVAL;
  761. a = &q->flow[cl];
  762. spin_lock_bh(&sch->dev->queue_lock);
  763. a->fprev->fnext = a->fnext;
  764. a->fnext->fprev = a->fprev;
  765. a->sprev->snext = a->snext;
  766. a->snext->sprev = a->sprev;
  767. a->start = a->finish = 0;
  768. kfree(xchg(&q->flow[cl].L_tab, NULL));
  769. spin_unlock_bh(&sch->dev->queue_lock);
  770. return 0;
  771. }
  772. static int csz_dump_class(struct Qdisc *sch, unsigned long cl, struct sk_buff *skb, struct tcmsg *tcm)
  773. {
  774. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  775. unsigned char  *b = skb->tail;
  776. struct rtattr *rta;
  777. struct tc_csz_copt opt;
  778. tcm->tcm_handle = sch->handle|cl;
  779. cl--;
  780. if (cl > CSZ_FLOWS)
  781. goto rtattr_failure;
  782. if (cl < CSZ_GUARANTEED) {
  783. struct csz_flow *f = &q->flow[cl];
  784. if (f->L_tab == NULL)
  785. goto rtattr_failure;
  786. rta = (struct rtattr*)b;
  787. RTA_PUT(skb, TCA_OPTIONS, 0, NULL);
  788. opt.limit = f->limit;
  789. opt.rate = f->rate;
  790. opt.slice = f->slice;
  791. memset(&opt.peakrate, 0, sizeof(opt.peakrate));
  792. #ifdef CSZ_PLUS_TBF
  793. opt.buffer = f->buffer;
  794. opt.mtu = f->mtu;
  795. #else
  796. opt.buffer = 0;
  797. opt.mtu = 0;
  798. #endif
  799. RTA_PUT(skb, TCA_CSZ_PARMS, sizeof(opt), &opt);
  800. rta->rta_len = skb->tail - b;
  801. }
  802. return skb->len;
  803. rtattr_failure:
  804. skb_trim(skb, b - skb->data);
  805. return -1;
  806. }
  807. static void csz_walk(struct Qdisc *sch, struct qdisc_walker *arg)
  808. {
  809. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  810. int prio = 0;
  811. if (arg->stop)
  812. return;
  813. for (prio = 0; prio < CSZ_FLOWS; prio++) {
  814. if (arg->count < arg->skip) {
  815. arg->count++;
  816. continue;
  817. }
  818. if (prio < CSZ_GUARANTEED && q->flow[prio].L_tab == NULL) {
  819. arg->count++;
  820. continue;
  821. }
  822. if (arg->fn(sch, prio+1, arg) < 0) {
  823. arg->stop = 1;
  824. break;
  825. }
  826. arg->count++;
  827. }
  828. }
  829. static struct tcf_proto ** csz_find_tcf(struct Qdisc *sch, unsigned long cl)
  830. {
  831. struct csz_sched_data *q = (struct csz_sched_data *)sch->data;
  832. if (cl)
  833. return NULL;
  834. return &q->filter_list;
  835. }
  836. struct Qdisc_class_ops csz_class_ops =
  837. {
  838. csz_graft,
  839. csz_leaf,
  840. csz_get,
  841. csz_put,
  842. csz_change,
  843. csz_delete,
  844. csz_walk,
  845. csz_find_tcf,
  846. csz_bind,
  847. csz_put,
  848. csz_dump_class,
  849. };
  850. struct Qdisc_ops csz_qdisc_ops =
  851. {
  852. NULL,
  853. &csz_class_ops,
  854. "csz",
  855. sizeof(struct csz_sched_data),
  856. csz_enqueue,
  857. csz_dequeue,
  858. NULL,
  859. NULL,
  860. csz_init,
  861. csz_reset,
  862. csz_destroy,
  863. NULL /* csz_change */,
  864. csz_dump,
  865. };
  866. #ifdef MODULE
  867. int init_module(void)
  868. {
  869. return register_qdisc(&csz_qdisc_ops);
  870. }
  871. void cleanup_module(void) 
  872. {
  873. unregister_qdisc(&csz_qdisc_ops);
  874. }
  875. #endif
  876. MODULE_LICENSE("GPL");