开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Windows编程 > 通讯编程 > 查看源码
RAMP
资源名称：ns-allinone-2.33.tar.gz　[点击查看]
上传用户：rrhhcc
上传日期：2015-12-11
资源大小：54129k
文件大小：14k
源码类别：

通讯编程

开发平台：

Visual C++

RAMP：源码内容
  1. #! /bin/sh
  3. #!/usr/bin/tclsh
  5. #
  6. # Copyright (C) 2002 by USC/ISI
  7. # All rights reserved.
  8. #
  9. # Redistribution and use in source and binary forms are permitted
  10. # provided that the above copyright notice and this paragraph are
  11. # duplicated in all such forms and that any documentation, advertising
  12. # materials, and other materials related to such distribution and use
  13. # acknowledge that the software was developed by the University of
  14. # Southern California, Information Sciences Institute.  The name of the
  15. # University may not be used to endorse or promote products derived from
  16. # this software without specific prior written permission.
  17. #
  18. # THIS SOFTWARE IS PROVIDED "AS IS" AND WITHOUT ANY EXPRESS OR IMPLIED
  19. # WARRANTIES, INCLUDING, WITHOUT LIMITATION, THE IMPLIED WARRANTIES OF
  20. # MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE.
  21. #
  22. # RAMP is a set of scripts that take tcpdump trace as input and
  23. # output a set of CDF files that model Web traffic, FTP traffic
  24. # and the underlying topology information including RTT and
  25. # bottleneck bandwidth. It also outputs a time series of 
  26. # traffic size (in 1ms block) for further wavelet scaling analysis
  27. # for detailed explanation of RAMP, please see 
  28. # http://www.isi.edu/~kclan/paper/ramp.pdf 
  29. #
  30. #             usage:
  31. #                  ./RAMP [-c] <tcpdump) trace> <threshold> <network prefix>
  32. #
  33. #                  [-f]            : generate multiple traffic models
  34. #                                    based on filter specified in model.conf
  35. #                  [-c]            : convert trace file from CoralReef to
  36. #                                    tcpdump format
  37. #                  <tcpdump trace> : tcpdump trace file generated using
  38. #                                     tcpdump -w option
  39. #                  <threshold>     : the threshold time value (in millisecond)
  40. #                                    that distinguishes idle periods in order 
  41. #                                    to infer user "think" times between 
  42. #                                    requests for new top-level pages.
  43. #                  <network prefix>: network prefix used to distinguish
  44. #                                    inbound vs. outbound traffic
  45. #
  46. #             example: ./RAMP tracefile 1000 128.9.0.0/255.255.0.0
  47. #
  48. # Currently it's only tested on Linux system
  49. #
  50. # Here is the version of tcpdump we used for testing
  51. # tcpdump version 3.6.3
  52. # libpcap version 0.6
  53. #
  54. # We assume the output of tcpdump with the following format for
  55. # TCP packets
  56. #
  57. # timestamp src > dst: flags data鈥恠eqno ack window urgent options
  58. #
  59. # Note that some version of tcpdump might output with an extra "<"
  60. # i.e.
  61. # timestamp < src > dst: flags data鈥恠eqno ack window urgent options
  62. # 
  63. # which is not compatible with our codes
  64. # One simple workaround is to use the provided remove.pl script
  65. # to remove the extra "<" in the tcpdump output
  66. #
  67. # This work is supported by DARPA through SAMAN Project
  68. # (http://www.isi.edu/saman/), administered by the Space and Naval
  69. # Warfare System Center San Diego under Contract No. N66001-00-C-8066
  70. #
  71. #
  72. #
  74. echo -e
  76. crl=no
  77. if test $1 = -c
  78. then
  79.    if [ -x ./crl_to_pcap ] ; then   
  80.     mv $2 $2.crl
  81.     ./crl_to_pcap -o $2 $2.crl
  82. f=$2
  83. t=$3
  84. p=$4
  85.    else
  86.     echo "CoralReef to Tcpdump converter does not exist!!"
  87. exit 0
  88.    fi
  89. elif test $1 = -f
  90. then
  91.    if [ -e ./model.conf ] ; then
  92.         f=$2
  93.         t=$3
  94.         p=$4
  95.         filter=yes
  96.    else
  97.         echo "model.conf does not exist!!"
  98.         exit 0
  99.    fi
  100. else
  101. f=$1
  102. t=$2
  103. p=$3
  105. fi
  107. TCPDUMP=/usr/sbin/tcpdump
  110. #preprocessing the trace file
  111. date
  112. echo "***  parsing $tcpdump file  ***"
  113. echo "***  parsing .all  ***"
  114. $TCPDUMP -nn -tt -q -r $f  > $f.all
  115. $TCPDUMP -nn -tt tcp -r $f  > $f.tcp
  116. date
  117. echo "***  parsing .www  ***"
  118. $TCPDUMP -nn -tt -r $f tcp port 80 > $f.www
  122. #extrace FTP data connections from the trace
  123. date
  124. echo "***  parsing .ftp  ***"
  125. $TCPDUMP -nn -tt -r $f port ftp  > $f.ftp1
  127. cat $f.ftp1 | getftpnode.pl
  129. #find the IP address of FTP clients
  130. cat $f.ftp1 | getFTPclient.pl  > $f.ftp2
  132. cat  $f.tcp | getFTP.pl -r $f.ftp2 > $f.ftp
  137. #extract tcp flows from Web server
  138. date
  139. echo "***  parsing .http-srv  ***"
  140. $TCPDUMP -nn -tt -r $f tcp src port 80 > $f.http-srv
  145. #date
  146. #echo "***  analyze traffic mix  ***"
  147. #cat $f.all | io.pl -s $p  -w $f.all
  148. #cat $f.all.inbound | traffic-classify > $f.traffic.cnt.inbound
  149. #cat $f.all.outbound | traffic-classify > $f.traffic.cnt.outbound
  151. #date
  152. #echo "***  analyze flow statistics  ***"
  153. #awk -f flow.awk < $f.all.outbound > $f.all.outbound.flow
  154. #awk -f flow.awk < $f.all.inbound > $f.all.inbound.flow
  155. #sort -s -o $f.all.outbound.flow.sort -T /tmp $f.all.outbound.flow
  156. #sort -s -o $f.all.inbound.flow.sort -T /tmp $f.all.inbound.flow
  157. #cat $f.all.outbound.flow.sort | flow.pl -w $f.outbound.flow
  158. #cat $f.all.inbound.flow.sort | flow.pl -w $f.inbound.flow
  159. #sort -s -o $f.inbound.flow.start.sort $f.inbound.flow.start
  160. #sort -s -o $f.outbound.flow.start.sort $f.outbound.flow.start
  161. #awk -f arrive2inter.awk < $f.outbound.flow.start.sort > $f.outbound.flow.arrival
  162. #awk -f arrive2inter.awk < $f.inbound.flow.start.sort > $f.inbound.flow.arrival
  163. #dat2cdf -e 1024 -i 1024 -d 1024 -t $f.outbound.flow.size
  164. #dat2cdf -e 1024 -i 1024 -d 1024 -t $f.inbound.flow.size
  165. #dat2cdf -e 0 -i 1 -d 1 -t $f.outbound.flow.dur
  166. #dat2cdf -e 0 -i 1 -d 1 -t $f.inbound.flow.dur
  167. #dat2cdf -e 0 -i 0.001 -d 1 -t $f.outbound.flow.arrival
  168. #dat2cdf -e 0 -i 0.001 -d 1 -t $f.inbound.flow.arrival
  172. #seperate inbound and outbound flows in web traffic
  173. date
  174. echo "WWW"
  175. cat $f.www | io.www.pl -s $p  -w $f.www
  176. cat $f.http-srv | io.www.pl -s $p  -w $f.http-srv
  180. #seperate inbound and outbound flows in FTP traffic
  181. date
  182. echo "FTP"
  183. cat $f.ftp | io.pl -s $p  -w $f.ftp
  186. if test "$filter" = yes; then
  187.         cat model.conf | wmodel.pl -r $f.http-srv.inbound -t $t
  188.         cat model.conf | fmodel.pl -r $f.ftp
  189.         getftpserver.pl
  190.         exit 0
  191. fi
  193. ################################################################
  195. #please read output_format.pdf and trace_processing.pdf included in
  196. # this package for detailed explanation of the follwing commands
  198. /bin/rm -rf *.time-series
  199. /bin/rm -rf *connect.time*
  202. date
  203. echo "***  Analyze Inbound traffic  ***"
  205. #output the summary of http connections
  206. echo "run http_connect"
  207. sort -s -o $f.in.http-srv-sort +1 -2 +3 -4 +0 -1 -T /tmp $f.http-srv.inbound
  208. http_connect -r $f.in.http-srv-sort -w $f.in.http-srv.connect
  209. grep "ACT" $f.in.http-srv.connect > $f.in.http-srv.connect.time
  210. sort $f.in.http-srv.connect.time > $f.in.http-srv.connect.time.sort
  212. #output the summary of http client request and server response 
  213. date
  214. echo "run http_active"
  215. sort -s -o $f.in.http-srv.connect.sort +1 -2 +0 -1 -T /tmp $f.in.http-srv.connect
  216. http_active -r $f.in.http-srv.connect.sort -w $f.in.http-srv.active -I $t
  218. #output statistical distribution of web traffic
  219. #in particular the distributions of the following parameters
  220. #(a) session inter-arrival
  221. #(b) number of pages per session
  222. #(c) page inter-arrival
  223. #(d) page size
  224. #(e) object inter-arrival
  225. #(f) object size
  226. #(g) request size
  227. #(h) ratio between persistent and non-persistent connection
  228. #(i) server popularity        
  229. date
  230. echo "compute CDF statistics"
  231. cat $f.in.http-srv.active.activity | outputCDF -e inbound
  233. #output the time series of web traffic usage in 1ms block 
  234. #for later use of wavelet scaling analysis
  235. date
  236. echo "compute time series (1ms block)"
  237. bw.tcl $f.http-srv.inbound
  238. cat $f.http-srv.inbound.bw | time-series.pl > $f.in.time-series
  242. date
  243. echo "***  Analyze Outbound traffic  ***"
  245. #output the summary of http connections
  246. echo "run http_connect"
  247. sort -s -o $f.out.http-srv-sort +1 -2 +3 -4 +0 -1 -T /tmp $f.http-srv.outbound
  248. http_connect -r $f.out.http-srv-sort -w $f.out.http-srv.connect
  249. grep "ACT" $f.out.http-srv.connect > $f.out.http-srv.connect.time
  250. sort $f.out.http-srv.connect.time > $f.out.http-srv.connect.time.sort
  252. #output the summary of http client request and server response 
  253. date
  254. echo "run http_active"
  255. sort -s -o $f.out.http-srv.connect.sort +1 -2 +0 -1 -T /tmp $f.out.http-srv.connect
  256. http_active -r $f.out.http-srv.connect.sort -w $f.out.http-srv.active -I $t
  258. date
  259. echo "compute CDF statistics of web traffic"
  260. cat $f.out.http-srv.active.activity | outputCDF -e outbound
  262. #output the time series of web traffic usage in 1ms block 
  263. #for later use of wavelet scaling analysis
  264. date
  265. echo "compute time series (1ms block)"
  266. bw.tcl $f.http-srv.outbound
  267. cat $f.http-srv.outbound.bw | time-series.pl > $f.out.time-series
  269. #################################################################
  271. echo "***  Delay and Bandwidth estimation  ***"
  273. echo "Estimate delay and bottleneck bandwidth for WWW traffic"
  275. date
  276. echo "pre-processing: output traffic between web servers and clients"
  277. cat $f.www | BW-seq.pl -s $p -p 80 
  278. sort inbound.seq -o inbound.seq.sorted
  279. sort outbound.seq -o outbound.seq.sorted
  281. date
  282. echo "search for DATA/ACK packets which have the same seqence number for outboun
  283. d traffic"
  284. cat outbound.seq.sorted | BW-pair.pl > $f.outbound.pair
  286. date
  287. echo "estimate the bandwidth for inbound/outbound traffic"
  288. cat $f.outbound.pair | BW.out.pl -w $f.www
  289. cat inbound.seq.sorted | BW.in.pl -w $f.www
  291. dat2cdf -e 0 -i 0.001 -d 1 -t $f.www.outbound.BW
  292. dat2cdf -e 0 -i 0.001 -d 1 -t $f.www.inbound.BW
  293. dat2cdf -e 0 -i 0.001 -d 1 -t $f.www.outbound.delay
  295. date
  296. echo "compute packet size distribution"
  297. sort -o inbound.pkt.size.sort inbound.pkt.size
  298. sort -o outbound.pkt.size.sort outbound.pkt.size
  299. awk -f pkt.awk < inbound.pkt.size.sort > $f.www.inbound.pktsize
  300. awk -f pkt.awk < outbound.pkt.size.sort > $f.www.outbound.pktsize
  301. dat2cdf -e 0 -i 1 -d 1 -t $f.www.inbound.pktsize
  302. dat2cdf -e 0 -i 1 -d 1 -t $f.www.outbound.pktsize
  304. date
  305. echo "Locate SYN connection"
  306. cat $f.www | delay.pl -p 80 > $f.www.sync
  307. sort -s -o $f.www.sync.sorted -T /tmp $f.www.sync
  309. date
  310. echo "compute delay for each SYN connection pair between servers and clients"
  311. pair.tcl $f.www.sync.sorted $p >  $f.www.sync.delay
  312. sort -s -o $f.www.sync.delay.sorted -T /tmp $f.www.sync.delay
  313. awk -f delay.awk < $f.www.sync.delay.sorted > $f.www.inbound.delay
  315. dat2cdf -e 0 -i 0.001 -d 1 -t $f.www.inbound.delay
  317. ##########################################################
  320. echo "Estimate delay and bottleneck bandwidth for FTP traffic"
  322. date
  323. echo "pre-processing: output traffic between ftp servers and clients"
  324. cat  $f.ftp | BW-seq-ftp.pl -r $f.ftp2 -s $p
  325. sort inbound.seq -o inbound.seq.sorted
  326. sort outbound.seq -o outbound.seq.sorted
  328. date
  329. echo "search for DATA/ACK packets which have the same seqence number for outboun
  330. d traffic"
  331. cat outbound.seq.sorted | BW-pair.pl > $f.outbound.pair
  333. date
  334. echo "estimate the bandwidth for inbound/outbound traffic"
  335. cat $f.outbound.pair | BW.out.pl -w $f.ftp
  336. cat inbound.seq.sorted | BW.in.pl -w $f.ftp
  338. dat2cdf -e 0 -i 0.001 -d 1 -t $f.ftp.outbound.BW
  339. dat2cdf -e 0 -i 0.001 -d 1 -t $f.ftp.inbound.BW
  340. dat2cdf -e 0 -i 0.001 -d 1 -t $f.ftp.outbound.delay
  342. date
  343. echo "Locate SYN connection"
  344. cat $f.ftp | delay.pl -p 21 > $f.sync
  345. sort -s -o $f.sync.sorted -T /tmp $f.sync
  347. date
  348. echo "compute delay for each SYN connection pair between servers and clients"
  349. pair.tcl $f.sync.sorted $p >  $f.sync.delay
  350. sort -s -o $f.sync.delay.sorted -T /tmp $f.sync.delay
  351. awk -f delay.awk < $f.sync.delay.sorted > $f.ftp.inbound.delay
  353. dat2cdf -e 0 -i 0.001 -d 1 -t $f.ftp.inbound.delay
  355. ###########################################################
  359. #compuate statistical distribution of FTP trafic
  360. #specifically the follwoing parameters in FTP model
  361. # (1) ftp file arrival
  362. # (2) number of files per ftp session
  363. # (3) flie size
  364. echo "Output flow statistics for FTP traffic"
  365. date
  367. echo "estimate file distribution of outbound FTP traffic"
  368. cat $f.ftp.outbound | awk -f ftp.awk | sort > $f.ftp.outbound.flow.sort
  369. cat $f.ftp.outbound.flow.sort | ftp.pl -w $f.ftp.outbound
  370. sort -o $f.ftp.outbound.arrive.sort $f.ftp.outbound.arrive
  371. awk -f ftp.arrive.awk < $f.ftp.outbound.arrive.sort > $f.ftp.outbound.file.inter
  373. echo "estimate file distribution of inbound FTP traffic"
  374. cat $f.ftp.inbound | awk -f ftp.awk | sort > $f.ftp.inbound.flow.sort
  375. cat $f.ftp.inbound.flow.sort | ftp.pl -w $f.ftp.inbound
  376. sort -o $f.ftp.inbound.arrive.sort $f.ftp.inbound.arrive
  377. awk -f ftp.arrive.awk < $f.ftp.inbound.arrive.sort > $f.ftp.inbound.file.inter
  379. dat2cdf -e 0 -i 0.001 -d 1 -t $f.ftp.outbound.file.inter 
  380. dat2cdf -e 0 -i 1000 -d 1000 -t $f.ftp.outbound.size
  381. dat2cdf -e 0 -i 1 -d 1 -t $f.ftp.outbound.fileno
  382. dat2cdf -e 0 -i 0.001 -d 1 -t $f.ftp.inbound.file.inter
  383. dat2cdf -e 0 -i 1000 -d 1000 -t $f.ftp.inbound.size
  384. dat2cdf -e 0 -i 1 -d 1 -t $f.ftp.inbound.fileno       
  387. ######################################
  388. echo "Output TCP window size"
  389. date
  391. echo "WWW"
  392. grep " S " $f.www.outbound | grep ".80 >" > $f.www.outbound.svr.win
  393. grep " S " $f.www.inbound | grep ".80 >" > $f.www.inbound.svr.win
  394. grep " S " $f.www.outbound | grep ".80:" > $f.www.outbound.clnt.win
  395. grep " S " $f.www.inbound | grep ".80:" > $f.www.inbound.clnt.win
  396. awk -f win.awk < $f.www.outbound.svr.win > $f.www.outbound.wins
  397. awk -f win.awk < $f.www.inbound.svr.win > $f.www.inbound.wins
  398. awk -f win.awk < $f.www.outbound.clnt.win > $f.www.outbound.winc
  399. awk -f win.awk < $f.www.inbound.clnt.win > $f.www.inbound.winc
  400. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.www.outbound.wins
  401. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.www.outbound.winc
  402. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.www.inbound.wins
  403. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.www.inbound.winc
  405. echo "FTP"
  406. grep " S " $f.ftp.outbound | grep ".20 >" > $f.ftp.outbound.svr.win
  407. grep " S " $f.ftp.inbound | grep ".20 >" > $f.ftp.inbound.svr.win
  408. grep " S " $f.ftp.outbound | grep ".20:" > $f.ftp.outbound.clnt.win
  409. grep " S " $f.ftp.inbound | grep ".20:" > $f.ftp.inbound.clnt.win
  410. awk -f win.awk < $f.ftp.outbound.svr.win > $f.ftp.outbound.wins
  411. awk -f win.awk < $f.ftp.inbound.svr.win > $f.ftp.inbound.wins
  412. awk -f win.awk < $f.ftp.outbound.clnt.win > $f.ftp.outbound.winc
  413. awk -f win.awk < $f.ftp.inbound.clnt.win > $f.ftp.inbound.winc
  414. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.ftp.outbound.wins
  415. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.ftp.outbound.winc
  416. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.ftp.inbound.wins
  417. dat2cdf -e 1024 -i 1024 -d 1024 -t $f.ftp.inbound.winc
  420. date
  421. echo "execution complete"