ev6-clear_user.S
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:7k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /*
  2.  * arch/alpha/lib/ev6-clear_user.S
  3.  * 21264 version contributed by Rick Gorton <rick.gorton@alpha-processor.com>
  4.  *
  5.  * Zero user space, handling exceptions as we go.
  6.  *
  7.  * We have to make sure that $0 is always up-to-date and contains the
  8.  * right "bytes left to zero" value (and that it is updated only _after_
  9.  * a successful copy).  There is also some rather minor exception setup
  10.  * stuff.
  11.  *
  12.  * NOTE! This is not directly C-callable, because the calling semantics
  13.  * are different:
  14.  *
  15.  * Inputs:
  16.  * length in $0
  17.  * destination address in $6
  18.  * exception pointer in $7
  19.  * return address in $28 (exceptions expect it there)
  20.  *
  21.  * Outputs:
  22.  * bytes left to copy in $0
  23.  *
  24.  * Clobbers:
  25.  * $1,$2,$3,$4,$5,$6
  26.  *
  27.  * Much of the information about 21264 scheduling/coding comes from:
  28.  * Compiler Writer's Guide for the Alpha 21264
  29.  * abbreviated as 'CWG' in other comments here
  30.  * ftp.digital.com/pub/Digital/info/semiconductor/literature/dsc-library.html
  31.  * Scheduling notation:
  32.  * E - either cluster
  33.  * U - upper subcluster; U0 - subcluster U0; U1 - subcluster U1
  34.  * L - lower subcluster; L0 - subcluster L0; L1 - subcluster L1
  35.  * Try not to change the actual algorithm if possible for consistency.
  36.  * Determining actual stalls (other than slotting) doesn't appear to be easy to do.
  37.  * From perusing the source code context where this routine is called, it is
  38.  * a fair assumption that significant fractions of entire pages are zeroed, so
  39.  * it's going to be worth the effort to hand-unroll a big loop, and use wh64.
  40.  * ASSUMPTION:
  41.  * The believed purpose of only updating $0 after a store is that a signal
  42.  * may come along during the execution of this chunk of code, and we don't
  43.  * want to leave a hole (and we also want to avoid repeating lots of work)
  44.  */
  45. /* Allow an exception for an insn; exit if we get one.  */
  46. #define EX(x,y...)
  47. 99: x,##y;
  48. .section __ex_table,"a";
  49. .gprel32 99b;
  50. lda $31, $exception-99b($31); 
  51. .previous
  52. .set noat
  53. .set noreorder
  54. .align 4
  55. .globl __do_clear_user
  56. .ent __do_clear_user
  57. .frame $30, 0, $28
  58. .prologue 0
  59. # Pipeline info : Slotting & Comments
  60. __do_clear_user:
  61. ldgp $29,0($27) # we do exceptions -- we need the gp.
  62. # Macro instruction becomes ldah/lda
  63. # .. .. E  E :
  64. and $6, 7, $4 # .. E  .. .. : find dest head misalignment
  65. beq $0, $zerolength # U  .. .. .. :  U L U L
  66. addq $0, $4, $1 # .. .. .. E : bias counter
  67. and $1, 7, $2 # .. .. E  .. : number of misaligned bytes in tail
  68. # Note - we never actually use $2, so this is a moot computation
  69. # and we can rewrite this later...
  70. srl $1, 3, $1 # .. E  .. .. : number of quadwords to clear
  71. beq $4, $headalign # U  .. .. .. : U L U L
  72. /*
  73.  * Head is not aligned.  Write (8 - $4) bytes to head of destination
  74.  * This means $6 is known to be misaligned
  75.  */
  76. EX( ldq_u $5, 0($6) ) # .. .. .. L : load dst word to mask back in
  77. beq $1, $onebyte # .. .. U  .. : sub-word store?
  78. mskql $5, $6, $5 # .. U  .. .. : take care of misaligned head
  79. addq $6, 8, $6 # E  .. .. ..  : L U U L
  80. EX( stq_u $5, -8($6) ) # .. .. .. L :
  81. subq $1, 1, $1 # .. .. E  .. :
  82. addq $0, $4, $0 # .. E  .. .. : bytes left -= 8 - misalignment
  83. subq $0, 8, $0 # E  .. .. .. : U L U L
  84. .align 4
  85. /*
  86.  * (The .align directive ought to be a moot point)
  87.  * values upon initial entry to the loop
  88.  * $1 is number of quadwords to clear (zero is a valid value)
  89.  * $2 is number of trailing bytes (0..7) ($2 never used...)
  90.  * $6 is known to be aligned 0mod8
  91.  */
  92. $headalign:
  93. subq $1, 16, $4 # .. .. .. E : If < 16, we can not use the huge loop
  94. and $6, 0x3f, $2 # .. .. E  .. : Forward work for huge loop
  95. subq $2, 0x40, $3 # .. E  .. .. : bias counter (huge loop)
  96. blt $4, $trailquad # U  .. .. .. : U L U L
  97. /*
  98.  * We know that we're going to do at least 16 quads, which means we are
  99.  * going to be able to use the large block clear loop at least once.
  100.  * Figure out how many quads we need to clear before we are 0mod64 aligned
  101.  * so we can use the wh64 instruction.
  102.  */
  103. nop # .. .. .. E
  104. nop # .. .. E  ..
  105. nop # .. E  .. ..
  106. beq $3, $bigalign # U  .. .. .. : U L U L : Aligned 0mod64
  107. $alignmod64:
  108. EX( stq_u $31, 0($6) ) # .. .. .. L
  109. addq $3, 8, $3 # .. .. E  ..
  110. subq $0, 8, $0 # .. E  .. ..
  111. nop # E  .. .. .. : U L U L
  112. nop # .. .. .. E
  113. subq $1, 1, $1 # .. .. E  ..
  114. addq $6, 8, $6 # .. E  .. ..
  115. blt $3, $alignmod64 # U  .. .. .. : U L U L
  116. $bigalign:
  117. /*
  118.  * $0 is the number of bytes left
  119.  * $1 is the number of quads left
  120.  * $6 is aligned 0mod64
  121.  * we know that we'll be taking a minimum of one trip through
  122.  * CWG Section 3.7.6: do not expect a sustained store rate of > 1/cycle
  123.  * We are _not_ going to update $0 after every single store.  That
  124.  * would be silly, because there will be cross-cluster dependencies
  125.  * no matter how the code is scheduled.  By doing it in slightly
  126.  * staggered fashion, we can still do this loop in 5 fetches
  127.  * The worse case will be doing two extra quads in some future execution,
  128.  * in the event of an interrupted clear.
  129.  * Assumes the wh64 needs to be for 2 trips through the loop in the future
  130.  * The wh64 is issued on for the starting destination address for trip +2
  131.  * through the loop, and if there are less than two trips left, the target
  132.  * address will be for the current trip.
  133.  */
  134. nop # E :
  135. nop # E :
  136. nop # E :
  137. bis $6,$6,$3 # E : U L U L : Initial wh64 address is dest
  138. /* This might actually help for the current trip... */
  139. $do_wh64:
  140. wh64 ($3) # .. .. .. L1 : memory subsystem hint
  141. subq $1, 16, $4 # .. .. E  .. : Forward calculation - repeat the loop?
  142. EX( stq_u $31, 0($6) ) # .. L  .. ..
  143. subq $0, 8, $0 # E  .. .. .. : U L U L
  144. addq $6, 128, $3 # E : Target address of wh64
  145. EX( stq_u $31, 8($6) ) # L :
  146. EX( stq_u $31, 16($6) ) # L :
  147. subq $0, 16, $0 # E : U L L U
  148. nop # E :
  149. EX( stq_u $31, 24($6) ) # L :
  150. EX( stq_u $31, 32($6) ) # L :
  151. subq $0, 168, $5 # E : U L L U : two trips through the loop left?
  152. /* 168 = 192 - 24, since we've already completed some stores */
  153. subq $0, 16, $0 # E :
  154. EX( stq_u $31, 40($6) ) # L :
  155. EX( stq_u $31, 48($6) ) # L :
  156. cmovlt $5, $6, $3 # E : U L L U : Latency 2, extra mapping cycle
  157. subq $1, 8, $1 # E :
  158. subq $0, 16, $0 # E :
  159. EX( stq_u $31, 56($6) ) # L :
  160. nop # E : U L U L
  161. nop # E :
  162. subq $0, 8, $0 # E :
  163. addq $6, 64, $6 # E :
  164. bge $4, $do_wh64 # U : U L U L
  165. $trailquad:
  166. # zero to 16 quadwords left to store, plus any trailing bytes
  167. # $1 is the number of quadwords left to go.
  168. nop # .. .. .. E
  169. nop # .. .. E  ..
  170. nop # .. E  .. ..
  171. beq $1, $trailbytes # U  .. .. .. : U L U L : Only 0..7 bytes to go
  172. $onequad:
  173. EX( stq_u $31, 0($6) ) # .. .. .. L
  174. subq $1, 1, $1 # .. .. E  ..
  175. subq $0, 8, $0 # .. E  .. ..
  176. nop # E  .. .. .. : U L U L
  177. nop # .. .. .. E
  178. nop # .. .. E  ..
  179. addq $6, 8, $6 # .. E  .. ..
  180. bgt $1, $onequad # U  .. .. .. : U L U L
  181. # We have an unknown number of bytes left to go.
  182. $trailbytes:
  183. nop # .. .. .. E
  184. nop # .. .. E  ..
  185. nop # .. E  .. ..
  186. beq $0, $zerolength # U  .. .. .. : U L U L
  187. # $0 contains the number of bytes left to copy (0..31)
  188. # so we will use $0 as the loop counter
  189. # We know for a fact that $0 > 0 zero due to previous context
  190. $onebyte:
  191. EX( stb $31, 0($6) ) # .. .. .. L
  192. subq $0, 1, $0 # .. .. E  .. :
  193. addq $6, 1, $6 # .. E  .. .. :
  194. bgt $0, $onebyte # U  .. .. .. : U L U L
  195. $zerolength:
  196. $exception: # Destination for exception recovery(?)
  197. nop # .. .. .. E :
  198. nop # .. .. E  .. :
  199. nop # .. E  .. .. :
  200. ret $31, ($28), 1 # L0 .. .. .. : L U L U
  201. .end __do_clear_user