ev6-memchr.S
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:5k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /*
  2.  * arch/alpha/lib/ev6-memchr.S
  3.  *
  4.  * 21264 version contributed by Rick Gorton <rick.gorton@alpha-processor.com>
  5.  *
  6.  * Finds characters in a memory area.  Optimized for the Alpha:
  7.  *
  8.  *    - memory accessed as aligned quadwords only
  9.  *    - uses cmpbge to compare 8 bytes in parallel
  10.  *    - does binary search to find 0 byte in last
  11.  *      quadword (HAKMEM needed 12 instructions to
  12.  *      do this instead of the 9 instructions that
  13.  *      binary search needs).
  14.  *
  15.  * For correctness consider that:
  16.  *
  17.  *    - only minimum number of quadwords may be accessed
  18.  *    - the third argument is an unsigned long
  19.  *
  20.  * Much of the information about 21264 scheduling/coding comes from:
  21.  * Compiler Writer's Guide for the Alpha 21264
  22.  * abbreviated as 'CWG' in other comments here
  23.  * ftp.digital.com/pub/Digital/info/semiconductor/literature/dsc-library.html
  24.  * Scheduling notation:
  25.  * E - either cluster
  26.  * U - upper subcluster; U0 - subcluster U0; U1 - subcluster U1
  27.  * L - lower subcluster; L0 - subcluster L0; L1 - subcluster L1
  28.  * Try not to change the actual algorithm if possible for consistency.
  29.  */
  30.         .set noreorder
  31.         .set noat
  32. .align 4
  33. .globl memchr
  34. .ent memchr
  35. memchr:
  36. .frame $30,0,$26,0
  37. .prologue 0
  38. # Hack -- if someone passes in (size_t)-1, hoping to just
  39. # search til the end of the address space, we will overflow
  40. # below when we find the address of the last byte.  Given
  41. # that we will never have a 56-bit address space, cropping
  42. # the length is the easiest way to avoid trouble.
  43. zap $18, 0x80, $5 # U : Bound length
  44. beq $18, $not_found # U :
  45.         ldq_u   $1, 0($16) # L : load first quadword Latency=3
  46. and $17, 0xff, $17 # E : L L U U : 00000000000000ch
  47. insbl $17, 1, $2 # U : 000000000000ch00
  48. cmpult $18, 9, $4 # E : small (< 1 quad) string?
  49. or $2, $17, $17 # E : 000000000000chch
  50.         lda     $3, -1($31) # E : U L L U
  51. sll $17, 16, $2 # U : 00000000chch0000
  52. addq $16, $5, $5 # E : Max search address
  53. or $2, $17, $17 # E : 00000000chchchch
  54. sll $17, 32, $2 # U : U L L U : chchchch00000000
  55. or $2, $17, $17 # E : chchchchchchchch
  56. extql $1, $16, $7 # U : $7 is upper bits
  57. beq $4, $first_quad # U :
  58. ldq_u $6, -1($5) # L : L U U L : eight or less bytes to search Latency=3
  59. extqh $6, $16, $6 # U : 2 cycle stall for $6
  60. mov $16, $0 # E :
  61. nop # E :
  62. or $7, $6, $1 # E : L U L U $1 = quadword starting at $16
  63. # Deal with the case where at most 8 bytes remain to be searched
  64. # in $1.  E.g.:
  65. # $18 = 6
  66. # $1 = ????c6c5c4c3c2c1
  67. $last_quad:
  68. negq $18, $6 # E :
  69.         xor $17, $1, $1 # E :
  70. srl $3, $6, $6 # U : $6 = mask of $18 bits set
  71.         cmpbge  $31, $1, $2 # E : L U L U
  72. nop
  73. nop
  74. and $2, $6, $2 # E :
  75.         beq     $2, $not_found # U : U L U L
  76. $found_it:
  77. #if defined(__alpha_fix__) && defined(__alpha_cix__)
  78. /*
  79.  * Since we are guaranteed to have set one of the bits, we don't
  80.  * have to worry about coming back with a 0x40 out of cttz...
  81.  */
  82. cttz $2, $3 # U0 :
  83. addq $0, $3, $0 # E : All done
  84. nop # E :
  85. ret # L0 : L U L U
  86. #else
  87. /*
  88.  * Slow and clunky.  It can probably be improved.
  89.  * An exercise left for others.
  90.  */
  91.         negq    $2, $3 # E :
  92.         and     $2, $3, $2 # E :
  93.         and     $2, 0x0f, $1 # E :
  94.         addq    $0, 4, $3 # E :
  95.         cmoveq  $1, $3, $0 # E : Latency 2, extra map cycle
  96. nop # E : keep with cmov
  97.         and     $2, 0x33, $1 # E :
  98.         addq    $0, 2, $3 # E : U L U L : 2 cycle stall on $0
  99.         cmoveq  $1, $3, $0 # E : Latency 2, extra map cycle
  100. nop # E : keep with cmov
  101.         and     $2, 0x55, $1 # E :
  102.         addq    $0, 1, $3 # E : U L U L : 2 cycle stall on $0
  103.         cmoveq  $1, $3, $0 # E : Latency 2, extra map cycle
  104. nop
  105. nop
  106. ret # L0 : L U L U
  107. #endif
  108. # Deal with the case where $18 > 8 bytes remain to be
  109. # searched.  $16 may not be aligned.
  110. .align 4
  111. $first_quad:
  112. andnot $16, 0x7, $0 # E :
  113.         insqh   $3, $16, $2 # U : $2 = 0000ffffffffffff ($16<0:2> ff)
  114.         xor $1, $17, $1 # E :
  115. or $1, $2, $1 # E : U L U L $1 = ====ffffffffffff
  116.         cmpbge  $31, $1, $2 # E :
  117.         bne     $2, $found_it # U :
  118. # At least one byte left to process.
  119. ldq $1, 8($0) # L :
  120. subq $5, 1, $18 # E : U L U L
  121. addq $0, 8, $0 # E :
  122. # Make $18 point to last quad to be accessed (the
  123. # last quad may or may not be partial).
  124. andnot $18, 0x7, $18 # E :
  125. cmpult $0, $18, $2 # E :
  126. beq $2, $final # U : U L U L
  127. # At least two quads remain to be accessed.
  128. subq $18, $0, $4 # E : $4 <- nr quads to be processed
  129. and $4, 8, $4 # E : odd number of quads?
  130. bne $4, $odd_quad_count # U :
  131. # At least three quads remain to be accessed
  132. mov $1, $4 # E : L U L U : move prefetched value to correct reg
  133. .align 4
  134. $unrolled_loop:
  135. ldq $1, 8($0) # L : prefetch $1
  136. xor $17, $4, $2 # E :
  137. cmpbge $31, $2, $2 # E :
  138. bne $2, $found_it # U : U L U L
  139. addq $0, 8, $0 # E :
  140. nop # E :
  141. nop # E :
  142. nop # E :
  143. $odd_quad_count:
  144. xor $17, $1, $2 # E :
  145. ldq $4, 8($0) # L : prefetch $4
  146. cmpbge $31, $2, $2 # E :
  147. addq $0, 8, $6 # E :
  148. bne $2, $found_it # U :
  149. cmpult $6, $18, $6 # E :
  150. addq $0, 8, $0 # E :
  151. nop # E :
  152. bne $6, $unrolled_loop # U :
  153. mov $4, $1 # E : move prefetched value into $1
  154. nop # E :
  155. nop # E :
  156. $final: subq $5, $0, $18 # E : $18 <- number of bytes left to do
  157. nop # E :
  158. nop # E :
  159. bne $18, $last_quad # U :
  160. $not_found:
  161. mov $31, $0 # E :
  162. nop # E :
  163. nop # E :
  164. ret # L0 :
  165.         .end memchr