开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Linux/Unix编程 > 查看源码
memcpy.S
资源名称：linux-2.4.20.tar.gz　[点击查看]
上传用户：jlfgdled
上传日期：2013-04-10
资源大小：33168k
文件大小：23k
源码类别：

Linux/Unix编程

开发平台：

Unix_Linux

memcpy.S：源码内容
  1. /* memcpy.S: Sparc optimized memcpy, bcopy and memmove code
  2.  * Hand optimized from GNU libc's memcpy, bcopy and memmove
  3.  * Copyright (C) 1991,1996 Free Software Foundation
  4.  * Copyright (C) 1995 Linus Torvalds (Linus.Torvalds@helsinki.fi)
  5.  * Copyright (C) 1996 David S. Miller (davem@caip.rutgers.edu)
  6.  * Copyright (C) 1996 Eddie C. Dost (ecd@skynet.be)
  7.  * Copyright (C) 1996 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
  8.  */
  10. #ifdef __KERNEL__
  12. #include <asm/cprefix.h>
  14. #define FUNC(x) 
  15. .globl C_LABEL(x);
  16. .type C_LABEL(x),@function;
  17. .align 4;
  18. C_LABEL(x):
  20. #undef FASTER_REVERSE
  21. #undef FASTER_NONALIGNED
  22. #define FASTER_ALIGNED
  24. /* In kernel these functions don't return a value.
  25.  * One should use macros in asm/string.h for that purpose.
  26.  * We return 0, so that bugs are more apparent.
  27.  */
  28. #define SETUP_RETL
  29. #define RETL_INSN clr %o0
  31. #else
  33. /* libc */
  35. #include "DEFS.h"
  37. #define FASTER_REVERSE
  38. #define FASTER_NONALIGNED
  39. #define FASTER_ALIGNED
  41. #define SETUP_RETL mov %o0, %g6
  42. #define RETL_INSN mov %g6, %o0
  44. #endif
  46. /* Both these macros have to start with exactly the same insn */
  47. #define MOVE_BIGCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) 
  48. ldd [%src + offset + 0x00], %t0; 
  49. ldd [%src + offset + 0x08], %t2; 
  50. ldd [%src + offset + 0x10], %t4; 
  51. ldd [%src + offset + 0x18], %t6; 
  52. st %t0, [%dst + offset + 0x00]; 
  53. st %t1, [%dst + offset + 0x04]; 
  54. st %t2, [%dst + offset + 0x08]; 
  55. st %t3, [%dst + offset + 0x0c]; 
  56. st %t4, [%dst + offset + 0x10]; 
  57. st %t5, [%dst + offset + 0x14]; 
  58. st %t6, [%dst + offset + 0x18]; 
  59. st %t7, [%dst + offset + 0x1c];
  61. #define MOVE_BIGALIGNCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) 
  62. ldd [%src + offset + 0x00], %t0; 
  63. ldd [%src + offset + 0x08], %t2; 
  64. ldd [%src + offset + 0x10], %t4; 
  65. ldd [%src + offset + 0x18], %t6; 
  66. std %t0, [%dst + offset + 0x00]; 
  67. std %t2, [%dst + offset + 0x08]; 
  68. std %t4, [%dst + offset + 0x10]; 
  69. std %t6, [%dst + offset + 0x18];
  71. #define MOVE_LASTCHUNK(src, dst, offset, t0, t1, t2, t3) 
  72. ldd [%src - offset - 0x10], %t0; 
  73. ldd [%src - offset - 0x08], %t2; 
  74. st %t0, [%dst - offset - 0x10]; 
  75. st %t1, [%dst - offset - 0x0c]; 
  76. st %t2, [%dst - offset - 0x08]; 
  77. st %t3, [%dst - offset - 0x04];
  79. #define MOVE_LASTALIGNCHUNK(src, dst, offset, t0, t1, t2, t3) 
  80. ldd [%src - offset - 0x10], %t0; 
  81. ldd [%src - offset - 0x08], %t2; 
  82. std %t0, [%dst - offset - 0x10]; 
  83. std %t2, [%dst - offset - 0x08];
  85. #define MOVE_SHORTCHUNK(src, dst, offset, t0, t1) 
  86. ldub [%src - offset - 0x02], %t0; 
  87. ldub [%src - offset - 0x01], %t1; 
  88. stb %t0, [%dst - offset - 0x02]; 
  89. stb %t1, [%dst - offset - 0x01];
  91. /* Both these macros have to start with exactly the same insn */
  92. #define RMOVE_BIGCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) 
  93. ldd [%src - offset - 0x20], %t0; 
  94. ldd [%src - offset - 0x18], %t2; 
  95. ldd [%src - offset - 0x10], %t4; 
  96. ldd [%src - offset - 0x08], %t6; 
  97. st %t0, [%dst - offset - 0x20]; 
  98. st %t1, [%dst - offset - 0x1c]; 
  99. st %t2, [%dst - offset - 0x18]; 
  100. st %t3, [%dst - offset - 0x14]; 
  101. st %t4, [%dst - offset - 0x10]; 
  102. st %t5, [%dst - offset - 0x0c]; 
  103. st %t6, [%dst - offset - 0x08]; 
  104. st %t7, [%dst - offset - 0x04];
  106. #define RMOVE_BIGALIGNCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) 
  107. ldd [%src - offset - 0x20], %t0; 
  108. ldd [%src - offset - 0x18], %t2; 
  109. ldd [%src - offset - 0x10], %t4; 
  110. ldd [%src - offset - 0x08], %t6; 
  111. std %t0, [%dst - offset - 0x20]; 
  112. std %t2, [%dst - offset - 0x18]; 
  113. std %t4, [%dst - offset - 0x10]; 
  114. std %t6, [%dst - offset - 0x08];
  116. #define RMOVE_LASTCHUNK(src, dst, offset, t0, t1, t2, t3) 
  117. ldd [%src + offset + 0x00], %t0; 
  118. ldd [%src + offset + 0x08], %t2; 
  119. st %t0, [%dst + offset + 0x00]; 
  120. st %t1, [%dst + offset + 0x04]; 
  121. st %t2, [%dst + offset + 0x08]; 
  122. st %t3, [%dst + offset + 0x0c];
  124. #define RMOVE_SHORTCHUNK(src, dst, offset, t0, t1) 
  125. ldub [%src + offset + 0x00], %t0; 
  126. ldub [%src + offset + 0x01], %t1; 
  127. stb %t0, [%dst + offset + 0x00]; 
  128. stb %t1, [%dst + offset + 0x01];
  130. #define SMOVE_CHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, prev, shil, shir, offset2) 
  131. ldd [%src + offset + 0x00], %t0; 
  132. ldd [%src + offset + 0x08], %t2; 
  133. srl %t0, shir, %t5; 
  134. srl %t1, shir, %t6; 
  135. sll %t0, shil, %t0; 
  136. or %t5, %prev, %t5; 
  137. sll %t1, shil, %prev; 
  138. or %t6, %t0, %t0; 
  139. srl %t2, shir, %t1; 
  140. srl %t3, shir, %t6; 
  141. sll %t2, shil, %t2; 
  142. or %t1, %prev, %t1; 
  143. std %t4, [%dst + offset + offset2 - 0x04]; 
  144. std %t0, [%dst + offset + offset2 + 0x04];
  145. sll %t3, shil, %prev; 
  146. or %t6, %t2, %t4;
  148. #define SMOVE_ALIGNCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, prev, shil, shir, offset2) 
  149. ldd [%src + offset + 0x00], %t0; 
  150. ldd [%src + offset + 0x08], %t2; 
  151. srl %t0, shir, %t4; 
  152. srl %t1, shir, %t5; 
  153. sll %t0, shil, %t6; 
  154. or %t4, %prev, %t0; 
  155. sll %t1, shil, %prev; 
  156. or %t5, %t6, %t1; 
  157. srl %t2, shir, %t4; 
  158. srl %t3, shir, %t5; 
  159. sll %t2, shil, %t6; 
  160. or %t4, %prev, %t2; 
  161. sll %t3, shil, %prev; 
  162. or %t5, %t6, %t3;
  163. std %t0, [%dst + offset + offset2 + 0x00]; 
  164. std %t2, [%dst + offset + offset2 + 0x08];
  166. .text
  167. .align 4
  169. #ifdef FASTER_REVERSE
  171. 70: /* rdword_align */
  173. andcc %o1, 1, %g0
  174. be 4f
  175.  andcc %o1, 2, %g0
  177. ldub [%o1 - 1], %g2
  178. sub %o1, 1, %o1
  179. stb %g2, [%o0 - 1]
  180. sub %o2, 1, %o2
  181. be 3f
  182.  sub %o0, 1, %o0
  183. 4:
  184. lduh [%o1 - 2], %g2
  185. sub %o1, 2, %o1
  186. sth %g2, [%o0 - 2]
  187. sub %o2, 2, %o2
  188. b 3f
  189.  sub %o0, 2, %o0
  191. #endif /* FASTER_REVERSE */
  193. 0:
  194. retl
  195.  nop ! Only bcopy returns here and it retuns void...
  197. FUNC(bcopy)
  198. mov %o0, %o3
  199. mov %o1, %o0
  200. mov %o3, %o1
  201. tst %o2
  202. bcs 0b
  203.  /* Do the cmp in the delay slot */
  204. #ifdef __KERNEL__
  205. FUNC(amemmove)
  206. FUNC(__memmove)
  207. #endif
  208. FUNC(memmove)
  209. cmp %o0, %o1
  210. SETUP_RETL
  211. bleu 9f
  212.  sub %o0, %o1, %o4
  214. add %o1, %o2, %o3
  215. cmp %o3, %o0
  216. bleu 0f
  217.  andcc %o4, 3, %o5
  219. #ifndef FASTER_REVERSE
  221. add %o1, %o2, %o1
  222. add %o0, %o2, %o0
  223. sub %o1, 1, %o1
  224. sub %o0, 1, %o0
  226. 1: /* reverse_bytes */
  228. ldub [%o1], %o4
  229. subcc %o2, 1, %o2
  230. stb %o4, [%o0]
  231. sub %o1, 1, %o1
  232. bne 1b
  233.  sub %o0, 1, %o0
  235. retl
  236.  RETL_INSN
  238. #else /* FASTER_REVERSE */
  240. add %o1, %o2, %o1
  241. add %o0, %o2, %o0
  242. bne 77f
  243.  cmp %o2, 15
  244. bleu 91f
  245.  andcc %o1, 3, %g0
  246. bne 70b
  247. 3:
  248.  andcc %o1, 4, %g0
  250. be 2f
  251.  mov %o2, %g1
  253. ld [%o1 - 4], %o4
  254. sub %g1, 4, %g1
  255. st %o4, [%o0 - 4]
  256. sub %o1, 4, %o1
  257. sub %o0, 4, %o0
  258. 2:
  259. andcc %g1, 0xffffff80, %g7
  260. be 3f
  261.  andcc %o0, 4, %g0
  263. be 74f + 4
  264. 5:
  265. RMOVE_BIGCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
  266. RMOVE_BIGCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
  267. RMOVE_BIGCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
  268. RMOVE_BIGCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
  269. subcc %g7, 128, %g7
  270. sub %o1, 128, %o1
  271. bne 5b
  272.  sub %o0, 128, %o0
  273. 3:
  274. andcc %g1, 0x70, %g7
  275. be 72f
  276.  andcc %g1, 8, %g0
  278. sethi %hi(72f), %o5
  279. srl %g7, 1, %o4
  280. add %g7, %o4, %o4
  281. sub %o1, %g7, %o1
  282. sub %o5, %o4, %o5
  283. jmpl %o5 + %lo(72f), %g0
  284.  sub %o0, %g7, %o0
  286. 71: /* rmemcpy_table */
  287. RMOVE_LASTCHUNK(o1, o0, 0x60, g2, g3, g4, g5)
  288. RMOVE_LASTCHUNK(o1, o0, 0x50, g2, g3, g4, g5)
  289. RMOVE_LASTCHUNK(o1, o0, 0x40, g2, g3, g4, g5)
  290. RMOVE_LASTCHUNK(o1, o0, 0x30, g2, g3, g4, g5)
  291. RMOVE_LASTCHUNK(o1, o0, 0x20, g2, g3, g4, g5)
  292. RMOVE_LASTCHUNK(o1, o0, 0x10, g2, g3, g4, g5)
  293. RMOVE_LASTCHUNK(o1, o0, 0x00, g2, g3, g4, g5)
  295. 72: /* rmemcpy_table_end */
  297. be 73f
  298.  andcc %g1, 4, %g0
  300. ldd [%o1 - 0x08], %g2
  301. sub %o0, 8, %o0
  302. sub %o1, 8, %o1
  303. st %g2, [%o0]
  304. st %g3, [%o0 + 0x04]
  306. 73: /* rmemcpy_last7 */
  308. be 1f
  309.  andcc %g1, 2, %g0
  311. ld [%o1 - 4], %g2
  312. sub %o1, 4, %o1
  313. st %g2, [%o0 - 4]
  314. sub %o0, 4, %o0
  315. 1:
  316. be 1f
  317.  andcc %g1, 1, %g0
  319. lduh [%o1 - 2], %g2
  320. sub %o1, 2, %o1
  321. sth %g2, [%o0 - 2]
  322. sub %o0, 2, %o0
  323. 1:
  324. be 1f
  325.  nop
  327. ldub [%o1 - 1], %g2
  328. stb %g2, [%o0 - 1]
  329. 1:
  330. retl
  331.    RETL_INSN
  333. 74: /* rldd_std */
  334. RMOVE_BIGALIGNCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
  335. RMOVE_BIGALIGNCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
  336. RMOVE_BIGALIGNCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
  337. RMOVE_BIGALIGNCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
  338. subcc %g7, 128, %g7
  339. sub %o1, 128, %o1
  340. bne 74b
  341.  sub %o0, 128, %o0
  343. andcc %g1, 0x70, %g7
  344. be 72b
  345.  andcc %g1, 8, %g0
  347. sethi %hi(72b), %o5
  348. srl %g7, 1, %o4
  349. add %g7, %o4, %o4
  350. sub %o1, %g7, %o1
  351. sub %o5, %o4, %o5
  352. jmpl %o5 + %lo(72b), %g0
  353.  sub %o0, %g7, %o0
  355. 75: /* rshort_end */
  357. and %o2, 0xe, %o3
  358. 2:
  359. sethi %hi(76f), %o5
  360. sll %o3, 3, %o4
  361. sub %o0, %o3, %o0
  362. sub %o5, %o4, %o5
  363. sub %o1, %o3, %o1
  364. jmpl %o5 + %lo(76f), %g0
  365.  andcc %o2, 1, %g0
  367. RMOVE_SHORTCHUNK(o1, o0, 0x0c, g2, g3)
  368. RMOVE_SHORTCHUNK(o1, o0, 0x0a, g2, g3)
  369. RMOVE_SHORTCHUNK(o1, o0, 0x08, g2, g3)
  370. RMOVE_SHORTCHUNK(o1, o0, 0x06, g2, g3)
  371. RMOVE_SHORTCHUNK(o1, o0, 0x04, g2, g3)
  372. RMOVE_SHORTCHUNK(o1, o0, 0x02, g2, g3)
  373. RMOVE_SHORTCHUNK(o1, o0, 0x00, g2, g3)
  375. 76: /* rshort_table_end */
  377. be 1f
  378.  nop
  379. ldub [%o1 - 1], %g2
  380. stb %g2, [%o0 - 1]
  381. 1:
  382. retl
  383.    RETL_INSN
  385. 91: /* rshort_aligned_end */
  387. bne 75b
  388.  andcc %o2, 8, %g0
  390. be 1f
  391.  andcc %o2, 4, %g0
  393. ld [%o1 - 0x08], %g2
  394. ld [%o1 - 0x04], %g3
  395. sub %o1, 8, %o1
  396. st %g2, [%o0 - 0x08]
  397. st %g3, [%o0 - 0x04]
  398. sub %o0, 8, %o0
  399. 1:
  400. b 73b
  401.  mov %o2, %g1
  403. 77: /* rnon_aligned */
  404. cmp %o2, 15
  405. bleu 75b
  406.  andcc %o0, 3, %g0
  407. be 64f
  408.  andcc %o0, 1, %g0
  409. be 63f
  410.  andcc %o0, 2, %g0
  411. ldub [%o1 - 1], %g5
  412. sub %o1, 1, %o1
  413. stb %g5, [%o0 - 1]
  414. sub %o0, 1, %o0
  415. be 64f
  416.  sub %o2, 1, %o2
  417. 63:
  418. ldub [%o1 - 1], %g5
  419. sub %o1, 2, %o1
  420. stb %g5, [%o0 - 1]
  421. sub %o0, 2, %o0
  422. ldub [%o1], %g5
  423. sub %o2, 2, %o2
  424. stb %g5, [%o0]
  425. 64:
  426. and %o1, 3, %g2
  427. and %o1, -4, %o1
  428. and %o2, 0xc, %g3
  429. add %o1, 4, %o1
  430. cmp %g3, 4
  431. sll %g2, 3, %g4
  432. mov 32, %g2
  433. be 4f
  434.  sub %g2, %g4, %g7
  436. blu 3f
  437.  cmp %g3, 8
  439. be 2f
  440.  srl %o2, 2, %g3
  442. ld [%o1 - 4], %o3
  443. add %o0, -8, %o0
  444. ld [%o1 - 8], %o4
  445. add %o1, -16, %o1
  446. b 7f
  447.  add %g3, 1, %g3
  448. 2:
  449. ld [%o1 - 4], %o4
  450. add %o0, -4, %o0
  451. ld [%o1 - 8], %g1
  452. add %o1, -12, %o1
  453. b 8f
  454.  add %g3, 2, %g3
  455. 3:
  456. ld [%o1 - 4], %o5
  457. add %o0, -12, %o0
  458. ld [%o1 - 8], %o3
  459. add %o1, -20, %o1
  460. b 6f
  461.  srl %o2, 2, %g3
  462. 4:
  463. ld [%o1 - 4], %g1
  464. srl %o2, 2, %g3
  465. ld [%o1 - 8], %o5
  466. add %o1, -24, %o1
  467. add %o0, -16, %o0
  468. add %g3, -1, %g3
  470. ld [%o1 + 12], %o3
  471. 5:
  472. sll %o5, %g4, %g2
  473. srl %g1, %g7, %g5
  474. or %g2, %g5, %g2
  475. st %g2, [%o0 + 12]
  476. 6:
  477. ld [%o1 + 8], %o4
  478. sll %o3, %g4, %g2
  479. srl %o5, %g7, %g5
  480. or %g2, %g5, %g2
  481. st %g2, [%o0 + 8]
  482. 7:
  483. ld [%o1 + 4], %g1
  484. sll %o4, %g4, %g2
  485. srl %o3, %g7, %g5
  486. or %g2, %g5, %g2
  487. st %g2, [%o0 + 4]
  488. 8:
  489. ld [%o1], %o5
  490. sll %g1, %g4, %g2
  491. srl %o4, %g7, %g5
  492. addcc %g3, -4, %g3
  493. or %g2, %g5, %g2
  494. add %o1, -16, %o1
  495. st %g2, [%o0]
  496. add %o0, -16, %o0
  497. bne,a 5b
  498.  ld [%o1 + 12], %o3
  499. sll %o5, %g4, %g2
  500. srl %g1, %g7, %g5
  501. srl %g4, 3, %g3
  502. or %g2, %g5, %g2
  503. add %o1, %g3, %o1
  504. andcc %o2, 2, %g0
  505. st %g2, [%o0 + 12]
  506. be 1f
  507.  andcc %o2, 1, %g0
  509. ldub [%o1 + 15], %g5
  510. add %o1, -2, %o1
  511. stb %g5, [%o0 + 11]
  512. add %o0, -2, %o0
  513. ldub [%o1 + 16], %g5
  514. stb %g5, [%o0 + 12]
  515. 1:
  516. be 1f
  517.  nop
  518. ldub [%o1 + 15], %g5
  519. stb %g5, [%o0 + 11]
  520. 1:
  521. retl
  522.  RETL_INSN
  524. #endif /* FASTER_REVERSE */
  526. /* NOTE: This code is executed just for the cases,
  527.          where %src (=%o1) & 3 is != 0.
  528.  We need to align it to 4. So, for (%src & 3)
  529.  1 we need to do ldub,lduh
  530.  2 lduh
  531.  3 just ldub
  532.          so even if it looks weird, the branches
  533.          are correct here. -jj
  534.  */
  535. 78: /* dword_align */
  537. andcc %o1, 1, %g0
  538. be 4f
  539.  andcc %o1, 2, %g0
  541. ldub [%o1], %g2
  542. add %o1, 1, %o1
  543. stb %g2, [%o0]
  544. sub %o2, 1, %o2
  545. bne 3f
  546.  add %o0, 1, %o0
  547. 4:
  548. lduh [%o1], %g2
  549. add %o1, 2, %o1
  550. sth %g2, [%o0]
  551. sub %o2, 2, %o2
  552. b 3f
  553.  add %o0, 2, %o0
  555. #ifdef __KERNEL__
  556. FUNC(__memcpy)
  557. #endif
  558. FUNC(memcpy) /* %o0=dst %o1=src %o2=len */
  560. sub %o0, %o1, %o4
  561. SETUP_RETL
  562. 9:
  563. andcc %o4, 3, %o5
  564. 0:
  565. bne 86f
  566.  cmp %o2, 15
  568. bleu 90f
  569.  andcc %o1, 3, %g0
  571. bne 78b
  572. 3:
  573.  andcc %o1, 4, %g0
  575. be 2f
  576.  mov %o2, %g1
  578. ld [%o1], %o4
  579. sub %g1, 4, %g1
  580. st %o4, [%o0]
  581. add %o1, 4, %o1
  582. add %o0, 4, %o0
  583. 2:
  584. andcc %g1, 0xffffff80, %g7
  585. be 3f
  586.  andcc %o0, 4, %g0
  588. be 82f + 4
  589. 5:
  590. MOVE_BIGCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
  591. MOVE_BIGCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
  592. MOVE_BIGCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
  593. MOVE_BIGCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
  594. subcc %g7, 128, %g7
  595. add %o1, 128, %o1
  596. bne 5b
  597.  add %o0, 128, %o0
  598. 3:
  599. andcc %g1, 0x70, %g7
  600. be 80f
  601.  andcc %g1, 8, %g0
  603. sethi %hi(80f), %o5
  604. srl %g7, 1, %o4
  605. add %g7, %o4, %o4
  606. add %o1, %g7, %o1
  607. sub %o5, %o4, %o5
  608. jmpl %o5 + %lo(80f), %g0
  609.  add %o0, %g7, %o0
  611. 79: /* memcpy_table */
  613. MOVE_LASTCHUNK(o1, o0, 0x60, g2, g3, g4, g5)
  614. MOVE_LASTCHUNK(o1, o0, 0x50, g2, g3, g4, g5)
  615. MOVE_LASTCHUNK(o1, o0, 0x40, g2, g3, g4, g5)
  616. MOVE_LASTCHUNK(o1, o0, 0x30, g2, g3, g4, g5)
  617. MOVE_LASTCHUNK(o1, o0, 0x20, g2, g3, g4, g5)
  618. MOVE_LASTCHUNK(o1, o0, 0x10, g2, g3, g4, g5)
  619. MOVE_LASTCHUNK(o1, o0, 0x00, g2, g3, g4, g5)
  621. 80: /* memcpy_table_end */
  622. be 81f
  623.  andcc %g1, 4, %g0
  625. ldd [%o1], %g2
  626. add %o0, 8, %o0
  627. st %g2, [%o0 - 0x08]
  628. add %o1, 8, %o1
  629. st %g3, [%o0 - 0x04]
  631. 81: /* memcpy_last7 */
  633. be 1f
  634.  andcc %g1, 2, %g0
  636. ld [%o1], %g2
  637. add %o1, 4, %o1
  638. st %g2, [%o0]
  639. add %o0, 4, %o0
  640. 1:
  641. be 1f
  642.  andcc %g1, 1, %g0
  644. lduh [%o1], %g2
  645. add %o1, 2, %o1
  646. sth %g2, [%o0]
  647. add %o0, 2, %o0
  648. 1:
  649. be 1f
  650.  nop
  652. ldub [%o1], %g2
  653. stb %g2, [%o0]
  654. 1:
  655. retl
  656.    RETL_INSN
  658. 82: /* ldd_std */
  659. MOVE_BIGALIGNCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
  660. MOVE_BIGALIGNCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
  661. MOVE_BIGALIGNCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
  662. MOVE_BIGALIGNCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
  663. subcc %g7, 128, %g7
  664. add %o1, 128, %o1
  665. bne 82b
  666.  add %o0, 128, %o0
  668. #ifndef FASTER_ALIGNED
  670. andcc %g1, 0x70, %g7
  671. be 80b
  672.  andcc %g1, 8, %g0
  674. sethi %hi(80b), %o5
  675. srl %g7, 1, %o4
  676. add %g7, %o4, %o4
  677. add %o1, %g7, %o1
  678. sub %o5, %o4, %o5
  679. jmpl %o5 + %lo(80b), %g0
  680.  add %o0, %g7, %o0
  682. #else /* FASTER_ALIGNED */
  684. andcc %g1, 0x70, %g7
  685. be 84f
  686.  andcc %g1, 8, %g0
  688. sethi %hi(84f), %o5
  689. add %o1, %g7, %o1
  690. sub %o5, %g7, %o5
  691. jmpl %o5 + %lo(84f), %g0
  692.  add %o0, %g7, %o0
  694. 83: /* amemcpy_table */
  696. MOVE_LASTALIGNCHUNK(o1, o0, 0x60, g2, g3, g4, g5)
  697. MOVE_LASTALIGNCHUNK(o1, o0, 0x50, g2, g3, g4, g5)
  698. MOVE_LASTALIGNCHUNK(o1, o0, 0x40, g2, g3, g4, g5)
  699. MOVE_LASTALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5)
  700. MOVE_LASTALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5)
  701. MOVE_LASTALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5)
  702. MOVE_LASTALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5)
  704. 84: /* amemcpy_table_end */
  705. be 85f
  706.  andcc %g1, 4, %g0
  708. ldd [%o1], %g2
  709. add %o0, 8, %o0
  710. std %g2, [%o0 - 0x08]
  711. add %o1, 8, %o1
  712. 85: /* amemcpy_last7 */
  713. be 1f
  714.  andcc %g1, 2, %g0
  716. ld [%o1], %g2
  717. add %o1, 4, %o1
  718. st %g2, [%o0]
  719. add %o0, 4, %o0
  720. 1:
  721. be 1f
  722.  andcc %g1, 1, %g0
  724. lduh [%o1], %g2
  725. add %o1, 2, %o1
  726. sth %g2, [%o0]
  727. add %o0, 2, %o0
  728. 1:
  729. be 1f
  730.  nop
  732. ldub [%o1], %g2
  733. stb %g2, [%o0]
  734. 1:
  735. retl
  736.    RETL_INSN
  738. #endif /* FASTER_ALIGNED */
  740. 86: /* non_aligned */
  741. cmp %o2, 6
  742. bleu 88f
  744. #ifdef FASTER_NONALIGNED
  746.  cmp %o2, 256
  747. bcc 87f
  749. #endif /* FASTER_NONALIGNED */
  751.  andcc %o0, 3, %g0
  752. be 61f
  753.  andcc %o0, 1, %g0
  754. be 60f
  755.  andcc %o0, 2, %g0
  757. ldub [%o1], %g5
  758. add %o1, 1, %o1
  759. stb %g5, [%o0]
  760. sub %o2, 1, %o2
  761. bne 61f
  762.  add %o0, 1, %o0
  763. 60:
  764. ldub [%o1], %g3
  765. add %o1, 2, %o1
  766. stb %g3, [%o0]
  767. sub %o2, 2, %o2
  768. ldub [%o1 - 1], %g3
  769. add %o0, 2, %o0
  770. stb %g3, [%o0 - 1]
  771. 61:
  772. and %o1, 3, %g2
  773. and %o2, 0xc, %g3
  774. and %o1, -4, %o1
  775. cmp %g3, 4
  776. sll %g2, 3, %g4
  777. mov 32, %g2
  778. be 4f
  779.  sub %g2, %g4, %g7
  781. blu 3f
  782.  cmp %g3, 0x8
  784. be 2f
  785.  srl %o2, 2, %g3
  787. ld [%o1], %o3
  788. add %o0, -8, %o0
  789. ld [%o1 + 4], %o4
  790. b 8f
  791.  add %g3, 1, %g3
  792. 2:
  793. ld [%o1], %o4
  794. add %o0, -12, %o0
  795. ld [%o1 + 4], %o5
  796. add %g3, 2, %g3
  797. b 9f
  798.  add %o1, -4, %o1
  799. 3:
  800. ld [%o1], %g1
  801. add %o0, -4, %o0
  802. ld [%o1 + 4], %o3
  803. srl %o2, 2, %g3
  804. b 7f
  805.  add %o1, 4, %o1
  806. 4:
  807. ld [%o1], %o5
  808. cmp %o2, 7
  809. ld [%o1 + 4], %g1
  810. srl %o2, 2, %g3
  811. bleu 10f
  812.  add %o1, 8, %o1
  814. ld [%o1], %o3
  815. add %g3, -1, %g3
  816. 5:
  817. sll %o5, %g4, %g2
  818. srl %g1, %g7, %g5
  819. or %g2, %g5, %g2
  820. st %g2, [%o0]
  821. 7:
  822. ld [%o1 + 4], %o4
  823. sll %g1, %g4, %g2
  824. srl %o3, %g7, %g5
  825. or %g2, %g5, %g2
  826. st %g2, [%o0 + 4]
  827. 8:
  828. ld [%o1 + 8], %o5
  829. sll %o3, %g4, %g2
  830. srl %o4, %g7, %g5
  831. or %g2, %g5, %g2
  832. st %g2, [%o0 + 8]
  833. 9:
  834. ld [%o1 + 12], %g1
  835. sll %o4, %g4, %g2
  836. srl %o5, %g7, %g5
  837. addcc %g3, -4, %g3
  838. or %g2, %g5, %g2
  839. add %o1, 16, %o1
  840. st %g2, [%o0 + 12]
  841. add %o0, 16, %o0
  842. bne,a 5b
  843.  ld [%o1], %o3
  844. 10:
  845. sll %o5, %g4, %g2
  846. srl %g1, %g7, %g5
  847. srl %g7, 3, %g3
  848. or %g2, %g5, %g2
  849. sub %o1, %g3, %o1
  850. andcc %o2, 2, %g0
  851. st %g2, [%o0]
  852. be 1f
  853.  andcc %o2, 1, %g0
  855. ldub [%o1], %g2
  856. add %o1, 2, %o1
  857. stb %g2, [%o0 + 4]
  858. add %o0, 2, %o0
  859. ldub [%o1 - 1], %g2
  860. stb %g2, [%o0 + 3]
  861. 1:
  862. be 1f
  863.  nop
  864. ldub [%o1], %g2
  865. stb %g2, [%o0 + 4]
  866. 1:
  867. retl
  868.  RETL_INSN
  870. #ifdef FASTER_NONALIGNED
  872. 87: /* faster_nonaligned */
  874. andcc %o1, 3, %g0
  875. be 3f
  876.  andcc %o1, 1, %g0
  878. be 4f
  879.  andcc %o1, 2, %g0
  881. ldub [%o1], %g2
  882. add %o1, 1, %o1
  883. stb %g2, [%o0]
  884. sub %o2, 1, %o2
  885. bne 3f
  886.  add %o0, 1, %o0
  887. 4:
  888. lduh [%o1], %g2
  889. add %o1, 2, %o1
  890. srl %g2, 8, %g3
  891. sub %o2, 2, %o2
  892. stb %g3, [%o0]
  893. add %o0, 2, %o0
  894. stb %g2, [%o0 - 1]
  895. 3:
  896.  andcc %o1, 4, %g0
  898. bne 2f
  899.  cmp %o5, 1
  901. ld [%o1], %o4
  902. srl %o4, 24, %g2
  903. stb %g2, [%o0]
  904. srl %o4, 16, %g3
  905. stb %g3, [%o0 + 1]
  906. srl %o4, 8, %g2
  907. stb %g2, [%o0 + 2]
  908. sub %o2, 4, %o2
  909. stb %o4, [%o0 + 3]
  910. add %o1, 4, %o1
  911. add %o0, 4, %o0
  912. 2:
  913. be 33f
  914.  cmp %o5, 2
  915. be 32f
  916.  sub %o2, 4, %o2
  917. 31:
  918. ld [%o1], %g2
  919. add %o1, 4, %o1
  920. srl %g2, 24, %g3
  921. and %o0, 7, %g5
  922. stb %g3, [%o0]
  923. cmp %g5, 7
  924. sll %g2, 8, %g1
  925. add %o0, 4, %o0
  926. be 41f
  927.  and %o2, 0xffffffc0, %o3
  928. ld [%o0 - 7], %o4
  929. 4:
  930. SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  931. SMOVE_CHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  932. SMOVE_CHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  933. SMOVE_CHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  934. subcc %o3, 64, %o3
  935. add %o1, 64, %o1
  936. bne 4b
  937.  add %o0, 64, %o0
  939. andcc %o2, 0x30, %o3
  940. be,a 1f
  941.  srl %g1, 16, %g2
  942. 4:
  943. SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  944. subcc %o3, 16, %o3
  945. add %o1, 16, %o1
  946. bne 4b
  947.  add %o0, 16, %o0
  949. srl %g1, 16, %g2
  950. 1:
  951. st %o4, [%o0 - 7]
  952. sth %g2, [%o0 - 3]
  953. srl %g1, 8, %g4
  954. b 88f
  955.  stb %g4, [%o0 - 1]
  956. 32:
  957. ld [%o1], %g2
  958. add %o1, 4, %o1
  959. srl %g2, 16, %g3
  960. and %o0, 7, %g5
  961. sth %g3, [%o0]
  962. cmp %g5, 6
  963. sll %g2, 16, %g1
  964. add %o0, 4, %o0
  965. be 42f
  966.  and %o2, 0xffffffc0, %o3
  967. ld [%o0 - 6], %o4
  968. 4:
  969. SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  970. SMOVE_CHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  971. SMOVE_CHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  972. SMOVE_CHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  973. subcc %o3, 64, %o3
  974. add %o1, 64, %o1
  975. bne 4b
  976.  add %o0, 64, %o0
  978. andcc %o2, 0x30, %o3
  979. be,a 1f
  980.  srl %g1, 16, %g2
  981. 4:
  982. SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  983. subcc %o3, 16, %o3
  984. add %o1, 16, %o1
  985. bne 4b
  986.  add %o0, 16, %o0
  988. srl %g1, 16, %g2
  989. 1:
  990. st %o4, [%o0 - 6]
  991. b 88f
  992.  sth %g2, [%o0 - 2]
  993. 33:
  994. ld [%o1], %g2
  995. sub %o2, 4, %o2
  996. srl %g2, 24, %g3
  997. and %o0, 7, %g5
  998. stb %g3, [%o0]
  999. cmp %g5, 5
  1000. srl %g2, 8, %g4
  1001. sll %g2, 24, %g1
  1002. sth %g4, [%o0 + 1]
  1003. add %o1, 4, %o1
  1004. be 43f
  1005.  and %o2, 0xffffffc0, %o3
  1007. ld [%o0 - 1], %o4
  1008. add %o0, 4, %o0
  1009. 4:
  1010. SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
  1011. SMOVE_CHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
  1012. SMOVE_CHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
  1013. SMOVE_CHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
  1014. subcc %o3, 64, %o3
  1015. add %o1, 64, %o1
  1016. bne 4b
  1017.  add %o0, 64, %o0
  1019. andcc %o2, 0x30, %o3
  1020. be,a 1f
  1021.  srl %g1, 24, %g2
  1022. 4:
  1023. SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
  1024. subcc %o3, 16, %o3
  1025. add %o1, 16, %o1
  1026. bne 4b
  1027.  add %o0, 16, %o0
  1029. srl %g1, 24, %g2
  1030. 1:
  1031. st %o4, [%o0 - 5]
  1032. b 88f
  1033.  stb %g2, [%o0 - 1]
  1034. 41:
  1035. SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  1036. SMOVE_ALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  1037. SMOVE_ALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  1038. SMOVE_ALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  1039. subcc %o3, 64, %o3
  1040. add %o1, 64, %o1
  1041. bne 41b
  1042.  add %o0, 64, %o0
  1043.  
  1044. andcc %o2, 0x30, %o3
  1045. be,a 1f
  1046.  srl %g1, 16, %g2
  1047. 4:
  1048. SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
  1049. subcc %o3, 16, %o3
  1050. add %o1, 16, %o1
  1051. bne 4b
  1052.  add %o0, 16, %o0
  1054. srl %g1, 16, %g2
  1055. 1:
  1056. sth %g2, [%o0 - 3]
  1057. srl %g1, 8, %g4
  1058. b 88f
  1059.  stb %g4, [%o0 - 1]
  1060. 43:
  1061. SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
  1062. SMOVE_ALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
  1063. SMOVE_ALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
  1064. SMOVE_ALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
  1065. subcc %o3, 64, %o3
  1066. add %o1, 64, %o1
  1067. bne 43b
  1068.  add %o0, 64, %o0
  1070. andcc %o2, 0x30, %o3
  1071. be,a 1f
  1072.  srl %g1, 24, %g2
  1073. 4:
  1074. SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
  1075. subcc %o3, 16, %o3
  1076. add %o1, 16, %o1
  1077. bne 4b
  1078.  add %o0, 16, %o0
  1080. srl %g1, 24, %g2
  1081. 1:
  1082. stb %g2, [%o0 + 3]
  1083. b 88f
  1084.  add %o0, 4, %o0
  1085. 42:
  1086. SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  1087. SMOVE_ALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  1088. SMOVE_ALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  1089. SMOVE_ALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  1090. subcc %o3, 64, %o3
  1091. add %o1, 64, %o1
  1092. bne 42b
  1093.  add %o0, 64, %o0
  1094.  
  1095. andcc %o2, 0x30, %o3
  1096. be,a 1f
  1097.  srl %g1, 16, %g2
  1098. 4:
  1099. SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
  1100. subcc %o3, 16, %o3
  1101. add %o1, 16, %o1
  1102. bne 4b
  1103.  add %o0, 16, %o0
  1105. srl %g1, 16, %g2
  1106. 1:
  1107. sth %g2, [%o0 - 2]
  1109. /* Fall through */
  1110.  
  1111. #endif /* FASTER_NONALIGNED */
  1113. 88: /* short_end */
  1115. and %o2, 0xe, %o3
  1116. 20:
  1117. sethi %hi(89f), %o5
  1118. sll %o3, 3, %o4
  1119. add %o0, %o3, %o0
  1120. sub %o5, %o4, %o5
  1121. add %o1, %o3, %o1
  1122. jmpl %o5 + %lo(89f), %g0
  1123.  andcc %o2, 1, %g0
  1125. MOVE_SHORTCHUNK(o1, o0, 0x0c, g2, g3)
  1126. MOVE_SHORTCHUNK(o1, o0, 0x0a, g2, g3)
  1127. MOVE_SHORTCHUNK(o1, o0, 0x08, g2, g3)
  1128. MOVE_SHORTCHUNK(o1, o0, 0x06, g2, g3)
  1129. MOVE_SHORTCHUNK(o1, o0, 0x04, g2, g3)
  1130. MOVE_SHORTCHUNK(o1, o0, 0x02, g2, g3)
  1131. MOVE_SHORTCHUNK(o1, o0, 0x00, g2, g3)
  1133. 89: /* short_table_end */
  1135. be 1f
  1136.  nop
  1138. ldub [%o1], %g2
  1139. stb %g2, [%o0]
  1140. 1:
  1141. retl
  1142.    RETL_INSN
  1144. 90: /* short_aligned_end */
  1145. bne 88b
  1146.  andcc %o2, 8, %g0
  1148. be 1f
  1149.  andcc %o2, 4, %g0
  1151. ld [%o1 + 0x00], %g2
  1152. ld [%o1 + 0x04], %g3
  1153. add %o1, 8, %o1
  1154. st %g2, [%o0 + 0x00]
  1155. st %g3, [%o0 + 0x04]
  1156. add %o0, 8, %o0
  1157. 1:
  1158. b 81b
  1159.  mov %o2, %g1