开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Linux/Unix编程 > 查看源码
VIScopy.S
资源名称：linux-2.4.20.tar.gz　[点击查看]
上传用户：jlfgdled
上传日期：2013-04-10
资源大小：33168k
文件大小：38k
源码类别：

Linux/Unix编程

开发平台：

Unix_Linux

VIScopy.S：源码内容
  1. /* $Id: VIScopy.S,v 1.26 2001/09/27 04:36:24 kanoj Exp $
  2.  * VIScopy.S: High speed copy operations utilizing the UltraSparc
  3.  *            Visual Instruction Set.
  4.  *
  5.  * Copyright (C) 1997 David S. Miller (davem@caip.rutgers.edu)
  6.  * Copyright (C) 1996, 1997, 1998, 1999 Jakub Jelinek (jj@ultra.linux.cz)
  7.  */
  9. #include "VIS.h"
  11. /* VIS code can be used for numerous copy/set operation variants.
  12.  * It can be made to work in the kernel, one single instance,
  13.  * for all of memcpy, copy_to_user, and copy_from_user by setting
  14.  * the ASI src/dest globals correctly.  Furthermore it can
  15.  * be used for kernel-->kernel page copies as well, a hook label
  16.  * is put in here just for this purpose.
  17.  *
  18.  * For userland, compiling this without __KERNEL__ defined makes
  19.  * it work just fine as a generic libc bcopy and memcpy.
  20.  * If for userland it is compiled with a 32bit gcc (but you need
  21.  * -Wa,-Av9a for as), the code will just rely on lower 32bits of
  22.  * IEU registers, if you compile it with 64bit gcc (ie. define
  23.  * __sparc_v9__), the code will use full 64bit.
  24.  */
  25.  
  26. #ifdef __KERNEL__
  28. #include <asm/visasm.h>
  29. #include <asm/asm_offsets.h>
  31. #define FPU_CLEAN_RETL
  32. ldub [%g6 + AOFF_task_thread + AOFF_thread_current_ds], %o1;
  33. VISExit
  34. clr %o0;
  35. retl;
  36.  wr %o1, %g0, %asi;
  37. #define FPU_RETL
  38. ldub [%g6 + AOFF_task_thread + AOFF_thread_current_ds], %o1;
  39. VISExit
  40. clr %o0;
  41. retl;
  42.  wr %o1, %g0, %asi;
  43. #define NORMAL_RETL
  44. ldub [%g6 + AOFF_task_thread + AOFF_thread_current_ds], %o1;
  45. clr %o0;
  46. retl;
  47.  wr %o1, %g0, %asi;
  48. #define EX(x,y,a,b) 
  49. 98:  x,y;
  50. .section .fixup;
  51. .align 4;
  52. 99: ba VIScopyfixup_ret;
  53.  a, b, %o1;
  54. .section __ex_table;
  55. .align 4;
  56. .word 98b, 99b;
  57. .text;
  58. .align 4;
  59. #define EX2(x,y,c,d,e,a,b) 
  60. 98:  x,y;
  61. .section .fixup;
  62. .align 4;
  63. 99: c, d, e;
  64. ba VIScopyfixup_ret;
  65.  a, b, %o1;
  66. .section __ex_table;
  67. .align 4;
  68. .word 98b, 99b;
  69. .text;
  70. .align 4;
  71. #define EXO2(x,y) 
  72. 98:  x,y;
  73. .section __ex_table;
  74. .align 4;
  75. .word 98b, VIScopyfixup_reto2;
  76. .text;
  77. .align 4;
  78. #define EXVISN(x,y,n) 
  79. 98:  x,y;
  80. .section __ex_table;
  81. .align 4;
  82. .word 98b, VIScopyfixup_vis##n;
  83. .text;
  84. .align 4;
  85. #define EXT(start,end,handler) 
  86. .section __ex_table;
  87. .align 4;
  88. .word start, 0, end, handler;
  89. .text;
  90. .align 4;
  91. #else
  92. #ifdef REGS_64BIT
  93. #define FPU_CLEAN_RETL
  94. retl;
  95.  mov %g6, %o0;
  96. #define FPU_RETL
  97. retl;
  98.  mov %g6, %o0;
  99. #else
  100. #define FPU_CLEAN_RETL
  101. wr %g0, FPRS_FEF, %fprs;
  102. retl;
  103.  mov %g6, %o0;
  104. #define FPU_RETL
  105. wr %g0, FPRS_FEF, %fprs;
  106. retl;
  107.  mov %g6, %o0;
  108. #endif
  109. #define NORMAL_RETL
  110. retl;
  111.  mov %g6, %o0;
  112. #define EX(x,y,a,b) x,y
  113. #define EX2(x,y,c,d,e,a,b) x,y
  114. #define EXO2(x,y) x,y
  115. #define EXVISN(x,y,n) x,y
  116. #define EXT(a,b,c)
  117. #endif
  118. #define EXVIS(x,y) EXVISN(x,y,0)
  119. #define EXVIS1(x,y) EXVISN(x,y,1)
  120. #define EXVIS2(x,y) EXVISN(x,y,2)
  121. #define EXVIS3(x,y) EXVISN(x,y,3)
  122. #define EXVIS4(x,y) EXVISN(x,y,4)
  123. #define EXVIS5(x,y) EXVISN(x,y,5)
  125. #define FREG_FROB(f1, f2, f3, f4, f5, f6, f7, f8, f9)
  126. faligndata %f1, %f2, %f48;
  127. faligndata %f2, %f3, %f50;
  128. faligndata %f3, %f4, %f52;
  129. faligndata %f4, %f5, %f54;
  130. faligndata %f5, %f6, %f56;
  131. faligndata %f6, %f7, %f58;
  132. faligndata %f7, %f8, %f60;
  133. faligndata %f8, %f9, %f62;
  135. #define MAIN_LOOP_CHUNK(src, dest, fdest, fsrc, len, jmptgt)
  136. EXVIS(LDBLK [%src] ASIBLK, %fdest);
  137. ASI_SETDST_BLK
  138. EXVIS2(STBLK %fsrc, [%dest] ASIBLK);
  139. add %src, 0x40, %src;
  140. subcc %len, 0x40, %len;
  141. be,pn %xcc, jmptgt;
  142.  add %dest, 0x40, %dest;
  143. ASI_SETSRC_BLK
  145. #define LOOP_CHUNK1(src, dest, len, branch_dest)
  146. MAIN_LOOP_CHUNK(src, dest, f0,  f48, len, branch_dest)
  147. #define LOOP_CHUNK2(src, dest, len, branch_dest)
  148. MAIN_LOOP_CHUNK(src, dest, f16, f48, len, branch_dest)
  149. #define LOOP_CHUNK3(src, dest, len, branch_dest)
  150. MAIN_LOOP_CHUNK(src, dest, f32, f48, len, branch_dest)
  152. #define STORE_SYNC(dest, fsrc)
  153. EXVIS(STBLK %fsrc, [%dest] ASIBLK);
  154. add %dest, 0x40, %dest;
  156. #ifdef __KERNEL__
  157. #define STORE_JUMP(dest, fsrc, target)
  158. srl asi_dest, 3, %g5;
  159. EXVIS3(STBLK %fsrc, [%dest] ASIBLK);
  160. xor        asi_dest, ASI_BLK_XOR1, asi_dest;
  161. add %dest, 0x40, %dest;
  162. xor asi_dest, %g5, asi_dest;
  163. ba,pt %xcc, target;
  164. #else
  165. #define STORE_JUMP(dest, fsrc, target)
  166. EXVIS3(STBLK %fsrc, [%dest] ASIBLK);
  167. add %dest, 0x40, %dest;
  168. ba,pt %xcc, target;
  169. #endif
  171. #ifndef __KERNEL__
  172. #define VISLOOP_PAD nop; nop; nop; nop; 
  173.     nop; nop; nop; nop; 
  174.     nop; nop; nop; nop; 
  175.     nop; nop; nop;
  176. #else
  177. #define VISLOOP_PAD
  178. #endif
  180. #define FINISH_VISCHUNK(dest, f0, f1, left)
  181. ASI_SETDST_NOBLK
  182. subcc %left, 8, %left;
  183. bl,pn %xcc, vis_out;
  184.  faligndata %f0, %f1, %f48;
  185. EXVIS4(STDF %f48, [%dest] ASINORMAL);
  186. add %dest, 8, %dest;
  188. #define UNEVEN_VISCHUNK_LAST(dest, f0, f1, left)
  189. subcc %left, 8, %left;
  190. bl,pn %xcc, vis_out;
  191.  fsrc1 %f0, %f1;
  192. #define UNEVEN_VISCHUNK(dest, f0, f1, left)
  193. UNEVEN_VISCHUNK_LAST(dest, f0, f1, left)
  194. ba,a,pt %xcc, vis_out_slk;
  196. /* Macros for non-VIS memcpy code. */
  197. #ifdef REGS_64BIT
  199. #define MOVE_BIGCHUNK(src, dst, offset, t0, t1, t2, t3)
  200. ASI_SETSRC_NOBLK
  201. LDX [%src + offset + 0x00] ASINORMAL, %t0; 
  202. LDX [%src + offset + 0x08] ASINORMAL, %t1; 
  203. LDX [%src + offset + 0x10] ASINORMAL, %t2; 
  204. LDX [%src + offset + 0x18] ASINORMAL, %t3; 
  205. ASI_SETDST_NOBLK
  206. STW %t0, [%dst + offset + 0x04] ASINORMAL; 
  207. srlx %t0, 32, %t0;
  208. STW %t0, [%dst + offset + 0x00] ASINORMAL; 
  209. STW %t1, [%dst + offset + 0x0c] ASINORMAL; 
  210. srlx %t1, 32, %t1;
  211. STW %t1, [%dst + offset + 0x08] ASINORMAL; 
  212. STW %t2, [%dst + offset + 0x14] ASINORMAL; 
  213. srlx %t2, 32, %t2;
  214. STW %t2, [%dst + offset + 0x10] ASINORMAL; 
  215. STW %t3, [%dst + offset + 0x1c] ASINORMAL;
  216. srlx %t3, 32, %t3;
  217. STW %t3, [%dst + offset + 0x18] ASINORMAL;
  219. #define MOVE_BIGALIGNCHUNK(src, dst, offset, t0, t1, t2, t3)
  220. ASI_SETSRC_NOBLK
  221. LDX [%src + offset + 0x00] ASINORMAL, %t0; 
  222. LDX [%src + offset + 0x08] ASINORMAL, %t1; 
  223. LDX [%src + offset + 0x10] ASINORMAL, %t2; 
  224. LDX [%src + offset + 0x18] ASINORMAL, %t3; 
  225. ASI_SETDST_NOBLK
  226. STX %t0, [%dst + offset + 0x00] ASINORMAL; 
  227. STX %t1, [%dst + offset + 0x08] ASINORMAL; 
  228. STX %t2, [%dst + offset + 0x10] ASINORMAL; 
  229. STX %t3, [%dst + offset + 0x18] ASINORMAL; 
  230. ASI_SETSRC_NOBLK
  231. LDX [%src + offset + 0x20] ASINORMAL, %t0; 
  232. LDX [%src + offset + 0x28] ASINORMAL, %t1; 
  233. LDX [%src + offset + 0x30] ASINORMAL, %t2; 
  234. LDX [%src + offset + 0x38] ASINORMAL, %t3; 
  235. ASI_SETDST_NOBLK
  236. STX %t0, [%dst + offset + 0x20] ASINORMAL; 
  237. STX %t1, [%dst + offset + 0x28] ASINORMAL; 
  238. STX %t2, [%dst + offset + 0x30] ASINORMAL; 
  239. STX %t3, [%dst + offset + 0x38] ASINORMAL;
  241. #define MOVE_LASTCHUNK(src, dst, offset, t0, t1, t2, t3)
  242. ASI_SETSRC_NOBLK
  243. LDX [%src - offset - 0x10] ASINORMAL, %t0;
  244. LDX [%src - offset - 0x08] ASINORMAL, %t1; 
  245. ASI_SETDST_NOBLK
  246. STW %t0, [%dst - offset - 0x0c] ASINORMAL; 
  247. srlx %t0, 32, %t2;
  248. STW %t2, [%dst - offset - 0x10] ASINORMAL; 
  249. STW %t1, [%dst - offset - 0x04] ASINORMAL; 
  250. srlx %t1, 32, %t3;
  251. STW %t3, [%dst - offset - 0x08] ASINORMAL;
  253. #define MOVE_LASTALIGNCHUNK(src, dst, offset, t0, t1)
  254. ASI_SETSRC_NOBLK
  255. LDX [%src - offset - 0x10] ASINORMAL, %t0; 
  256. LDX [%src - offset - 0x08] ASINORMAL, %t1; 
  257. ASI_SETDST_NOBLK
  258. STX %t0, [%dst - offset - 0x10] ASINORMAL; 
  259. STX %t1, [%dst - offset - 0x08] ASINORMAL;
  261. #else /* !REGS_64BIT */
  263. #define MOVE_BIGCHUNK(src, dst, offset, t0, t1, t2, t3)
  264. lduw [%src + offset + 0x00], %t0; 
  265. lduw [%src + offset + 0x04], %t1; 
  266. lduw [%src + offset + 0x08], %t2; 
  267. lduw [%src + offset + 0x0c], %t3; 
  268. stw %t0, [%dst + offset + 0x00]; 
  269. stw %t1, [%dst + offset + 0x04]; 
  270. stw %t2, [%dst + offset + 0x08]; 
  271. stw %t3, [%dst + offset + 0x0c]; 
  272. lduw [%src + offset + 0x10], %t0; 
  273. lduw [%src + offset + 0x14], %t1; 
  274. lduw [%src + offset + 0x18], %t2; 
  275. lduw [%src + offset + 0x1c], %t3; 
  276. stw %t0, [%dst + offset + 0x10]; 
  277. stw %t1, [%dst + offset + 0x14]; 
  278. stw %t2, [%dst + offset + 0x18]; 
  279. stw %t3, [%dst + offset + 0x1c];
  281. #define MOVE_LASTCHUNK(src, dst, offset, t0, t1, t2, t3)
  282. lduw [%src - offset - 0x10], %t0; 
  283. lduw [%src - offset - 0x0c], %t1; 
  284. lduw [%src - offset - 0x08], %t2; 
  285. lduw [%src - offset - 0x04], %t3; 
  286. stw %t0, [%dst - offset - 0x10]; 
  287. stw %t1, [%dst - offset - 0x0c]; 
  288. stw %t2, [%dst - offset - 0x08]; 
  289. stw %t3, [%dst - offset - 0x04];
  291. #endif /* !REGS_64BIT */
  293. #ifdef __KERNEL__
  294. .section __ex_table,#alloc
  295. .section .fixup,#alloc,#execinstr
  296. #endif
  298. .text
  299. .align 32
  300. .globl memcpy
  301. .type memcpy,@function
  303. .globl bcopy
  304. .type bcopy,@function
  306. #ifdef __KERNEL__
  307. .globl __memcpy_begin
  308. __memcpy_begin:
  310. .globl __memcpy
  311. .type __memcpy,@function
  313. memcpy_private:
  314. __memcpy:
  315. memcpy: mov ASI_P, asi_src ! IEU0 Group
  316. brnz,pt %o2, __memcpy_entry ! CTI
  317.  mov ASI_P, asi_dest ! IEU1
  318. retl
  319.  clr %o0
  321. .align 32
  322. .globl __copy_from_user
  323. .type __copy_from_user,@function
  324. __copy_from_user:rd %asi, asi_src ! IEU0 Group
  325. brnz,pt %o2, __memcpy_entry ! CTI
  326.  mov ASI_P, asi_dest ! IEU1
  328. .globl __copy_to_user
  329. .type __copy_to_user,@function
  330. __copy_to_user: mov ASI_P, asi_src ! IEU0 Group
  331. brnz,pt %o2, __memcpy_entry ! CTI
  332.  rd %asi, asi_dest ! IEU1
  333. retl ! CTI Group
  334.  clr %o0 ! IEU0 Group
  336. .globl __copy_in_user
  337. .type __copy_in_user,@function
  338. __copy_in_user: rd %asi, asi_src ! IEU0 Group
  339. brnz,pt %o2, __memcpy_entry ! CTI
  340.  mov asi_src, asi_dest ! IEU1
  341. retl ! CTI Group
  342.  clr %o0 ! IEU0 Group
  343. #endif
  345. bcopy: or %o0, 0, %g3 ! IEU0 Group
  346. addcc %o1, 0, %o0 ! IEU1
  347. brgez,pt %o2, memcpy_private ! CTI
  348.  or %g3, 0, %o1 ! IEU0 Group
  349. retl ! CTI Group brk forced
  350.  clr %o0 ! IEU0
  353. #ifdef __KERNEL__
  354. #define BRANCH_ALWAYS 0x10680000
  355. #define NOP 0x01000000
  356. #define ULTRA3_DO_PATCH(OLD, NEW)
  357. sethi %hi(NEW), %g1; 
  358. or %g1, %lo(NEW), %g1; 
  359. sethi %hi(OLD), %g2; 
  360. or %g2, %lo(OLD), %g2; 
  361. sub %g1, %g2, %g1; 
  362. sethi %hi(BRANCH_ALWAYS), %g3; 
  363. srl %g1, 2, %g1; 
  364. or %g3, %lo(BRANCH_ALWAYS), %g3; 
  365. or %g3, %g1, %g3; 
  366. stw %g3, [%g2]; 
  367. sethi %hi(NOP), %g3; 
  368. or %g3, %lo(NOP), %g3; 
  369. stw %g3, [%g2 + 0x4]; 
  370. flush %g2;
  371. #define ULTRA3_PCACHE_DO_NOP(symbol)
  372. sethi %hi(symbol##_nop_1_6), %g1; 
  373. or %g1, %lo(symbol##_nop_1_6), %g1; 
  374. sethi %hi(NOP), %g2; 
  375. stw %g2, [%g1 + 0x00]; 
  376. stw %g2, [%g1 + 0x04]; 
  377. flush %g1 + 0x00; 
  378. stw %g2, [%g1 + 0x08]; 
  379. stw %g2, [%g1 + 0x0c]; 
  380. flush %g1 + 0x08; 
  381. stw %g2, [%g1 + 0x10]; 
  382. stw %g2, [%g1 + 0x04]; 
  383. flush %g1 + 0x10; 
  384. sethi %hi(symbol##_nop_2_3), %g1; 
  385. or %g1, %lo(symbol##_nop_2_3), %g1; 
  386. stw %g2, [%g1 + 0x00]; 
  387. stw %g2, [%g1 + 0x04]; 
  388. flush %g1 + 0x00; 
  389. stw %g2, [%g1 + 0x08]; 
  390. flush %g1 + 0x08;
  392. #include <asm/dcu.h>
  394. .globl cheetah_patch_copyops
  395. cheetah_patch_copyops:
  396. ULTRA3_DO_PATCH(memcpy, U3memcpy)
  397. ULTRA3_DO_PATCH(__copy_from_user, U3copy_from_user)
  398. ULTRA3_DO_PATCH(__copy_to_user, U3copy_to_user)
  399. ULTRA3_DO_PATCH(__copy_in_user, U3copy_in_user)
  400. #if 0 /* Causes data corruption, nop out the optimization
  401.        * for now -DaveM
  402.        */
  403. ldxa [%g0] ASI_DCU_CONTROL_REG, %g3
  404. sethi %uhi(DCU_PE), %o3
  405. sllx %o3, 32, %o3
  406. andcc %g3, %o3, %g0
  407. be,pn %xcc, pcache_disabled
  408.  nop
  409. #endif
  410. ULTRA3_PCACHE_DO_NOP(U3memcpy)
  411. ULTRA3_PCACHE_DO_NOP(U3copy_from_user)
  412. ULTRA3_PCACHE_DO_NOP(U3copy_to_user)
  413. ULTRA3_PCACHE_DO_NOP(cheetah_copy_user_page)
  414. #if 0
  415. pcache_disabled:
  416. #endif
  417. retl
  418.  nop
  419. #undef BRANCH_ALWAYS
  420. #undef NOP
  421. #undef ULTRA3_DO_PATCH
  422. #endif /* __KERNEL__ */
  424. .align 32
  425. #ifdef __KERNEL__
  426. andcc %o0, 7, %g2 ! IEU1 Group
  427. #endif
  428. VIS_enter:
  429. be,pt %xcc, dest_is_8byte_aligned ! CTI
  430. #ifdef __KERNEL__
  431.  nop ! IEU0 Group
  432. #else
  433.  andcc %o0, 0x38, %g5 ! IEU1 Group
  434. #endif
  435. do_dest_8byte_align:
  436. mov 8, %g1 ! IEU0
  437. sub %g1, %g2, %g2 ! IEU0 Group
  438. andcc %o0, 1, %g0 ! IEU1
  439. be,pt %icc, 2f ! CTI
  440.  sub %o2, %g2, %o2 ! IEU0 Group
  441. 1: ASI_SETSRC_NOBLK ! LSU Group
  442. EX(LDUB [%o1] ASINORMAL, %o5, 
  443. add %o2, %g2) ! Load Group
  444. add %o1, 1, %o1 ! IEU0
  445. add %o0, 1, %o0 ! IEU1
  446. ASI_SETDST_NOBLK ! LSU Group
  447. subcc %g2, 1, %g2 ! IEU1 Group
  448. be,pn %xcc, 3f ! CTI
  449.  EX2(STB %o5, [%o0 - 1] ASINORMAL,
  450. add %g2, 1, %g2,
  451. add %o2, %g2) ! Store
  452. 2: ASI_SETSRC_NOBLK ! LSU Group
  453. EX(LDUB [%o1] ASINORMAL, %o5, 
  454. add %o2, %g2) ! Load Group
  455. add %o0, 2, %o0 ! IEU0
  456. EX2(LDUB [%o1 + 1] ASINORMAL, %g3,
  457. sub %o0, 2, %o0,
  458. add %o2, %g2) ! Load Group
  459. ASI_SETDST_NOBLK ! LSU Group
  460. subcc %g2, 2, %g2 ! IEU1 Group
  461. EX2(STB %o5, [%o0 - 2] ASINORMAL,
  462. add %g2, 2, %g2,
  463. add %o2, %g2) ! Store
  464. add %o1, 2, %o1 ! IEU0
  465. bne,pt %xcc, 2b ! CTI Group
  466.  EX2(STB %g3, [%o0 - 1] ASINORMAL,
  467. add %g2, 1, %g2,
  468. add %o2, %g2) ! Store
  469. #ifdef __KERNEL__
  470. 3:
  471. dest_is_8byte_aligned:
  472. VISEntry
  473. andcc %o0, 0x38, %g5 ! IEU1 Group
  474. #else
  475. 3: andcc %o0, 0x38, %g5 ! IEU1 Group
  476. dest_is_8byte_aligned:
  477. #endif
  478. be,pt %icc, dest_is_64byte_aligned ! CTI
  479.  mov 64, %g1 ! IEU0
  480. fmovd %f0, %f2 ! FPU
  481. sub %g1, %g5, %g5 ! IEU0 Group
  482. ASI_SETSRC_NOBLK ! LSU Group
  483. alignaddr %o1, %g0, %g1 ! GRU Group
  484. EXO2(LDDF [%g1] ASINORMAL, %f4) ! Load Group
  485. sub %o2, %g5, %o2 ! IEU0
  486. 1: EX(LDDF [%g1 + 0x8] ASINORMAL, %f6,
  487. add %o2, %g5) ! Load Group
  488. add %g1, 0x8, %g1 ! IEU0 Group
  489. subcc %g5, 8, %g5 ! IEU1
  490. ASI_SETDST_NOBLK ! LSU Group
  491. faligndata %f4, %f6, %f0 ! GRU Group
  492. EX2(STDF %f0, [%o0] ASINORMAL,
  493. add %g5, 8, %g5,
  494. add %o2, %g5) ! Store
  495. add %o1, 8, %o1 ! IEU0 Group
  496. be,pn %xcc, dest_is_64byte_aligned ! CTI
  497.  add %o0, 8, %o0 ! IEU1
  498. ASI_SETSRC_NOBLK ! LSU Group
  499. EX(LDDF [%g1 + 0x8] ASINORMAL, %f4,
  500. add %o2, %g5) ! Load Group
  501. add %g1, 8, %g1 ! IEU0
  502. subcc %g5, 8, %g5 ! IEU1
  503. ASI_SETDST_NOBLK ! LSU Group
  504. faligndata %f6, %f4, %f0 ! GRU Group
  505. EX2(STDF %f0, [%o0] ASINORMAL,
  506. add %g5, 8, %g5,
  507. add %o2, %g5) ! Store
  508. add %o1, 8, %o1 ! IEU0
  509. ASI_SETSRC_NOBLK ! LSU Group
  510. bne,pt %xcc, 1b ! CTI Group
  511.  add %o0, 8, %o0 ! IEU0
  512. dest_is_64byte_aligned:
  513. membar   #LoadStore | #StoreStore | #StoreLoad ! LSU Group
  514. #ifndef __KERNEL__
  515. wr %g0, ASI_BLK_P, %asi ! LSU Group
  516. #endif
  517. subcc %o2, 0x40, %g7 ! IEU1 Group
  518. mov %o1, %g1 ! IEU0
  519. andncc %g7, (0x40 - 1), %g7 ! IEU1 Group
  520. srl %g1, 3, %g2 ! IEU0
  521. sub %o2, %g7, %g3 ! IEU0 Group
  522. andn %o1, (0x40 - 1), %o1 ! IEU1
  523. and %g2, 7, %g2 ! IEU0 Group
  524. andncc %g3, 0x7, %g3 ! IEU1
  525. fmovd %f0, %f2 ! FPU
  526. sub %g3, 0x10, %g3 ! IEU0 Group
  527. sub %o2, %g7, %o2 ! IEU1
  528. #ifdef __KERNEL__
  529. or asi_src, ASI_BLK_OR, asi_src ! IEU0 Group
  530. or asi_dest, ASI_BLK_OR, asi_dest ! IEU1
  531. #endif
  532. alignaddr %g1, %g0, %g0 ! GRU Group
  533. add %g1, %g7, %g1 ! IEU0 Group
  534. subcc %o2, %g3, %o2 ! IEU1
  535. ASI_SETSRC_BLK ! LSU Group
  536. EXVIS1(LDBLK [%o1 + 0x00] ASIBLK, %f0) ! LSU Group
  537. add %g1, %g3, %g1 ! IEU0
  538. EXVIS1(LDBLK [%o1 + 0x40] ASIBLK, %f16) ! LSU Group
  539. sub %g7, 0x80, %g7 ! IEU0
  540. EXVIS(LDBLK [%o1 + 0x80] ASIBLK, %f32) ! LSU Group
  541. #ifdef __KERNEL__
  542. vispc: sll %g2, 9, %g2 ! IEU0 Group
  543. sethi %hi(vis00), %g5 ! IEU1
  544. or %g5, %lo(vis00), %g5 ! IEU0 Group
  545. jmpl %g5 + %g2, %g0 ! CTI Group brk forced
  546.  addcc %o1, 0xc0, %o1 ! IEU1 Group
  547. #else
  548. ! Clk1 Group 8-(
  549. ! Clk2 Group 8-(
  550. ! Clk3 Group 8-(
  551. ! Clk4 Group 8-(
  552. vispc: rd %pc, %g5 ! PDU Group 8-(
  553. addcc %g5, %lo(vis00 - vispc), %g5 ! IEU1 Group
  554. sll %g2, 9, %g2 ! IEU0
  555. jmpl %g5 + %g2, %g0 ! CTI Group brk forced
  556.  addcc %o1, 0xc0, %o1 ! IEU1 Group
  557. #endif
  558. .align 512 /* OK, here comes the fun part... */
  559. vis00:FREG_FROB(f0, f2, f4, f6, f8, f10,f12,f14,f16) LOOP_CHUNK1(o1, o0, g7, vis01)
  560.       FREG_FROB(f16,f18,f20,f22,f24,f26,f28,f30,f32) LOOP_CHUNK2(o1, o0, g7, vis02)
  561.       FREG_FROB(f32,f34,f36,f38,f40,f42,f44,f46,f0)  LOOP_CHUNK3(o1, o0, g7, vis03)
  562.       b,pt %xcc, vis00+4; faligndata %f0, %f2, %f48
  563. vis01:FREG_FROB(f16,f18,f20,f22,f24,f26,f28,f30,f32) STORE_SYNC(o0, f48) membar #Sync
  564.       FREG_FROB(f32,f34,f36,f38,f40,f42,f44,f46,f0)  STORE_JUMP(o0, f48, finish_f0) membar #Sync
  565. vis02:FREG_FROB(f32,f34,f36,f38,f40,f42,f44,f46,f0)  STORE_SYNC(o0, f48) membar #Sync
  566.       FREG_FROB(f0, f2, f4, f6, f8, f10,f12,f14,f16) STORE_JUMP(o0, f48, finish_f16) membar #Sync
  567. vis03:FREG_FROB(f0, f2, f4, f6, f8, f10,f12,f14,f16) STORE_SYNC(o0, f48) membar #Sync
  568.       FREG_FROB(f16,f18,f20,f22,f24,f26,f28,f30,f32) STORE_JUMP(o0, f48, finish_f32) membar #Sync
  569.       VISLOOP_PAD
  570. vis10:FREG_FROB(f2, f4, f6, f8, f10,f12,f14,f16,f18) LOOP_CHUNK1(o1, o0, g7, vis11)
  571.       FREG_FROB(f18,f20,f22,f24,f26,f28,f30,f32,f34) LOOP_CHUNK2(o1, o0, g7, vis12)
  572.       FREG_FROB(f34,f36,f38,f40,f42,f44,f46,f0, f2)  LOOP_CHUNK3(o1, o0, g7, vis13)
  573.       b,pt %xcc, vis10+4; faligndata %f2, %f4, %f48
  574. vis11:FREG_FROB(f18,f20,f22,f24,f26,f28,f30,f32,f34) STORE_SYNC(o0, f48) membar #Sync
  575.       FREG_FROB(f34,f36,f38,f40,f42,f44,f46,f0, f2)  STORE_JUMP(o0, f48, finish_f2) membar #Sync
  576. vis12:FREG_FROB(f34,f36,f38,f40,f42,f44,f46,f0, f2)  STORE_SYNC(o0, f48) membar #Sync
  577.       FREG_FROB(f2, f4, f6, f8, f10,f12,f14,f16,f18) STORE_JUMP(o0, f48, finish_f18) membar #Sync
  578. vis13:FREG_FROB(f2, f4, f6, f8, f10,f12,f14,f16,f18) STORE_SYNC(o0, f48) membar #Sync
  579.       FREG_FROB(f18,f20,f22,f24,f26,f28,f30,f32,f34) STORE_JUMP(o0, f48, finish_f34) membar #Sync
  580.       VISLOOP_PAD
  581. vis20:FREG_FROB(f4, f6, f8, f10,f12,f14,f16,f18,f20) LOOP_CHUNK1(o1, o0, g7, vis21)
  582.       FREG_FROB(f20,f22,f24,f26,f28,f30,f32,f34,f36) LOOP_CHUNK2(o1, o0, g7, vis22)
  583.       FREG_FROB(f36,f38,f40,f42,f44,f46,f0, f2, f4)  LOOP_CHUNK3(o1, o0, g7, vis23)
  584.       b,pt %xcc, vis20+4; faligndata %f4, %f6, %f48
  585. vis21:FREG_FROB(f20,f22,f24,f26,f28,f30,f32,f34,f36) STORE_SYNC(o0, f48) membar #Sync
  586.       FREG_FROB(f36,f38,f40,f42,f44,f46,f0, f2, f4)  STORE_JUMP(o0, f48, finish_f4) membar #Sync
  587. vis22:FREG_FROB(f36,f38,f40,f42,f44,f46,f0, f2, f4)  STORE_SYNC(o0, f48) membar #Sync
  588.       FREG_FROB(f4, f6, f8, f10,f12,f14,f16,f18,f20) STORE_JUMP(o0, f48, finish_f20) membar #Sync
  589. vis23:FREG_FROB(f4, f6, f8, f10,f12,f14,f16,f18,f20) STORE_SYNC(o0, f48) membar #Sync
  590.       FREG_FROB(f20,f22,f24,f26,f28,f30,f32,f34,f36) STORE_JUMP(o0, f48, finish_f36) membar #Sync
  591.       VISLOOP_PAD
  592. vis30:FREG_FROB(f6, f8, f10,f12,f14,f16,f18,f20,f22) LOOP_CHUNK1(o1, o0, g7, vis31)
  593.       FREG_FROB(f22,f24,f26,f28,f30,f32,f34,f36,f38) LOOP_CHUNK2(o1, o0, g7, vis32)
  594.       FREG_FROB(f38,f40,f42,f44,f46,f0, f2, f4, f6)  LOOP_CHUNK3(o1, o0, g7, vis33)
  595.       b,pt %xcc, vis30+4; faligndata %f6, %f8, %f48
  596. vis31:FREG_FROB(f22,f24,f26,f28,f30,f32,f34,f36,f38) STORE_SYNC(o0, f48) membar #Sync
  597.       FREG_FROB(f38,f40,f42,f44,f46,f0, f2, f4, f6)  STORE_JUMP(o0, f48, finish_f6) membar #Sync
  598. vis32:FREG_FROB(f38,f40,f42,f44,f46,f0, f2, f4, f6)  STORE_SYNC(o0, f48) membar #Sync
  599.       FREG_FROB(f6, f8, f10,f12,f14,f16,f18,f20,f22) STORE_JUMP(o0, f48, finish_f22) membar #Sync
  600. vis33:FREG_FROB(f6, f8, f10,f12,f14,f16,f18,f20,f22) STORE_SYNC(o0, f48) membar #Sync
  601.       FREG_FROB(f22,f24,f26,f28,f30,f32,f34,f36,f38) STORE_JUMP(o0, f48, finish_f38) membar #Sync
  602.       VISLOOP_PAD
  603. vis40:FREG_FROB(f8, f10,f12,f14,f16,f18,f20,f22,f24) LOOP_CHUNK1(o1, o0, g7, vis41)
  604.       FREG_FROB(f24,f26,f28,f30,f32,f34,f36,f38,f40) LOOP_CHUNK2(o1, o0, g7, vis42)
  605.       FREG_FROB(f40,f42,f44,f46,f0, f2, f4, f6, f8)  LOOP_CHUNK3(o1, o0, g7, vis43)
  606.       b,pt %xcc, vis40+4; faligndata %f8, %f10, %f48
  607. vis41:FREG_FROB(f24,f26,f28,f30,f32,f34,f36,f38,f40) STORE_SYNC(o0, f48) membar #Sync
  608.       FREG_FROB(f40,f42,f44,f46,f0, f2, f4, f6, f8)  STORE_JUMP(o0, f48, finish_f8) membar #Sync
  609. vis42:FREG_FROB(f40,f42,f44,f46,f0, f2, f4, f6, f8)  STORE_SYNC(o0, f48) membar #Sync
  610.       FREG_FROB(f8, f10,f12,f14,f16,f18,f20,f22,f24) STORE_JUMP(o0, f48, finish_f24) membar #Sync
  611. vis43:FREG_FROB(f8, f10,f12,f14,f16,f18,f20,f22,f24) STORE_SYNC(o0, f48) membar #Sync
  612.       FREG_FROB(f24,f26,f28,f30,f32,f34,f36,f38,f40) STORE_JUMP(o0, f48, finish_f40) membar #Sync
  613.       VISLOOP_PAD
  614. vis50:FREG_FROB(f10,f12,f14,f16,f18,f20,f22,f24,f26) LOOP_CHUNK1(o1, o0, g7, vis51)
  615.       FREG_FROB(f26,f28,f30,f32,f34,f36,f38,f40,f42) LOOP_CHUNK2(o1, o0, g7, vis52)
  616.       FREG_FROB(f42,f44,f46,f0, f2, f4, f6, f8, f10) LOOP_CHUNK3(o1, o0, g7, vis53)
  617.       b,pt %xcc, vis50+4; faligndata %f10, %f12, %f48
  618. vis51:FREG_FROB(f26,f28,f30,f32,f34,f36,f38,f40,f42) STORE_SYNC(o0, f48) membar #Sync
  619.       FREG_FROB(f42,f44,f46,f0, f2, f4, f6, f8, f10) STORE_JUMP(o0, f48, finish_f10) membar #Sync
  620. vis52:FREG_FROB(f42,f44,f46,f0, f2, f4, f6, f8, f10) STORE_SYNC(o0, f48) membar #Sync
  621.       FREG_FROB(f10,f12,f14,f16,f18,f20,f22,f24,f26) STORE_JUMP(o0, f48, finish_f26) membar #Sync
  622. vis53:FREG_FROB(f10,f12,f14,f16,f18,f20,f22,f24,f26) STORE_SYNC(o0, f48) membar #Sync
  623.       FREG_FROB(f26,f28,f30,f32,f34,f36,f38,f40,f42) STORE_JUMP(o0, f48, finish_f42) membar #Sync
  624.       VISLOOP_PAD
  625. vis60:FREG_FROB(f12,f14,f16,f18,f20,f22,f24,f26,f28) LOOP_CHUNK1(o1, o0, g7, vis61)
  626.       FREG_FROB(f28,f30,f32,f34,f36,f38,f40,f42,f44) LOOP_CHUNK2(o1, o0, g7, vis62)
  627.       FREG_FROB(f44,f46,f0, f2, f4, f6, f8, f10,f12) LOOP_CHUNK3(o1, o0, g7, vis63)
  628.       b,pt %xcc, vis60+4; faligndata %f12, %f14, %f48
  629. vis61:FREG_FROB(f28,f30,f32,f34,f36,f38,f40,f42,f44) STORE_SYNC(o0, f48) membar #Sync
  630.       FREG_FROB(f44,f46,f0, f2, f4, f6, f8, f10,f12) STORE_JUMP(o0, f48, finish_f12) membar #Sync
  631. vis62:FREG_FROB(f44,f46,f0, f2, f4, f6, f8, f10,f12) STORE_SYNC(o0, f48) membar #Sync
  632.       FREG_FROB(f12,f14,f16,f18,f20,f22,f24,f26,f28) STORE_JUMP(o0, f48, finish_f28) membar #Sync
  633. vis63:FREG_FROB(f12,f14,f16,f18,f20,f22,f24,f26,f28) STORE_SYNC(o0, f48) membar #Sync
  634.       FREG_FROB(f28,f30,f32,f34,f36,f38,f40,f42,f44) STORE_JUMP(o0, f48, finish_f44) membar #Sync
  635.       VISLOOP_PAD
  636. vis70:FREG_FROB(f14,f16,f18,f20,f22,f24,f26,f28,f30) LOOP_CHUNK1(o1, o0, g7, vis71)
  637.       FREG_FROB(f30,f32,f34,f36,f38,f40,f42,f44,f46) LOOP_CHUNK2(o1, o0, g7, vis72)
  638.       FREG_FROB(f46,f0, f2, f4, f6, f8, f10,f12,f14) LOOP_CHUNK3(o1, o0, g7, vis73)
  639.       b,pt %xcc, vis70+4; faligndata %f14, %f16, %f48
  640. vis71:FREG_FROB(f30,f32,f34,f36,f38,f40,f42,f44,f46) STORE_SYNC(o0, f48) membar #Sync
  641.       FREG_FROB(f46,f0, f2, f4, f6, f8, f10,f12,f14) STORE_JUMP(o0, f48, finish_f14) membar #Sync
  642. vis72:FREG_FROB(f46,f0, f2, f4, f6, f8, f10,f12,f14) STORE_SYNC(o0, f48) membar #Sync
  643.       FREG_FROB(f14,f16,f18,f20,f22,f24,f26,f28,f30) STORE_JUMP(o0, f48, finish_f30) membar #Sync
  644. vis73:FREG_FROB(f14,f16,f18,f20,f22,f24,f26,f28,f30) STORE_SYNC(o0, f48) membar #Sync
  645.       FREG_FROB(f30,f32,f34,f36,f38,f40,f42,f44,f46) STORE_JUMP(o0, f48, finish_f46) membar #Sync
  646.       VISLOOP_PAD
  647. finish_f0: FINISH_VISCHUNK(o0, f0,  f2,  g3)
  648. finish_f2: FINISH_VISCHUNK(o0, f2,  f4,  g3)
  649. finish_f4: FINISH_VISCHUNK(o0, f4,  f6,  g3)
  650. finish_f6: FINISH_VISCHUNK(o0, f6,  f8,  g3)
  651. finish_f8: FINISH_VISCHUNK(o0, f8,  f10, g3)
  652. finish_f10: FINISH_VISCHUNK(o0, f10, f12, g3)
  653. finish_f12: FINISH_VISCHUNK(o0, f12, f14, g3)
  654. finish_f14: UNEVEN_VISCHUNK(o0, f14, f0,  g3)
  655. finish_f16: FINISH_VISCHUNK(o0, f16, f18, g3)
  656. finish_f18: FINISH_VISCHUNK(o0, f18, f20, g3)
  657. finish_f20: FINISH_VISCHUNK(o0, f20, f22, g3)
  658. finish_f22: FINISH_VISCHUNK(o0, f22, f24, g3)
  659. finish_f24: FINISH_VISCHUNK(o0, f24, f26, g3)
  660. finish_f26: FINISH_VISCHUNK(o0, f26, f28, g3)
  661. finish_f28: FINISH_VISCHUNK(o0, f28, f30, g3)
  662. finish_f30: UNEVEN_VISCHUNK(o0, f30, f0,  g3)
  663. finish_f32: FINISH_VISCHUNK(o0, f32, f34, g3)
  664. finish_f34: FINISH_VISCHUNK(o0, f34, f36, g3)
  665. finish_f36: FINISH_VISCHUNK(o0, f36, f38, g3)
  666. finish_f38: FINISH_VISCHUNK(o0, f38, f40, g3)
  667. finish_f40: FINISH_VISCHUNK(o0, f40, f42, g3)
  668. finish_f42: FINISH_VISCHUNK(o0, f42, f44, g3)
  669. finish_f44: FINISH_VISCHUNK(o0, f44, f46, g3)
  670. finish_f46: UNEVEN_VISCHUNK_LAST(o0, f46, f0,  g3)
  671. vis_out_slk:
  672. #ifdef __KERNEL__
  673. srl asi_src, 3, %g5 ! IEU0 Group
  674. xor asi_src, ASI_BLK_XOR1, asi_src ! IEU1
  675. xor asi_src, %g5, asi_src ! IEU0 Group
  676. #endif
  677. vis_slk:ASI_SETSRC_NOBLK ! LSU Group
  678. EXVIS4(LDDF [%o1] ASINORMAL, %f2) ! Load Group
  679. add %o1, 8, %o1 ! IEU0
  680. subcc %g3, 8, %g3 ! IEU1
  681. ASI_SETDST_NOBLK ! LSU Group
  682. faligndata %f0, %f2, %f8 ! GRU Group
  683. EXVIS5(STDF %f8, [%o0] ASINORMAL) ! Store
  684. bl,pn %xcc, vis_out_slp ! CTI
  685.  add %o0, 8, %o0 ! IEU0 Group
  686. ASI_SETSRC_NOBLK ! LSU Group
  687. EXVIS4(LDDF [%o1] ASINORMAL, %f0) ! Load Group
  688. add %o1, 8, %o1 ! IEU0
  689. subcc %g3, 8, %g3 ! IEU1
  690. ASI_SETDST_NOBLK ! LSU Group
  691. faligndata %f2, %f0, %f8 ! GRU Group
  692. EXVIS5(STDF %f8, [%o0] ASINORMAL) ! Store
  693. bge,pt %xcc, vis_slk ! CTI
  694.  add %o0, 8, %o0 ! IEU0 Group
  695. vis_out_slp:
  696. #ifdef __KERNEL__
  697. brz,pt %o2, vis_ret ! CTI Group
  698.  mov %g1, %o1 ! IEU0
  699. ba,pt %xcc, vis_slp+4 ! CTI Group
  700.  ASI_SETSRC_NOBLK ! LSU Group
  701. #endif
  702. vis_out:brz,pt %o2, vis_ret ! CTI Group
  703.  mov %g1, %o1 ! IEU0
  704. #ifdef __KERNEL__
  705. srl asi_src, 3, %g5 ! IEU0 Group
  706. xor asi_src, ASI_BLK_XOR1, asi_src ! IEU1
  707. xor asi_src, %g5, asi_src ! IEU0 Group
  708. #endif
  709. vis_slp:ASI_SETSRC_NOBLK ! LSU Group
  710. EXO2(LDUB [%o1] ASINORMAL, %g5) ! LOAD
  711. add %o1, 1, %o1 ! IEU0
  712. add %o0, 1, %o0 ! IEU1
  713. ASI_SETDST_NOBLK ! LSU Group
  714. subcc %o2, 1, %o2 ! IEU1
  715. bne,pt %xcc, vis_slp ! CTI
  716.  EX(STB %g5, [%o0 - 1] ASINORMAL,
  717. add %o2, 1) ! Store Group
  718. vis_ret:membar #StoreLoad | #StoreStore ! LSU Group
  719. FPU_CLEAN_RETL
  722. __memcpy_short:
  723. andcc %o2, 1, %g0 ! IEU1 Group
  724. be,pt %icc, 2f ! CTI
  725. 1:  ASI_SETSRC_NOBLK ! LSU Group
  726. EXO2(LDUB [%o1] ASINORMAL, %g5) ! LOAD Group
  727. add %o1, 1, %o1 ! IEU0
  728. add %o0, 1, %o0 ! IEU1
  729. ASI_SETDST_NOBLK ! LSU Group
  730. subcc %o2, 1, %o2 ! IEU1 Group
  731. be,pn %xcc, short_ret ! CTI
  732.  EX(STB %g5, [%o0 - 1] ASINORMAL,
  733. add %o2, 1) ! Store
  734. 2: ASI_SETSRC_NOBLK ! LSU Group
  735. EXO2(LDUB [%o1] ASINORMAL, %g5) ! LOAD Group
  736. add %o0, 2, %o0 ! IEU0
  737. EX2(LDUB [%o1 + 1] ASINORMAL, %o5,
  738. sub %o0, 2, %o0,
  739. add %o2, %g0) ! LOAD Group
  740. add %o1, 2, %o1 ! IEU0
  741. ASI_SETDST_NOBLK ! LSU Group
  742. subcc %o2, 2, %o2 ! IEU1 Group
  743. EX(STB %g5, [%o0 - 2] ASINORMAL,
  744. add %o2, 2) ! Store
  745. bne,pt %xcc, 2b ! CTI
  746.  EX(STB %o5, [%o0 - 1] ASINORMAL,
  747. add %o2, 1) ! Store
  748. short_ret:
  749. NORMAL_RETL
  751. #ifndef __KERNEL__
  752. memcpy_private:
  753. memcpy:
  754. #ifndef REGS_64BIT
  755. srl %o2, 0, %o2 ! IEU1 Group
  756. #endif
  757. brz,pn %o2, short_ret ! CTI Group
  758.  mov %o0, %g6 ! IEU0
  759. #endif
  760. __memcpy_entry:
  761. cmp %o2, 15 ! IEU1 Group
  762. bleu,pn %xcc, __memcpy_short ! CTI
  763.  cmp %o2, (64 * 6) ! IEU1 Group
  764. bgeu,pn %xcc, VIS_enter ! CTI
  765.  andcc %o0, 7, %g2 ! IEU1 Group
  766. sub %o0, %o1, %g5 ! IEU0
  767. andcc %g5, 3, %o5 ! IEU1 Group
  768. bne,pn %xcc, memcpy_noVIS_misaligned ! CTI
  769.  andcc %o1, 3, %g0 ! IEU1 Group
  770. #ifdef REGS_64BIT
  771. be,a,pt %xcc, 3f ! CTI
  772.  andcc %o1, 4, %g0 ! IEU1 Group
  773. andcc %o1, 1, %g0 ! IEU1 Group
  774. #else /* !REGS_64BIT */
  775. be,pt %xcc, 5f ! CTI
  776.  andcc %o1, 1, %g0 ! IEU1 Group
  777. #endif /* !REGS_64BIT */
  778. be,pn %xcc, 4f ! CTI
  779.  andcc %o1, 2, %g0 ! IEU1 Group
  780. ASI_SETSRC_NOBLK ! LSU Group
  781. EXO2(LDUB [%o1] ASINORMAL, %g2) ! Load Group
  782. add %o1, 1, %o1 ! IEU0
  783. add %o0, 1, %o0 ! IEU1
  784. sub %o2, 1, %o2 ! IEU0 Group
  785. ASI_SETDST_NOBLK ! LSU Group
  786. bne,pn %xcc, 5f ! CTI Group
  787.  EX(STB %g2, [%o0 - 1] ASINORMAL,
  788. add %o2, 1) ! Store
  789. 4: ASI_SETSRC_NOBLK ! LSU Group
  790. EXO2(LDUH [%o1] ASINORMAL, %g2) ! Load Group
  791. add %o1, 2, %o1 ! IEU0
  792. add %o0, 2, %o0 ! IEU1
  793. ASI_SETDST_NOBLK ! LSU Group
  794. sub %o2, 2, %o2 ! IEU0
  795. EX(STH %g2, [%o0 - 2] ASINORMAL,
  796. add %o2, 2) ! Store Group + bubble
  797. #ifdef REGS_64BIT
  798. 5: andcc %o1, 4, %g0 ! IEU1
  799. 3: be,a,pn %xcc, 2f ! CTI
  800.  andcc %o2, -128, %g7 ! IEU1 Group
  801. ASI_SETSRC_NOBLK ! LSU Group
  802. EXO2(LDUW [%o1] ASINORMAL, %g5) ! Load Group
  803. add %o1, 4, %o1 ! IEU0
  804. add %o0, 4, %o0 ! IEU1
  805. ASI_SETDST_NOBLK ! LSU Group
  806. sub %o2, 4, %o2 ! IEU0 Group
  807. EX(STW %g5, [%o0 - 4] ASINORMAL,
  808. add %o2, 4) ! Store
  809. andcc %o2, -128, %g7 ! IEU1 Group
  810. 2: be,pn %xcc, 3f ! CTI
  811.  andcc %o0, 4, %g0 ! IEU1 Group
  812. be,pn %xcc, 82f + 4 ! CTI Group
  813. #else /* !REGS_64BIT */
  814. 5: andcc %o2, -128, %g7 ! IEU1
  815. be,a,pn %xcc, 41f ! CTI
  816.  andcc %o2, 0x70, %g7 ! IEU1 Group
  817. #endif /* !REGS_64BIT */
  818. 5: MOVE_BIGCHUNK(o1, o0, 0x00, g1, g3, g5, o5)
  819. MOVE_BIGCHUNK(o1, o0, 0x20, g1, g3, g5, o5)
  820. MOVE_BIGCHUNK(o1, o0, 0x40, g1, g3, g5, o5)
  821. MOVE_BIGCHUNK(o1, o0, 0x60, g1, g3, g5, o5)
  822. EXT(5b,35f,VIScopyfixup1)
  823. 35: subcc %g7, 128, %g7 ! IEU1 Group
  824. add %o1, 128, %o1 ! IEU0
  825. bne,pt %xcc, 5b ! CTI
  826.  add %o0, 128, %o0 ! IEU0 Group
  827. 3: andcc %o2, 0x70, %g7 ! IEU1 Group
  828. 41: be,pn %xcc, 80f ! CTI
  829.  andcc %o2, 8, %g0 ! IEU1 Group
  830. #ifdef __KERNEL__
  831. 79: sethi %hi(80f), %o5 ! IEU0
  832. sll %g7, 1, %g5 ! IEU0 Group
  833. add %o1, %g7, %o1 ! IEU1
  834. srl %g7, 1, %g2 ! IEU0  Group
  835. sub %o5, %g5, %o5 ! IEU1
  836. sub %o5, %g2, %o5 ! IEU0  Group
  837. jmpl %o5 + %lo(80f), %g0 ! CTI Group brk forced
  838.  add %o0, %g7, %o0 ! IEU0 Group
  839. #else
  840. ! Clk1 8-(
  841. ! Clk2 8-(
  842. ! Clk3 8-(
  843. ! Clk4 8-(
  844. 79: rd %pc, %o5 ! PDU Group
  845. sll %g7, 1, %g5 ! IEU0 Group
  846. add %o1, %g7, %o1 ! IEU1
  847. sub %o5, %g5, %o5 ! IEU0  Group
  848. jmpl %o5 + %lo(80f - 79b), %g0 ! CTI Group brk forced
  849.  add %o0, %g7, %o0 ! IEU0 Group
  850. #endif
  851. 36: MOVE_LASTCHUNK(o1, o0, 0x60, g2, g3, g5, o5)
  852. MOVE_LASTCHUNK(o1, o0, 0x50, g2, g3, g5, o5)
  853. MOVE_LASTCHUNK(o1, o0, 0x40, g2, g3, g5, o5)
  854. MOVE_LASTCHUNK(o1, o0, 0x30, g2, g3, g5, o5)
  855. MOVE_LASTCHUNK(o1, o0, 0x20, g2, g3, g5, o5)
  856. MOVE_LASTCHUNK(o1, o0, 0x10, g2, g3, g5, o5)
  857. MOVE_LASTCHUNK(o1, o0, 0x00, g2, g3, g5, o5)
  858. EXT(36b,80f,VIScopyfixup2)
  859. 80: be,pt %xcc, 81f ! CTI
  860.  andcc %o2, 4, %g0 ! IEU1
  861. #ifdef REGS_64BIT
  862. ASI_SETSRC_NOBLK ! LSU Group
  863. EX(LDX [%o1] ASINORMAL, %g2,
  864. and %o2, 0xf) ! Load Group
  865. add %o0, 8, %o0 ! IEU0
  866. ASI_SETDST_NOBLK ! LSU Group
  867. EX(STW %g2, [%o0 - 0x4] ASINORMAL,
  868. and %o2, 0xf) ! Store Group
  869. add %o1, 8, %o1 ! IEU1
  870. srlx %g2, 32, %g2 ! IEU0 Group
  871. EX2(STW %g2, [%o0 - 0x8] ASINORMAL,
  872. and %o2, 0xf, %o2,
  873. sub %o2, 4) ! Store
  874. #else /* !REGS_64BIT */
  875. lduw [%o1], %g2 ! Load Group
  876. add %o0, 8, %o0 ! IEU0
  877. lduw [%o1 + 0x4], %g3 ! Load Group
  878. add %o1, 8, %o1 ! IEU0
  879. stw %g2, [%o0 - 0x8] ! Store Group
  880. stw %g3, [%o0 - 0x4] ! Store Group
  881. #endif /* !REGS_64BIT */
  882. 81: be,pt %xcc, 1f ! CTI
  883.  andcc %o2, 2, %g0 ! IEU1 Group
  884. ASI_SETSRC_NOBLK ! LSU Group
  885. EX(LDUW [%o1] ASINORMAL, %g2,
  886. and %o2, 0x7) ! Load Group
  887. add %o1, 4, %o1 ! IEU0
  888. ASI_SETDST_NOBLK ! LSU Group
  889. EX(STW %g2, [%o0] ASINORMAL,
  890. and %o2, 0x7) ! Store Group
  891. add %o0, 4, %o0 ! IEU0
  892. 1: be,pt %xcc, 1f ! CTI
  893.  andcc %o2, 1, %g0 ! IEU1 Group
  894. ASI_SETSRC_NOBLK ! LSU Group
  895. EX(LDUH [%o1] ASINORMAL, %g2,
  896. and %o2, 0x3) ! Load Group
  897. add %o1, 2, %o1 ! IEU0
  898. ASI_SETDST_NOBLK ! LSU Group
  899. EX(STH %g2, [%o0] ASINORMAL,
  900. and %o2, 0x3) ! Store Group
  901. add %o0, 2, %o0 ! IEU0
  902. 1: be,pt %xcc, normal_retl ! CTI
  903.  nop ! IEU1
  904. ASI_SETSRC_NOBLK ! LSU Group
  905. EX(LDUB [%o1] ASINORMAL, %g2,
  906. add %g0, 1) ! Load Group
  907. ASI_SETDST_NOBLK ! LSU Group
  908. EX(STB %g2, [%o0] ASINORMAL,
  909. add %g0, 1) ! Store Group + bubble
  910. normal_retl:
  911. NORMAL_RETL
  913. #ifdef REGS_64BIT
  914. 82: MOVE_BIGALIGNCHUNK(o1, o0, 0x00, g1, g3, g5, o5)
  915. MOVE_BIGALIGNCHUNK(o1, o0, 0x40, g1, g3, g5, o5)
  916. EXT(82b,37f,VIScopyfixup3)
  917. 37: subcc %g7, 128, %g7 ! IEU1 Group
  918. add %o1, 128, %o1 ! IEU0
  919. bne,pt %xcc, 82b ! CTI
  920.  add %o0, 128, %o0 ! IEU0 Group
  921. andcc %o2, 0x70, %g7 ! IEU1
  922. be,pn %xcc, 84f ! CTI
  923.  andcc %o2, 8, %g0 ! IEU1 Group
  924. #ifdef __KERNEL__
  925. 83: srl %g7, 1, %g5 ! IEU0
  926. sethi %hi(84f), %o5 ! IEU0 Group
  927. add %g7, %g5, %g5 ! IEU1
  928. add %o1, %g7, %o1 ! IEU0 Group
  929. sub %o5, %g5, %o5 ! IEU1
  930. jmpl %o5 + %lo(84f), %g0 ! CTI Group brk forced
  931.  add %o0, %g7, %o0 ! IEU0 Group
  932. #else
  933. ! Clk1 8-(
  934. ! Clk2 8-(
  935. ! Clk3 8-(
  936. ! Clk4 8-(
  937. 83: rd %pc, %o5 ! PDU Group
  938. add %o1, %g7, %o1 ! IEU0 Group
  939. sub %o5, %g7, %o5 ! IEU1
  940. jmpl %o5 + %lo(84f - 83b), %g0 ! CTI Group brk forced
  941.  add %o0, %g7, %o0 ! IEU0 Group
  942. #endif
  943. 38: MOVE_LASTALIGNCHUNK(o1, o0, 0x60, g2, g3)
  944. MOVE_LASTALIGNCHUNK(o1, o0, 0x50, g2, g3)
  945. MOVE_LASTALIGNCHUNK(o1, o0, 0x40, g2, g3)
  946. MOVE_LASTALIGNCHUNK(o1, o0, 0x30, g2, g3)
  947. MOVE_LASTALIGNCHUNK(o1, o0, 0x20, g2, g3)
  948. MOVE_LASTALIGNCHUNK(o1, o0, 0x10, g2, g3)
  949. MOVE_LASTALIGNCHUNK(o1, o0, 0x00, g2, g3)
  950. EXT(38b,84f,VIScopyfixup4)
  951. 84: be,pt %xcc, 85f ! CTI Group
  952.  andcc %o2, 4, %g0 ! IEU1
  953. ASI_SETSRC_NOBLK ! LSU Group
  954. EX(LDX [%o1] ASINORMAL, %g2,
  955. and %o2, 0xf) ! Load Group
  956. add %o0, 8, %o0 ! IEU0
  957. ASI_SETDST_NOBLK ! LSU Group
  958. add %o1, 8, %o1 ! IEU0 Group
  959. EX(STX %g2, [%o0 - 0x8] ASINORMAL,
  960. and %o2, 0xf) ! Store
  961. 85: be,pt %xcc, 1f ! CTI
  962.  andcc %o2, 2, %g0 ! IEU1 Group
  963. ASI_SETSRC_NOBLK ! LSU Group
  964. EX(LDUW [%o1] ASINORMAL, %g2,
  965. and %o2, 0x7) ! Load Group
  966. add %o0, 4, %o0 ! IEU0
  967. ASI_SETDST_NOBLK ! LSU Group
  968. add %o1, 4, %o1 ! IEU0 Group
  969. EX(STW %g2, [%o0 - 0x4] ASINORMAL,
  970. and %o2, 0x7) ! Store
  971. 1: be,pt %xcc, 1f ! CTI
  972.  andcc %o2, 1, %g0 ! IEU1 Group
  973. ASI_SETSRC_NOBLK ! LSU Group
  974. EX(LDUH [%o1] ASINORMAL, %g2,
  975. and %o2, 0x3) ! Load Group
  976. add %o0, 2, %o0 ! IEU0
  977. ASI_SETDST_NOBLK ! LSU Group
  978. add %o1, 2, %o1 ! IEU0 Group
  979. EX(STH %g2, [%o0 - 0x2] ASINORMAL,
  980. and %o2, 0x3) ! Store
  981. 1: be,pt %xcc, 1f ! CTI
  982.  nop ! IEU0 Group
  983. ASI_SETSRC_NOBLK ! LSU Group
  984. EX(LDUB [%o1] ASINORMAL, %g2,
  985. add %g0, 1) ! Load Group
  986. ASI_SETDST_NOBLK ! LSU Group
  987. EX(STB %g2, [%o0] ASINORMAL,
  988. add %g0, 1) ! Store Group + bubble
  989. 1: NORMAL_RETL
  990. #endif /* REGS_64BIT */
  992. memcpy_noVIS_misaligned:
  993. brz,pt %g2, 2f ! CTI Group
  994.  mov 8, %g1 ! IEU0
  995. sub %g1, %g2, %g2 ! IEU0 Group
  996. sub %o2, %g2, %o2 ! IEU0 Group
  997. 1: ASI_SETSRC_NOBLK ! LSU Group
  998. EX(LDUB [%o1] ASINORMAL, %g5,
  999. add %o2, %g2) ! Load Group
  1000. add %o1, 1, %o1 ! IEU0
  1001. add %o0, 1, %o0 ! IEU1
  1002. ASI_SETDST_NOBLK ! LSU Group
  1003. subcc %g2, 1, %g2 ! IEU1 Group
  1004. bne,pt %xcc, 1b ! CTI
  1005.  EX2(STB %g5, [%o0 - 1] ASINORMAL,
  1006. add %o2, %g2, %o2,
  1007. add %o2, 1) ! Store
  1008. 2:
  1009. #ifdef __KERNEL__
  1010. VISEntry
  1011. #endif
  1012. andn %o2, 7, %g5  ! IEU0 Group
  1013. and %o2, 7, %o2 ! IEU1
  1014. fmovd %f0, %f2 ! FPU
  1015. ASI_SETSRC_NOBLK ! LSU Group
  1016. alignaddr %o1, %g0, %g1 ! GRU Group
  1017. EXO2(LDDF [%g1] ASINORMAL, %f4) ! Load Group
  1018. 1: EX(LDDF [%g1 + 0x8] ASINORMAL, %f6,
  1019. add %o2, %g5) ! Load Group
  1020. add %g1, 0x8, %g1 ! IEU0 Group
  1021. subcc %g5, 8, %g5 ! IEU1
  1022. ASI_SETDST_NOBLK ! LSU Group
  1023. faligndata %f4, %f6, %f0 ! GRU Group
  1024. EX2(STDF %f0, [%o0] ASINORMAL,
  1025. add %o2, %g5, %o2,
  1026. add %o2, 8) ! Store
  1027. add %o1, 8, %o1 ! IEU0 Group
  1028. be,pn %xcc, end_cruft ! CTI
  1029.  add %o0, 8, %o0 ! IEU1
  1030. ASI_SETSRC_NOBLK ! LSU Group
  1031. EX(LDDF [%g1 + 0x8] ASINORMAL, %f4,
  1032. add %o2, %g5) ! Load Group
  1033. add %g1, 8, %g1 ! IEU0
  1034. subcc %g5, 8, %g5 ! IEU1
  1035. ASI_SETDST_NOBLK ! LSU Group
  1036. faligndata %f6, %f4, %f0 ! GRU Group
  1037. EX2(STDF %f0, [%o0] ASINORMAL,
  1038. add %o2, %g5, %o2,
  1039. add %o2, 8) ! Store
  1040. add %o1, 8, %o1 ! IEU0
  1041. ASI_SETSRC_NOBLK ! LSU Group
  1042. bne,pn %xcc, 1b ! CTI Group
  1043.  add %o0, 8, %o0 ! IEU0
  1044. end_cruft:
  1045. brz,pn %o2, fpu_retl ! CTI Group
  1046. #ifndef __KERNEL__
  1047.  nop ! IEU0
  1048. #else
  1049.  ASI_SETSRC_NOBLK ! LSU Group
  1050. #endif
  1051. EXO2(LDUB [%o1] ASINORMAL, %g5) ! LOAD
  1052. add %o1, 1, %o1 ! IEU0
  1053. add %o0, 1, %o0 ! IEU1
  1054. ASI_SETDST_NOBLK ! LSU Group
  1055. subcc %o2, 1, %o2 ! IEU1
  1056. bne,pt %xcc, vis_slp ! CTI
  1057.  EX(STB %g5, [%o0 - 1] ASINORMAL,
  1058. add %o2, 1) ! Store Group
  1059. fpu_retl:
  1060. FPU_RETL
  1062. #ifdef __KERNEL__
  1063. .globl __memcpy_end
  1064. __memcpy_end:
  1066. .section .fixup
  1067. .align 4
  1068. VIScopyfixup_reto2:
  1069. mov %o2, %o1
  1070. VIScopyfixup_ret:
  1071. /* If this is copy_from_user(), zero out the rest of the
  1072.  * kernel buffer.
  1073.  */
  1074. ldub [%g6 + AOFF_task_thread + AOFF_thread_current_ds], %o4
  1075. andcc asi_src, 0x1, %g0
  1076. be,pt %icc, 1f
  1077.  VISExit
  1078. andcc asi_dest, 0x1, %g0
  1079. bne,pn %icc, 1f
  1080.  nop
  1081. save %sp, -160, %sp
  1082. mov %i0, %o0
  1083. call __bzero
  1084.  mov %i1, %o1
  1085. restore
  1086. 1: mov %o1, %o0
  1087. retl
  1088.  wr %o4, %g0, %asi
  1089. VIScopyfixup1: subcc %g2, 18, %g2
  1090. add %o0, 32, %o0
  1091. bgeu,a,pt %icc, VIScopyfixup1
  1092.  sub %g7, 32, %g7
  1093. sub %o0, 32, %o0
  1094. rd %pc, %g5
  1095. add %g2, (18 + 16), %g2
  1096. ldub [%g5 + %g2], %g2
  1097. ba,a,pt %xcc, 2f
  1098. .byte 0, 0, 0, 0, 0, 0, 0, 4, 4, 8, 12, 12, 16, 20, 20, 24, 28, 28
  1099. .align 4
  1100. VIScopyfixup2: mov (7 * 16), %g7
  1101. 1: subcc %g2, 10, %g2
  1102. bgeu,a,pt %icc, 1b
  1103.  sub %g7, 16, %g7
  1104. sub %o0, %g7, %o0
  1105. rd %pc, %g5
  1106. add %g2, (10 + 16), %g2
  1107. ldub [%g5 + %g2], %g2
  1108. ba,a,pt %xcc, 4f
  1109. .byte 0, 0, 0, 0, 0, 4, 4, 8, 12, 12
  1110. .align 4
  1111. VIScopyfixup3: subcc %g2, 10, %g2
  1112. add %o0, 32, %o0
  1113. bgeu,a,pt %icc, VIScopyfixup3
  1114.  sub %g7, 32, %g7
  1115. sub %o0, 32, %o0
  1116. rd %pc, %g5
  1117. add %g2, (10 + 16), %g2
  1118. ldub [%g5 + %g2], %g2
  1119. ba,a,pt %xcc, 2f
  1120. .byte 0, 0, 0, 0, 0, 0, 0, 8, 16, 24
  1121. .align 4
  1122. 2: and %o2, 0x7f, %o2
  1123. sub %g7, %g2, %g7
  1124. ba,pt %xcc, VIScopyfixup_ret
  1125.  add %g7, %o2, %o1
  1126. VIScopyfixup4: mov (7 * 16), %g7
  1127. 3: subcc %g2, 6, %g2
  1128. bgeu,a,pt %icc, 3b
  1129.  sub %g7, 16, %g7
  1130. sub %o0, %g7, %o0
  1131. rd %pc, %g5
  1132. add %g2, (6 + 16), %g2
  1133. ldub [%g5 + %g2], %g2
  1134. ba,a,pt %xcc, 4f
  1135. .byte 0, 0, 0, 0, 0, 8
  1136. .align 4
  1137. 4: and %o2, 0xf, %o2
  1138. sub %g7, %g2, %g7
  1139. ba,pt %xcc, VIScopyfixup_ret
  1140.  add %g7, %o2, %o1
  1141. VIScopyfixup_vis3:
  1142. sub %o2, 0x80, %o2
  1143. VIScopyfixup_vis2:
  1144. add %o2, 0x40, %o2
  1145. VIScopyfixup_vis0:
  1146. add %o2, 0x80, %o2
  1147. VIScopyfixup_vis1:
  1148. add %g7, %g3, %g7
  1149. ba,pt %xcc, VIScopyfixup_ret
  1150.  add %o2, %g7, %o1
  1151. VIScopyfixup_vis5:
  1152. add %g3, 8, %g3
  1153. VIScopyfixup_vis4:
  1154. add %g3, 8, %g3
  1155. ba,pt %xcc, VIScopyfixup_ret
  1156.  add %o2, %g3, %o1
  1157. #endif
  1159. #ifdef __KERNEL__
  1160. .text
  1161. .align 32
  1163. .globl __memmove
  1164. .type __memmove,@function
  1166. .globl memmove
  1167. .type memmove,@function
  1169. memmove:
  1170. __memmove: cmp %o0, %o1
  1171. blu,pt %xcc, memcpy_private
  1172.  sub %o0, %o1, %g5
  1173. add %o1, %o2, %g3
  1174. cmp %g3, %o0
  1175. bleu,pt %xcc, memcpy_private
  1176.  add %o1, %o2, %g5
  1177. add %o0, %o2, %o5
  1179. sub %g5, 1, %o1
  1180. sub %o5, 1, %o0
  1181. 1: ldub [%o1], %g5
  1182. subcc %o2, 1, %o2
  1183. sub %o1, 1, %o1
  1184. stb %g5, [%o0]
  1185. bne,pt %icc, 1b
  1186.  sub %o0, 1, %o0
  1188. retl
  1189.  clr %o0
  1190. #endif