开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Windows编程 > 多媒体编程 > 查看源码
x86-64.asm
资源名称：fullMPCcode.rar　[点击查看]
上传用户：xjjlds
上传日期：2015-12-05
资源大小：22823k
文件大小：22k
源码类别：

多媒体编程

开发平台：

Visual C++

x86-64.asm：源码内容
  2. .const
  4. __uvmin DD 0d01502f9r ; -1e+010
  5. __uvmax DD 0501502f9r ; +1e+010
  7. .code
  9. ;
  10. ; memsetd
  11. ;
  13. memsetd proc public
  15. push rdi
  17. mov rdi, rcx
  18. mov eax, edx
  19. mov rcx, r8
  20. cld
  21. rep stosd
  23. pop rdi
  25. ret
  27. memsetd endp
  29. ;
  30. ; SaturateColor
  31. ;
  33. SaturateColor_amd64 proc public
  35. pxor xmm0, xmm0
  36. movdqa xmm1, [rcx]
  37. packssdw xmm1, xmm0
  38. packuswb xmm1, xmm0
  39. punpcklbw xmm1, xmm0
  40. punpcklwd xmm1, xmm0
  41. movdqa [rcx], xmm1
  43. ret
  45. SaturateColor_amd64 endp
  47. ;
  48. ; swizzling
  49. ;
  51. punpck macro op, sd0, sd2, s1, s3, d1, d3
  53. movdqa @CatStr(xmm, %d1), @CatStr(xmm, %sd0)
  54. pshufd @CatStr(xmm, %d3), @CatStr(xmm, %sd2), 0e4h
  56. @CatStr(punpckl, op) @CatStr(xmm, %sd0), @CatStr(xmm, %s1)
  57. @CatStr(punpckh, op) @CatStr(xmm, %d1), @CatStr(xmm, %s1)
  58. @CatStr(punpckl, op) @CatStr(xmm, %sd2), @CatStr(xmm, %s3)
  59. @CatStr(punpckh, op) @CatStr(xmm, %d3), @CatStr(xmm, %s3)
  61. endm
  63. punpck2 macro op, sd0, sd2, sd4, sd6, s1, s3, s5, s7, d1, d3, d5, d7
  65. movdqa @CatStr(xmm, %d1), @CatStr(xmm, %sd0)
  66. pshufd @CatStr(xmm, %d3), @CatStr(xmm, %sd2), 0e4h
  67. movdqa @CatStr(xmm, %d5), @CatStr(xmm, %sd4)
  68. pshufd @CatStr(xmm, %d7), @CatStr(xmm, %sd6), 0e4h
  70. @CatStr(punpckl, op) @CatStr(xmm, %sd0), @CatStr(xmm, %s1)
  71. @CatStr(punpckh, op) @CatStr(xmm, %d1), @CatStr(xmm, %s1)
  72. @CatStr(punpckl, op) @CatStr(xmm, %sd2), @CatStr(xmm, %s3)
  73. @CatStr(punpckh, op) @CatStr(xmm, %d3), @CatStr(xmm, %s3)
  74. @CatStr(punpckl, op) @CatStr(xmm, %sd4), @CatStr(xmm, %s5)
  75. @CatStr(punpckh, op) @CatStr(xmm, %d5), @CatStr(xmm, %s5)
  76. @CatStr(punpckl, op) @CatStr(xmm, %sd6), @CatStr(xmm, %s7)
  77. @CatStr(punpckh, op) @CatStr(xmm, %d7), @CatStr(xmm, %s7)
  79. endm
  81. punpcknbl macro
  83. movdqa xmm4, xmm0
  84. pshufd xmm5, xmm1, 0e4h
  86. psllq xmm1, 4
  87. psrlq xmm4, 4
  89. movdqa xmm6, xmm7
  90. pand xmm0, xmm7
  91. pandn xmm6, xmm1
  92. por xmm0, xmm6
  94. movdqa xmm6, xmm7
  95. pand xmm4, xmm7
  96. pandn xmm6, xmm5
  97. por xmm4, xmm6
  99. movdqa xmm1, xmm4
  101. movdqa xmm4, xmm2
  102. pshufd xmm5, xmm3, 0e4h
  104. psllq xmm3, 4
  105. psrlq xmm4, 4
  107. movdqa xmm6, xmm7
  108. pand xmm2, xmm7
  109. pandn xmm6, xmm3
  110. por xmm2, xmm6
  112. movdqa xmm6, xmm7
  113. pand xmm4, xmm7
  114. pandn xmm6, xmm5
  115. por xmm4, xmm6
  117. movdqa xmm3, xmm4
  119. punpck bw, 0, 2, 1, 3, 4, 6
  121. endm
  123. punpcknbh macro
  125. movdqa xmm12, xmm8
  126. pshufd xmm13, xmm9, 0e4h
  128. psllq xmm9, 4
  129. psrlq xmm12, 4
  131. movdqa xmm14, xmm15
  132. pand xmm8, xmm15
  133. pandn xmm14, xmm9
  134. por xmm8, xmm14
  136. movdqa xmm14, xmm15
  137. pand xmm12, xmm15
  138. pandn xmm14, xmm13
  139. por xmm12, xmm14
  141. movdqa xmm9, xmm12
  143. movdqa xmm12, xmm10
  144. pshufd xmm13, xmm11, 0e4h
  146. psllq xmm11, 4
  147. psrlq xmm12, 4
  149. movdqa xmm14, xmm15
  150. pand xmm10, xmm15
  151. pandn xmm14, xmm11
  152. por xmm10, xmm14
  154. movdqa xmm14, xmm15
  155. pand xmm12, xmm15
  156. pandn xmm14, xmm13
  157. por xmm12, xmm14
  159. movdqa xmm11, xmm12
  161. punpck bw, 8, 10, 9, 11, 12, 14
  163. endm
  165. ;
  166. ; unSwizzleBlock32
  167. ;
  169. unSwizzleBlock32_amd64 proc public
  171. push rsi
  172. push rdi
  174. mov rsi, rcx
  175. mov rdi, rdx
  176. mov rcx, 4
  178. align 16
  179. @@:
  180. movdqa xmm0, [rsi+16*0]
  181. movdqa xmm1, [rsi+16*1]
  182. movdqa xmm2, [rsi+16*2]
  183. movdqa xmm3, [rsi+16*3]
  185. punpck qdq, 0, 2, 1, 3, 4, 6
  187. movdqa [rdi], xmm0
  188. movdqa [rdi+16], xmm2
  189. movdqa [rdi+r8], xmm4
  190. movdqa [rdi+r8+16], xmm6
  192. add rsi, 64
  193. lea rdi, [rdi+r8*2]
  195. dec rcx
  196. jnz @B
  198. pop rdi
  199. pop rsi
  201. ret
  203. unSwizzleBlock32_amd64 endp
  205. ;
  206. ; unSwizzleBlock32_2 (TODO: test me)
  207. ;
  209. unSwizzleBlock32_2_amd64 proc public
  211. push rsi
  212. push rdi
  214. mov rsi, rcx
  215. mov rdi, rdx
  216. mov rcx, 2
  218. align 16
  219. @@:
  220. movdqa xmm0, [rsi+16*0]
  221. movdqa xmm1, [rsi+16*1]
  222. movdqa xmm2, [rsi+16*2]
  223. movdqa xmm3, [rsi+16*3]
  224. movdqa xmm4, [rsi+16*4]
  225. movdqa xmm5, [rsi+16*5]
  226. movdqa xmm6, [rsi+16*6]
  227. movdqa xmm7, [rsi+16*7]
  229. punpck2 qdq, 0, 2, 4, 6, 1, 3, 5, 7, 8, 10, 12, 14
  231. movdqa [rdi], xmm0
  232. movdqa [rdi+16], xmm2
  233. movdqa [rdi+r8], xmm4
  234. movdqa [rdi+r8+16], xmm6
  235. lea rdi, [rdi+r8*2]
  237. movdqa [rdi], xmm8
  238. movdqa [rdi+16], xmm10
  239. movdqa [rdi+r8], xmm12
  240. movdqa [rdi+r8+16], xmm14
  241. lea rdi, [rdi+r8*2]
  243. add rsi, 128
  245. dec rcx
  246. jnz @B
  248. pop rdi
  249. pop rsi
  251. ret
  253. unSwizzleBlock32_2_amd64 endp
  255. ;
  256. ; unSwizzleBlock16
  257. ;
  259. unSwizzleBlock16_amd64 proc public
  261. push rsi
  262. push rdi
  264. mov rsi, rcx
  265. mov rdi, rdx
  266. mov rcx, 4
  268. align 16
  269. @@:
  270. movdqa xmm0, [rsi+16*0]
  271. movdqa xmm1, [rsi+16*1]
  272. movdqa xmm2, [rsi+16*2]
  273. movdqa xmm3, [rsi+16*3]
  275. punpck wd, 0, 2, 1, 3, 4, 6
  276. punpck dq, 0, 4, 2, 6, 1, 3
  277. punpck wd, 0, 4, 1, 3, 2, 6
  279. movdqa [rdi], xmm0
  280. movdqa [rdi+16], xmm2
  281. movdqa [rdi+r8], xmm4
  282. movdqa [rdi+r8+16], xmm6
  284. add rsi, 64
  285. lea rdi, [rdi+r8*2]
  287. dec rcx
  288. jnz @B
  290. pop rdi
  291. pop rsi
  293. ret
  295. unSwizzleBlock16_amd64 endp
  297. ;
  298. ; unSwizzleBlock8
  299. ;
  301. unSwizzleBlock8_amd64 proc public
  303. push rsi
  304. push rdi
  306. mov rsi, rcx
  307. mov rdi, rdx
  308. mov rcx, 2
  310. ; r9 = r8*3
  311. lea r9, [r8*2]
  312. add r9, r8
  314. align 16
  315. @@:
  316. ; col 0, 2
  318. movdqa xmm0, [rsi+16*0]
  319. movdqa xmm1, [rsi+16*1]
  320. movdqa xmm4, [rsi+16*2]
  321. movdqa xmm5, [rsi+16*3]
  323. ; col 1, 3
  325. movdqa xmm8, [rsi+16*4]
  326. movdqa xmm9, [rsi+16*5]
  327. movdqa xmm12, [rsi+16*6]
  328. movdqa xmm13, [rsi+16*7]
  330. ; col 0, 2
  332. punpck bw,  0, 4, 1, 5, 2, 6
  333. punpck wd,  0, 2, 4, 6, 1, 3
  334. punpck bw,  0, 2, 1, 3, 4, 6
  335. punpck qdq, 0, 2, 4, 6, 1, 3
  337. pshufd xmm1, xmm1, 0b1h
  338. pshufd xmm3, xmm3, 0b1h
  340. ; col 1, 3
  342. punpck bw,  8, 12, 9, 13, 10, 14
  343. punpck wd,  8, 10, 12, 14, 9, 11
  344. punpck bw,  8, 10, 9, 11, 12, 14
  345. punpck qdq, 8, 10, 12, 14, 9, 11
  347. pshufd xmm8, xmm8, 0b1h
  348. pshufd xmm10, xmm10, 0b1h
  350. ; col 0, 2
  352. movdqa [rdi], xmm0
  353. movdqa [rdi+r8], xmm2
  354. movdqa [rdi+r8*2], xmm1
  355. movdqa [rdi+r9], xmm3
  356. lea rdi, [rdi+r8*4]
  358. ; col 1, 3
  360. movdqa [rdi], xmm8
  361. movdqa [rdi+r8], xmm10
  362. movdqa [rdi+r8*2], xmm9
  363. movdqa [rdi+r9], xmm11
  364. lea rdi, [rdi+r8*4]
  366. add rsi, 128
  368. dec rcx
  369. jnz @B
  371. pop rdi
  372. pop rsi
  374. ret
  376. unSwizzleBlock8_amd64 endp
  378. ;
  379. ; unSwizzleBlock4
  380. ;
  382. unSwizzleBlock4_amd64 proc public
  384. push rsi
  385. push rdi
  387. mov rsi, rcx
  388. mov rdi, rdx
  389. mov rcx, 2
  391. ; r9 = r8*3
  392. lea r9, [r8*2]
  393. add r9, r8
  395. mov         eax, 0f0f0f0fh
  396. movd        xmm7, rax 
  397. pshufd      xmm7, xmm7, 0
  398. movdqa      xmm15, xmm7
  400. align 16
  401. @@:
  402. ; col 0, 2
  404. movdqa xmm0, [rsi+16*0]
  405. movdqa xmm1, [rsi+16*1]
  406. movdqa xmm4, [rsi+16*2]
  407. movdqa xmm3, [rsi+16*3]
  409. ; col 1, 3
  411. movdqa xmm8, [rsi+16*4]
  412. movdqa xmm9, [rsi+16*5]
  413. movdqa xmm12, [rsi+16*6]
  414. movdqa xmm11, [rsi+16*7]
  416. ; col 0, 2
  418. punpck dq, 0, 4, 1, 3, 2, 6
  419. punpck dq, 0, 2, 4, 6, 1, 3
  420. punpcknbl
  421. punpck bw, 0, 2, 4, 6, 1, 3
  422. punpck wd, 0, 2, 1, 3, 4, 6
  424. ; col 1, 3
  426. punpck dq, 8, 12, 9, 11, 10, 14
  427. punpck dq, 8, 10, 12, 14, 9, 11
  428. punpcknbh
  429. punpck bw, 8, 10, 12, 14, 9, 11
  430. punpck wd, 8, 10, 9, 11, 12, 14
  432. ; col 0, 2
  434. pshufd xmm0, xmm0, 0d8h
  435. pshufd xmm2, xmm2, 0d8h
  436. pshufd xmm4, xmm4, 0d8h
  437. pshufd xmm6, xmm6, 0d8h
  439. ; col 1, 3
  441. pshufd xmm8, xmm8, 0d8h
  442. pshufd xmm10, xmm10, 0d8h
  443. pshufd xmm12, xmm12, 0d8h
  444. pshufd xmm14, xmm14, 0d8h
  446. ; col 0, 2
  448. punpck qdq, 0, 2, 4, 6, 1, 3
  450. ; col 1, 3
  452. punpck qdq, 8, 10, 12, 14, 9, 11
  454. ; col 0, 2
  456. pshuflw xmm1, xmm1, 0b1h
  457. pshuflw xmm3, xmm3, 0b1h
  458. pshufhw xmm1, xmm1, 0b1h
  459. pshufhw xmm3, xmm3, 0b1h
  461. ; col 1, 3
  463. pshuflw xmm8, xmm8, 0b1h
  464. pshuflw xmm10, xmm10, 0b1h
  465. pshufhw xmm8, xmm8, 0b1h
  466. pshufhw xmm10, xmm10, 0b1h
  468. ; col 0, 2
  470. movdqa [rdi], xmm0
  471. movdqa [rdi+r8], xmm2
  472. movdqa [rdi+r8*2], xmm1
  473. movdqa [rdi+r9], xmm3
  474. lea rdi, [rdi+r8*4]
  476. ; col 1, 3
  478. movdqa [rdi], xmm8
  479. movdqa [rdi+r8], xmm10
  480. movdqa [rdi+r8*2], xmm9
  481. movdqa [rdi+r9], xmm11
  482. lea rdi, [rdi+r8*4]
  484. add rsi, 128
  486. dec rcx
  487. jnz @B
  489. pop rdi
  490. pop rsi
  492. ret
  494. unSwizzleBlock4_amd64 endp
  496. ;
  497. ; unSwizzleBlock8HP
  498. ;
  500. unSwizzleBlock8HP_amd64 proc public
  502. push rsi
  503. push rdi
  505. mov rsi, rcx
  506. mov rdi, rdx
  507. mov rcx, 4
  509. align 16
  510. @@:
  511. movdqa xmm0, [rsi+16*0]
  512. movdqa xmm1, [rsi+16*1]
  513. movdqa xmm2, [rsi+16*2]
  514. movdqa xmm3, [rsi+16*3]
  516. punpck qdq, 0, 2, 1, 3, 4, 6
  518. psrld xmm0, 24
  519. psrld xmm2, 24
  520. psrld xmm4, 24
  521. psrld xmm6, 24
  523. packssdw xmm0, xmm2
  524. packssdw xmm4, xmm6
  525. packuswb xmm0, xmm4
  527. movlps qword ptr [rdi], xmm0
  528. movhps qword ptr [rdi+r8], xmm0
  530. add rsi, 64
  531. lea rdi, [rdi+r8*2]
  533. dec rcx
  534. jnz @B
  536. pop rdi
  537. pop rsi
  539. ret
  541. unSwizzleBlock8HP_amd64 endp
  543. ;
  544. ; unSwizzleBlock4HLP
  545. ;
  547. unSwizzleBlock4HLP_amd64 proc public
  549. push rsi
  550. push rdi
  552. mov rsi, rcx
  553. mov rdi, rdx
  554. mov rcx, 4
  556. mov         eax, 0f0f0f0fh
  557. movd        xmm7, eax 
  558. pshufd      xmm7, xmm7, 0
  560. align 16
  561. @@:
  562. movdqa xmm0, [rsi+16*0]
  563. movdqa xmm1, [rsi+16*1]
  564. movdqa xmm2, [rsi+16*2]
  565. movdqa xmm3, [rsi+16*3]
  567. punpck qdq, 0, 2, 1, 3, 4, 6
  569. psrld xmm0, 24
  570. psrld xmm2, 24
  571. psrld xmm4, 24
  572. psrld xmm6, 24
  574. packssdw xmm0, xmm2
  575. packssdw xmm4, xmm6
  576. packuswb xmm0, xmm4
  578. pand xmm0, xmm7
  580. movlps qword ptr [rdi], xmm0
  581. movhps qword ptr [rdi+r8], xmm0
  583. add rsi, 64
  584. lea rdi, [rdi+r8*2]
  586. dec rcx
  587. jnz @B
  589. pop rdi
  590. pop rsi
  592. ret
  594. unSwizzleBlock4HLP_amd64 endp
  596. ;
  597. ; unSwizzleBlock4HHP
  598. ;
  600. unSwizzleBlock4HHP_amd64 proc public
  602. push rsi
  603. push rdi
  605. mov rsi, rcx
  606. mov rdi, rdx
  607. mov rcx, 4
  609. align 16
  610. @@:
  611. movdqa xmm0, [rsi+16*0]
  612. movdqa xmm1, [rsi+16*1]
  613. movdqa xmm2, [rsi+16*2]
  614. movdqa xmm3, [rsi+16*3]
  616. punpck qdq, 0, 2, 1, 3, 4, 6
  618. psrld xmm0, 28
  619. psrld xmm2, 28
  620. psrld xmm4, 28
  621. psrld xmm6, 28
  623. packssdw xmm0, xmm2
  624. packssdw xmm4, xmm6
  625. packuswb xmm0, xmm4
  627. movlps qword ptr [rdi], xmm0
  628. movhps qword ptr [rdi+r8], xmm0
  630. add rsi, 64
  631. lea rdi, [rdi+r8*2]
  633. dec rcx
  634. jnz @B
  636. pop rdi
  637. pop rsi
  639. ret
  641. unSwizzleBlock4HHP_amd64 endp
  643. ;
  644. ; unSwizzleBlock4P
  645. ;
  647. unSwizzleBlock4P_amd64 proc public
  649. mov         eax, 0f0f0f0fh
  650. movd        xmm8, eax 
  651. pshufd      xmm8, xmm8, 0
  653. ; r9 = r8*3
  654. lea r9, [r8*2]
  655. add r9, r8
  657. ; col 0
  659. movdqa xmm0, [rcx+16*0]
  660. movdqa xmm1, [rcx+16*1]
  661. movdqa xmm2, [rcx+16*2]
  662. movdqa xmm3, [rcx+16*3]
  664. punpck bw, 0, 2, 1, 3, 4, 6
  665. punpck wd, 0, 4, 2, 6, 1, 3
  666. punpck bw, 0, 4, 1, 3, 2, 6
  668. movdqa xmm1, xmm8
  669. pandn xmm1, xmm0
  670. pand xmm0, xmm8
  671. pshufd xmm1, xmm1, 0b1h
  672. psrlq xmm1, 4
  674. movdqa xmm3, xmm8
  675. pandn xmm3, xmm2
  676. pand xmm2, xmm8
  677. pshufd xmm3, xmm3, 0b1h
  678. psrlq xmm3, 4
  680. movdqa xmm5, xmm8
  681. pandn xmm5, xmm4
  682. pand xmm4, xmm8
  683. pshufd xmm5, xmm5, 0b1h
  684. psrlq xmm5, 4
  686. movdqa xmm7, xmm8
  687. pandn xmm7, xmm6
  688. pand xmm6, xmm8
  689. pshufd xmm7, xmm7, 0b1h
  690. psrlq xmm7, 4
  692. movdqa [rdx], xmm0
  693. movdqa [rdx+16], xmm2
  694. movdqa [rdx+r8], xmm4
  695. movdqa [rdx+r8+16], xmm6
  697. movdqa [rdx+r8*2], xmm1
  698. movdqa [rdx+r8*2+16], xmm3
  699. movdqa [rdx+r9], xmm5
  700. movdqa [rdx+r9+16], xmm7
  702. lea rdx, [rdx+r8*4]
  704. ; col 1
  706. movdqa xmm0, [rcx+16*4]
  707. movdqa xmm1, [rcx+16*5]
  708. movdqa xmm2, [rcx+16*6]
  709. movdqa xmm3, [rcx+16*7]
  711. punpck bw, 0, 2, 1, 3, 4, 6
  712. punpck wd, 0, 4, 2, 6, 1, 3
  713. punpck bw, 0, 4, 1, 3, 2, 6
  715. movdqa xmm1, xmm8
  716. pandn xmm1, xmm0
  717. pand xmm0, xmm8
  718. pshufd xmm0, xmm0, 0b1h
  719. psrlq xmm1, 4
  721. movdqa xmm3, xmm8
  722. pandn xmm3, xmm2
  723. pand xmm2, xmm8
  724. pshufd xmm2, xmm2, 0b1h
  725. psrlq xmm3, 4
  727. movdqa xmm5, xmm8
  728. pandn xmm5, xmm4
  729. pand xmm4, xmm8
  730. pshufd xmm4, xmm4, 0b1h
  731. psrlq xmm5, 4
  733. movdqa xmm7, xmm8
  734. pandn xmm7, xmm6
  735. pand xmm6, xmm8
  736. pshufd xmm6, xmm6, 0b1h
  737. psrlq xmm7, 4
  739. movdqa [rdx], xmm0
  740. movdqa [rdx+16], xmm2
  741. movdqa [rdx+r8], xmm4
  742. movdqa [rdx+r8+16], xmm6
  744. movdqa [rdx+r8*2], xmm1
  745. movdqa [rdx+r8*2+16], xmm3
  746. movdqa [rdx+r9], xmm5
  747. movdqa [rdx+r9+16], xmm7
  749. lea rdx, [rdx+r8*4]
  751. ; col 2
  753. movdqa xmm0, [rcx+16*8]
  754. movdqa xmm1, [rcx+16*9]
  755. movdqa xmm2, [rcx+16*10]
  756. movdqa xmm3, [rcx+16*11]
  758. punpck bw, 0, 2, 1, 3, 4, 6
  759. punpck wd, 0, 4, 2, 6, 1, 3
  760. punpck bw, 0, 4, 1, 3, 2, 6
  762. movdqa xmm1, xmm8
  763. pandn xmm1, xmm0
  764. pand xmm0, xmm8
  765. pshufd xmm1, xmm1, 0b1h
  766. psrlq xmm1, 4
  768. movdqa xmm3, xmm8
  769. pandn xmm3, xmm2
  770. pand xmm2, xmm8
  771. pshufd xmm3, xmm3, 0b1h
  772. psrlq xmm3, 4
  774. movdqa xmm5, xmm8
  775. pandn xmm5, xmm4
  776. pand xmm4, xmm8
  777. pshufd xmm5, xmm5, 0b1h
  778. psrlq xmm5, 4
  780. movdqa xmm7, xmm8
  781. pandn xmm7, xmm6
  782. pand xmm6, xmm8
  783. pshufd xmm7, xmm7, 0b1h
  784. psrlq xmm7, 4
  786. movdqa [rdx], xmm0
  787. movdqa [rdx+16], xmm2
  788. movdqa [rdx+r8], xmm4
  789. movdqa [rdx+r8+16], xmm6
  791. movdqa [rdx+r8*2], xmm1
  792. movdqa [rdx+r8*2+16], xmm3
  793. movdqa [rdx+r9], xmm5
  794. movdqa [rdx+r9+16], xmm7
  796. lea rdx, [rdx+r8*4]
  798. ; col 3
  800. movdqa xmm0, [rcx+16*12]
  801. movdqa xmm1, [rcx+16*13]
  802. movdqa xmm2, [rcx+16*14]
  803. movdqa xmm3, [rcx+16*15]
  805. punpck bw, 0, 2, 1, 3, 4, 6
  806. punpck wd, 0, 4, 2, 6, 1, 3
  807. punpck bw, 0, 4, 1, 3, 2, 6
  809. movdqa xmm1, xmm8
  810. pandn xmm1, xmm0
  811. pand xmm0, xmm8
  812. pshufd xmm0, xmm0, 0b1h
  813. psrlq xmm1, 4
  815. movdqa xmm3, xmm8
  816. pandn xmm3, xmm2
  817. pand xmm2, xmm8
  818. pshufd xmm2, xmm2, 0b1h
  819. psrlq xmm3, 4
  821. movdqa xmm5, xmm8
  822. pandn xmm5, xmm4
  823. pand xmm4, xmm8
  824. pshufd xmm4, xmm4, 0b1h
  825. psrlq xmm5, 4
  827. movdqa xmm7, xmm8
  828. pandn xmm7, xmm6
  829. pand xmm6, xmm8
  830. pshufd xmm6, xmm6, 0b1h
  831. psrlq xmm7, 4
  833. movdqa [rdx], xmm0
  834. movdqa [rdx+16], xmm2
  835. movdqa [rdx+r8], xmm4
  836. movdqa [rdx+r8+16], xmm6
  838. movdqa [rdx+r8*2], xmm1
  839. movdqa [rdx+r8*2+16], xmm3
  840. movdqa [rdx+r9], xmm5
  841. movdqa [rdx+r9+16], xmm7
  843. ; lea rdx, [rdx+r8*4]
  845. ret
  847. unSwizzleBlock4P_amd64 endp
  849. ;
  850. ; swizzling
  851. ;
  853. ;
  854. ; SwizzleBlock32_amd64
  855. ;
  857. SwizzleBlock32_amd64 proc public
  859. push rsi
  860. push rdi
  862. mov rdi, rcx
  863. mov rsi, rdx
  864. mov rcx, 4
  866. cmp r9d, 0ffffffffh
  867. jnz SwizzleBlock32_amd64@WM
  869. align 16
  870. @@:
  871. movdqa xmm0, [rsi]
  872. movdqa xmm4, [rsi+16]
  873. movdqa xmm1, [rsi+r8]
  874. movdqa xmm5, [rsi+r8+16]
  876. punpck qdq, 0, 4, 1, 5, 2, 6
  878. movdqa [rdi+16*0], xmm0
  879. movdqa [rdi+16*1], xmm2
  880. movdqa [rdi+16*2], xmm4
  881. movdqa [rdi+16*3], xmm6
  883. lea rsi, [rsi+r8*2]
  884. add rdi, 64
  886. dec rcx
  887. jnz @B
  889. pop rdi
  890. pop rsi
  892. ret
  894. SwizzleBlock32_amd64@WM:
  896. movd xmm7, r9d
  897. pshufd xmm7, xmm7, 0
  899. align 16
  900. @@:
  901. movdqa xmm0, [rsi]
  902. movdqa xmm4, [rsi+16]
  903. movdqa xmm1, [rsi+r8]
  904. movdqa xmm5, [rsi+r8+16]
  906. punpck qdq, 0, 4, 1, 5, 2, 6
  908. movdqa xmm3, xmm7
  909. pshufd xmm5, xmm7, 0e4h
  910. movdqa xmm9, xmm7
  911. pshufd xmm11, xmm7, 0e4h
  913. pandn xmm3, [rdi+16*0]
  914. pand xmm0, xmm7
  915. por xmm0, xmm3
  916. movdqa [rdi+16*0], xmm0
  918. pandn xmm5, [rdi+16*1]
  919. pand xmm2, xmm7
  920. por xmm2, xmm5
  921. movdqa [rdi+16*1], xmm2
  923. pandn xmm9, [rdi+16*2]
  924. pand xmm4, xmm7
  925. por xmm4, xmm9
  926. movdqa [rdi+16*2], xmm4
  928. pandn xmm11, [rdi+16*3]
  929. pand xmm6, xmm7
  930. por xmm6, xmm11
  931. movdqa [edi+16*3], xmm6
  933. lea rsi, [rsi+r8*2]
  934. add rdi, 64
  936. dec rcx
  937. jnz @B
  939. pop rdi
  940. pop rsi
  942. ret
  944. SwizzleBlock32_amd64 endp
  946. ;
  947. ; SwizzleBlock16_amd64
  948. ;
  950. SwizzleBlock16_amd64 proc public
  952. push rsi
  953. push rdi
  955. mov rdi, rcx
  956. mov rsi, rdx
  957. mov rcx, 4
  959. align 16
  960. @@:
  961. movdqa xmm0, [rsi]
  962. movdqa xmm1, [rsi+16]
  963. movdqa xmm2, [rsi+r8]
  964. movdqa xmm3, [rsi+r8+16]
  966. punpck wd, 0, 2, 1, 3, 4, 6
  967. punpck qdq, 0, 4, 2, 6, 1, 5
  969. movdqa [rdi+16*0], xmm0
  970. movdqa [rdi+16*1], xmm1
  971. movdqa [rdi+16*2], xmm4
  972. movdqa [rdi+16*3], xmm5
  974. lea rsi, [rsi+r8*2]
  975. add rdi, 64
  977. dec rcx
  978. jnz @B
  980. pop rdi
  981. pop rsi
  983. ret
  985. SwizzleBlock16_amd64 endp
  987. ;
  988. ; SwizzleBlock8
  989. ;
  991. SwizzleBlock8_amd64 proc public
  993. push rsi
  994. push rdi
  996. mov rdi, rcx
  997. mov rsi, rdx
  998. mov ecx, 2
  1000. align 16
  1001. @@:
  1002. ; col 0, 2
  1004. movdqa xmm0, [rsi]
  1005. movdqa xmm2, [rsi+r8]
  1006. lea rsi, [rsi+r8*2]
  1008. pshufd xmm1, [rsi], 0b1h
  1009. pshufd xmm3, [rsi+r8], 0b1h
  1010. lea rsi, [rsi+r8*2]
  1012. punpck bw, 0, 2, 1, 3, 4, 6
  1013. punpck wd, 0, 2, 4, 6, 1, 3
  1014. punpck qdq, 0, 1, 2, 3, 4, 5
  1016. movdqa [rdi+16*0], xmm0
  1017. movdqa [rdi+16*1], xmm4
  1018. movdqa [rdi+16*2], xmm1
  1019. movdqa [rdi+16*3], xmm5
  1021. ; col 1, 3
  1023. pshufd xmm0, [rsi], 0b1h
  1024. pshufd xmm2, [rsi+r8], 0b1h
  1025. lea rsi, [rsi+r8*2]
  1027. movdqa xmm1, [rsi]
  1028. movdqa xmm3, [rsi+r8]
  1029. lea rsi, [rsi+r8*2]
  1031. punpck bw, 0, 2, 1, 3, 4, 6
  1032. punpck wd, 0, 2, 4, 6, 1, 3
  1033. punpck qdq, 0, 1, 2, 3, 4, 5
  1035. movdqa [rdi+16*4], xmm0
  1036. movdqa [rdi+16*5], xmm4
  1037. movdqa [rdi+16*6], xmm1
  1038. movdqa [rdi+16*7], xmm5
  1040. add edi, 128
  1042. dec rcx
  1043. jnz @B
  1045. pop rdi
  1046. pop rsi
  1048. ret
  1050. SwizzleBlock8_amd64 endp
  1052. ;
  1053. ; SwizzleBlock4
  1054. ;
  1056. SwizzleBlock4_amd64 proc public
  1058. push rsi
  1059. push rdi
  1061. mov rdi, rcx
  1062. mov rsi, rdx
  1063. mov rcx, 2
  1065. mov         eax, 0f0f0f0fh
  1066. movd        xmm7, eax 
  1067. pshufd      xmm7, xmm7, 0
  1069. align 16
  1070. @@:
  1071. ; col 0, 2
  1073. movdqa xmm0, [rsi]
  1074. movdqa xmm2, [rsi+r8]
  1075. lea rsi, [rsi+r8*2]
  1077. movdqa xmm1, [rsi]
  1078. movdqa xmm3, [rsi+r8]
  1079. lea rsi, [rsi+r8*2]
  1081. pshuflw xmm1, xmm1, 0b1h
  1082. pshuflw xmm3, xmm3, 0b1h
  1083. pshufhw xmm1, xmm1, 0b1h
  1084. pshufhw xmm3, xmm3, 0b1h
  1086. punpcknbl
  1087. punpck bw, 0, 2, 4, 6, 1, 3
  1088. punpck bw, 0, 2, 1, 3, 4, 6
  1089. punpck qdq, 0, 4, 2, 6, 1, 3
  1091. movdqa [rdi+16*0], xmm0
  1092. movdqa [rdi+16*1], xmm1
  1093. movdqa [rdi+16*2], xmm4
  1094. movdqa [rdi+16*3], xmm3
  1096. ; col 1, 3
  1098. movdqa xmm0, [rsi]
  1099. movdqa xmm2, [rsi+r8]
  1100. lea esi, [rsi+r8*2]
  1102. movdqa xmm1, [rsi]
  1103. movdqa xmm3, [rsi+r8]
  1104. lea rsi, [rsi+r8*2]
  1106. pshuflw xmm0, xmm0, 0b1h
  1107. pshuflw xmm2, xmm2, 0b1h
  1108. pshufhw xmm0, xmm0, 0b1h
  1109. pshufhw xmm2, xmm2, 0b1h
  1111. punpcknbl
  1112. punpck bw, 0, 2, 4, 6, 1, 3
  1113. punpck bw, 0, 2, 1, 3, 4, 6
  1114. punpck qdq, 0, 4, 2, 6, 1, 3
  1116. movdqa [rdi+16*4], xmm0
  1117. movdqa [rdi+16*5], xmm1
  1118. movdqa [rdi+16*6], xmm4
  1119. movdqa [rdi+16*7], xmm3
  1121. add rdi, 128
  1123. dec rcx
  1124. jnz @B
  1126. pop rdi
  1127. pop rsi
  1129. ret
  1131. SwizzleBlock4_amd64 endp
  1133. ;
  1134. ; swizzling with unaligned reads
  1135. ;
  1137. ;
  1138. ; SwizzleBlock32u_amd64
  1139. ;
  1141. SwizzleBlock32u_amd64 proc public
  1143. push rsi
  1144. push rdi
  1146. mov rdi, rcx
  1147. mov rsi, rdx
  1148. mov rcx, 4
  1150. cmp r9d, 0ffffffffh
  1151. jnz SwizzleBlock32u_amd64@WM
  1153. align 16
  1154. @@:
  1155. movdqu xmm0, [rsi]
  1156. movdqu xmm4, [rsi+16]
  1157. movdqu xmm1, [rsi+r8]
  1158. movdqu xmm5, [rsi+r8+16]
  1160. punpck qdq, 0, 4, 1, 5, 2, 6
  1162. movdqa [rdi+16*0], xmm0
  1163. movdqa [rdi+16*1], xmm2
  1164. movdqa [rdi+16*2], xmm4
  1165. movdqa [rdi+16*3], xmm6
  1167. lea rsi, [rsi+r8*2]
  1168. add rdi, 64
  1170. dec rcx
  1171. jnz @B
  1173. pop rdi
  1174. pop rsi
  1176. ret
  1178. SwizzleBlock32u_amd64@WM:
  1180. movd xmm7, r9d
  1181. pshufd xmm7, xmm7, 0
  1183. align 16
  1184. @@:
  1185. movdqu xmm0, [rsi]
  1186. movdqu xmm4, [rsi+16]
  1187. movdqu xmm1, [rsi+r8]
  1188. movdqu xmm5, [rsi+r8+16]
  1190. punpck qdq, 0, 4, 1, 5, 2, 6
  1192. movdqa xmm3, xmm7
  1193. pshufd xmm5, xmm7, 0e4h
  1194. movdqa xmm9, xmm7
  1195. pshufd xmm11, xmm7, 0e4h
  1197. pandn xmm3, [rdi+16*0]
  1198. pand xmm0, xmm7
  1199. por xmm0, xmm3
  1200. movdqa [rdi+16*0], xmm0
  1202. pandn xmm5, [rdi+16*1]
  1203. pand xmm2, xmm7
  1204. por xmm2, xmm5
  1205. movdqa [rdi+16*1], xmm2
  1207. pandn xmm9, [rdi+16*2]
  1208. pand xmm4, xmm7
  1209. por xmm4, xmm9
  1210. movdqa [rdi+16*2], xmm4
  1212. pandn xmm11, [rdi+16*3]
  1213. pand xmm6, xmm7
  1214. por xmm6, xmm11
  1215. movdqa [edi+16*3], xmm6
  1217. lea rsi, [rsi+r8*2]
  1218. add rdi, 64
  1220. dec rcx
  1221. jnz @B
  1223. pop rdi
  1224. pop rsi
  1226. ret
  1228. SwizzleBlock32u_amd64 endp
  1230. ;
  1231. ; SwizzleBlock16u_amd64
  1232. ;
  1234. SwizzleBlock16u_amd64 proc public
  1236. push rsi
  1237. push rdi
  1239. mov rdi, rcx
  1240. mov rsi, rdx
  1241. mov rcx, 4
  1243. align 16
  1244. @@:
  1245. movdqu xmm0, [rsi]
  1246. movdqu xmm1, [rsi+16]
  1247. movdqu xmm2, [rsi+r8]
  1248. movdqu xmm3, [rsi+r8+16]
  1250. punpck wd, 0, 2, 1, 3, 4, 6
  1251. punpck qdq, 0, 4, 2, 6, 1, 5
  1253. movdqa [rdi+16*0], xmm0
  1254. movdqa [rdi+16*1], xmm1
  1255. movdqa [rdi+16*2], xmm4
  1256. movdqa [rdi+16*3], xmm5
  1258. lea rsi, [rsi+r8*2]
  1259. add rdi, 64
  1261. dec rcx
  1262. jnz @B
  1264. pop rdi
  1265. pop rsi
  1267. ret
  1269. SwizzleBlock16u_amd64 endp
  1271. ;
  1272. ; SwizzleBlock8u
  1273. ;
  1275. SwizzleBlock8u_amd64 proc public
  1277. push rsi
  1278. push rdi
  1280. mov rdi, rcx
  1281. mov rsi, rdx
  1282. mov ecx, 2
  1284. align 16
  1285. @@:
  1286. ; col 0, 2
  1288. movdqu xmm0, [rsi]
  1289. movdqu xmm2, [rsi+r8]
  1290. lea rsi, [rsi+r8*2]
  1292. pshufd xmm1, [rsi], 0b1h
  1293. pshufd xmm3, [rsi+r8], 0b1h
  1294. lea rsi, [rsi+r8*2]
  1296. punpck bw, 0, 2, 1, 3, 4, 6
  1297. punpck wd, 0, 2, 4, 6, 1, 3
  1298. punpck qdq, 0, 1, 2, 3, 4, 5
  1300. movdqa [rdi+16*0], xmm0
  1301. movdqa [rdi+16*1], xmm4
  1302. movdqa [rdi+16*2], xmm1
  1303. movdqa [rdi+16*3], xmm5
  1305. ; col 1, 3
  1307. pshufd xmm0, [rsi], 0b1h
  1308. pshufd xmm2, [rsi+r8], 0b1h
  1309. lea rsi, [rsi+r8*2]
  1311. movdqu xmm1, [rsi]
  1312. movdqu xmm3, [rsi+r8]
  1313. lea rsi, [rsi+r8*2]
  1315. punpck bw, 0, 2, 1, 3, 4, 6
  1316. punpck wd, 0, 2, 4, 6, 1, 3
  1317. punpck qdq, 0, 1, 2, 3, 4, 5
  1319. movdqa [rdi+16*4], xmm0
  1320. movdqa [rdi+16*5], xmm4
  1321. movdqa [rdi+16*6], xmm1
  1322. movdqa [rdi+16*7], xmm5
  1324. add edi, 128
  1326. dec rcx
  1327. jnz @B
  1329. pop rdi
  1330. pop rsi
  1332. ret
  1334. SwizzleBlock8u_amd64 endp
  1336. ;
  1337. ; SwizzleBlock4u
  1338. ;
  1340. SwizzleBlock4u_amd64 proc public
  1342. push rsi
  1343. push rdi
  1345. mov rdi, rcx
  1346. mov rsi, rdx
  1347. mov rcx, 2
  1349. mov         eax, 0f0f0f0fh
  1350. movd        xmm7, eax 
  1351. pshufd      xmm7, xmm7, 0
  1353. align 16
  1354. @@:
  1355. ; col 0, 2
  1357. movdqu xmm0, [rsi]
  1358. movdqu xmm2, [rsi+r8]
  1359. lea rsi, [rsi+r8*2]
  1361. movdqu xmm1, [rsi]
  1362. movdqu xmm3, [rsi+r8]
  1363. lea rsi, [rsi+r8*2]
  1365. pshuflw xmm1, xmm1, 0b1h
  1366. pshuflw xmm3, xmm3, 0b1h
  1367. pshufhw xmm1, xmm1, 0b1h
  1368. pshufhw xmm3, xmm3, 0b1h
  1370. punpcknbl
  1371. punpck bw, 0, 2, 4, 6, 1, 3
  1372. punpck bw, 0, 2, 1, 3, 4, 6
  1373. punpck qdq, 0, 4, 2, 6, 1, 3
  1375. movdqa [rdi+16*0], xmm0
  1376. movdqa [rdi+16*1], xmm1
  1377. movdqa [rdi+16*2], xmm4
  1378. movdqa [rdi+16*3], xmm3
  1380. ; col 1, 3
  1382. movdqu xmm0, [rsi]
  1383. movdqu xmm2, [rsi+r8]
  1384. lea esi, [rsi+r8*2]
  1386. movdqu xmm1, [rsi]
  1387. movdqu xmm3, [rsi+r8]
  1388. lea rsi, [rsi+r8*2]
  1390. pshuflw xmm0, xmm0, 0b1h
  1391. pshuflw xmm2, xmm2, 0b1h
  1392. pshufhw xmm0, xmm0, 0b1h
  1393. pshufhw xmm2, xmm2, 0b1h
  1395. punpcknbl
  1396. punpck bw, 0, 2, 4, 6, 1, 3
  1397. punpck bw, 0, 2, 1, 3, 4, 6
  1398. punpck qdq, 0, 4, 2, 6, 1, 3
  1400. movdqa [rdi+16*4], xmm0
  1401. movdqa [rdi+16*5], xmm1
  1402. movdqa [rdi+16*6], xmm4
  1403. movdqa [rdi+16*7], xmm3
  1405. add rdi, 128
  1407. dec rcx
  1408. jnz @B
  1410. pop rdi
  1411. pop rsi
  1413. ret
  1415. SwizzleBlock4u_amd64 endp
  1417. end