x86util.asm
上传用户:lctgjx
上传日期:2022-06-04
资源大小:8887k
文件大小:12k
源码类别:

流媒体/Mpeg4/MP4

开发平台:

Visual C++

  1. ;*****************************************************************************
  2. ;* x86util.asm
  3. ;*****************************************************************************
  4. ;* Copyright (C) 2008 x264 project
  5. ;*
  6. ;* Authors: Holger Lubitz <holger@lubitz.org>
  7. ;*          Loren Merritt <lorenm@u.washington.edu>
  8. ;*
  9. ;* This program is free software; you can redistribute it and/or modify
  10. ;* it under the terms of the GNU General Public License as published by
  11. ;* the Free Software Foundation; either version 2 of the License, or
  12. ;* (at your option) any later version.
  13. ;*
  14. ;* This program is distributed in the hope that it will be useful,
  15. ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  16. ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17. ;* GNU General Public License for more details.
  18. ;*
  19. ;* You should have received a copy of the GNU General Public License
  20. ;* along with this program; if not, write to the Free Software
  21. ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  22. ;*****************************************************************************
  23. %macro SBUTTERFLY 4
  24.     mova      m%4, m%2
  25.     punpckl%1 m%2, m%3
  26.     punpckh%1 m%4, m%3
  27.     SWAP %3, %4
  28. %endmacro
  29. %macro SBUTTERFLY2 4
  30.     mova      m%4, m%2
  31.     punpckh%1 m%2, m%3
  32.     punpckl%1 m%4, m%3
  33.     SWAP %2, %4, %3
  34. %endmacro
  35. %macro TRANSPOSE4x4W 5
  36.     SBUTTERFLY wd, %1, %2, %5
  37.     SBUTTERFLY wd, %3, %4, %5
  38.     SBUTTERFLY dq, %1, %3, %5
  39.     SBUTTERFLY dq, %2, %4, %5
  40.     SWAP %2, %3
  41. %endmacro
  42. %macro TRANSPOSE2x4x4W 5
  43.     SBUTTERFLY wd,  %1, %2, %5
  44.     SBUTTERFLY wd,  %3, %4, %5
  45.     SBUTTERFLY dq,  %1, %3, %5
  46.     SBUTTERFLY dq,  %2, %4, %5
  47.     SBUTTERFLY qdq, %1, %2, %5
  48.     SBUTTERFLY qdq, %3, %4, %5
  49. %endmacro
  50. %macro TRANSPOSE4x4D 5
  51.     SBUTTERFLY dq,  %1, %2, %5
  52.     SBUTTERFLY dq,  %3, %4, %5
  53.     SBUTTERFLY qdq, %1, %3, %5
  54.     SBUTTERFLY qdq, %2, %4, %5
  55.     SWAP %2, %3
  56. %endmacro
  57. %macro TRANSPOSE8x8W 9-11
  58. %ifdef ARCH_X86_64
  59.     SBUTTERFLY wd,  %1, %2, %9
  60.     SBUTTERFLY wd,  %3, %4, %9
  61.     SBUTTERFLY wd,  %5, %6, %9
  62.     SBUTTERFLY wd,  %7, %8, %9
  63.     SBUTTERFLY dq,  %1, %3, %9
  64.     SBUTTERFLY dq,  %2, %4, %9
  65.     SBUTTERFLY dq,  %5, %7, %9
  66.     SBUTTERFLY dq,  %6, %8, %9
  67.     SBUTTERFLY qdq, %1, %5, %9
  68.     SBUTTERFLY qdq, %2, %6, %9
  69.     SBUTTERFLY qdq, %3, %7, %9
  70.     SBUTTERFLY qdq, %4, %8, %9
  71.     SWAP %2, %5
  72.     SWAP %4, %7
  73. %else
  74. ; in:  m0..m7, unless %11 in which case m6 is in %9
  75. ; out: m0..m7, unless %11 in which case m4 is in %10
  76. ; spills into %9 and %10
  77. %if %0<11
  78.     movdqa %9, m%7
  79. %endif
  80.     SBUTTERFLY wd,  %1, %2, %7
  81.     movdqa %10, m%2
  82.     movdqa m%7, %9
  83.     SBUTTERFLY wd,  %3, %4, %2
  84.     SBUTTERFLY wd,  %5, %6, %2
  85.     SBUTTERFLY wd,  %7, %8, %2
  86.     SBUTTERFLY dq,  %1, %3, %2
  87.     movdqa %9, m%3
  88.     movdqa m%2, %10
  89.     SBUTTERFLY dq,  %2, %4, %3
  90.     SBUTTERFLY dq,  %5, %7, %3
  91.     SBUTTERFLY dq,  %6, %8, %3
  92.     SBUTTERFLY qdq, %1, %5, %3
  93.     SBUTTERFLY qdq, %2, %6, %3
  94.     movdqa %10, m%2
  95.     movdqa m%3, %9
  96.     SBUTTERFLY qdq, %3, %7, %2
  97.     SBUTTERFLY qdq, %4, %8, %2
  98.     SWAP %2, %5
  99.     SWAP %4, %7
  100. %if %0<11
  101.     movdqa m%5, %10
  102. %endif
  103. %endif
  104. %endmacro
  105. %macro ABS1_MMX 2    ; a, tmp
  106.     pxor    %2, %2
  107.     psubw   %2, %1
  108.     pmaxsw  %1, %2
  109. %endmacro
  110. %macro ABS2_MMX 4    ; a, b, tmp0, tmp1
  111.     pxor    %3, %3
  112.     pxor    %4, %4
  113.     psubw   %3, %1
  114.     psubw   %4, %2
  115.     pmaxsw  %1, %3
  116.     pmaxsw  %2, %4
  117. %endmacro
  118. %macro ABS1_SSSE3 2
  119.     pabsw   %1, %1
  120. %endmacro
  121. %macro ABS2_SSSE3 4
  122.     pabsw   %1, %1
  123.     pabsw   %2, %2
  124. %endmacro
  125. %define ABS1 ABS1_MMX
  126. %define ABS2 ABS2_MMX
  127. %macro ABS4 6
  128.     ABS2 %1, %2, %5, %6
  129.     ABS2 %3, %4, %5, %6
  130. %endmacro
  131. %macro SPLATB_MMX 3
  132.     movd      %1, [%2-3] ;to avoid crossing a cacheline
  133.     punpcklbw %1, %1
  134. %if mmsize==16
  135.     pshuflw   %1, %1, 0xff
  136.     punpcklqdq %1, %1
  137. %else
  138.     pshufw    %1, %1, 0xff
  139. %endif
  140. %endmacro
  141. %macro SPLATB_SSSE3 3
  142.     movd      %1, [%2-3]
  143.     pshufb    %1, %3
  144. %endmacro
  145. %macro PALIGNR_MMX 4
  146.     %ifnidn %4, %2
  147.     mova    %4, %2
  148.     %endif
  149.     %if mmsize == 8
  150.     psllq   %1, (8-%3)*8
  151.     psrlq   %4, %3*8
  152.     %else
  153.     pslldq  %1, 16-%3
  154.     psrldq  %4, %3
  155.     %endif
  156.     por     %1, %4
  157. %endmacro
  158. %macro PALIGNR_SSSE3 4
  159.     palignr %1, %2, %3
  160. %endmacro
  161. %macro DEINTB 5 ; mask, reg1, mask, reg2, optional src to fill masks from
  162. %ifnum %5
  163.     mova   m%1, m%5
  164.     mova   m%3, m%5
  165. %else
  166.     mova   m%1, %5
  167.     mova   m%3, m%1
  168. %endif
  169.     pand   m%1, m%2 ; dst .. y6 .. y4
  170.     pand   m%3, m%4 ; src .. y6 .. y4
  171.     psrlw  m%2, 8   ; dst .. y7 .. y5
  172.     psrlw  m%4, 8   ; src .. y7 .. y5
  173. %endmacro
  174. %macro SUMSUB_BA 2-3
  175. %if %0==2
  176.     paddw   %1, %2
  177.     paddw   %2, %2
  178.     psubw   %2, %1
  179. %else
  180.     mova    %3, %1
  181.     paddw   %1, %2
  182.     psubw   %2, %3
  183. %endif
  184. %endmacro
  185. %macro SUMSUB_BADC 4-5
  186. %if %0==5
  187.     SUMSUB_BA %1, %2, %5
  188.     SUMSUB_BA %3, %4, %5
  189. %else
  190.     paddw   %1, %2
  191.     paddw   %3, %4
  192.     paddw   %2, %2
  193.     paddw   %4, %4
  194.     psubw   %2, %1
  195.     psubw   %4, %3
  196. %endif
  197. %endmacro
  198. %macro HADAMARD4_V 4+
  199.     SUMSUB_BADC %1, %2, %3, %4
  200.     SUMSUB_BADC %1, %3, %2, %4
  201. %endmacro
  202. %macro HADAMARD8_V 8+
  203.     SUMSUB_BADC %1, %2, %3, %4
  204.     SUMSUB_BADC %5, %6, %7, %8
  205.     SUMSUB_BADC %1, %3, %2, %4
  206.     SUMSUB_BADC %5, %7, %6, %8
  207.     SUMSUB_BADC %1, %5, %2, %6
  208.     SUMSUB_BADC %3, %7, %4, %8
  209. %endmacro
  210. %macro TRANS_SSE2 5-6
  211. ; TRANSPOSE2x2
  212. ; %1: transpose width (d/q) - use SBUTTERFLY qdq for dq
  213. ; %2: ord/unord (for compat with sse4, unused)
  214. ; %3/%4: source regs
  215. ; %5/%6: tmp regs
  216. %ifidn %1, d
  217. %define mask [mask_10 GLOBAL]
  218. %define shift 16
  219. %elifidn %1, q
  220. %define mask [mask_1100 GLOBAL]
  221. %define shift 32
  222. %endif
  223. %if %0==6 ; less dependency if we have two tmp
  224.     mova   m%5, mask   ; ff00
  225.     mova   m%6, m%4    ; x5x4
  226.     psll%1 m%4, shift  ; x4..
  227.     pand   m%6, m%5    ; x5..
  228.     pandn  m%5, m%3    ; ..x0
  229.     psrl%1 m%3, shift  ; ..x1
  230.     por    m%4, m%5    ; x4x0
  231.     por    m%3, m%6    ; x5x1
  232. %else ; more dependency, one insn less. sometimes faster, sometimes not
  233.     mova   m%5, m%4    ; x5x4
  234.     psll%1 m%4, shift  ; x4..
  235.     pxor   m%4, m%3    ; (x4^x1)x0
  236.     pand   m%4, mask   ; (x4^x1)..
  237.     pxor   m%3, m%4    ; x4x0
  238.     psrl%1 m%4, shift  ; ..(x1^x4)
  239.     pxor   m%5, m%4    ; x5x1
  240.     SWAP   %4, %3, %5
  241. %endif
  242. %endmacro
  243. %macro TRANS_SSE4 5-6 ; see above
  244. %ifidn %1, d
  245.     mova   m%5, m%3
  246. %ifidn %2, ord
  247.     psrl%1 m%3, 16
  248. %endif
  249.     pblendw m%3, m%4, 10101010b
  250.     psll%1 m%4, 16
  251. %ifidn %2, ord
  252.     pblendw m%4, m%5, 01010101b
  253. %else
  254.     psrl%1 m%5, 16
  255.     por    m%4, m%5
  256. %endif
  257. %elifidn %1, q
  258.     mova   m%5, m%3
  259.     shufps m%3, m%4, 10001000b
  260.     shufps m%5, m%4, 11011101b
  261.     SWAP   %4, %5
  262. %endif
  263. %endmacro
  264. %macro HADAMARD 5-6
  265. ; %1=distance in words (0 for vertical pass, 1/2/4 for horizontal passes)
  266. ; %2=sumsub/max/amax (sum and diff / maximum / maximum of absolutes)
  267. ; %3/%4: regs
  268. ; %5(%6): tmpregs
  269. %if %1!=0 ; have to reorder stuff for horizontal op
  270.     %ifidn %2, sumsub
  271.          %define ORDER ord
  272.          ; sumsub needs order because a-b != b-a unless a=b
  273.     %else
  274.          %define ORDER unord
  275.          ; if we just max, order doesn't matter (allows pblendw+or in sse4)
  276.     %endif
  277.     %if %1==1
  278.          TRANS d, ORDER, %3, %4, %5, %6
  279.     %elif %1==2
  280.          %if mmsize==8
  281.              SBUTTERFLY dq, %3, %4, %5
  282.          %else
  283.              TRANS q, ORDER, %3, %4, %5, %6
  284.          %endif
  285.     %elif %1==4
  286.          SBUTTERFLY qdq, %3, %4, %5
  287.     %endif
  288. %endif
  289. %ifidn %2, sumsub
  290.     SUMSUB_BA m%3, m%4, m%5
  291. %else
  292.     %ifidn %2, amax
  293.         %if %0==6
  294.             ABS2 m%3, m%4, m%5, m%6
  295.         %else
  296.             ABS1 m%3, m%5
  297.             ABS1 m%4, m%5
  298.         %endif
  299.     %endif
  300.     pmaxsw m%3, m%4
  301. %endif
  302. %endmacro
  303. %macro HADAMARD2_2D 6-7 sumsub
  304.     HADAMARD 0, sumsub, %1, %2, %5
  305.     HADAMARD 0, sumsub, %3, %4, %5
  306.     SBUTTERFLY %6, %1, %2, %5
  307. %ifnum %7
  308.     HADAMARD 0, amax, %1, %2, %5, %7
  309. %else
  310.     HADAMARD 0, %7, %1, %2, %5
  311. %endif
  312.     SBUTTERFLY %6, %3, %4, %5
  313. %ifnum %7
  314.     HADAMARD 0, amax, %3, %4, %5, %7
  315. %else
  316.     HADAMARD 0, %7, %3, %4, %5
  317. %endif
  318. %endmacro
  319. %macro HADAMARD4_2D 5-6 sumsub
  320.     HADAMARD2_2D %1, %2, %3, %4, %5, wd
  321.     HADAMARD2_2D %1, %3, %2, %4, %5, dq, %6
  322.     SWAP %2, %3
  323. %endmacro
  324. %macro HADAMARD4_2D_SSE 5-6 sumsub
  325.     HADAMARD  0, sumsub, %1, %2, %5 ; 1st V row 0 + 1
  326.     HADAMARD  0, sumsub, %3, %4, %5 ; 1st V row 2 + 3
  327.     SBUTTERFLY   wd, %1, %2, %5     ; %1: m0 1+0 %2: m1 1+0
  328.     SBUTTERFLY   wd, %3, %4, %5     ; %3: m0 3+2 %4: m1 3+2
  329.     HADAMARD2_2D %1, %3, %2, %4, %5, dq
  330.     SBUTTERFLY  qdq, %1, %2, %5
  331.     HADAMARD  0, %6, %1, %2, %5     ; 2nd H m1/m0 row 0+1
  332.     SBUTTERFLY  qdq, %3, %4, %5
  333.     HADAMARD  0, %6, %3, %4, %5     ; 2nd H m1/m0 row 2+3
  334. %endmacro
  335. %macro HADAMARD8_2D 9-10 sumsub
  336.     HADAMARD2_2D %1, %2, %3, %4, %9, wd
  337.     HADAMARD2_2D %5, %6, %7, %8, %9, wd
  338.     HADAMARD2_2D %1, %3, %2, %4, %9, dq
  339.     HADAMARD2_2D %5, %7, %6, %8, %9, dq
  340.     HADAMARD2_2D %1, %5, %3, %7, %9, qdq, %10
  341.     HADAMARD2_2D %2, %6, %4, %8, %9, qdq, %10
  342. %ifnidn %10, amax
  343.     SWAP %2, %5
  344.     SWAP %4, %7
  345. %endif
  346. %endmacro
  347. %macro SUMSUB2_AB 3
  348.     mova    %3, %1
  349.     paddw   %1, %1
  350.     paddw   %1, %2
  351.     psubw   %3, %2
  352.     psubw   %3, %2
  353. %endmacro
  354. %macro SUMSUB2_BA 3
  355.     mova    m%3, m%1
  356.     paddw   m%1, m%2
  357.     paddw   m%1, m%2
  358.     psubw   m%2, m%3
  359.     psubw   m%2, m%3
  360. %endmacro
  361. %macro SUMSUBD2_AB 4
  362.     mova    %4, %1
  363.     mova    %3, %2
  364.     psraw   %2, 1  ; %2: %2>>1
  365.     psraw   %1, 1  ; %1: %1>>1
  366.     paddw   %2, %4 ; %2: %2>>1+%1
  367.     psubw   %1, %3 ; %1: %1>>1-%2
  368. %endmacro
  369. %macro DCT4_1D 5
  370. %ifnum %5
  371.     SUMSUB_BADC m%4, m%1, m%3, m%2; m%5
  372.     SUMSUB_BA   m%3, m%4, m%5
  373.     SUMSUB2_AB  m%1, m%2, m%5
  374.     SWAP %1, %3, %4, %5, %2
  375. %else
  376.     SUMSUB_BADC m%4, m%1, m%3, m%2
  377.     SUMSUB_BA   m%3, m%4
  378.     mova       [%5], m%2
  379.     SUMSUB2_AB m%1, [%5], m%2
  380.     SWAP %1, %3, %4, %2
  381. %endif
  382. %endmacro
  383. %macro IDCT4_1D 5-6
  384. %ifnum %5
  385.     SUMSUBD2_AB m%2, m%4, m%6, m%5
  386.     ; %2: %2>>1-%4 %4: %2+%4>>1
  387.     SUMSUB_BA   m%3, m%1, m%6
  388.     ; %3: %1+%3 %1: %1-%3
  389.     SUMSUB_BADC m%4, m%3, m%2, m%1, m%6
  390.     ; %4: %1+%3 + (%2+%4>>1)
  391.     ; %3: %1+%3 - (%2+%4>>1)
  392.     ; %2: %1-%3 + (%2>>1-%4)
  393.     ; %1: %1-%3 - (%2>>1-%4)
  394. %else
  395.     SUMSUBD2_AB m%2, m%4, [%5], [%5+16]
  396.     SUMSUB_BA   m%3, m%1
  397.     SUMSUB_BADC m%4, m%3, m%2, m%1
  398. %endif
  399.     SWAP %1, %4, %3
  400.     ; %1: %1+%3 + (%2+%4>>1) row0
  401.     ; %2: %1-%3 + (%2>>1-%4) row1
  402.     ; %3: %1-%3 - (%2>>1-%4) row2
  403.     ; %4: %1+%3 - (%2+%4>>1) row3
  404. %endmacro
  405. %macro LOAD_DIFF 5
  406. %ifidn %3, none
  407.     movh       %1, %4
  408.     movh       %2, %5
  409.     punpcklbw  %1, %2
  410.     punpcklbw  %2, %2
  411.     psubw      %1, %2
  412. %else
  413.     movh       %1, %4
  414.     punpcklbw  %1, %3
  415.     movh       %2, %5
  416.     punpcklbw  %2, %3
  417.     psubw      %1, %2
  418. %endif
  419. %endmacro
  420. %macro LOAD_DIFF8x4_SSE2 8
  421.     LOAD_DIFF  m%1, m%5, m%6, [%7+%1*FENC_STRIDE], [%8+%1*FDEC_STRIDE]
  422.     LOAD_DIFF  m%2, m%5, m%6, [%7+%2*FENC_STRIDE], [%8+%2*FDEC_STRIDE]
  423.     LOAD_DIFF  m%3, m%5, m%6, [%7+%3*FENC_STRIDE], [%8+%3*FDEC_STRIDE]
  424.     LOAD_DIFF  m%4, m%5, m%6, [%7+%4*FENC_STRIDE], [%8+%4*FDEC_STRIDE]
  425. %endmacro
  426. %macro LOAD_DIFF8x4_SSSE3 8 ; 4x dst, 1x tmp, 1x mul, 2x ptr
  427.     movh       m%2, [%8+%1*FDEC_STRIDE]
  428.     movh       m%1, [%7+%1*FENC_STRIDE]
  429.     punpcklbw  m%1, m%2
  430.     movh       m%3, [%8+%2*FDEC_STRIDE]
  431.     movh       m%2, [%7+%2*FENC_STRIDE]
  432.     punpcklbw  m%2, m%3
  433.     movh       m%4, [%8+%3*FDEC_STRIDE]
  434.     movh       m%3, [%7+%3*FENC_STRIDE]
  435.     punpcklbw  m%3, m%4
  436.     movh       m%5, [%8+%4*FDEC_STRIDE]
  437.     movh       m%4, [%7+%4*FENC_STRIDE]
  438.     punpcklbw  m%4, m%5
  439.     pmaddubsw  m%1, m%6
  440.     pmaddubsw  m%2, m%6
  441.     pmaddubsw  m%3, m%6
  442.     pmaddubsw  m%4, m%6
  443. %endmacro
  444. %macro STORE_DCT 6
  445.     movq   [%5+%6+ 0], m%1
  446.     movq   [%5+%6+ 8], m%2
  447.     movq   [%5+%6+16], m%3
  448.     movq   [%5+%6+24], m%4
  449.     movhps [%5+%6+32], m%1
  450.     movhps [%5+%6+40], m%2
  451.     movhps [%5+%6+48], m%3
  452.     movhps [%5+%6+56], m%4
  453. %endmacro
  454. %macro STORE_IDCT 4
  455.     movhps [r0-4*FDEC_STRIDE], %1
  456.     movh   [r0-3*FDEC_STRIDE], %1
  457.     movhps [r0-2*FDEC_STRIDE], %2
  458.     movh   [r0-1*FDEC_STRIDE], %2
  459.     movhps [r0+0*FDEC_STRIDE], %3
  460.     movh   [r0+1*FDEC_STRIDE], %3
  461.     movhps [r0+2*FDEC_STRIDE], %4
  462.     movh   [r0+3*FDEC_STRIDE], %4
  463. %endmacro
  464. %macro LOAD_DIFF_8x4P 7-10 r0,r2,0 ; 4x dest, 2x temp, 2x pointer, increment?
  465.     LOAD_DIFF m%1, m%5, m%7, [%8],      [%9]
  466.     LOAD_DIFF m%2, m%6, m%7, [%8+r1],   [%9+r3]
  467.     LOAD_DIFF m%3, m%5, m%7, [%8+2*r1], [%9+2*r3]
  468.     LOAD_DIFF m%4, m%6, m%7, [%8+r4],   [%9+r5]
  469. %if %10
  470.     lea %8, [%8+4*r1]
  471.     lea %9, [%9+4*r3]
  472. %endif
  473. %endmacro
  474. %macro DIFFx2 6-7
  475.     movh       %3, %5
  476.     punpcklbw  %3, %4
  477.     psraw      %1, 6
  478.     paddsw     %1, %3
  479.     movh       %3, %6
  480.     punpcklbw  %3, %4
  481.     psraw      %2, 6
  482.     paddsw     %2, %3
  483.     packuswb   %2, %1
  484. %endmacro
  485. %macro STORE_DIFF 4
  486.     movh       %2, %4
  487.     punpcklbw  %2, %3
  488.     psraw      %1, 6
  489.     paddsw     %1, %2
  490.     packuswb   %1, %1
  491.     movh       %4, %1
  492. %endmacro