开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多媒体 > 流媒体/Mpeg4/MP4 > 查看源码
dct-a.asm
资源名称：X264CODEC.rar　[点击查看]
上传用户：lctgjx
上传日期：2022-06-04
资源大小：8887k
文件大小：27k
源码类别：

流媒体/Mpeg4/MP4

开发平台：

Visual C++

dct-a.asm：源码内容
  1. ;*****************************************************************************
  2. ;* dct-a.asm: h264 encoder library
  3. ;*****************************************************************************
  4. ;* Copyright (C) 2003-2008 x264 project
  5. ;*
  6. ;* Authors: Holger Lubitz <holger@lubitz.org>
  7. ;*          Loren Merritt <lorenm@u.washington.edu>
  8. ;*          Laurent Aimar <fenrir@via.ecp.fr>
  9. ;*          Min Chen <chenm001.163.com>
  10. ;*
  11. ;* This program is free software; you can redistribute it and/or modify
  12. ;* it under the terms of the GNU General Public License as published by
  13. ;* the Free Software Foundation; either version 2 of the License, or
  14. ;* (at your option) any later version.
  15. ;*
  16. ;* This program is distributed in the hope that it will be useful,
  17. ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  18. ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19. ;* GNU General Public License for more details.
  20. ;*
  21. ;* You should have received a copy of the GNU General Public License
  22. ;* along with this program; if not, write to the Free Software
  23. ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  24. ;*****************************************************************************
  26. %include "x86inc.asm"
  27. %include "x86util.asm"
  29. SECTION_RODATA
  30. pw_32_0: times 4 dw 32
  31.          times 4 dw 0
  32. pw_32: times 8 dw 32
  33. pw_8000: times 8 dw 0x8000
  34. hsub_mul: times 8 db 1, -1
  35. pb_sub4frame:   db 0,1,4,8,5,2,3,6,9,12,13,10,7,11,14,15
  36. pb_sub4field:   db 0,4,1,8,12,5,9,13,2,6,10,14,3,7,11,15
  37. pb_subacmask:   dw 0,-1,-1,-1,-1,-1,-1,-1
  38. pb_scan4framea: db 12,13,6,7,14,15,0,1,8,9,2,3,4,5,10,11
  39. pb_scan4frameb: db 0,1,8,9,2,3,4,5,10,11,12,13,6,7,14,15
  40. pb_idctdc_unpack: db 0,0,0,0,1,1,1,1,2,2,2,2,3,3,3,3
  41. pb_idctdc_unpack2: db 4,4,4,4,5,5,5,5,6,6,6,6,7,7,7,7
  42. pb_1: times 16 db 1
  43. pw_1: times 8 dw 1
  45. SECTION .text
  47. %macro WALSH4_1D 5
  48.     SUMSUB_BADC m%4, m%3, m%2, m%1, m%5
  49.     SUMSUB_BADC m%4, m%2, m%3, m%1, m%5
  50.     SWAP %1, %4, %3
  51. %endmacro
  53. %macro SUMSUB_17BIT 4 ; a, b, tmp, 0x8000
  54.     movq  m%3, m%4
  55.     pxor  m%1, m%4
  56.     psubw m%3, m%2
  57.     pxor  m%2, m%4
  58.     pavgw m%3, m%1
  59.     pavgw m%2, m%1
  60.     pxor  m%3, m%4
  61.     pxor  m%2, m%4
  62.     SWAP %1, %2, %3
  63. %endmacro
  65. INIT_MMX
  66. ;-----------------------------------------------------------------------------
  67. ; void x264_dct4x4dc_mmx( int16_t d[4][4] )
  68. ;-----------------------------------------------------------------------------
  69. cglobal x264_dct4x4dc_mmx, 1,1
  70.     movq   m3, [r0+24]
  71.     movq   m2, [r0+16]
  72.     movq   m1, [r0+ 8]
  73.     movq   m0, [r0+ 0]
  74.     movq   m7, [pw_8000 GLOBAL] ; convert to unsigned and back, so that pavgw works
  75.     WALSH4_1D  0,1,2,3,4
  76.     TRANSPOSE4x4W 0,1,2,3,4
  77.     SUMSUB_BADC m1, m0, m3, m2, m4
  78.     SWAP 0, 1
  79.     SWAP 2, 3
  80.     SUMSUB_17BIT 0,2,4,7
  81.     SUMSUB_17BIT 1,3,5,7
  82.     movq  [r0+0], m0
  83.     movq  [r0+8], m2
  84.     movq [r0+16], m3
  85.     movq [r0+24], m1
  86.     RET
  88. ;-----------------------------------------------------------------------------
  89. ; void x264_idct4x4dc_mmx( int16_t d[4][4] )
  90. ;-----------------------------------------------------------------------------
  91. cglobal x264_idct4x4dc_mmx, 1,1
  92.     movq   m3, [r0+24]
  93.     movq   m2, [r0+16]
  94.     movq   m1, [r0+ 8]
  95.     movq   m0, [r0+ 0]
  96.     WALSH4_1D  0,1,2,3,4
  97.     TRANSPOSE4x4W 0,1,2,3,4
  98.     WALSH4_1D  0,1,2,3,4
  99.     movq  [r0+ 0], m0
  100.     movq  [r0+ 8], m1
  101.     movq  [r0+16], m2
  102.     movq  [r0+24], m3
  103.     RET
  105. %macro SUB_DCT4 1
  106. ;-----------------------------------------------------------------------------
  107. ; void x264_sub4x4_dct_mmx( int16_t dct[4][4], uint8_t *pix1, uint8_t *pix2 )
  108. ;-----------------------------------------------------------------------------
  109. cglobal x264_sub4x4_dct_%1, 3,3
  110. %ifidn %1, mmx
  111. .skip_prologue:
  112.     LOAD_DIFF  m0, m4, m5, [r1+0*FENC_STRIDE], [r2+0*FDEC_STRIDE]
  113.     LOAD_DIFF  m3, m4, m5, [r1+3*FENC_STRIDE], [r2+3*FDEC_STRIDE]
  114.     LOAD_DIFF  m1, m4, m5, [r1+1*FENC_STRIDE], [r2+1*FDEC_STRIDE]
  115.     LOAD_DIFF  m2, m4, m5, [r1+2*FENC_STRIDE], [r2+2*FDEC_STRIDE]
  116. %else
  117.     mova m5, [hsub_mul GLOBAL]
  118.     LOAD_DIFF8x4_SSSE3 0, 3, 1, 2, 4, 5, r1, r2
  119. %endif
  120.     DCT4_1D 0,1,2,3,4
  121.     TRANSPOSE4x4W 0,1,2,3,4
  122.     DCT4_1D 0,1,2,3,4
  123.     movq  [r0+ 0], m0
  124.     movq  [r0+ 8], m1
  125.     movq  [r0+16], m2
  126.     movq  [r0+24], m3
  127.     RET
  128. %endmacro
  130. SUB_DCT4 mmx
  131. SUB_DCT4 ssse3
  133. ;-----------------------------------------------------------------------------
  134. ; void x264_add4x4_idct_mmx( uint8_t *p_dst, int16_t dct[4][4] )
  135. ;-----------------------------------------------------------------------------
  136. cglobal x264_add4x4_idct_mmx, 2,2
  137.     pxor m7, m7
  138. .skip_prologue:
  139.     movq  m1, [r1+ 8]
  140.     movq  m3, [r1+24]
  141.     movq  m2, [r1+16]
  142.     movq  m0, [r1+ 0]
  143.     IDCT4_1D 0,1,2,3,4,5
  144.     TRANSPOSE4x4W 0,1,2,3,4
  145.     paddw m0, [pw_32 GLOBAL]
  146.     IDCT4_1D 0,1,2,3,4,5
  147.     STORE_DIFF  m0, m4, m7, [r0+0*FDEC_STRIDE]
  148.     STORE_DIFF  m1, m4, m7, [r0+1*FDEC_STRIDE]
  149.     STORE_DIFF  m2, m4, m7, [r0+2*FDEC_STRIDE]
  150.     STORE_DIFF  m3, m4, m7, [r0+3*FDEC_STRIDE]
  151.     RET
  153. INIT_XMM
  154. cglobal x264_add4x4_idct_sse4, 2,2,6
  155.     mova      m0, [r1+0x00]     ; row1/row0
  156.     mova      m2, [r1+0x10]     ; row3/row2
  157.     mova      m1, m0            ; row1/row0
  158.     psraw     m0, 1             ; row1>>1/...
  159.     mova      m3, m2            ; row3/row2
  160.     psraw     m2, 1             ; row3>>1/...
  161.     movsd     m0, m1            ; row1>>1/row0
  162.     movsd     m2, m3            ; row3>>1/row2
  163.     psubw     m0, m3            ; row1>>1-row3/row0-2
  164.     paddw     m2, m1            ; row3>>1+row1/row0+2
  165.     SBUTTERFLY2 wd, 0, 2, 1
  166.     SUMSUB_BA m2, m0, m1
  167.     pshuflw   m1, m2, 10110001b
  168.     pshufhw   m2, m2, 10110001b
  169.     punpckldq m1, m0
  170.     punpckhdq m2, m0
  171.     SWAP 0, 1
  173.     mova      m1, [pw_32_0 GLOBAL]
  174.     paddw     m1, m0            ; row1/row0 corrected
  175.     psraw     m0, 1             ; row1>>1/...
  176.     mova      m3, m2            ; row3/row2
  177.     psraw     m2, 1             ; row3>>1/...
  178.     movsd     m0, m1            ; row1>>1/row0
  179.     movsd     m2, m3            ; row3>>1/row2
  180.     psubw     m0, m3            ; row1>>1-row3/row0-2
  181.     paddw     m2, m1            ; row3>>1+row1/row0+2
  182.     SBUTTERFLY2 qdq, 0, 2, 1
  183.     SUMSUB_BA m2, m0, m1
  185.     movd      m4, [r0+FDEC_STRIDE*0]
  186.     movd      m1, [r0+FDEC_STRIDE*1]
  187.     movd      m3, [r0+FDEC_STRIDE*2]
  188.     movd      m5, [r0+FDEC_STRIDE*3]
  189.     punpckldq m1, m4            ; row0/row1
  190.     pxor      m4, m4
  191.     punpckldq m3, m5            ; row3/row2
  192.     punpcklbw m1, m4
  193.     psraw     m2, 6
  194.     punpcklbw m3, m4
  195.     psraw     m0, 6
  196.     paddsw    m2, m1
  197.     paddsw    m0, m3
  198.     packuswb  m0, m2            ; row0/row1/row3/row2
  199.     pextrd   [r0+FDEC_STRIDE*0], m0, 3
  200.     pextrd   [r0+FDEC_STRIDE*1], m0, 2
  201.     movd     [r0+FDEC_STRIDE*2], m0
  202.     pextrd   [r0+FDEC_STRIDE*3], m0, 1
  203.     RET
  205. INIT_MMX
  206. ;-----------------------------------------------------------------------------
  207. ; void x264_sub8x8_dct_mmx( int16_t dct[4][4][4], uint8_t *pix1, uint8_t *pix2 )
  208. ;-----------------------------------------------------------------------------
  209. %macro SUB_NxN_DCT 6
  210. cglobal %1, 3,3,11
  211. %if mmsize == 8
  212.     pxor m7, m7
  213. %else
  214.     add r2, 4*FDEC_STRIDE
  215.     mova m7, [hsub_mul GLOBAL]
  216. %endif
  217. .skip_prologue:
  218. %ifdef WIN64
  219.     sub  rsp, 8
  220. %endif
  221.     call %2
  222.     add  r0, %3
  223.     add  r1, %4-%5-%6*FENC_STRIDE
  224.     add  r2, %4-%5-%6*FDEC_STRIDE
  225.     call %2
  226.     add  r0, %3
  227.     add  r1, (%4-%6)*FENC_STRIDE-%5-%4
  228.     add  r2, (%4-%6)*FDEC_STRIDE-%5-%4
  229.     call %2
  230.     add  r0, %3
  231.     add  r1, %4-%5-%6*FENC_STRIDE
  232.     add  r2, %4-%5-%6*FDEC_STRIDE
  233. %ifdef WIN64
  234.     add  rsp, 8
  235.     call %2
  236.     RET
  237. %else
  238.     jmp  %2
  239. %endif
  240. %endmacro
  242. ;-----------------------------------------------------------------------------
  243. ; void x264_add8x8_idct_mmx( uint8_t *pix, int16_t dct[4][4][4] )
  244. ;-----------------------------------------------------------------------------
  245. %macro ADD_NxN_IDCT 6-7
  246. cglobal %1, 2,2,11
  247.     pxor m7, m7
  248. %if mmsize==16
  249.     add  r0, 4*FDEC_STRIDE
  250. %endif
  251. .skip_prologue:
  252. %ifdef WIN64
  253.     sub  rsp, 8
  254. %endif
  255.     call %2
  256.     add  r0, %4-%5-%6*FDEC_STRIDE
  257.     add  r1, %3
  258.     call %2
  259.     add  r0, (%4-%6)*FDEC_STRIDE-%5-%4
  260.     add  r1, %3
  261.     call %2
  262.     add  r0, %4-%5-%6*FDEC_STRIDE
  263.     add  r1, %3
  264. %ifdef WIN64
  265.     add  rsp, 8
  266.     call %2
  267.     RET
  268. %else
  269.     jmp  %2
  270. %endif
  271. %endmacro
  273. %ifndef ARCH_X86_64
  274. SUB_NxN_DCT  x264_sub8x8_dct_mmx,    x264_sub4x4_dct_mmx.skip_prologue,  32, 4, 0, 0
  275. ADD_NxN_IDCT x264_add8x8_idct_mmx,   x264_add4x4_idct_mmx.skip_prologue, 32, 4, 0, 0
  276. SUB_NxN_DCT  x264_sub16x16_dct_mmx,  x264_sub8x8_dct_mmx.skip_prologue,  32, 8, 4, 4
  277. ADD_NxN_IDCT x264_add16x16_idct_mmx, x264_add8x8_idct_mmx.skip_prologue, 32, 8, 4, 4
  279. cextern x264_sub8x8_dct8_mmx.skip_prologue
  280. cextern x264_add8x8_idct8_mmx.skip_prologue
  281. SUB_NxN_DCT  x264_sub16x16_dct8_mmx,  x264_sub8x8_dct8_mmx.skip_prologue,  128, 8, 0, 0
  282. ADD_NxN_IDCT x264_add16x16_idct8_mmx, x264_add8x8_idct8_mmx.skip_prologue, 128, 8, 0, 0
  283. %endif
  285. INIT_XMM
  287. cextern x264_sub8x8_dct_sse2.skip_prologue
  288. cextern x264_sub8x8_dct_ssse3.skip_prologue
  289. SUB_NxN_DCT  x264_sub16x16_dct_sse2, x264_sub8x8_dct_sse2.skip_prologue, 128, 8, 0, 0
  290. SUB_NxN_DCT  x264_sub16x16_dct_ssse3, x264_sub8x8_dct_ssse3.skip_prologue, 128, 8, 0, 0
  291. cextern x264_add8x8_idct_sse2.skip_prologue
  292. ADD_NxN_IDCT x264_add16x16_idct_sse2, x264_add8x8_idct_sse2.skip_prologue, 2*64, 8, 0, 0
  294. cextern x264_sub8x8_dct8_sse2.skip_prologue
  295. cextern x264_add8x8_idct8_sse2.skip_prologue
  296. SUB_NxN_DCT  x264_sub16x16_dct8_sse2,  x264_sub8x8_dct8_sse2.skip_prologue,  128, 8, 0, 0
  297. ADD_NxN_IDCT x264_add16x16_idct8_sse2, x264_add8x8_idct8_sse2.skip_prologue, 128, 8, 0, 0
  299. cextern x264_sub8x8_dct8_ssse3.skip_prologue
  300. SUB_NxN_DCT  x264_sub16x16_dct8_ssse3,  x264_sub8x8_dct8_ssse3.skip_prologue,  128, 8, 0, 0
  303. ;-----------------------------------------------------------------------------
  304. ; void add8x8_idct_dc( uint8_t *p_dst, int16_t *dct2x2 )
  305. ;-----------------------------------------------------------------------------
  307. %macro ADD_DC 3
  308.     movq      mm4, [%3+FDEC_STRIDE*0]
  309.     movq      mm5, [%3+FDEC_STRIDE*1]
  310.     movq      mm6, [%3+FDEC_STRIDE*2]
  311.     paddusb   mm4, %1
  312.     paddusb   mm5, %1
  313.     paddusb   mm6, %1
  314.     paddusb    %1, [%3+FDEC_STRIDE*3]
  315.     psubusb   mm4, %2
  316.     psubusb   mm5, %2
  317.     psubusb   mm6, %2
  318.     psubusb    %1, %2
  319.     movq      [%3+FDEC_STRIDE*0], mm4
  320.     movq      [%3+FDEC_STRIDE*1], mm5
  321.     movq      [%3+FDEC_STRIDE*2], mm6
  322.     movq      [%3+FDEC_STRIDE*3], %1
  323. %endmacro
  325. cglobal x264_add8x8_idct_dc_mmx, 2,2
  326.     movq      mm0, [r1]
  327.     pxor      mm1, mm1
  328.     add        r0, FDEC_STRIDE*4
  329.     paddw     mm0, [pw_32 GLOBAL]
  330.     psraw     mm0, 6
  331.     psubw     mm1, mm0
  332.     packuswb  mm0, mm0
  333.     packuswb  mm1, mm1
  334.     punpcklbw mm0, mm0
  335.     punpcklbw mm1, mm1
  336.     pshufw    mm2, mm0, 0xFA
  337.     pshufw    mm3, mm1, 0xFA
  338.     punpcklbw mm0, mm0
  339.     punpcklbw mm1, mm1
  340.     ADD_DC    mm0, mm1, r0-FDEC_STRIDE*4
  341.     ADD_DC    mm2, mm3, r0
  342.     RET
  344. cglobal x264_add8x8_idct_dc_ssse3, 2,2
  345.     movq      xmm0, [r1]
  346.     pxor      xmm1, xmm1
  347.     add         r0, FDEC_STRIDE*4
  348.     paddw     xmm0, [pw_32 GLOBAL]
  349.     psraw     xmm0, 6
  350.     psubw     xmm1, xmm0
  351.     movdqa    xmm5, [pb_idctdc_unpack GLOBAL]
  352.     packuswb  xmm0, xmm0
  353.     packuswb  xmm1, xmm1
  354.     pshufb    xmm0, xmm5
  355.     pshufb    xmm1, xmm5
  356.     movq      xmm2, [r0+FDEC_STRIDE*-4]
  357.     movq      xmm3, [r0+FDEC_STRIDE*-3]
  358.     movq      xmm4, [r0+FDEC_STRIDE*-2]
  359.     movq      xmm5, [r0+FDEC_STRIDE*-1]
  360.     movhps    xmm2, [r0+FDEC_STRIDE* 0]
  361.     movhps    xmm3, [r0+FDEC_STRIDE* 1]
  362.     movhps    xmm4, [r0+FDEC_STRIDE* 2]
  363.     movhps    xmm5, [r0+FDEC_STRIDE* 3]
  364.     paddusb   xmm2, xmm0
  365.     paddusb   xmm3, xmm0
  366.     paddusb   xmm4, xmm0
  367.     paddusb   xmm5, xmm0
  368.     psubusb   xmm2, xmm1
  369.     psubusb   xmm3, xmm1
  370.     psubusb   xmm4, xmm1
  371.     psubusb   xmm5, xmm1
  372.     movq      [r0+FDEC_STRIDE*-4], xmm2
  373.     movq      [r0+FDEC_STRIDE*-3], xmm3
  374.     movq      [r0+FDEC_STRIDE*-2], xmm4
  375.     movq      [r0+FDEC_STRIDE*-1], xmm5
  376.     movhps    [r0+FDEC_STRIDE* 0], xmm2
  377.     movhps    [r0+FDEC_STRIDE* 1], xmm3
  378.     movhps    [r0+FDEC_STRIDE* 2], xmm4
  379.     movhps    [r0+FDEC_STRIDE* 3], xmm5
  380.     RET
  382. cglobal x264_add16x16_idct_dc_mmx, 2,3
  383.     mov       r2, 4
  384. .loop:
  385.     movq      mm0, [r1]
  386.     pxor      mm1, mm1
  387.     paddw     mm0, [pw_32 GLOBAL]
  388.     psraw     mm0, 6
  389.     psubw     mm1, mm0
  390.     packuswb  mm0, mm0
  391.     packuswb  mm1, mm1
  392.     punpcklbw mm0, mm0
  393.     punpcklbw mm1, mm1
  394.     pshufw    mm2, mm0, 0xFA
  395.     pshufw    mm3, mm1, 0xFA
  396.     punpcklbw mm0, mm0
  397.     punpcklbw mm1, mm1
  398.     ADD_DC    mm0, mm1, r0
  399.     ADD_DC    mm2, mm3, r0+8
  400.     add       r1, 8
  401.     add       r0, FDEC_STRIDE*4
  402.     dec       r2
  403.     jg .loop
  404.     REP_RET
  406. %macro IDCT_DC_STORE 3
  407.     movdqa    xmm4, [r0+%1+FDEC_STRIDE*0]
  408.     movdqa    xmm5, [r0+%1+FDEC_STRIDE*1]
  409.     movdqa    xmm6, [r0+%1+FDEC_STRIDE*2]
  410.     movdqa    xmm7, [r0+%1+FDEC_STRIDE*3]
  411.     paddusb   xmm4, %2
  412.     paddusb   xmm5, %2
  413.     paddusb   xmm6, %2
  414.     paddusb   xmm7, %2
  415.     psubusb   xmm4, %3
  416.     psubusb   xmm5, %3
  417.     psubusb   xmm6, %3
  418.     psubusb   xmm7, %3
  419.     movdqa    [r0+%1+FDEC_STRIDE*0], xmm4
  420.     movdqa    [r0+%1+FDEC_STRIDE*1], xmm5
  421.     movdqa    [r0+%1+FDEC_STRIDE*2], xmm6
  422.     movdqa    [r0+%1+FDEC_STRIDE*3], xmm7
  423. %endmacro
  425. cglobal x264_add16x16_idct_dc_sse2, 2,2,8
  426.     call .loop
  427.     add       r0, FDEC_STRIDE*4
  428. %ifdef WIN64
  429.     call .loop
  430.     RET
  431. %endif
  432. .loop:
  433.     add       r0, FDEC_STRIDE*4
  434.     movq      xmm0, [r1+0]
  435.     movq      xmm2, [r1+8]
  436.     add       r1, 16
  437.     punpcklwd xmm0, xmm0
  438.     punpcklwd xmm2, xmm2
  439.     pxor      xmm1, xmm1
  440.     pxor      xmm3, xmm3
  441.     paddw     xmm0, [pw_32 GLOBAL]
  442.     paddw     xmm2, [pw_32 GLOBAL]
  443.     psraw     xmm0, 6
  444.     psraw     xmm2, 6
  445.     psubw     xmm1, xmm0
  446.     psubw     xmm3, xmm2
  447.     packuswb  xmm0, xmm1
  448.     packuswb  xmm2, xmm3
  449.     movdqa    xmm1, xmm0
  450.     movdqa    xmm3, xmm2
  451.     punpcklbw xmm0, xmm0
  452.     punpcklbw xmm2, xmm2
  453.     punpckhbw xmm1, xmm1
  454.     punpckhbw xmm3, xmm3
  455.     IDCT_DC_STORE FDEC_STRIDE*-4, xmm0, xmm1
  456.     IDCT_DC_STORE 0, xmm2, xmm3
  457.     ret
  459. cglobal x264_add16x16_idct_dc_ssse3, 2,2,8
  460.     call .loop
  461.     add       r0, FDEC_STRIDE*4
  462. %ifdef WIN64
  463.     call .loop
  464.     RET
  465. %endif
  466. .loop:
  467.     add       r0, FDEC_STRIDE*4
  468.     movdqa    xmm0, [r1]
  469.     add       r1, 16
  470.     pxor      xmm1, xmm1
  471.     paddw     xmm0, [pw_32 GLOBAL]
  472.     psraw     xmm0, 6
  473.     psubw     xmm1, xmm0
  474.     movdqa    xmm5, [ pb_idctdc_unpack GLOBAL]
  475.     movdqa    xmm6, [pb_idctdc_unpack2 GLOBAL]
  476.     packuswb  xmm0, xmm0
  477.     packuswb  xmm1, xmm1
  478.     movdqa    xmm2, xmm0
  479.     movdqa    xmm3, xmm1
  480.     pshufb    xmm0, xmm5
  481.     pshufb    xmm2, xmm6
  482.     pshufb    xmm1, xmm5
  483.     pshufb    xmm3, xmm6
  484.     IDCT_DC_STORE FDEC_STRIDE*-4, xmm0, xmm1
  485.     IDCT_DC_STORE 0, xmm2, xmm3
  486.     ret
  488. ;-----------------------------------------------------------------------------
  489. ; void sub8x8_dct_dc( int16_t dct[2][2], uint8_t *pix1, uint8_t *pix2 )
  490. ;-----------------------------------------------------------------------------
  492. %macro DCTDC_2ROW_MMX 3
  493.     movq      %1, [r1+FENC_STRIDE*(0+%3)]
  494.     movq      m1, [r1+FENC_STRIDE*(1+%3)]
  495.     movq      m2, [r2+FDEC_STRIDE*(0+%3)]
  496.     movq      m3, [r2+FDEC_STRIDE*(1+%3)]
  497.     movq      %2, %1
  498.     punpckldq %1, m1
  499.     punpckhdq %2, m1
  500.     movq      m1, m2
  501.     punpckldq m2, m3
  502.     punpckhdq m1, m3
  503.     psadbw    %1, m7
  504.     psadbw    %2, m7
  505.     psadbw    m2, m7
  506.     psadbw    m1, m7
  507.     psubw     %1, m2
  508.     psubw     %2, m1
  509. %endmacro
  511. INIT_MMX
  512. cglobal x264_sub8x8_dct_dc_mmxext, 3,3
  513.     pxor      m7, m7
  514.     call .loop
  515.     add       r1, FENC_STRIDE*4
  516.     add       r2, FDEC_STRIDE*4
  517.     add       r0, 4
  518. .loop:
  519.     DCTDC_2ROW_MMX m0, m4, 0
  520.     DCTDC_2ROW_MMX m5, m6, 2
  521.     paddw     m0, m5
  522.     paddw     m4, m6
  523.     punpcklwd m0, m4
  524.     movd    [r0], m0
  525.     ret
  527. INIT_XMM
  528. %macro DCTDC_2ROW_SSE2 3
  529.     movq      m0, [r1+FENC_STRIDE*(0+%1)]
  530.     movq      m1, [r1+FENC_STRIDE*(1+%1)]
  531.     movq      m2, [r2+FDEC_STRIDE*(0+%1)]
  532.     movq      m3, [r2+FDEC_STRIDE*(1+%1)]
  533.     punpckldq m0, m1
  534.     punpckldq m2, m3
  535.     psadbw    m0, m7
  536.     psadbw    m2, m7
  537. %if %2
  538.     paddw     %3, m0
  539.     paddw     m6, m2
  540. %else
  541.     SWAP      %3, m0
  542.     SWAP      m6, m2
  543. %endif
  544. %endmacro
  546. cglobal x264_sub8x8_dct_dc_sse2, 3,3,8
  547.     pxor     m7, m7
  548.     DCTDC_2ROW_SSE2 0, 0, m4
  549.     DCTDC_2ROW_SSE2 2, 1, m4
  550.     add      r1, FENC_STRIDE*4
  551.     add      r2, FDEC_STRIDE*4
  552.     psubq    m4, m6
  553.     DCTDC_2ROW_SSE2 0, 0, m5
  554.     DCTDC_2ROW_SSE2 2, 1, m5
  555.     psubq    m5, m6
  556.     packssdw m4, m5
  557.     packssdw m4, m4
  558.     movq   [r0], m4
  559.     RET
  561. ;-----------------------------------------------------------------------------
  562. ; void x264_zigzag_scan_8x8_frame_ssse3( int16_t level[64], int16_t dct[8][8] )
  563. ;-----------------------------------------------------------------------------
  564. %macro SCAN_8x8 1
  565. cglobal x264_zigzag_scan_8x8_frame_%1, 2,2,8
  566.     movdqa    xmm0, [r1]
  567.     movdqa    xmm1, [r1+16]
  568.     movdq2q    mm0, xmm0
  569.     PALIGNR   xmm1, xmm1, 14, xmm2
  570.     movdq2q    mm1, xmm1
  572.     movdqa    xmm2, [r1+32]
  573.     movdqa    xmm3, [r1+48]
  574.     PALIGNR   xmm2, xmm2, 12, xmm4
  575.     movdq2q    mm2, xmm2
  576.     PALIGNR   xmm3, xmm3, 10, xmm4
  577.     movdq2q    mm3, xmm3
  579.     punpckhwd xmm0, xmm1
  580.     punpckhwd xmm2, xmm3
  582.     movq       mm4, mm1
  583.     movq       mm5, mm1
  584.     movq       mm6, mm2
  585.     movq       mm7, mm3
  586.     punpckhwd  mm1, mm0
  587.     psllq      mm0, 16
  588.     psrlq      mm3, 16
  589.     punpckhdq  mm1, mm1
  590.     punpckhdq  mm2, mm0
  591.     punpcklwd  mm0, mm4
  592.     punpckhwd  mm4, mm3
  593.     punpcklwd  mm4, mm2
  594.     punpckhdq  mm0, mm2
  595.     punpcklwd  mm6, mm3
  596.     punpcklwd  mm5, mm7
  597.     punpcklwd  mm5, mm6
  599.     movdqa    xmm4, [r1+64]
  600.     movdqa    xmm5, [r1+80]
  601.     movdqa    xmm6, [r1+96]
  602.     movdqa    xmm7, [r1+112]
  604.     movq [r0+2*00], mm0
  605.     movq [r0+2*04], mm4
  606.     movd [r0+2*08], mm1
  607.     movq [r0+2*36], mm5
  608.     movq [r0+2*46], mm6
  610.     PALIGNR   xmm4, xmm4, 14, xmm3
  611.     movdq2q    mm4, xmm4
  612.     PALIGNR   xmm5, xmm5, 12, xmm3
  613.     movdq2q    mm5, xmm5
  614.     PALIGNR   xmm6, xmm6, 10, xmm3
  615.     movdq2q    mm6, xmm6
  616. %ifidn %1, ssse3
  617.     PALIGNR   xmm7, xmm7, 8, xmm3
  618.     movdq2q    mm7, xmm7
  619. %else
  620.     movhlps   xmm3, xmm7
  621.     punpcklqdq xmm7, xmm7
  622.     movdq2q    mm7, xmm3
  623. %endif
  625.     punpckhwd xmm4, xmm5
  626.     punpckhwd xmm6, xmm7
  628.     movq       mm0, mm4
  629.     movq       mm1, mm5
  630.     movq       mm3, mm7
  631.     punpcklwd  mm7, mm6
  632.     psrlq      mm6, 16
  633.     punpcklwd  mm4, mm6
  634.     punpcklwd  mm5, mm4
  635.     punpckhdq  mm4, mm3
  636.     punpcklwd  mm3, mm6
  637.     punpckhwd  mm3, mm4
  638.     punpckhwd  mm0, mm1
  639.     punpckldq  mm4, mm0
  640.     punpckhdq  mm0, mm6
  641.     pshufw     mm4, mm4, 0x6c
  643.     movq [r0+2*14], mm4
  644.     movq [r0+2*25], mm0
  645.     movd [r0+2*54], mm7
  646.     movq [r0+2*56], mm5
  647.     movq [r0+2*60], mm3
  649.     movdqa    xmm3, xmm0
  650.     movdqa    xmm7, xmm4
  651.     punpckldq xmm0, xmm2
  652.     punpckldq xmm4, xmm6
  653.     punpckhdq xmm3, xmm2
  654.     punpckhdq xmm7, xmm6
  655.     pshufhw   xmm0, xmm0, 0x1b
  656.     pshuflw   xmm4, xmm4, 0x1b
  657.     pshufhw   xmm3, xmm3, 0x1b
  658.     pshuflw   xmm7, xmm7, 0x1b
  660.     movlps [r0+2*10], xmm0
  661.     movhps [r0+2*17], xmm0
  662.     movlps [r0+2*21], xmm3
  663.     movlps [r0+2*28], xmm4
  664.     movhps [r0+2*32], xmm3
  665.     movhps [r0+2*39], xmm4
  666.     movlps [r0+2*43], xmm7
  667.     movhps [r0+2*50], xmm7
  669.     RET
  670. %endmacro
  672. INIT_XMM
  673. %define PALIGNR PALIGNR_MMX
  674. SCAN_8x8 sse2
  675. %define PALIGNR PALIGNR_SSSE3
  676. SCAN_8x8 ssse3
  678. ;-----------------------------------------------------------------------------
  679. ; void x264_zigzag_scan_8x8_frame_mmxext( int16_t level[64], int16_t dct[8][8] )
  680. ;-----------------------------------------------------------------------------
  681. cglobal x264_zigzag_scan_8x8_frame_mmxext, 2,2
  682.     movq       mm0, [r1]
  683.     movq       mm1, [r1+2*8]
  684.     movq       mm2, [r1+2*14]
  685.     movq       mm3, [r1+2*21]
  686.     movq       mm4, [r1+2*28]
  687.     movq       mm5, mm0
  688.     movq       mm6, mm1
  689.     psrlq      mm0, 16
  690.     punpckldq  mm1, mm1
  691.     punpcklwd  mm5, mm6
  692.     punpckhwd  mm1, mm3
  693.     punpckhwd  mm6, mm0
  694.     punpckldq  mm5, mm0
  695.     movq       mm7, [r1+2*52]
  696.     movq       mm0, [r1+2*60]
  697.     punpckhwd  mm1, mm2
  698.     punpcklwd  mm2, mm4
  699.     punpckhwd  mm4, mm3
  700.     punpckldq  mm3, mm3
  701.     punpckhwd  mm3, mm2
  702.     movq      [r0], mm5
  703.     movq  [r0+2*4], mm1
  704.     movq  [r0+2*8], mm6
  705.     punpcklwd  mm6, mm0
  706.     punpcklwd  mm6, mm7
  707.     movq       mm1, [r1+2*32]
  708.     movq       mm5, [r1+2*39]
  709.     movq       mm2, [r1+2*46]
  710.     movq [r0+2*35], mm3
  711.     movq [r0+2*47], mm4
  712.     punpckhwd  mm7, mm0
  713.     psllq      mm0, 16
  714.     movq       mm3, mm5
  715.     punpcklwd  mm5, mm1
  716.     punpckhwd  mm1, mm2
  717.     punpckhdq  mm3, mm3
  718.     movq [r0+2*52], mm6
  719.     movq [r0+2*13], mm5
  720.     movq       mm4, [r1+2*11]
  721.     movq       mm6, [r1+2*25]
  722.     punpcklwd  mm5, mm7
  723.     punpcklwd  mm1, mm3
  724.     punpckhdq  mm0, mm7
  725.     movq       mm3, [r1+2*4]
  726.     movq       mm7, [r1+2*18]
  727.     punpcklwd  mm2, mm5
  728.     movq [r0+2*25], mm1
  729.     movq       mm1, mm4
  730.     movq       mm5, mm6
  731.     punpcklwd  mm4, mm3
  732.     punpcklwd  mm6, mm7
  733.     punpckhwd  mm1, mm3
  734.     punpckhwd  mm5, mm7
  735.     movq       mm3, mm6
  736.     movq       mm7, mm5
  737.     punpckldq  mm6, mm4
  738.     punpckldq  mm5, mm1
  739.     punpckhdq  mm3, mm4
  740.     punpckhdq  mm7, mm1
  741.     movq       mm4, [r1+2*35]
  742.     movq       mm1, [r1+2*49]
  743.     pshufw     mm6, mm6, 0x1b
  744.     pshufw     mm5, mm5, 0x1b
  745.     movq [r0+2*60], mm0
  746.     movq [r0+2*56], mm2
  747.     movq       mm0, [r1+2*42]
  748.     movq       mm2, [r1+2*56]
  749.     movq [r0+2*17], mm3
  750.     movq [r0+2*32], mm7
  751.     movq [r0+2*10], mm6
  752.     movq [r0+2*21], mm5
  753.     movq       mm3, mm0
  754.     movq       mm7, mm2
  755.     punpcklwd  mm0, mm4
  756.     punpcklwd  mm2, mm1
  757.     punpckhwd  mm3, mm4
  758.     punpckhwd  mm7, mm1
  759.     movq       mm4, mm2
  760.     movq       mm1, mm7
  761.     punpckhdq  mm2, mm0
  762.     punpckhdq  mm7, mm3
  763.     punpckldq  mm4, mm0
  764.     punpckldq  mm1, mm3
  765.     pshufw     mm2, mm2, 0x1b
  766.     pshufw     mm7, mm7, 0x1b
  767.     movq [r0+2*28], mm4
  768.     movq [r0+2*43], mm1
  769.     movq [r0+2*39], mm2
  770.     movq [r0+2*50], mm7
  771.     RET
  773. ;-----------------------------------------------------------------------------
  774. ; void x264_zigzag_scan_4x4_frame_mmx( int16_t level[16], int16_t dct[4][4] )
  775. ;-----------------------------------------------------------------------------
  776. cglobal x264_zigzag_scan_4x4_frame_mmx, 2,2
  777.     movq       mm0, [r1]
  778.     movq       mm1, [r1+8]
  779.     movq       mm2, [r1+16]
  780.     movq       mm3, [r1+24]
  781.     movq       mm4, mm0
  782.     movq       mm5, mm1
  783.     movq       mm6, mm2
  784.     movq       mm7, mm3
  785.     psllq      mm3, 16
  786.     psrlq      mm0, 16
  787.     punpckldq  mm2, mm2
  788.     punpckhdq  mm1, mm1
  789.     punpcklwd  mm4, mm5
  790.     punpcklwd  mm5, mm3
  791.     punpckldq  mm4, mm0
  792.     punpckhwd  mm5, mm2
  793.     punpckhwd  mm0, mm6
  794.     punpckhwd  mm6, mm7
  795.     punpcklwd  mm1, mm0
  796.     punpckhdq  mm3, mm6
  797.     movq      [r0], mm4
  798.     movq    [r0+8], mm5
  799.     movq   [r0+16], mm1
  800.     movq   [r0+24], mm3
  801.     RET
  803. ;-----------------------------------------------------------------------------
  804. ; void x264_zigzag_scan_4x4_frame_ssse3( int16_t level[16], int16_t dct[4][4] )
  805. ;-----------------------------------------------------------------------------
  806. cglobal x264_zigzag_scan_4x4_frame_ssse3, 2,2
  807.     movdqa    xmm1, [r1+16]
  808.     movdqa    xmm0, [r1]
  809.     pshufb    xmm1, [pb_scan4frameb GLOBAL]
  810.     pshufb    xmm0, [pb_scan4framea GLOBAL]
  811.     movdqa    xmm2, xmm1
  812.     psrldq    xmm1, 6
  813.     palignr   xmm2, xmm0, 6
  814.     pslldq    xmm0, 10
  815.     palignr   xmm1, xmm0, 10
  816.     movdqa    [r0], xmm2
  817.     movdqa [r0+16], xmm1
  818.     RET
  820. ;-----------------------------------------------------------------------------
  821. ; void x264_zigzag_scan_4x4_field_mmxext( int16_t level[16], int16_t dct[4][4] )
  822. ;-----------------------------------------------------------------------------
  823. ; sse2 is only 1 cycle faster, and ssse3/pshufb is slower on core2
  824. cglobal x264_zigzag_scan_4x4_field_mmxext, 2,3
  825.     pshufw     mm0, [r1+4], 0xd2
  826.     movq       mm1, [r1+16]
  827.     movq       mm2, [r1+24]
  828.     movq    [r0+4], mm0
  829.     movq   [r0+16], mm1
  830.     movq   [r0+24], mm2
  831.     mov        r2d, [r1]
  832.     mov       [r0], r2d
  833.     mov        r2d, [r1+12]
  834.     mov    [r0+12], r2d
  835.     RET
  837. ;-----------------------------------------------------------------------------
  838. ; void x264_zigzag_sub_4x4_frame_ssse3( int16_t level[16], const uint8_t *src, uint8_t *dst )
  839. ;-----------------------------------------------------------------------------
  840. %macro ZIGZAG_SUB_4x4 2
  841. %ifidn %1, ac
  842. cglobal x264_zigzag_sub_4x4%1_%2_ssse3, 4,4,8
  843. %else
  844. cglobal x264_zigzag_sub_4x4%1_%2_ssse3, 3,3,8
  845. %endif
  846.     movd      xmm0, [r1+0*FENC_STRIDE]
  847.     movd      xmm1, [r1+1*FENC_STRIDE]
  848.     movd      xmm2, [r1+2*FENC_STRIDE]
  849.     movd      xmm3, [r1+3*FENC_STRIDE]
  850.     movd      xmm4, [r2+0*FDEC_STRIDE]
  851.     movd      xmm5, [r2+1*FDEC_STRIDE]
  852.     movd      xmm6, [r2+2*FDEC_STRIDE]
  853.     movd      xmm7, [r2+3*FDEC_STRIDE]
  854.     movd      [r2+0*FDEC_STRIDE], xmm0
  855.     movd      [r2+1*FDEC_STRIDE], xmm1
  856.     movd      [r2+2*FDEC_STRIDE], xmm2
  857.     movd      [r2+3*FDEC_STRIDE], xmm3
  858.     punpckldq xmm0, xmm1
  859.     punpckldq xmm2, xmm3
  860.     punpckldq xmm4, xmm5
  861.     punpckldq xmm6, xmm7
  862.     punpcklqdq xmm0, xmm2
  863.     punpcklqdq xmm4, xmm6
  864. %ifidn %2, frame
  865.     movdqa    xmm7, [pb_sub4frame GLOBAL]
  866. %else
  867.     movdqa    xmm7, [pb_sub4field GLOBAL]
  868. %endif
  869.     pshufb    xmm0, xmm7
  870.     pshufb    xmm4, xmm7
  871.     pxor      xmm6, xmm6
  872.     movdqa    xmm1, xmm0
  873.     movdqa    xmm5, xmm4
  874.     punpcklbw xmm0, xmm6
  875.     punpckhbw xmm1, xmm6
  876.     punpcklbw xmm4, xmm6
  877.     punpckhbw xmm5, xmm6
  878.     psubw     xmm0, xmm4
  879.     psubw     xmm1, xmm5
  880. %ifidn %1, ac
  881.     movd       r2d, xmm0
  882.     pand      xmm0, [pb_subacmask GLOBAL]
  883. %endif
  884.     movdqa    [r0], xmm0
  885.     pxor      xmm2, xmm2
  886.     movdqa [r0+16], xmm1
  887.     por       xmm0, xmm1
  888.     pcmpeqb   xmm0, xmm2
  889.     pmovmskb   eax, xmm0
  890. %ifidn %1, ac
  891.     mov       [r3], r2w
  892. %endif
  893.     sub        eax, 0xffff
  894.     shr        eax, 31
  895.     RET
  896. %endmacro
  898. ZIGZAG_SUB_4x4   , frame
  899. ZIGZAG_SUB_4x4 ac, frame
  900. ZIGZAG_SUB_4x4   , field
  901. ZIGZAG_SUB_4x4 ac, field
  903. ;-----------------------------------------------------------------------------
  904. ; void x264_zigzag_interleave_8x8_cavlc_mmx( int16_t *dst, int16_t *src, uint8_t *nnz )
  905. ;-----------------------------------------------------------------------------
  907. %macro INTERLEAVE 1
  908.     movq   m0, [r1+%1*4+ 0]
  909.     movq   m1, [r1+%1*4+ 8]
  910.     movq   m2, [r1+%1*4+16]
  911.     movq   m3, [r1+%1*4+24]
  912.     TRANSPOSE4x4W 0,1,2,3,4
  913.     movq   [r0+%1+ 0], m0
  914.     movq   [r0+%1+32], m1
  915.     movq   [r0+%1+64], m2
  916.     movq   [r0+%1+96], m3
  917. %if %1
  918.     packsswb m0, m1
  919.     por    m6, m2
  920.     por    m7, m3
  921.     por    m5, m0
  922. %else
  923.     packsswb m0, m1
  924.     SWAP   m5, m0
  925.     SWAP   m6, m2
  926.     SWAP   m7, m3
  927. %endif
  928. %endmacro
  930. INIT_MMX
  931. cglobal x264_zigzag_interleave_8x8_cavlc_mmx, 3,3
  932.     INTERLEAVE  0
  933.     INTERLEAVE  8
  934.     INTERLEAVE 16
  935.     INTERLEAVE 24
  936.     packsswb m6, m7
  937.     packsswb m5, m6
  938.     packsswb m5, m5
  939.     pxor     m0, m0
  940.     pcmpeqb  m5, m0
  941.     paddb    m5, [pb_1 GLOBAL]
  942.     movd    r0d, m5
  943.     mov  [r2+0], r0w
  944.     shr     r0d, 16
  945.     mov  [r2+8], r0w
  946.     RET
  948. %macro INTERLEAVE_XMM 1
  949.     mova   m0, [r1+%1*4+ 0]
  950.     mova   m1, [r1+%1*4+16]
  951.     mova   m4, [r1+%1*4+32]
  952.     mova   m5, [r1+%1*4+48]
  953.     SBUTTERFLY wd, 0, 1, 6
  954.     SBUTTERFLY wd, 4, 5, 7
  955.     SBUTTERFLY wd, 0, 1, 6
  956.     SBUTTERFLY wd, 4, 5, 7
  957.     movq   [r0+%1+  0], m0
  958.     movhps [r0+%1+ 32], m0
  959.     movq   [r0+%1+ 64], m1
  960.     movhps [r0+%1+ 96], m1
  961.     movq   [r0+%1+  8], m4
  962.     movhps [r0+%1+ 40], m4
  963.     movq   [r0+%1+ 72], m5
  964.     movhps [r0+%1+104], m5
  965. %if %1
  966.     por    m2, m0
  967.     por    m3, m1
  968.     por    m2, m4
  969.     por    m3, m5
  970. %else
  971.     SWAP 0,2
  972.     SWAP 3,1
  973.     por    m2, m4
  974.     por    m3, m5
  975. %endif
  976. %endmacro
  978. INIT_XMM
  979. cglobal x264_zigzag_interleave_8x8_cavlc_sse2, 3,3,8
  980.     INTERLEAVE_XMM  0
  981.     INTERLEAVE_XMM 16
  982.     packsswb m2, m3
  983.     pxor     m5, m5
  984.     packsswb m2, m2
  985.     packsswb m2, m2
  986.     pcmpeqb  m5, m2
  987.     paddb    m5, [pb_1 GLOBAL]
  988.     movd    r0d, m5
  989.     mov  [r2+0], r0w
  990.     shr     r0d, 16
  991.     mov  [r2+8], r0w
  992.     RET