开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多媒体 > 流媒体/Mpeg4/MP4 > 查看源码
mc-a2.asm
资源名称：X264CODEC.rar　[点击查看]
上传用户：lctgjx
上传日期：2022-06-04
资源大小：8887k
文件大小：26k
源码类别：

流媒体/Mpeg4/MP4

开发平台：

Visual C++

mc-a2.asm：源码内容
  1. ;*****************************************************************************
  2. ;* mc-a2.asm: h264 encoder library
  3. ;*****************************************************************************
  4. ;* Copyright (C) 2005-2008 x264 project
  5. ;*
  6. ;* Authors: Loren Merritt <lorenm@u.washington.edu>
  7. ;*          Jason Garrett-Glaser <darkshikari@gmail.com>
  8. ;*          Holger Lubitz <hal@duncan.ol.sub.de>
  9. ;*          Mathieu Monnier <manao@melix.net>
  10. ;*
  11. ;* This program is free software; you can redistribute it and/or modify
  12. ;* it under the terms of the GNU General Public License as published by
  13. ;* the Free Software Foundation; either version 2 of the License, or
  14. ;* (at your option) any later version.
  15. ;*
  16. ;* This program is distributed in the hope that it will be useful,
  17. ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  18. ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19. ;* GNU General Public License for more details.
  20. ;*
  21. ;* You should have received a copy of the GNU General Public License
  22. ;* along with this program; if not, write to the Free Software
  23. ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  24. ;*****************************************************************************
  26. %include "x86inc.asm"
  27. %include "x86util.asm"
  29. SECTION_RODATA
  31. filt_mul20: times 16 db 20
  32. filt_mul51: times 8 db 1, -5
  34. pw_1:  times 8 dw 1
  35. pw_16: times 8 dw 16
  36. pw_32: times 8 dw 32
  37. pd_128: times 4 dd 128
  39. SECTION .text
  41. %macro LOAD_ADD 4
  42.     movh       %4, %3
  43.     movh       %1, %2
  44.     punpcklbw  %4, m0
  45.     punpcklbw  %1, m0
  46.     paddw      %1, %4
  47. %endmacro
  49. %macro LOAD_ADD_2 6
  50.     mova       %5, %3
  51.     mova       %1, %4
  52.     mova       %6, %5
  53.     mova       %2, %1
  54.     punpcklbw  %5, m0
  55.     punpcklbw  %1, m0
  56.     punpckhbw  %6, m0
  57.     punpckhbw  %2, m0
  58.     paddw      %1, %5
  59.     paddw      %2, %6
  60. %endmacro
  62. %macro FILT_V2 0
  63.     psubw  m1, m2  ; a-b
  64.     psubw  m4, m5
  65.     psubw  m2, m3  ; b-c
  66.     psubw  m5, m6
  67.     psllw  m2, 2
  68.     psllw  m5, 2
  69.     psubw  m1, m2  ; a-5*b+4*c
  70.     psubw  m4, m5
  71.     psllw  m3, 4
  72.     psllw  m6, 4
  73.     paddw  m1, m3  ; a-5*b+20*c
  74.     paddw  m4, m6
  75. %endmacro
  77. %macro FILT_H 3
  78.     psubw  %1, %2  ; a-b
  79.     psraw  %1, 2   ; (a-b)/4
  80.     psubw  %1, %2  ; (a-b)/4-b
  81.     paddw  %1, %3  ; (a-b)/4-b+c
  82.     psraw  %1, 2   ; ((a-b)/4-b+c)/4
  83.     paddw  %1, %3  ; ((a-b)/4-b+c)/4+c = (a-5*b+20*c)/16
  84. %endmacro
  86. %macro FILT_H2 6
  87.     psubw  %1, %2
  88.     psubw  %4, %5
  89.     psraw  %1, 2
  90.     psraw  %4, 2
  91.     psubw  %1, %2
  92.     psubw  %4, %5
  93.     paddw  %1, %3
  94.     paddw  %4, %6
  95.     psraw  %1, 2
  96.     psraw  %4, 2
  97.     paddw  %1, %3
  98.     paddw  %4, %6
  99. %endmacro
  101. %macro FILT_PACK 3
  102.     paddw     %1, m7
  103.     paddw     %2, m7
  104.     psraw     %1, %3
  105.     psraw     %2, %3
  106.     packuswb  %1, %2
  107. %endmacro
  109. INIT_MMX
  111. %macro HPEL_V 1-2 0
  112. ;-----------------------------------------------------------------------------
  113. ; void x264_hpel_filter_v_mmxext( uint8_t *dst, uint8_t *src, int16_t *buf, int stride, int width );
  114. ;-----------------------------------------------------------------------------
  115. cglobal x264_hpel_filter_v_%1, 5,6,%2
  116. %ifdef WIN64
  117.     movsxd   r4, r4d
  118. %endif
  119.     lea r5, [r1+r3]
  120.     sub r1, r3
  121.     sub r1, r3
  122.     add r0, r4
  123.     lea r2, [r2+r4*2]
  124.     neg r4
  125. %ifnidn %1, ssse3
  126.     pxor m0, m0
  127. %else
  128.     mova m0, [filt_mul51 GLOBAL]
  129. %endif
  130. .loop:
  131. %ifidn %1, ssse3
  132.     mova m1, [r1]
  133.     mova m4, [r1+r3]
  134.     mova m2, [r5+r3*2]
  135.     mova m5, [r5+r3]
  136.     mova m3, [r1+r3*2]
  137.     mova m6, [r5]
  138.     SBUTTERFLY bw, 1, 4, 7
  139.     SBUTTERFLY bw, 2, 5, 7
  140.     SBUTTERFLY bw, 3, 6, 7
  141.     pmaddubsw m1, m0
  142.     pmaddubsw m4, m0
  143.     pmaddubsw m2, m0
  144.     pmaddubsw m5, m0
  145.     pmaddubsw m3, [filt_mul20 GLOBAL]
  146.     pmaddubsw m6, [filt_mul20 GLOBAL]
  147.     paddw  m1, m2
  148.     paddw  m4, m5
  149.     paddw  m1, m3
  150.     paddw  m4, m6
  151. %else
  152.     LOAD_ADD_2 m1, m4, [r1     ], [r5+r3*2], m6, m7            ; a0 / a1
  153.     LOAD_ADD_2 m2, m5, [r1+r3  ], [r5+r3  ], m6, m7            ; b0 / b1
  154.     LOAD_ADD   m3,     [r1+r3*2], [r5     ], m7                ; c0
  155.     LOAD_ADD   m6,     [r1+r3*2+mmsize/2], [r5+mmsize/2], m7 ; c1
  156.     FILT_V2
  157. %endif
  158.     mova      m7, [pw_16 GLOBAL]
  159.     mova      [r2+r4*2], m1
  160.     mova      [r2+r4*2+mmsize], m4
  161.     paddw     m1, m7
  162.     paddw     m4, m7
  163.     psraw     m1, 5
  164.     psraw     m4, 5
  165.     packuswb  m1, m4
  166.     mova     [r0+r4], m1
  167.     add r1, mmsize
  168.     add r5, mmsize
  169.     add r4, mmsize
  170.     jl .loop
  171.     REP_RET
  172. %endmacro
  173. HPEL_V mmxext
  175. ;-----------------------------------------------------------------------------
  176. ; void x264_hpel_filter_c_mmxext( uint8_t *dst, int16_t *buf, int width );
  177. ;-----------------------------------------------------------------------------
  178. cglobal x264_hpel_filter_c_mmxext, 3,3
  179.     add r0, r2
  180.     lea r1, [r1+r2*2]
  181.     neg r2
  182.     %define src r1+r2*2
  183.     movq m7, [pw_32 GLOBAL]
  184. .loop:
  185.     movq   m1, [src-4]
  186.     movq   m2, [src-2]
  187.     movq   m3, [src  ]
  188.     movq   m4, [src+4]
  189.     movq   m5, [src+6]
  190.     paddw  m3, [src+2]  ; c0
  191.     paddw  m2, m4       ; b0
  192.     paddw  m1, m5       ; a0
  193.     movq   m6, [src+8]
  194.     paddw  m4, [src+14] ; a1
  195.     paddw  m5, [src+12] ; b1
  196.     paddw  m6, [src+10] ; c1
  197.     FILT_H2 m1, m2, m3, m4, m5, m6
  198.     FILT_PACK m1, m4, 6
  199.     movntq [r0+r2], m1
  200.     add r2, 8
  201.     jl .loop
  202.     REP_RET
  204. ;-----------------------------------------------------------------------------
  205. ; void x264_hpel_filter_h_mmxext( uint8_t *dst, uint8_t *src, int width );
  206. ;-----------------------------------------------------------------------------
  207. cglobal x264_hpel_filter_h_mmxext, 3,3
  208.     add r0, r2
  209.     add r1, r2
  210.     neg r2
  211.     %define src r1+r2
  212.     pxor m0, m0
  213. .loop:
  214.     movd       m1, [src-2]
  215.     movd       m2, [src-1]
  216.     movd       m3, [src  ]
  217.     movd       m6, [src+1]
  218.     movd       m4, [src+2]
  219.     movd       m5, [src+3]
  220.     punpcklbw  m1, m0
  221.     punpcklbw  m2, m0
  222.     punpcklbw  m3, m0
  223.     punpcklbw  m6, m0
  224.     punpcklbw  m4, m0
  225.     punpcklbw  m5, m0
  226.     paddw      m3, m6 ; c0
  227.     paddw      m2, m4 ; b0
  228.     paddw      m1, m5 ; a0
  229.     movd       m7, [src+7]
  230.     movd       m6, [src+6]
  231.     punpcklbw  m7, m0
  232.     punpcklbw  m6, m0
  233.     paddw      m4, m7 ; c1
  234.     paddw      m5, m6 ; b1
  235.     movd       m7, [src+5]
  236.     movd       m6, [src+4]
  237.     punpcklbw  m7, m0
  238.     punpcklbw  m6, m0
  239.     paddw      m6, m7 ; a1
  240.     movq       m7, [pw_1 GLOBAL]
  241.     FILT_H2 m1, m2, m3, m4, m5, m6
  242.     FILT_PACK m1, m4, 1
  243.     movntq     [r0+r2], m1
  244.     add r2, 8
  245.     jl .loop
  246.     REP_RET
  248. INIT_XMM
  250. %macro HPEL_C 1
  251. ;-----------------------------------------------------------------------------
  252. ; void x264_hpel_filter_c_sse2( uint8_t *dst, int16_t *buf, int width );
  253. ;-----------------------------------------------------------------------------
  254. cglobal x264_hpel_filter_c_%1, 3,3,9
  255.     add r0, r2
  256.     lea r1, [r1+r2*2]
  257.     neg r2
  258.     %define src r1+r2*2
  259. %ifidn %1, ssse3
  260.     mova    m7, [pw_32 GLOBAL]
  261.     %define tpw_32 m7
  262. %elifdef ARCH_X86_64
  263.     mova    m8, [pw_32 GLOBAL]
  264.     %define tpw_32 m8
  265. %else
  266.     %define tpw_32 [pw_32 GLOBAL]
  267. %endif
  268. .loop:
  269. %ifidn %1,sse2_misalign
  270.     movu    m0, [src-4]
  271.     movu    m1, [src-2]
  272.     mova    m2, [src]
  273.     paddw   m0, [src+6]
  274.     paddw   m1, [src+4]
  275.     paddw   m2, [src+2]
  276. %else
  277.     mova    m6, [src-16]
  278.     mova    m2, [src]
  279.     mova    m3, [src+16]
  280.     mova    m0, m2
  281.     mova    m1, m2
  282.     mova    m4, m3
  283.     mova    m5, m3
  284.     PALIGNR m3, m2, 2, m7
  285.     PALIGNR m4, m2, 4, m7
  286.     PALIGNR m5, m2, 6, m7
  287.     PALIGNR m0, m6, 12, m7
  288.     PALIGNR m1, m6, 14, m7
  289.     paddw   m2, m3
  290.     paddw   m1, m4
  291.     paddw   m0, m5
  292. %endif
  293.     FILT_H  m0, m1, m2
  294.     paddw   m0, tpw_32
  295.     psraw   m0, 6
  296.     packuswb m0, m0
  297.     movq [r0+r2], m0
  298.     add r2, 8
  299.     jl .loop
  300.     REP_RET
  301. %endmacro
  303. ;-----------------------------------------------------------------------------
  304. ; void x264_hpel_filter_h_sse2( uint8_t *dst, uint8_t *src, int width );
  305. ;-----------------------------------------------------------------------------
  306. cglobal x264_hpel_filter_h_sse2, 3,3,8
  307.     add r0, r2
  308.     add r1, r2
  309.     neg r2
  310.     %define src r1+r2
  311.     pxor m0, m0
  312. .loop:
  313.     movh       m1, [src-2]
  314.     movh       m2, [src-1]
  315.     movh       m3, [src  ]
  316.     movh       m4, [src+1]
  317.     movh       m5, [src+2]
  318.     movh       m6, [src+3]
  319.     punpcklbw  m1, m0
  320.     punpcklbw  m2, m0
  321.     punpcklbw  m3, m0
  322.     punpcklbw  m4, m0
  323.     punpcklbw  m5, m0
  324.     punpcklbw  m6, m0
  325.     paddw      m3, m4 ; c0
  326.     paddw      m2, m5 ; b0
  327.     paddw      m1, m6 ; a0
  328.     movh       m4, [src+6]
  329.     movh       m5, [src+7]
  330.     movh       m6, [src+10]
  331.     movh       m7, [src+11]
  332.     punpcklbw  m4, m0
  333.     punpcklbw  m5, m0
  334.     punpcklbw  m6, m0
  335.     punpcklbw  m7, m0
  336.     paddw      m5, m6 ; b1
  337.     paddw      m4, m7 ; a1
  338.     movh       m6, [src+8]
  339.     movh       m7, [src+9]
  340.     punpcklbw  m6, m0
  341.     punpcklbw  m7, m0
  342.     paddw      m6, m7 ; c1
  343.     mova       m7, [pw_1 GLOBAL] ; FIXME xmm8
  344.     FILT_H2 m1, m2, m3, m4, m5, m6
  345.     FILT_PACK m1, m4, 1
  346.     movntdq    [r0+r2], m1
  347.     add r2, 16
  348.     jl .loop
  349.     REP_RET
  351. %ifndef ARCH_X86_64
  352. ;-----------------------------------------------------------------------------
  353. ; void x264_hpel_filter_h_ssse3( uint8_t *dst, uint8_t *src, int width );
  354. ;-----------------------------------------------------------------------------
  355. cglobal x264_hpel_filter_h_ssse3, 3,3
  356.     add r0, r2
  357.     add r1, r2
  358.     neg r2
  359.     %define src r1+r2
  360.     pxor m0, m0
  361.     movh m1, [src-8]
  362.     punpcklbw m1, m0         ; 00 -1 00 -2 00 -3 00 -4 00 -5 00 -6 00 -7 00 -8
  363.     movh m2, [src]
  364.     punpcklbw m2, m0
  365.     mova       m7, [pw_1 GLOBAL]
  366. .loop:
  367.     movh       m3, [src+8]
  368.     punpcklbw  m3, m0
  370.     mova       m4, m2
  371.     palignr    m2, m1, 14
  372.     mova       m5, m3
  373.     palignr    m3, m4, 4
  374.     paddw      m3, m2
  376.     mova       m2, m4
  377.     palignr    m4, m1, 12
  378.     mova       m1, m5
  379.     palignr    m5, m2, 6
  380.     paddw      m5, m4
  382.     mova       m4, m1
  383.     palignr    m1, m2, 2
  384.     paddw      m1, m2
  386.     FILT_H     m5, m3, m1
  388.     movh       m1, [src+16]
  389.     punpcklbw  m1, m0
  391.     mova       m3, m4
  392.     palignr    m4, m2, 14
  393.     mova       m6, m1
  394.     palignr    m1, m3, 4
  395.     paddw      m1, m4
  397.     mova       m4, m3
  398.     palignr    m3, m2, 12
  399.     mova       m2, m6
  400.     palignr    m6, m4, 6
  401.     paddw      m6, m3
  403.     mova       m3, m2
  404.     palignr    m2, m4, 2
  405.     paddw      m2, m4
  407.     FILT_H m6, m1, m2
  408.     FILT_PACK m5, m6, 1
  409.     movdqa    [r0+r2], m5
  411.     add r2, 16
  412.     mova      m2, m3
  413.     mova      m1, m4
  415.     jl .loop
  416.     REP_RET
  417. %endif
  419. %define PALIGNR PALIGNR_MMX
  420. %ifndef ARCH_X86_64
  421. HPEL_C sse2
  422. %endif
  423. HPEL_V sse2, 8
  424. HPEL_C sse2_misalign
  425. %define PALIGNR PALIGNR_SSSE3
  426. HPEL_C ssse3
  427. HPEL_V ssse3
  429. %ifdef ARCH_X86_64
  431. %macro DO_FILT_V 6
  432. %ifidn %6, ssse3
  433.     mova m1, [r3]
  434.     mova m2, [r3+r2]
  435.     mova %3, [r3+r2*2]
  436.     mova m3, [r1]
  437.     mova %4, [r1+r2]
  438.     mova m0, [r1+r2*2]
  439.     mova %2, [filt_mul51 GLOBAL]
  440.     mova m4, m1
  441.     punpcklbw m1, m2
  442.     punpckhbw m4, m2
  443.     mova m2, m0
  444.     punpcklbw m0, %4
  445.     punpckhbw m2, %4
  446.     mova %1, m3
  447.     punpcklbw m3, %3
  448.     punpckhbw %1, %3
  449.     mova %3, m3
  450.     mova %4, %1
  451.     pmaddubsw m1, %2
  452.     pmaddubsw m4, %2
  453.     pmaddubsw m0, %2
  454.     pmaddubsw m2, %2
  455.     pmaddubsw m3, [filt_mul20 GLOBAL]
  456.     pmaddubsw %1, [filt_mul20 GLOBAL]
  457.     psrlw     %3, 8
  458.     psrlw     %4, 8
  459.     paddw m1, m0
  460.     paddw m4, m2
  461.     paddw m1, m3
  462.     paddw m4, %1
  463. %else
  464.     LOAD_ADD_2 m1, m4, [r3     ], [r1+r2*2], m2, m5            ; a0 / a1
  465.     LOAD_ADD_2 m2, m5, [r3+r2  ], [r1+r2  ], m3, m6            ; b0 / b1
  466.     LOAD_ADD_2 m3, m6, [r3+r2*2], [r1     ], %3, %4            ; c0 / c1
  467.     FILT_V2
  468. %endif
  469.     mova      %1, m1
  470.     mova      %2, m4
  471.     paddw     m1, m15
  472.     paddw     m4, m15
  473.     add       r3, 16
  474.     add       r1, 16
  475.     psraw     m1, 5
  476.     psraw     m4, 5
  477.     packuswb  m1, m4
  478.     movntps  [r11+r4+%5], m1
  479. %endmacro
  481. %macro DO_FILT_H 4
  482.     mova      m1, %2
  483.     PALIGNR   m1, %1, 12, m4
  484.     mova      m2, %2
  485.     PALIGNR   m2, %1, 14, m4
  486.     mova      %1, %3
  487.     PALIGNR   %3, %2, 6, m4
  488.     mova      m3, %1
  489.     PALIGNR   m3, %2, 4, m4
  490.     mova      m4, %1
  491.     paddw     %3, m1
  492.     PALIGNR   m4, %2, 2, m1
  493.     paddw     m3, m2
  494.     paddw     m4, %2
  495.     FILT_H    %3, m3, m4
  496.     paddw     %3, m15
  497.     psraw     %3, %4
  498. %endmacro
  500. %macro DO_FILT_CC 4
  501.     DO_FILT_H %1, %2, %3, 6
  502.     DO_FILT_H %2, %1, %4, 6
  503.     packuswb  %3, %4
  504.     movntps   [r5+r4], %3
  505. %endmacro
  507. %macro DO_FILT_HH 4
  508.     DO_FILT_H %1, %2, %3, 1
  509.     DO_FILT_H %2, %1, %4, 1
  510.     packuswb  %3, %4
  511.     movntps   [r0+r4], %3
  512. %endmacro
  514. %macro DO_FILT_H2 6
  515.     DO_FILT_H %1, %2, %3, 6
  516.     psrlw    m15, 5
  517.     DO_FILT_H %4, %5, %6, 1
  518.     packuswb  %6, %3
  519. %endmacro
  521. %macro HPEL 1
  522. ;-----------------------------------------------------------------------------
  523. ; void x264_hpel_filter_sse2( uint8_t *dsth, uint8_t *dstv, uint8_t *dstc,
  524. ;                             uint8_t *src, int stride, int width, int height)
  525. ;-----------------------------------------------------------------------------
  526. cglobal x264_hpel_filter_%1, 7,7,16
  527. %ifdef WIN64
  528.     movsxd   r4, r4d
  529.     movsxd   r5, r5d
  530. %endif
  531.     mov      r10, r3
  532.     sub       r5, 16
  533.     mov      r11, r1
  534.     and      r10, 15
  535.     sub       r3, r10
  536.     add       r0, r5
  537.     add      r11, r5
  538.     add      r10, r5
  539.     add       r5, r2
  540.     mov       r2, r4
  541.     neg      r10
  542.     lea       r1, [r3+r2]
  543.     sub       r3, r2
  544.     sub       r3, r2
  545.     mov       r4, r10
  546. %ifidn %1, sse2
  547.     pxor      m0, m0
  548. %endif
  549.     pcmpeqw  m15, m15
  550.     psrlw    m15, 15 ; pw_1
  551.     psllw    m15, 4
  552. ;ALIGN 16
  553. .loopy:
  554. ; first filter_v
  555. ; prefetching does not help here! lots of variants tested, all slower
  556.     DO_FILT_V m8, m7, m13, m12, 0, %1
  557. ;ALIGN 16
  558. .loopx:
  559.     DO_FILT_V m6, m5, m11, m10, 16, %1
  560. .lastx:
  561.     paddw    m15, m15
  562.     DO_FILT_CC m9, m8, m7, m6
  563.     movdqa   m7, m12        ; not really necessary, but seems free and
  564.     movdqa   m6, m11      ; gives far shorter code
  565.     psrlw    m15, 5
  566.     DO_FILT_HH m14, m13, m7, m6
  567.     psllw    m15, 4 ; pw_16
  568.     movdqa   m7, m5
  569.     movdqa  m12, m10
  570.     add      r4, 16
  571.     jl .loopx
  572.     cmp      r4, 16
  573.     jl .lastx
  574. ; setup regs for next y
  575.     sub      r4, r10
  576.     sub      r4, r2
  577.     sub      r1, r4
  578.     sub      r3, r4
  579.     add      r0, r2
  580.     add     r11, r2
  581.     add      r5, r2
  582.     mov      r4, r10
  583.     sub     r6d, 1
  584.     jg .loopy
  585.     sfence
  586.     RET
  587. %endmacro
  589. %define PALIGNR PALIGNR_MMX
  590. HPEL sse2
  591. %define PALIGNR PALIGNR_SSSE3
  592. HPEL ssse3
  594. %endif
  596. cglobal x264_sfence
  597.     sfence
  598.     ret
  600. ;-----------------------------------------------------------------------------
  601. ; void x264_plane_copy_mmxext( uint8_t *dst, int i_dst,
  602. ;                              uint8_t *src, int i_src, int w, int h)
  603. ;-----------------------------------------------------------------------------
  604. cglobal x264_plane_copy_mmxext, 6,7
  605.     movsxdifnidn r1, r1d
  606.     movsxdifnidn r3, r3d
  607.     add    r4d, 3
  608.     and    r4d, ~3
  609.     mov    r6d, r4d
  610.     and    r6d, ~15
  611.     sub    r1,  r6
  612.     sub    r3,  r6
  613. .loopy:
  614.     mov    r6d, r4d
  615.     sub    r6d, 64
  616.     jl     .endx
  617. .loopx:
  618.     prefetchnta [r2+256]
  619.     movq   mm0, [r2   ]
  620.     movq   mm1, [r2+ 8]
  621.     movq   mm2, [r2+16]
  622.     movq   mm3, [r2+24]
  623.     movq   mm4, [r2+32]
  624.     movq   mm5, [r2+40]
  625.     movq   mm6, [r2+48]
  626.     movq   mm7, [r2+56]
  627.     movntq [r0   ], mm0
  628.     movntq [r0+ 8], mm1
  629.     movntq [r0+16], mm2
  630.     movntq [r0+24], mm3
  631.     movntq [r0+32], mm4
  632.     movntq [r0+40], mm5
  633.     movntq [r0+48], mm6
  634.     movntq [r0+56], mm7
  635.     add    r2,  64
  636.     add    r0,  64
  637.     sub    r6d, 64
  638.     jge    .loopx
  639. .endx:
  640.     prefetchnta [r2+256]
  641.     add    r6d, 48
  642.     jl .end16
  643. .loop16:
  644.     movq   mm0, [r2  ]
  645.     movq   mm1, [r2+8]
  646.     movntq [r0  ], mm0
  647.     movntq [r0+8], mm1
  648.     add    r2,  16
  649.     add    r0,  16
  650.     sub    r6d, 16
  651.     jge    .loop16
  652. .end16:
  653.     add    r6d, 12
  654.     jl .end4
  655. .loop4:
  656.     movd   mm2, [r2+r6]
  657.     movd   [r0+r6], mm2
  658.     sub    r6d, 4
  659.     jge .loop4
  660. .end4:
  661.     add    r2, r3
  662.     add    r0, r1
  663.     dec    r5d
  664.     jg     .loopy
  665.     sfence
  666.     emms
  667.     RET
  671. ; These functions are not general-use; not only do the SSE ones require aligned input,
  672. ; but they also will fail if given a non-mod16 size or a size less than 64.
  673. ; memzero SSE will fail for non-mod128.
  675. ;-----------------------------------------------------------------------------
  676. ; void *x264_memcpy_aligned_mmx( void *dst, const void *src, size_t n );
  677. ;-----------------------------------------------------------------------------
  678. cglobal x264_memcpy_aligned_mmx, 3,3
  679.     test r2d, 16
  680.     jz .copy32
  681.     sub r2d, 16
  682.     movq mm0, [r1 + r2 + 0]
  683.     movq mm1, [r1 + r2 + 8]
  684.     movq [r0 + r2 + 0], mm0
  685.     movq [r0 + r2 + 8], mm1
  686. .copy32:
  687.     sub r2d, 32
  688.     movq mm0, [r1 + r2 +  0]
  689.     movq mm1, [r1 + r2 +  8]
  690.     movq mm2, [r1 + r2 + 16]
  691.     movq mm3, [r1 + r2 + 24]
  692.     movq [r0 + r2 +  0], mm0
  693.     movq [r0 + r2 +  8], mm1
  694.     movq [r0 + r2 + 16], mm2
  695.     movq [r0 + r2 + 24], mm3
  696.     jg .copy32
  697.     REP_RET
  699. ;-----------------------------------------------------------------------------
  700. ; void *x264_memcpy_aligned_sse2( void *dst, const void *src, size_t n );
  701. ;-----------------------------------------------------------------------------
  702. cglobal x264_memcpy_aligned_sse2, 3,3
  703.     test r2d, 16
  704.     jz .copy32
  705.     sub r2d, 16
  706.     movdqa xmm0, [r1 + r2]
  707.     movdqa [r0 + r2], xmm0
  708. .copy32:
  709.     test r2d, 32
  710.     jz .copy64
  711.     sub r2d, 32
  712.     movdqa xmm0, [r1 + r2 +  0]
  713.     movdqa [r0 + r2 +  0], xmm0
  714.     movdqa xmm1, [r1 + r2 + 16]
  715.     movdqa [r0 + r2 + 16], xmm1
  716. .copy64:
  717.     sub r2d, 64
  718.     movdqa xmm0, [r1 + r2 +  0]
  719.     movdqa [r0 + r2 +  0], xmm0
  720.     movdqa xmm1, [r1 + r2 + 16]
  721.     movdqa [r0 + r2 + 16], xmm1
  722.     movdqa xmm2, [r1 + r2 + 32]
  723.     movdqa [r0 + r2 + 32], xmm2
  724.     movdqa xmm3, [r1 + r2 + 48]
  725.     movdqa [r0 + r2 + 48], xmm3
  726.     jg .copy64
  727.     REP_RET
  729. ;-----------------------------------------------------------------------------
  730. ; void *x264_memzero_aligned( void *dst, size_t n );
  731. ;-----------------------------------------------------------------------------
  732. %macro MEMZERO 1
  733. cglobal x264_memzero_aligned_%1, 2,2
  734.     pxor m0, m0
  735. .loop:
  736.     sub r1d, mmsize*8
  737. %assign i 0
  738. %rep 8
  739.     mova [r0 + r1 + i], m0
  740. %assign i i+mmsize
  741. %endrep
  742.     jg .loop
  743.     REP_RET
  744. %endmacro
  746. INIT_MMX
  747. MEMZERO mmx
  748. INIT_XMM
  749. MEMZERO sse2
  753. ;-----------------------------------------------------------------------------
  754. ; void x264_integral_init4h_sse4( uint16_t *sum, uint8_t *pix, int stride )
  755. ;-----------------------------------------------------------------------------
  756. cglobal x264_integral_init4h_sse4, 3,4
  757.     lea     r3, [r0+r2*2]
  758.     add     r1, r2
  759.     neg     r2
  760.     pxor    m4, m4
  761. .loop:
  762.     movdqa  m0, [r1+r2]
  763.     movdqa  m1, [r1+r2+16]
  764.     palignr m1, m0, 8
  765.     mpsadbw m0, m4, 0
  766.     mpsadbw m1, m4, 0
  767.     paddw   m0, [r0+r2*2]
  768.     paddw   m1, [r0+r2*2+16]
  769.     movdqa  [r3+r2*2   ], m0
  770.     movdqa  [r3+r2*2+16], m1
  771.     add     r2, 16
  772.     jl .loop
  773.     REP_RET
  775. cglobal x264_integral_init8h_sse4, 3,4
  776.     lea     r3, [r0+r2*2]
  777.     add     r1, r2
  778.     neg     r2
  779.     pxor    m4, m4
  780. .loop:
  781.     movdqa  m0, [r1+r2]
  782.     movdqa  m1, [r1+r2+16]
  783.     palignr m1, m0, 8
  784.     movdqa  m2, m0
  785.     movdqa  m3, m1
  786.     mpsadbw m0, m4, 0
  787.     mpsadbw m1, m4, 0
  788.     mpsadbw m2, m4, 4
  789.     mpsadbw m3, m4, 4
  790.     paddw   m0, [r0+r2*2]
  791.     paddw   m1, [r0+r2*2+16]
  792.     paddw   m0, m2
  793.     paddw   m1, m3
  794.     movdqa  [r3+r2*2   ], m0
  795.     movdqa  [r3+r2*2+16], m1
  796.     add     r2, 16
  797.     jl .loop
  798.     REP_RET
  800. %macro INTEGRAL_INIT_8V 1
  801. ;-----------------------------------------------------------------------------
  802. ; void x264_integral_init8v_mmx( uint16_t *sum8, int stride )
  803. ;-----------------------------------------------------------------------------
  804. cglobal x264_integral_init8v_%1, 3,3
  805.     shl   r1, 1
  806.     add   r0, r1
  807.     lea   r2, [r0+r1*8]
  808.     neg   r1
  809. .loop:
  810.     mova  m0, [r2+r1]
  811.     mova  m1, [r2+r1+mmsize]
  812.     psubw m0, [r0+r1]
  813.     psubw m1, [r0+r1+mmsize]
  814.     mova  [r0+r1], m0
  815.     mova  [r0+r1+mmsize], m1
  816.     add   r1, 2*mmsize
  817.     jl .loop
  818.     REP_RET
  819. %endmacro
  821. INIT_MMX
  822. INTEGRAL_INIT_8V mmx
  823. INIT_XMM
  824. INTEGRAL_INIT_8V sse2
  826. ;-----------------------------------------------------------------------------
  827. ; void x264_integral_init4v_mmx( uint16_t *sum8, uint16_t *sum4, int stride )
  828. ;-----------------------------------------------------------------------------
  829. INIT_MMX
  830. cglobal x264_integral_init4v_mmx, 3,5
  831.     shl   r2, 1
  832.     lea   r3, [r0+r2*4]
  833.     lea   r4, [r0+r2*8]
  834.     mova  m0, [r0+r2]
  835.     mova  m4, [r4+r2]
  836. .loop:
  837.     sub   r2, 8
  838.     mova  m1, m4
  839.     psubw m1, m0
  840.     mova  m4, [r4+r2]
  841.     mova  m0, [r0+r2]
  842.     paddw m1, m4
  843.     mova  m3, [r3+r2]
  844.     psubw m1, m0
  845.     psubw m3, m0
  846.     mova  [r0+r2], m1
  847.     mova  [r1+r2], m3
  848.     jge .loop
  849.     REP_RET
  851. INIT_XMM
  852. cglobal x264_integral_init4v_sse2, 3,5
  853.     shl     r2, 1
  854.     add     r0, r2
  855.     add     r1, r2
  856.     lea     r3, [r0+r2*4]
  857.     lea     r4, [r0+r2*8]
  858.     neg     r2
  859. .loop:
  860.     mova    m0, [r0+r2]
  861.     mova    m1, [r4+r2]
  862.     mova    m2, m0
  863.     mova    m4, m1
  864.     shufpd  m0, [r0+r2+16], 1
  865.     shufpd  m1, [r4+r2+16], 1
  866.     paddw   m0, m2
  867.     paddw   m1, m4
  868.     mova    m3, [r3+r2]
  869.     psubw   m1, m0
  870.     psubw   m3, m2
  871.     mova  [r0+r2], m1
  872.     mova  [r1+r2], m3
  873.     add     r2, 16
  874.     jl .loop
  875.     REP_RET
  877. cglobal x264_integral_init4v_ssse3, 3,5
  878.     shl     r2, 1
  879.     add     r0, r2
  880.     add     r1, r2
  881.     lea     r3, [r0+r2*4]
  882.     lea     r4, [r0+r2*8]
  883.     neg     r2
  884. .loop:
  885.     mova    m2, [r0+r2]
  886.     mova    m0, [r0+r2+16]
  887.     mova    m4, [r4+r2]
  888.     mova    m1, [r4+r2+16]
  889.     palignr m0, m2, 8
  890.     palignr m1, m4, 8
  891.     paddw   m0, m2
  892.     paddw   m1, m4
  893.     mova    m3, [r3+r2]
  894.     psubw   m1, m0
  895.     psubw   m3, m2
  896.     mova  [r0+r2], m1
  897.     mova  [r1+r2], m3
  898.     add     r2, 16
  899.     jl .loop
  900.     REP_RET
  902. %macro FILT8x4 7
  903.     mova      %3, [r0+%7]
  904.     mova      %4, [r0+r5+%7]
  905.     pavgb     %3, %4
  906.     pavgb     %4, [r0+r5*2+%7]
  907.     PALIGNR   %1, %3, 1, m6
  908.     PALIGNR   %2, %4, 1, m6
  909.     pavgb     %1, %3
  910.     pavgb     %2, %4
  911.     mova      %5, %1
  912.     mova      %6, %2
  913.     pand      %1, m7
  914.     pand      %2, m7
  915.     psrlw     %5, 8
  916.     psrlw     %6, 8
  917. %endmacro
  919. %macro FILT16x2 4
  920.     mova      m3, [r0+%4+mmsize]
  921.     mova      m2, [r0+%4]
  922.     pavgb     m3, [r0+%4+r5+mmsize]
  923.     pavgb     m2, [r0+%4+r5]
  924.     PALIGNR   %1, m3, 1, m6
  925.     pavgb     %1, m3
  926.     PALIGNR   m3, m2, 1, m6
  927.     pavgb     m3, m2
  928.     mova      m5, m3
  929.     mova      m4, %1
  930.     pand      m3, m7
  931.     pand      %1, m7
  932.     psrlw     m5, 8
  933.     psrlw     m4, 8
  934.     packuswb  m3, %1
  935.     packuswb  m5, m4
  936.     mova    [%2], m3
  937.     mova    [%3], m5
  938.     mova      %1, m2
  939. %endmacro
  941. %macro FILT8x2U 3
  942.     mova      m3, [r0+%3+8]
  943.     mova      m2, [r0+%3]
  944.     pavgb     m3, [r0+%3+r5+8]
  945.     pavgb     m2, [r0+%3+r5]
  946.     mova      m1, [r0+%3+9]
  947.     mova      m0, [r0+%3+1]
  948.     pavgb     m1, [r0+%3+r5+9]
  949.     pavgb     m0, [r0+%3+r5+1]
  950.     pavgb     m1, m3
  951.     pavgb     m0, m2
  952.     mova      m3, m1
  953.     mova      m2, m0
  954.     pand      m1, m7
  955.     pand      m0, m7
  956.     psrlw     m3, 8
  957.     psrlw     m2, 8
  958.     packuswb  m0, m1
  959.     packuswb  m2, m3
  960.     mova    [%1], m0
  961.     mova    [%2], m2
  962. %endmacro
  964. ;-----------------------------------------------------------------------------
  965. ; void frame_init_lowres_core( uint8_t *src0, uint8_t *dst0, uint8_t *dsth, uint8_t *dstv, uint8_t *dstc,
  966. ;                              int src_stride, int dst_stride, int width, int height )
  967. ;-----------------------------------------------------------------------------
  968. %macro FRAME_INIT_LOWRES 1-2 0 ; FIXME
  969. cglobal x264_frame_init_lowres_core_%1, 6,7,%2
  970. %ifdef WIN64
  971.     movsxd   r5, r5d
  972. %endif
  973.     ; src += 2*(height-1)*stride + 2*width
  974.     mov      r6d, r8m
  975.     dec      r6d
  976.     imul     r6d, r5d
  977.     add      r6d, r7m
  978.     lea       r0, [r0+r6*2]
  979.     ; dst += (height-1)*stride + width
  980.     mov      r6d, r8m
  981.     dec      r6d
  982.     imul     r6d, r6m
  983.     add      r6d, r7m
  984.     add       r1, r6
  985.     add       r2, r6
  986.     add       r3, r6
  987.     add       r4, r6
  988.     ; gap = stride - width
  989.     mov      r6d, r6m
  990.     sub      r6d, r7m
  991.     PUSH      r6
  992.     %define dst_gap [rsp+gprsize]
  993.     mov      r6d, r5d
  994.     sub      r6d, r7m
  995.     shl      r6d, 1
  996.     PUSH      r6
  997.     %define src_gap [rsp]
  998. %if mmsize == 16
  999.     ; adjust for the odd end case
  1000.     mov      r6d, r7m
  1001.     and      r6d, 8
  1002.     sub       r1, r6
  1003.     sub       r2, r6
  1004.     sub       r3, r6
  1005.     sub       r4, r6
  1006.     add  dst_gap, r6d
  1007. %endif ; mmsize
  1008.     pcmpeqb   m7, m7
  1009.     psrlw     m7, 8
  1010. .vloop:
  1011.     mov      r6d, r7m
  1012. %ifnidn %1, mmxext
  1013.     mova      m0, [r0]
  1014.     mova      m1, [r0+r5]
  1015.     pavgb     m0, m1
  1016.     pavgb     m1, [r0+r5*2]
  1017. %endif
  1018. %if mmsize == 16
  1019.     test     r6d, 8
  1020.     jz .hloop
  1021.     sub       r0, 16
  1022.     FILT8x4   m0, m1, m2, m3, m4, m5, 0
  1023.     packuswb  m0, m4
  1024.     packuswb  m1, m5
  1025.     movq    [r1], m0
  1026.     movhps  [r2], m0
  1027.     movq    [r3], m1
  1028.     movhps  [r4], m1
  1029.     mova      m0, m2
  1030.     mova      m1, m3
  1031.     sub      r6d, 8
  1032. %endif ; mmsize
  1033. .hloop:
  1034.     sub       r0, mmsize*2
  1035.     sub       r1, mmsize
  1036.     sub       r2, mmsize
  1037.     sub       r3, mmsize
  1038.     sub       r4, mmsize
  1039. %ifdef m8
  1040.     FILT8x4   m0, m1, m2, m3, m10, m11, mmsize
  1041.     mova      m8, m0
  1042.     mova      m9, m1
  1043.     FILT8x4   m2, m3, m0, m1, m4, m5, 0
  1044.     packuswb  m2, m8
  1045.     packuswb  m3, m9
  1046.     packuswb  m4, m10
  1047.     packuswb  m5, m11
  1048.     mova    [r1], m2
  1049.     mova    [r2], m4
  1050.     mova    [r3], m3
  1051.     mova    [r4], m5
  1052. %elifidn %1, mmxext
  1053.     FILT8x2U  r1, r2, 0
  1054.     FILT8x2U  r3, r4, r5
  1055. %else
  1056.     FILT16x2  m0, r1, r2, 0
  1057.     FILT16x2  m1, r3, r4, r5
  1058. %endif
  1059.     sub      r6d, mmsize
  1060.     jg .hloop
  1061. .skip:
  1062.     mov       r6, dst_gap
  1063.     sub       r0, src_gap
  1064.     sub       r1, r6
  1065.     sub       r2, r6
  1066.     sub       r3, r6
  1067.     sub       r4, r6
  1068.     dec    dword r8m
  1069.     jg .vloop
  1070.     ADD      rsp, 2*gprsize
  1071.     emms
  1072.     RET
  1073. %endmacro ; FRAME_INIT_LOWRES
  1075. INIT_MMX
  1076. %define PALIGNR PALIGNR_MMX
  1077. FRAME_INIT_LOWRES mmxext
  1078. %ifndef ARCH_X86_64
  1079. FRAME_INIT_LOWRES cache32_mmxext
  1080. %endif
  1081. INIT_XMM
  1082. FRAME_INIT_LOWRES sse2, 12
  1083. %define PALIGNR PALIGNR_SSSE3
  1084. FRAME_INIT_LOWRES ssse3, 12
  1086. ;-----------------------------------------------------------------------------
  1087. ; void mbtree_propagate_cost( int *dst, uint16_t *propagate_in, uint16_t *intra_costs,
  1088. ;                             uint16_t *inter_costs, uint16_t *inv_qscales, int len )
  1089. ;-----------------------------------------------------------------------------
  1090. cglobal x264_mbtree_propagate_cost_sse2, 6,6
  1091.     shl r5d, 1
  1092.     lea r0, [r0+r5*2]
  1093.     add r1, r5
  1094.     add r2, r5
  1095.     add r3, r5
  1096.     add r4, r5
  1097.     neg r5
  1098.     pxor      xmm5, xmm5
  1099.     movdqa    xmm4, [pd_128 GLOBAL]
  1100. .loop:
  1101.     movq      xmm2, [r2+r5] ; intra
  1102.     movq      xmm0, [r4+r5] ; invq
  1103.     punpcklwd xmm2, xmm5
  1104.     punpcklwd xmm0, xmm5
  1105.     pmaddwd   xmm0, xmm2
  1106.     paddd     xmm0, xmm4
  1107.     psrld     xmm0, 8       ; intra*invq>>8
  1108.     movq      xmm1, [r1+r5] ; prop
  1109.     movq      xmm3, [r3+r5] ; inter
  1110.     punpcklwd xmm1, xmm5
  1111.     punpcklwd xmm3, xmm5
  1112.     paddd     xmm0, xmm1    ; prop + (intra*invq>>8)
  1113.     cvtdq2ps  xmm1, xmm2    ; intra
  1114.     psubd     xmm2, xmm3    ; intra - inter
  1115.     cvtdq2ps  xmm0, xmm0
  1116.     cvtdq2ps  xmm2, xmm2
  1117.     mulps     xmm0, xmm2    ; (prop + (intra*invq>>8)) * (intra - inter)
  1118.     divps     xmm0, xmm1    ; / intra
  1119.     cvttps2dq xmm0, xmm0    ; truncation isn't really desired, but matches the integer implementation
  1120.     movdqa [r0+r5*2], xmm0
  1121.     add r5, 8
  1122.     jl .loop
  1123.     REP_RET