开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多媒体 > 流媒体/Mpeg4/MP4 > 查看源码
fdct_mmx.asm
资源名称：NETVIDEO.rar　[点击查看]
上传用户：sun1608
上传日期：2007-02-02
资源大小：6116k
文件大小：40k
源码类别：

流媒体/Mpeg4/MP4

开发平台：

Visual C++

fdct_mmx.asm：源码内容
  1. ;/******************************************************************************
  2. ; *                                                                            *
  3. ; *  This file is part of XviD, a free MPEG-4 video encoder/decoder            *
  4. ; *                                                                            *
  5. ; *  XviD is an implementation of a part of one or more MPEG-4 Video tools     *
  6. ; *  as specified in ISO/IEC 14496-2 standard.  Those intending to use this    *
  7. ; *  software module in hardware or software products are advised that its     *
  8. ; *  use may infringe existing patents or copyrights, and any such use         *
  9. ; *  would be at such party's own risk.  The original developer of this        *
  10. ; *  software module and his/her company, and subsequent editors and their     *
  11. ; *  companies, will have no liability for use of this software or             *
  12. ; *  modifications or derivatives thereof.                                     *
  13. ; *                                                                            *
  14. ; *  XviD is free software; you can redistribute it and/or modify it           *
  15. ; *  under the terms of the GNU General Public License as published by         *
  16. ; *  the Free Software Foundation; either version 2 of the License, or         *
  17. ; *  (at your option) any later version.                                       *
  18. ; *                                                                            *
  19. ; *  XviD is distributed in the hope that it will be useful, but               *
  20. ; *  WITHOUT ANY WARRANTY; without even the implied warranty of                *
  21. ; *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the             *
  22. ; *  GNU General Public License for more details.                              *
  23. ; *                                                                            *
  24. ; *  You should have received a copy of the GNU General Public License         *
  25. ; *  along with this program; if not, write to the Free Software               *
  26. ; *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA  *
  27. ; *                                                                            *
  28. ; ******************************************************************************/
  29. ;
  30. ;/******************************************************************************
  31. ; *                                                                            *
  32. ; *  fdct_mmx.asm, MMX optimized forward DCT                                   *
  33. ; *                                                                            *
  34. ; *  Initial, but incomplete version provided by Intel at AppNote AP-922       *
  35. ; *  http://developer.intel.com/vtune/cbts/strmsimd/922down.htm                *
  36. ; *  Copyright (C) 1999 Intel Corporation,                                     *
  37. ; *                                                                            *
  38. ; *  completed and corrected in fdctmm32.c/fdctmm32.doc,                       *
  39. ; *  http://members.tripod.com/~liaor                                          *
  40. ; *  Copyright (C) 2000 - Royce Shih-Wea Liao <liaor@iname.com>,               *
  41. ; *                                                                            *
  42. ; *  ported to NASM and some minor changes                                     * 
  43. ; *  Copyright (C) 2001 - Michael Militzer <isibaar@xvid.org>                  *
  44. ; *                                                                            *
  45. ; *  For more information visit the XviD homepage: http://www.xvid.org         *
  46. ; *                                                                            *
  47. ; ******************************************************************************/
  48. ;
  49. ;/******************************************************************************
  50. ; *                                                                            *
  51. ; *  Revision history:                                                         *
  52. ; *                                                                            *
  53. ; *  04.11.2001 loop unrolled (Isibaar)     *
  54. ; *  02.11.2001 initial version  (Isibaar)                                     *
  55. ; *                                                                            *
  56. ; ******************************************************************************/
  59. BITS 32
  61. %macro cglobal 1 
  62. %ifdef PREFIX
  63. global _%1 
  64. %define %1 _%1
  65. %else
  66. global %1
  67. %endif
  68. %endmacro
  70. %define INP eax
  71. %define TABLE ebx
  72. %define TABLEF ebx
  73. %define OUT ecx
  74. %define round_frw_row edx
  76. %define INP_1 eax + 16
  77. %define INP_2 eax + 32
  78. %define INP_3 eax + 48
  79. %define INP_4 eax + 64
  80. %define INP_5 eax + 80
  81. %define INP_6 eax + 96
  82. %define INP_7 eax + 112
  84. %define OUT_1 ecx + 16
  85. %define OUT_2 ecx + 32
  86. %define OUT_3 ecx + 48
  87. %define OUT_4 ecx + 64
  88. %define OUT_5 ecx + 80
  89. %define OUT_6 ecx + 96
  90. %define OUT_7 ecx + 112
  91. %define OUT_8 ecx + 128
  93. %define TABLE_1 ebx + 64
  94. %define TABLE_2 ebx + 128
  95. %define TABLE_3 ebx + 192
  96. %define TABLE_4 ebx + 256
  97. %define TABLE_5 ebx + 320
  98. %define TABLE_6 ebx + 384
  99. %define TABLE_7 ebx + 448
  101. %define x0 INP + 0*16
  102. %define x1 INP + 1*16
  103. %define x2 INP + 2*16
  104. %define x3 INP + 3*16
  105. %define x4 INP + 4*16
  106. %define x5 INP + 5*16
  107. %define x6 INP + 6*16
  108. %define x7 INP + 7*16
  109. %define y0 OUT + 0*16
  110. %define y1 OUT + 1*16
  111. %define y2 OUT + 2*16
  112. %define y3 OUT + 3*16
  113. %define y4 OUT + 4*16
  114. %define y5 OUT + 5*16
  115. %define y6 OUT + 6*16
  116. %define y7 OUT + 7*16
  118. %define tg_1_16 (TABLEF + 0)
  119. %define tg_2_16 (TABLEF + 8)
  120. %define tg_3_16 (TABLEF + 16)
  121. %define cos_4_16 (TABLEF + 24)
  122. %define ocos_4_16 (TABLEF + 32)
  125. SECTION .data
  127. ALIGN 16
  129. BITS_FRW_ACC equ 3 ; 2 or 3 for accuracy
  130. SHIFT_FRW_COL equ BITS_FRW_ACC
  131. SHIFT_FRW_ROW equ (BITS_FRW_ACC + 17)
  132. RND_FRW_ROW equ (1 << (SHIFT_FRW_ROW-1))
  134. SHIFT_FRW_ROW_CLIP2 equ (4)
  135. SHIFT_FRW_ROW_CLIP1 equ (SHIFT_FRW_ROW - SHIFT_FRW_ROW_CLIP2)
  137. one_corr  dw 1, 1, 1, 1
  140. r_frw_row  dd RND_FRW_ROW, RND_FRW_ROW
  143. tg_all_16  dw 13036, 13036, 13036, 13036, ; tg * (2<<16) + 0.5
  144.  dw 27146, 27146, 27146, 27146, ; tg * (2<<16) + 0.5
  145.  dw -21746, -21746, -21746, -21746, ; tg * (2<<16) + 0.5
  146.  dw -19195, -19195, -19195, -19195, ; cos * (2<<16) + 0.5
  147.  dw 23170, 23170, 23170, 23170      ; cos * (2<<15) + 0.5
  150. tab_frw_01234567 
  151.  ; row0
  152.  dw 16384, 16384, 21407, -8867,     ; w09 w01 w08 w00
  153.  dw 16384, 16384, 8867, -21407,     ; w13 w05 w12 w04
  154.                  dw 16384, -16384, 8867, 21407,     ; w11 w03 w10 w02
  155.                  dw -16384, 16384, -21407, -8867,   ; w15 w07 w14 w06
  156.                  dw 22725, 12873, 19266, -22725,    ; w22 w20 w18 w16
  157.                  dw 19266, 4520, -4520, -12873,     ; w23 w21 w19 w17
  158.                  dw 12873, 4520, 4520, 19266,       ; w30 w28 w26 w24
  159.                  dw -22725, 19266, -12873, -22725,  ; w31 w29 w27 w25
  161.  ; row1
  162.                  dw 22725, 22725, 29692, -12299,    ; w09 w01 w08 w00
  163.                  dw 22725, 22725, 12299, -29692,    ; w13 w05 w12 w04
  164.                  dw 22725, -22725, 12299, 29692,    ; w11 w03 w10 w02
  165.                  dw -22725, 22725, -29692, -12299,  ; w15 w07 w14 w06
  166.                  dw 31521, 17855, 26722, -31521,    ; w22 w20 w18 w16
  167.                  dw 26722, 6270, -6270, -17855,     ; w23 w21 w19 w17
  168.                  dw 17855, 6270, 6270, 26722,       ; w30 w28 w26 w24
  169.                  dw -31521, 26722, -17855, -31521,  ; w31 w29 w27 w25
  171.  ; row2
  172.                  dw 21407, 21407, 27969, -11585,    ; w09 w01 w08 w00
  173.                  dw 21407, 21407, 11585, -27969,    ; w13 w05 w12 w04
  174.                  dw 21407, -21407, 11585, 27969,    ; w11 w03 w10 w02
  175.                  dw -21407, 21407, -27969, -11585, ; w15 w07 w14 w06
  176.                  dw 29692, 16819, 25172, -29692,    ; w22 w20 w18 w16
  177.                  dw 25172, 5906, -5906, -16819,     ; w23 w21 w19 w17
  178.                  dw 16819, 5906, 5906, 25172,       ; w30 w28 w26 w24
  179.                  dw -29692, 25172, -16819, -29692,  ; w31 w29 w27 w25
  181.  ; row3
  182.                  dw 19266, 19266, 25172, -10426,    ; w09 w01 w08 w00
  183.                  dw 19266, 19266, 10426, -25172,    ; w13 w05 w12 w04
  184.                  dw 19266, -19266, 10426, 25172,    ; w11 w03 w10 w02
  185.                  dw -19266, 19266, -25172, -10426,  ; w15 w07 w14 w06 
  186.                  dw 26722, 15137, 22654, -26722,    ; w22 w20 w18 w16
  187.                  dw 22654, 5315, -5315, -15137,     ; w23 w21 w19 w17
  188.                  dw 15137, 5315, 5315, 22654,       ; w30 w28 w26 w24
  189.                  dw -26722, 22654, -15137, -26722,  ; w31 w29 w27 w25
  191.  ; row4
  192.                  dw 16384, 16384, 21407, -8867,     ; w09 w01 w08 w00
  193.                  dw 16384, 16384, 8867, -21407,     ; w13 w05 w12 w04
  194.                  dw 16384, -16384, 8867, 21407,     ; w11 w03 w10 w02
  195.                  dw -16384, 16384, -21407, -8867,   ; w15 w07 w14 w06
  196.                  dw 22725, 12873, 19266, -22725,    ; w22 w20 w18 w16
  197.                  dw 19266, 4520, -4520, -12873,     ; w23 w21 w19 w17
  198.                  dw 12873, 4520, 4520, 19266,       ; w30 w28 w26 w24
  199.                  dw -22725, 19266, -12873, -22725,  ; w31 w29 w27 w25 
  201.  ; row5
  202.                  dw 19266, 19266, 25172, -10426,    ; w09 w01 w08 w00
  203.                  dw 19266, 19266, 10426, -25172,    ; w13 w05 w12 w04
  204.                  dw 19266, -19266, 10426, 25172,    ; w11 w03 w10 w02
  205.                  dw -19266, 19266, -25172, -10426,  ; w15 w07 w14 w06
  206.                  dw 26722, 15137, 22654, -26722,    ; w22 w20 w18 w16
  207.                  dw 22654, 5315, -5315, -15137,     ; w23 w21 w19 w17
  208.                  dw 15137, 5315, 5315, 22654,       ; w30 w28 w26 w24
  209.                  dw -26722, 22654, -15137, -26722,  ; w31 w29 w27 w25
  211.  ; row6
  212.                  dw 21407, 21407, 27969, -11585,    ; w09 w01 w08 w00
  213.                  dw 21407, 21407, 11585, -27969,    ; w13 w05 w12 w04
  214.                  dw 21407, -21407, 11585, 27969,    ; w11 w03 w10 w02
  215.                  dw -21407, 21407, -27969, -11585,  ; w15 w07 w14 w06
  216.                  dw 29692, 16819, 25172, -29692,    ; w22 w20 w18 w16
  217.                  dw 25172, 5906, -5906, -16819,     ; w23 w21 w19 w17
  218.                  dw 16819, 5906, 5906, 25172,       ; w30 w28 w26 w24
  219.                  dw -29692, 25172, -16819, -29692,  ; w31 w29 w27 w25
  221.  ; row7
  222.                  dw 22725, 22725, 29692, -12299,    ; w09 w01 w08 w00
  223.                  dw 22725, 22725, 12299, -29692,    ; w13 w05 w12 w04
  224.                  dw 22725, -22725, 12299, 29692,    ; w11 w03 w10 w02
  225.                  dw -22725, 22725, -29692, -12299,  ; w15 w07 w14 w06
  226.                  dw 31521, 17855, 26722, -31521,    ; w22 w20 w18 w16
  227.                  dw 26722, 6270, -6270, -17855,     ; w23 w21 w19 w17
  228.                  dw 17855, 6270, 6270, 26722,       ; w30 w28 w26 w24
  229.                  dw -31521, 26722, -17855, -31521   ; w31 w29 w27 w25
  232. SECTION .text
  234. ALIGN 16
  236. cglobal fdct_mmx
  237. ;;void fdct_mmx(short *block);
  238. fdct_mmx:
  240. push ebx
  242.     mov INP, dword [esp + 8] ; block
  244.     mov TABLEF, tg_all_16
  245.     mov OUT, INP
  247.     movq mm0, [x1] ; 0 ; x1
  249.     movq mm1, [x6] ; 1 ; x6
  250.     movq mm2, mm0 ; 2 ; x1
  252.     movq mm3, [x2] ; 3 ; x2
  253.     paddsw mm0, mm1 ; t1 = x[1] + x[6]
  255.     movq mm4, [x5] ; 4 ; x5
  256.     psllw mm0, SHIFT_FRW_COL ; t1
  258.     movq mm5, [x0] ; 5 ; x0
  259.     paddsw mm4, mm3 ; t2 = x[2] + x[5]
  261.     paddsw mm5, [x7] ; t0 = x[0] + x[7]
  262.     psllw mm4, SHIFT_FRW_COL ; t2
  264.     movq mm6, mm0 ; 6 ; t1
  265.     psubsw mm2, mm1 ; 1 ; t6 = x[1] - x[6]
  267.     movq mm1, [tg_2_16] ; 1 ; tg_2_16
  268.     psubsw mm0, mm4 ; tm12 = t1 - t2
  270.     movq mm7, [x3] ; 7 ; x3
  271.     pmulhw mm1, mm0 ; tm12*tg_2_16
  273.     paddsw mm7, [x4] ; t3 = x[3] + x[4]
  274.     psllw mm5, SHIFT_FRW_COL ; t0
  276.     paddsw mm6, mm4 ; 4 ; tp12 = t1 + t2
  277.     psllw mm7, SHIFT_FRW_COL ; t3
  279.     movq mm4, mm5 ; 4 ; t0
  280.     psubsw mm5, mm7 ; tm03 = t0 - t3
  282.     paddsw mm1, mm5 ; y2 = tm03 + tm12*tg_2_16
  283.     paddsw mm4, mm7 ; 7 ; tp03 = t0 + t3
  285.     por mm1, qword [one_corr] ; correction y2 +0.5
  286.     psllw mm2, SHIFT_FRW_COL+1 ; t6
  288.     pmulhw mm5, [tg_2_16] ; tm03*tg_2_16
  289.     movq mm7, mm4 ; 7 ; tp03
  291.     psubsw mm3, [x5] ; t5 = x[2] - x[5]
  292.     psubsw mm4, mm6 ; y4 = tp03 - tp12
  294.     movq [y2], mm1 ; 1 ; save y2
  295.     paddsw mm7, mm6 ; 6 ; y0 = tp03 + tp12
  296.      
  297.     movq mm1, [x3] ; 1 ; x3
  298.     psllw mm3, SHIFT_FRW_COL+1 ; t5
  300.     psubsw mm1, [x4] ; t4 = x[3] - x[4]
  301.     movq mm6, mm2 ; 6 ; t6
  302.     
  303.     movq [y4], mm4 ; 4 ; save y4
  304.     paddsw mm2, mm3 ; t6 + t5
  306.     pmulhw mm2, [ocos_4_16] ; tp65 = (t6 + t5)*cos_4_16
  307.     psubsw mm6, mm3 ; 3 ; t6 - t5
  309.     pmulhw mm6, [ocos_4_16] ; tm65 = (t6 - t5)*cos_4_16
  310.     psubsw mm5, mm0 ; 0 ; y6 = tm03*tg_2_16 - tm12
  312.     por mm5, qword [one_corr] ; correction y6 +0.5
  313.     psllw mm1, SHIFT_FRW_COL ; t4
  315.     por mm2, qword [one_corr] ; correction tp65 +0.5
  316.     movq mm4, mm1 ; 4 ; t4
  318.     movq mm3, [x0] ; 3 ; x0
  319.     paddsw mm1, mm6 ; tp465 = t4 + tm65
  321.     psubsw mm3, [x7] ; t7 = x[0] - x[7]
  322.     psubsw mm4, mm6 ; 6 ; tm465 = t4 - tm65
  324.     movq mm0, [tg_1_16] ; 0 ; tg_1_16
  325.     psllw mm3, SHIFT_FRW_COL ; t7
  327.     movq mm6, [tg_3_16] ; 6 ; tg_3_16
  328.     pmulhw mm0, mm1 ; tp465*tg_1_16
  330.     movq [y0], mm7 ; 7 ; save y0
  331.     pmulhw mm6, mm4 ; tm465*tg_3_16
  333.     movq [y6], mm5 ; 5 ; save y6
  334.     movq mm7, mm3 ; 7 ; t7
  336.     movq mm5, [tg_3_16] ; 5 ; tg_3_16
  337.     psubsw mm7, mm2 ; tm765 = t7 - tp65
  339.     paddsw mm3, mm2 ; 2 ; tp765 = t7 + tp65
  340.     pmulhw mm5, mm7 ; tm765*tg_3_16
  342.     paddsw mm0, mm3 ; y1 = tp765 + tp465*tg_1_16
  343.     paddsw mm6, mm4 ; tm465*tg_3_16
  345.     pmulhw mm3, [tg_1_16] ; tp765*tg_1_16
  346.  
  347.     por mm0, qword [one_corr] ; correction y1 +0.5
  348.     paddsw mm5, mm7 ; tm765*tg_3_16
  350.     psubsw mm7, mm6 ; 6 ; y3 = tm765 - tm465*tg_3_16
  351.     add INP, 0x08
  353.     movq [y1], mm0 ; 0 ; save y1
  354.     paddsw mm5, mm4 ; 4 ; y5 = tm765*tg_3_16 + tm465
  356.     movq [y3], mm7 ; 7 ; save y3
  357.     psubsw mm3, mm1 ; 1 ; y7 = tp765*tg_1_16 - tp465
  359.     movq [y5], mm5 ; 5 ; save y5
  361.     movq mm0, [x1] ; 0 ; x1
  363.     movq [y7], mm3 ; 3 ; save y7 (columns 0-4)
  365.     movq mm1, [x6] ; 1 ; x6
  366.     movq mm2, mm0 ; 2 ; x1
  368.     movq mm3, [x2] ; 3 ; x2
  369.     paddsw mm0, mm1 ; t1 = x[1] + x[6]
  371.     movq mm4, [x5] ; 4 ; x5
  372.     psllw mm0, SHIFT_FRW_COL ; t1
  374.     movq mm5, [x0] ; 5 ; x0
  375.     paddsw mm4, mm3 ; t2 = x[2] + x[5]
  377.     paddsw mm5, [x7] ; t0 = x[0] + x[7]
  378.     psllw mm4, SHIFT_FRW_COL ; t2
  380.     movq mm6, mm0 ; 6 ; t1
  381.     psubsw mm2, mm1 ; 1 ; t6 = x[1] - x[6]
  383.     movq mm1, [tg_2_16] ; 1 ; tg_2_16
  384.     psubsw mm0, mm4 ; tm12 = t1 - t2
  386.     movq mm7, [x3] ; 7 ; x3
  387.     pmulhw mm1, mm0 ; tm12*tg_2_16
  389.     paddsw mm7, [x4] ; t3 = x[3] + x[4]
  390.     psllw mm5, SHIFT_FRW_COL ; t0
  392.     paddsw mm6, mm4 ; 4 ; tp12 = t1 + t2
  393.     psllw mm7, SHIFT_FRW_COL ; t3
  395.     movq mm4, mm5 ; 4 ; t0
  396.     psubsw mm5, mm7 ; tm03 = t0 - t3
  398.     paddsw mm1, mm5 ; y2 = tm03 + tm12*tg_2_16
  399.     paddsw mm4, mm7 ; 7 ; tp03 = t0 + t3
  401.     por mm1, qword [one_corr] ; correction y2 +0.5
  402.     psllw mm2, SHIFT_FRW_COL+1 ; t6
  404.     pmulhw mm5, [tg_2_16] ; tm03*tg_2_16
  405.     movq mm7, mm4 ; 7 ; tp03
  407.     psubsw mm3, [x5] ; t5 = x[2] - x[5]
  408.     psubsw mm4, mm6 ; y4 = tp03 - tp12
  410.     movq [y2+8], mm1 ; 1 ; save y2
  411.     paddsw mm7, mm6 ; 6 ; y0 = tp03 + tp12
  412.      
  413.     movq mm1, [x3] ; 1 ; x3
  414.     psllw mm3, SHIFT_FRW_COL+1 ; t5
  416.     psubsw mm1, [x4] ; t4 = x[3] - x[4]
  417.     movq mm6, mm2 ; 6 ; t6
  418.     
  419.     movq [y4+8], mm4 ; 4 ; save y4
  420.     paddsw mm2, mm3 ; t6 + t5
  422.     pmulhw mm2, [ocos_4_16] ; tp65 = (t6 + t5)*cos_4_16
  423.     psubsw mm6, mm3 ; 3 ; t6 - t5
  425.     pmulhw mm6, [ocos_4_16] ; tm65 = (t6 - t5)*cos_4_16
  426.     psubsw mm5, mm0 ; 0 ; y6 = tm03*tg_2_16 - tm12
  428.     por mm5, qword [one_corr] ; correction y6 +0.5
  429.     psllw mm1, SHIFT_FRW_COL ; t4
  431.     por mm2, qword [one_corr] ; correction tp65 +0.5
  432.     movq mm4, mm1 ; 4 ; t4
  434.     movq mm3, [x0] ; 3 ; x0
  435.     paddsw mm1, mm6 ; tp465 = t4 + tm65
  437.     psubsw mm3, [x7] ; t7 = x[0] - x[7]
  438.     psubsw mm4, mm6 ; 6 ; tm465 = t4 - tm65
  440.     movq mm0, [tg_1_16] ; 0 ; tg_1_16
  441.     psllw mm3, SHIFT_FRW_COL ; t7
  443.     movq mm6, [tg_3_16] ; 6 ; tg_3_16
  444.     pmulhw mm0, mm1 ; tp465*tg_1_16
  446.     movq [y0+8], mm7 ; 7 ; save y0
  447.     pmulhw mm6, mm4 ; tm465*tg_3_16
  449.     movq [y6+8], mm5 ; 5 ; save y6
  450.     movq mm7, mm3 ; 7 ; t7
  452.     movq mm5, [tg_3_16] ; 5 ; tg_3_16
  453.     psubsw mm7, mm2 ; tm765 = t7 - tp65
  455.     paddsw mm3, mm2 ; 2 ; tp765 = t7 + tp65
  456.     pmulhw mm5, mm7 ; tm765*tg_3_16
  458.     paddsw mm0, mm3 ; y1 = tp765 + tp465*tg_1_16
  459.     paddsw mm6, mm4 ; tm465*tg_3_16
  461.     pmulhw mm3, [tg_1_16] ; tp765*tg_1_16
  462.     
  463. por mm0, qword [one_corr] ; correction y1 +0.5
  464.     paddsw mm5, mm7 ; tm765*tg_3_16
  466.     psubsw mm7, mm6 ; 6 ; y3 = tm765 - tm465*tg_3_16
  467.  
  468.     movq [y1+8], mm0 ; 0 ; save y1
  469.     paddsw mm5, mm4 ; 4 ; y5 = tm765*tg_3_16 + tm465
  471.     movq [y3+8], mm7 ; 7 ; save y3
  472.     psubsw mm3, mm1 ; 1 ; y7 = tp765*tg_1_16 - tp465
  474.     movq [y5+8], mm5 ; 5 ; save y5
  476.     movq [y7+8], mm3 ; 3 ; save y7
  478. mov INP, [esp + 8] ; row 0
  480. mov TABLEF, tab_frw_01234567 ; row 0
  481. mov OUT, INP
  483. mov round_frw_row, r_frw_row
  485.     movd mm5, [INP+12] ; mm5 = 7 6
  487.     punpcklwd mm5, [INP+8]
  489.     movq mm2, mm5 ; mm2 = 5 7 4 6
  490.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  492.     movq mm0, [INP] ; mm0 = 3 2 1 0
  493.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  495.     movq mm1, mm0 ; mm1 = 3 2 1 0
  496.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  498.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  499.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  501.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  503.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  504.     movq mm1, mm2 ; mm1
  506.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  508.     movq mm3, [TABLE] ; 3 ; w06 w04 w02 w00
  509.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  511.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  512.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  514.     movq mm4, [TABLE+8] ; 4 ; w07 w05 w03 w01
  515.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  517.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  518.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  520.     movq mm1, [TABLE+32] ; 1 ; w22 w20 w18 w16
  521.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  523.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  524.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  526.     pmaddwd mm0, [TABLE+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  527.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  529.     movq mm7, [TABLE+40] ; 7 ; w23 w21 w19 w17
  530.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  532.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  533.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  535.     pmaddwd mm2, [TABLE+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  536.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  538.     pmaddwd mm5, [TABLE+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  539.  
  540.     pmaddwd mm6, [TABLE+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  541.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  543.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  544.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  546.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  547.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  549.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  550.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  552.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  553.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  555.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  557. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  559.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  560.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  562.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  563.     
  564.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  566.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  568.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  570.     movq [OUT_1-16], mm3 ; 1 ; save y3 y2 y1 y0
  572.     movq [OUT_1-8], mm6 ; 7 ; save y7 y6 y5 y4
  574.     movd mm5, [INP_1+12] ; mm5 = 7 6
  576.     punpcklwd mm5, [INP_1+8]
  578.     movq mm2, mm5 ; mm2 = 5 7 4 6
  579.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  581.     movq mm0, [INP_1] ; mm0 = 3 2 1 0
  582.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  584.     movq mm1, mm0 ; mm1 = 3 2 1 0
  585.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  587.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  588.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  590.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  592.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  593.     movq mm1, mm2 ; mm1
  595.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  597.     movq mm3, [TABLE_1] ; 3 ; w06 w04 w02 w00
  598.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  600.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  601.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  603.     movq mm4, [TABLE_1+8] ; 4 ; w07 w05 w03 w01
  604.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  606.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  607.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  609.     movq mm1, [TABLE_1+32] ; 1 ; w22 w20 w18 w16
  610.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  612.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  613.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  615.     pmaddwd mm0, [TABLE_1+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  616.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  618.     movq mm7, [TABLE_1+40] ; 7 ; w23 w21 w19 w17
  619.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  621.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  622.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  624.     pmaddwd mm2, [TABLE_1+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  625.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  627.     pmaddwd mm5, [TABLE_1+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  628.  
  629.     pmaddwd mm6, [TABLE_1+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  630.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  632.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  633.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  635.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  636.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  638.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  639.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  641.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  642.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  644.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  646. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  648.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  649.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  651.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  652.     
  653.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  655.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  657.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  659.     movq [OUT_2-16], mm3 ; 1 ; save y3 y2 y1 y0
  661.     movq [OUT_2-8], mm6 ; 7 ; save y7 y6 y5 y4
  663.     movd mm5, [INP_2+12] ; mm5 = 7 6
  665.     punpcklwd mm5, [INP_2+8]
  667.     movq mm2, mm5 ; mm2 = 5 7 4 6
  668.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  670.     movq mm0, [INP_2] ; mm0 = 3 2 1 0
  671.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  673.     movq mm1, mm0 ; mm1 = 3 2 1 0
  674.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  676.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  677.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  679.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  681.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  682.     movq mm1, mm2 ; mm1
  684.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  686.     movq mm3, [TABLE_2] ; 3 ; w06 w04 w02 w00
  687.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  689.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  690.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  692.     movq mm4, [TABLE_2+8] ; 4 ; w07 w05 w03 w01
  693.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  695.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  696.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  698.     movq mm1, [TABLE_2+32] ; 1 ; w22 w20 w18 w16
  699.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  701.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  702.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  704.     pmaddwd mm0, [TABLE_2+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  705.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  707.     movq mm7, [TABLE_2+40] ; 7 ; w23 w21 w19 w17
  708.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  710.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  711.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  713.     pmaddwd mm2, [TABLE_2+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  714.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  716.     pmaddwd mm5, [TABLE_2+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  717.  
  718.     pmaddwd mm6, [TABLE_2+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  719.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  721.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  722.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  724.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  725.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  727.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  728.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  730.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  731.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  733.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  735. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  737.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  738.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  740.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  741.     
  742.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  744.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  746.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  748.     movq [OUT_3-16], mm3 ; 1 ; save y3 y2 y1 y0
  750.     movq [OUT_3-8], mm6 ; 7 ; save y7 y6 y5 y4
  752.     movd mm5, [INP_3+12] ; mm5 = 7 6
  754.     punpcklwd mm5, [INP_3+8]
  756.     movq mm2, mm5 ; mm2 = 5 7 4 6
  757.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  759.     movq mm0, [INP_3] ; mm0 = 3 2 1 0
  760.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  762.     movq mm1, mm0 ; mm1 = 3 2 1 0
  763.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  765.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  766.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  768.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  770.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  771.     movq mm1, mm2 ; mm1
  773.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  775.     movq mm3, [TABLE_3] ; 3 ; w06 w04 w02 w00
  776.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  778.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  779.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  781.     movq mm4, [TABLE_3+8] ; 4 ; w07 w05 w03 w01
  782.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  784.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  785.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  787.     movq mm1, [TABLE_3+32] ; 1 ; w22 w20 w18 w16
  788.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  790.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  791.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  793.     pmaddwd mm0, [TABLE_3+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  794.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  796.     movq mm7, [TABLE_3+40] ; 7 ; w23 w21 w19 w17
  797.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  799.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  800.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  802.     pmaddwd mm2, [TABLE_3+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  803.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  805.     pmaddwd mm5, [TABLE_3+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  806.  
  807.     pmaddwd mm6, [TABLE_3+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  808.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  810.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  811.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  813.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  814.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  816.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  817.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  819.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  820.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  822.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  824. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  826.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  827.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  829.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  830.     
  831.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  833.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  835.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  837.     movq [OUT_4-16], mm3 ; 1 ; save y3 y2 y1 y0
  839.     movq [OUT_4-8], mm6 ; 7 ; save y7 y6 y5 y4
  841.     movd mm5, [INP_4+12] ; mm5 = 7 6
  843.     punpcklwd mm5, [INP_4+8]
  845.     movq mm2, mm5 ; mm2 = 5 7 4 6
  846.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  848.     movq mm0, [INP_4] ; mm0 = 3 2 1 0
  849.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  851.     movq mm1, mm0 ; mm1 = 3 2 1 0
  852.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  854.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  855.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  857.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  859.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  860.     movq mm1, mm2 ; mm1
  862.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  864.     movq mm3, [TABLE_4] ; 3 ; w06 w04 w02 w00
  865.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  867.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  868.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  870.     movq mm4, [TABLE_4+8] ; 4 ; w07 w05 w03 w01
  871.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  873.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  874.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  876.     movq mm1, [TABLE_4+32] ; 1 ; w22 w20 w18 w16
  877.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  879.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  880.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  882.     pmaddwd mm0, [TABLE_4+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  883.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  885.     movq mm7, [TABLE_4+40] ; 7 ; w23 w21 w19 w17
  886.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  888.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  889.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  891.     pmaddwd mm2, [TABLE_4+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  892.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  894.     pmaddwd mm5, [TABLE_4+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  895.  
  896.     pmaddwd mm6, [TABLE_4+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  897.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  899.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  900.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  902.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  903.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  905.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  906.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  908.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  909.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  911.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  913. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  915.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  916.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  918.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  919.     
  920.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  922.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  924.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  926.     movq [OUT_5-16], mm3 ; 1 ; save y3 y2 y1 y0
  928.     movq [OUT_5-8], mm6 ; 7 ; save y7 y6 y5 y4
  930.     movd mm5, [INP_5+12] ; mm5 = 7 6
  932.     punpcklwd mm5, [INP_5+8]
  934.     movq mm2, mm5 ; mm2 = 5 7 4 6
  935.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  937.     movq mm0, [INP_5] ; mm0 = 3 2 1 0
  938.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  940.     movq mm1, mm0 ; mm1 = 3 2 1 0
  941.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  943.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  944.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  946.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  948.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  949.     movq mm1, mm2 ; mm1
  951.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  953.     movq mm3, [TABLE_5] ; 3 ; w06 w04 w02 w00
  954.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  956.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  957.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  959.     movq mm4, [TABLE_5+8] ; 4 ; w07 w05 w03 w01
  960.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  962.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  963.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  965.     movq mm1, [TABLE_5+32] ; 1 ; w22 w20 w18 w16
  966.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  968.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  969.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  971.     pmaddwd mm0, [TABLE_5+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  972.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  974.     movq mm7, [TABLE_5+40] ; 7 ; w23 w21 w19 w17
  975.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  977.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  978.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  980.     pmaddwd mm2, [TABLE_5+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  981.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  983.     pmaddwd mm5, [TABLE_5+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  984.  
  985.     pmaddwd mm6, [TABLE_5+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  986.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  988.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  989.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  991.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  992.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  994.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  995.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  997.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  998.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  1000.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  1002. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  1004.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  1005.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  1007.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  1008.     
  1009.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  1011.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  1013.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  1015.     movq [OUT_6-16], mm3 ; 1 ; save y3 y2 y1 y0
  1017.     movq [OUT_6-8], mm6 ; 7 ; save y7 y6 y5 y4
  1019.     movd mm5, [INP_6+12] ; mm5 = 7 6
  1021.     punpcklwd mm5, [INP_6+8]
  1023.     movq mm2, mm5 ; mm2 = 5 7 4 6
  1024.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  1026.     movq mm0, [INP_6] ; mm0 = 3 2 1 0
  1027.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  1029.     movq mm1, mm0 ; mm1 = 3 2 1 0
  1030.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  1032.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  1033.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  1035.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  1037.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  1038.     movq mm1, mm2 ; mm1
  1040.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  1042.     movq mm3, [TABLE_6] ; 3 ; w06 w04 w02 w00
  1043.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  1045.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  1046.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  1048.     movq mm4, [TABLE_6+8] ; 4 ; w07 w05 w03 w01
  1049.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  1051.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  1052.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  1054.     movq mm1, [TABLE_6+32] ; 1 ; w22 w20 w18 w16
  1055.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  1057.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  1058.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  1060.     pmaddwd mm0, [TABLE_6+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  1061.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  1063.     movq mm7, [TABLE_6+40] ; 7 ; w23 w21 w19 w17
  1064.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  1066.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  1067.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  1069.     pmaddwd mm2, [TABLE_6+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  1070.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  1072.     pmaddwd mm5, [TABLE_6+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  1073.  
  1074.     pmaddwd mm6, [TABLE_6+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  1075.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  1077.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  1078.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  1080.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  1081.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  1083.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  1084.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  1086.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  1087.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  1089.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  1091. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  1093.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  1094.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  1096.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  1097.     
  1098.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  1100.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  1102.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  1104.     movq [OUT_7-16], mm3 ; 1 ; save y3 y2 y1 y0
  1106.     movq [OUT_7-8], mm6 ; 7 ; save y7 y6 y5 y4
  1108.     movd mm5, [INP_7+12] ; mm5 = 7 6
  1110.     punpcklwd mm5, [INP_7+8]
  1112.     movq mm2, mm5 ; mm2 = 5 7 4 6
  1113.     psrlq mm5, 32 ; mm5 = _ _ 5 7
  1115.     movq mm0, [INP_7] ; mm0 = 3 2 1 0
  1116.     punpcklwd mm5, mm2 ; mm5 = 4 5 6 7
  1118.     movq mm1, mm0 ; mm1 = 3 2 1 0
  1119.     paddsw mm0, mm5 ; mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  1121.     psubsw mm1, mm5 ; mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  1122.     movq mm2, mm0 ; mm2 = [ xt3 xt2 xt1 xt0 ]
  1124.     punpcklwd mm0, mm1 ; mm0 = [ xt5 xt1 xt4 xt0 ]
  1126.     punpckhwd mm2, mm1 ; mm2 = [ xt7 xt3 xt6 xt2 ]
  1127.     movq mm1, mm2 ; mm1
  1129.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  1131.     movq mm3, [TABLE_7] ; 3 ; w06 w04 w02 w00
  1132.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  1134.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  1135.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  1137.     movq mm4, [TABLE_7+8] ; 4 ; w07 w05 w03 w01
  1138.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  1140.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  1141.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  1143.     movq mm1, [TABLE_7+32] ; 1 ; w22 w20 w18 w16
  1144.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  1146.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  1147.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  1149.     pmaddwd mm0, [TABLE_7+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  1150.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  1152.     movq mm7, [TABLE_7+40] ; 7 ; w23 w21 w19 w17
  1153.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  1155.     paddd mm3, [round_frw_row] ; +rounder (y2,y0)
  1156.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  1158.     pmaddwd mm2, [TABLE_7+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  1159.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0)
  1161.     pmaddwd mm5, [TABLE_7+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  1162.  
  1163.     pmaddwd mm6, [TABLE_7+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  1164.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0)
  1166.     paddd mm0, [round_frw_row] ; +rounder (y6,y4)
  1167.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ; (y2, y0) 
  1169.     paddd mm1, [round_frw_row] ; +rounder (y3,y1)
  1170.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2)
  1172.     paddd mm5, [round_frw_row] ; +rounder (y7,y5)
  1173.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ; y1=a1+b1 y0=a0+b0
  1175.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2)
  1176.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ; y3=a3+b3 y2=a2+b2
  1178.     psrad mm5, SHIFT_FRW_ROW_CLIP1 ; y4=a3-b3 y5=a2-b2
  1180. packssdw mm3, mm0 ; 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  1182.     packssdw mm1, mm5 ; 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  1183.     movq mm6, mm3 ; mm0 = y6 y4 y2 y0
  1185.     punpcklwd mm3, mm1 ; y3 y2 y1 y0
  1186.     
  1187.     punpckhwd mm6, mm1 ; y7 y6 y5 y4
  1189.     psraw mm3, SHIFT_FRW_ROW_CLIP2 ; descale [y3 y2 y1 y0] to {-2048,+2047}
  1191.     psraw mm6, SHIFT_FRW_ROW_CLIP2 ; descale [y7 y6 y5 y4] to {-2048,+2047}
  1193.     movq [OUT_8-16], mm3 ; 1 ; save y3 y2 y1 y0
  1195.     movq [OUT_8-8], mm6 ; 7 ; save y7 y6 y5 y4
  1197. pop ebx
  1198. emms
  1200. ret