开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多媒体 > 流媒体/Mpeg4/MP4 > 查看源码
text_fdct_mmx.c
资源名称：encore50src.zip　[点击查看]
上传用户：enenge
上传日期：2007-01-08
资源大小：96k
文件大小：32k
源码类别：

流媒体/Mpeg4/MP4

开发平台：

Visual C++

text_fdct_mmx.c：源码内容
  2. //////////////////////////////////////////////////////////////////////////////
  3. //
  4. //  fdctmm32.c - AP922 MMX fDCT
  5. //  ----------
  6. //  Intel Application Note AP-922 - fast, precise implementation of DCT
  7. //        http://developer.intel.com/vtune/cbts/appnotes.htm
  8. //  ----------
  9. //  
  10. //       This code will run on any MMX CPU.  The dct_row operation can be
  11. //  further optimized using PentiumIII/Athlon instructions (pshufw.)  
  12. //  If the code will be run on a 3D-Now CPU (AMD K6-2/Athlon), a slight
  13. //  accruacy-boost can be obtained.  Please see fdctam32.c for details.
  14. //  
  15. //    For a fast, precise MMX implementation of inverse-DCT 
  16. //              visit http://www.elecard.com/peter
  17. //              or check out Avery Lee's Virtualdub source-code
  18. //                 http://www.concentric.net/~psilon  
  19. //
  20. //  Revision history
  21. //  ----------------
  22. //
  23. //  v1.01 08/26/2000 (clipper bugfix)
  24. //         In my haste to get this code out the door, I neglected to consider
  25. //       the numerical range of output.  I *believe* an IEEE-1180/1990 fdct 
  26. //       is range-limited to {-2048, +2047}.
  27. //       fdctmm32.c now saturates the output DCT coefficients to this range.
  28. //         A few comment typos were corrected. Equivalent-C code for
  29. //       the forward_dct column stage has also been added.  The pseudo-C
  30. //       code in Intel's AP-922 omits several important operations that 
  31. //       would cause dct8_frw_col() to fail, if it were used directly without 
  32. //       modification.
  33. //         There is still room for additional optimization in the 
  34. //       frw_dct_row_mmx() function.  The data pack/unpack operation could be
  35. //       shortened with pshufw.
  36. //
  37. //  v1.0 07/20/2000 (initial release)
  38. //       Initial release of AP922 MMX forward_DCT.
  39. //       
  40. //     
  41. //  liaor@iname.com  http://members.tripod.com/~liaor  
  42. //////////////////////////////////////////////////////////////////////////////
  44. #define INP eax // pointer to (short *blk)
  45. #define OUT ecx // pointer to output (temporary store space qwTemp[])
  46. #define TABLE ebx // pointer to tab_frw_01234567[]
  47. #define TABLEF ebx  // pointer to tg_all_16
  48. #define round_frw_row edx
  49. //#define round_frw_col edx
  51. #define x0 INP + 0*16
  52. #define x1 INP + 1*16
  53. #define x2 INP + 2*16
  54. #define x3 INP + 3*16
  55. #define x4 INP + 4*16
  56. #define x5 INP + 5*16
  57. #define x6 INP + 6*16
  58. #define x7 INP + 7*16
  59. #define y0 OUT + 0*16
  60. #define y1 OUT + 1*16
  61. #define y2 OUT + 2*16
  62. #define y3 OUT + 3*16
  63. #define y4 OUT + 4*16
  64. #define y5 OUT + 5*16
  65. #define y6 OUT + 6*16
  66. #define y7 OUT + 7*16
  69. //////////////////////////////////////////////////////////////////////
  70. //
  71. // constants for the forward DCT
  72. // -----------------------------
  73. //
  74. // Be sure to check that your compiler is aligning all constants to QWORD
  75. // (8-byte) memory boundaries!  Otherwise the unaligned memory access will
  76. // severely stall MMX execution.
  77. //
  78. //////////////////////////////////////////////////////////////////////
  80. #define BITS_FRW_ACC 3 //; 2 or 3 for accuracy
  81. #define SHIFT_FRW_COL BITS_FRW_ACC
  82. #define SHIFT_FRW_ROW (BITS_FRW_ACC + 17)
  84. // v1.01 The original SHIFT_FRW_ROW constant has been replaced by a
  85. //      "two stage" shift operation.  The 1st-shift (CLIP1) aligns the
  86. //      intermediate 32-bit integer data to a {-32768, +32768} (16-bit word) 
  87. //      range.  The MMX instruction "packssdw" simultaneous clips and packs
  88. //      the intermediate-data into 16-bit format.
  89. //      The 2nd-shift (CLIP2) restores the proper final range {-2048,+2047}
  91. #define SHIFT_FRW_ROW_CLIP2 (4)  // 4-bit shift -> { 32768 <> 2048 }
  92. #define SHIFT_FRW_ROW_CLIP1 ( SHIFT_FRW_ROW - SHIFT_FRW_ROW_CLIP2 )
  94. //#define RND_FRW_ROW (262144 * (BITS_FRW_ACC - 1)) //; 1 << (SHIFT_FRW_ROW-1)
  95. #define RND_FRW_ROW (1 << (SHIFT_FRW_ROW-1))
  96. //#define RND_FRW_COL (2 * (BITS_FRW_ACC - 1)) //; 1 << (SHIFT_FRW_COL-1)
  97. #define RND_FRW_COL (1 << (SHIFT_FRW_COL-1))
  99. const static __int64 one_corr = 0x0001000100010001;
  100. const static long r_frw_row[2] = {RND_FRW_ROW, RND_FRW_ROW };
  102. //const static short tg_1_16[4] = {13036, 13036, 13036, 13036 }; //tg * (2<<16) + 0.5
  103. //const static short tg_2_16[4] = {27146, 27146, 27146, 27146 }; //tg * (2<<16) + 0.5
  104. //const static short tg_3_16[4] = {-21746, -21746, -21746, -21746 }; //tg * (2<<16) + 0.5
  105. //const static short cos_4_16[4] = {-19195, -19195, -19195, -19195 }; //cos * (2<<16) + 0.5
  106. //const static short ocos_4_16[4] = {23170, 23170, 23170, 23170 }; //cos * (2<<15) + 0.5
  108. //concatenated table, for forward DCT-column transformation
  109. const static short tg_all_16[] = {
  110. 13036, 13036, 13036, 13036, // tg * (2<<16) + 0.5
  111. 27146, 27146, 27146, 27146, // tg * (2<<16) + 0.5
  112. -21746, -21746, -21746, -21746, // tg * (2<<16) + 0.5
  113. -19195, -19195, -19195, -19195, //cos * (2<<16) + 0.5
  114. 23170, 23170, 23170, 23170 }; //cos * (2<<15) + 0.5
  116. #define tg_1_16 (TABLEF + 0)
  117. #define tg_2_16 (TABLEF + 8)
  118. #define tg_3_16 (TABLEF + 16)
  119. #define cos_4_16 (TABLEF + 24)
  120. #define ocos_4_16 (TABLEF + 32)
  123. // CONCATENATED IDCT COEFF TABLE, rows 0,1,2,3,4,5,6,7 (in order )
  124. //
  125.     /*
  126. static const short tab_inv_01234567[] = { // inverse_dct coeff table
  127. //row0, this row is required
  128. 16384, 16384, 16384, -16384, // ; movq-> w06 w04 w02 w00
  129. 21407, 8867, 8867, -21407, // w07 w05 w03 w01
  130. 16384, -16384, 16384, 16384, //; w14 w12 w10 w08
  131. -8867, 21407, -21407, -8867, //; w15 w13 w11 w09
  132. 22725, 12873, 19266, -22725, //; w22 w20 w18 w16
  133. 19266, 4520, -4520, -12873, //; w23 w21 w19 w17
  134. 12873, 4520, 4520, 19266, //; w30 w28 w26 w24
  135. -22725, 19266, -12873, -22725,  //w31 w29 w27 w25
  137. //row1
  138. 22725, 22725, 22725, -22725, // ; movq-> w06 w04 w02 w00
  139. 29692, 12299, 12299, -29692, // ; w07 w05 w03 w01
  140. 22725, -22725, 22725, 22725, //; w14 w12 w10 w08
  141. -12299, 29692, -29692, -12299, //; w15 w13 w11 w09
  142. 31521, 17855, 26722, -31521, //; w22 w20 w18 w16
  143. 26722, 6270, -6270, -17855, //; w23 w21 w19 w17
  144. 17855, 6270, 6270, 26722, //; w30 w28 w26 w24
  145. -31521, 26722, -17855, -31521, // w31 w29 w27 w25
  147. //row2
  148. 21407, 21407, 21407, -21407, // ; movq-> w06 w04 w02 w00
  149. 27969, 11585, 11585, -27969, // ; w07 w05 w03 w01
  150. 21407, -21407, 21407, 21407, // ; w14 w12 w10 w08
  151. -11585, 27969, -27969, -11585, //  ;w15 w13 w11 w09
  152. 29692, 16819, 25172, -29692,  // ;w22 w20 w18 w16
  153. 25172, 5906, -5906, -16819,  // ;w23 w21 w19 w17
  154. 16819, 5906, 5906, 25172,  // ;w30 w28 w26 w24
  155. -29692, 25172, -16819, -29692, //  ;w31 w29 w27 w25
  157. //row3
  158. 19266, 19266, 19266, -19266, //; movq-> w06 w04 w02 w00
  159. 25172, 10426, 10426, -25172, //; w07 w05 w03 w01
  160. 19266, -19266, 19266, 19266, //; w14 w12 w10 w08
  161. -10426, 25172, -25172, -10426, //; w15 w13 w11 w09
  162. 26722, 15137, 22654, -26722, //; w22 w20 w18 w16
  163. 22654, 5315, -5315, -15137, //; w23 w21 w19 w17
  164. 15137, 5315, 5315, 22654, //; w30 w28 w26 w24
  165. -26722, 22654, -15137, -26722, //; w31 w29 w27 w25
  167. //row4
  168. 16384, 16384, 16384, -16384, // ; movq-> w06 w04 w02 w00
  169. 21407, 8867, 8867, -21407, // w07 w05 w03 w01
  170. 16384, -16384, 16384, 16384, //; w14 w12 w10 w08
  171. -8867, 21407, -21407, -8867, //; w15 w13 w11 w09
  172. 22725, 12873, 19266, -22725, //; w22 w20 w18 w16
  173. 19266, 4520, -4520, -12873, //; w23 w21 w19 w17
  174. 12873, 4520, 4520, 19266, //; w30 w28 w26 w24
  175. -22725, 19266, -12873, -22725,  //w31 w29 w27 w25
  177. //row5
  178. 19266, 19266, 19266, -19266, //; movq-> w06 w04 w02 w00
  179. 25172, 10426, 10426, -25172, //; w07 w05 w03 w01
  180. 19266, -19266, 19266, 19266, //; w14 w12 w10 w08
  181. -10426, 25172, -25172, -10426, //; w15 w13 w11 w09
  182. 26722, 15137, 22654, -26722, //; w22 w20 w18 w16
  183. 22654, 5315, -5315, -15137, //; w23 w21 w19 w17
  184. 15137, 5315, 5315, 22654, //; w30 w28 w26 w24
  185. -26722, 22654, -15137, -26722, //; w31 w29 w27 w25
  187. //row6
  188. 21407, 21407, 21407, -21407, // ; movq-> w06 w04 w02 w00
  189. 27969, 11585, 11585, -27969, // ; w07 w05 w03 w01
  190. 21407, -21407, 21407, 21407, // ; w14 w12 w10 w08
  191. -11585, 27969, -27969, -11585, //  ;w15 w13 w11 w09
  192. 29692, 16819, 25172, -29692,  // ;w22 w20 w18 w16
  193. 25172, 5906, -5906, -16819,  // ;w23 w21 w19 w17
  194. 16819, 5906, 5906, 25172,  // ;w30 w28 w26 w24
  195. -29692, 25172, -16819, -29692, //  ;w31 w29 w27 w25
  197. //row7
  198. 22725, 22725, 22725, -22725, // ; movq-> w06 w04 w02 w00
  199. 29692, 12299, 12299, -29692, // ; w07 w05 w03 w01
  200. 22725, -22725, 22725, 22725, //; w14 w12 w10 w08
  201. -12299, 29692, -29692, -12299, //; w15 w13 w11 w09
  202. 31521, 17855, 26722, -31521, //; w22 w20 w18 w16
  203. 26722, 6270, -6270, -17855, //; w23 w21 w19 w17
  204. 17855, 6270, 6270, 26722, //; w30 w28 w26 w24
  205. -31521, 26722, -17855, -31521}; // w31 w29 w27 w25
  206. */
  208. static const short tab_frw_01234567[] = {  // forward_dct coeff table
  209.     //row0
  210.     16384, 16384, 21407, -8867,     //    w09 w01 w08 w00
  211.     16384, 16384, 8867, -21407,     //    w13 w05 w12 w04
  212.     16384, -16384, 8867, 21407,     //    w11 w03 w10 w02
  213.     -16384, 16384, -21407, -8867,   //    w15 w07 w14 w06
  214.     22725, 12873, 19266, -22725,    //    w22 w20 w18 w16
  215.     19266, 4520, -4520, -12873,     //    w23 w21 w19 w17
  216.     12873, 4520, 4520, 19266,       //    w30 w28 w26 w24
  217.     -22725, 19266, -12873, -22725,  //    w31 w29 w27 w25
  219.     //row1
  220.     22725, 22725, 29692, -12299,    //    w09 w01 w08 w00
  221.     22725, 22725, 12299, -29692,    //    w13 w05 w12 w04
  222.     22725, -22725, 12299, 29692,    //    w11 w03 w10 w02
  223.     -22725, 22725, -29692, -12299,  //    w15 w07 w14 w06
  224.     31521, 17855, 26722, -31521,    //    w22 w20 w18 w16
  225.     26722, 6270, -6270, -17855,     //    w23 w21 w19 w17
  226.     17855, 6270, 6270, 26722,       //    w30 w28 w26 w24
  227.     -31521, 26722, -17855, -31521,  //    w31 w29 w27 w25
  229.     //row2
  230.     21407, 21407, 27969, -11585,    //    w09 w01 w08 w00
  231.     21407, 21407, 11585, -27969,    //    w13 w05 w12 w04
  232.     21407, -21407, 11585, 27969,    //    w11 w03 w10 w02
  233.     -21407, 21407, -27969, -11585,  //    w15 w07 w14 w06
  234.     29692, 16819, 25172, -29692,    //    w22 w20 w18 w16
  235.     25172, 5906, -5906, -16819,     //    w23 w21 w19 w17
  236.     16819, 5906, 5906, 25172,       //    w30 w28 w26 w24
  237.     -29692, 25172, -16819, -29692,  //    w31 w29 w27 w25
  239.     //row3
  240.     19266, 19266, 25172, -10426,    //    w09 w01 w08 w00
  241.     19266, 19266, 10426, -25172,    //    w13 w05 w12 w04
  242.     19266, -19266, 10426, 25172,    //    w11 w03 w10 w02
  243.     -19266, 19266, -25172, -10426,  //    w15 w07 w14 w06, 
  244.     26722, 15137, 22654, -26722,    //    w22 w20 w18 w16
  245.     22654, 5315, -5315, -15137,     //    w23 w21 w19 w17
  246.     15137, 5315, 5315, 22654,       //    w30 w28 w26 w24
  247.     -26722, 22654, -15137, -26722,  //    w31 w29 w27 w25, 
  249.     //row4
  250.     16384, 16384, 21407, -8867,     //    w09 w01 w08 w00
  251.     16384, 16384, 8867, -21407,     //    w13 w05 w12 w04
  252.     16384, -16384, 8867, 21407,     //    w11 w03 w10 w02
  253.     -16384, 16384, -21407, -8867,   //    w15 w07 w14 w06
  254.     22725, 12873, 19266, -22725,    //    w22 w20 w18 w16
  255.     19266, 4520, -4520, -12873,     //    w23 w21 w19 w17
  256.     12873, 4520, 4520, 19266,       //    w30 w28 w26 w24
  257.     -22725, 19266, -12873, -22725,  //    w31 w29 w27 w25 
  259.     //row5
  260.     19266, 19266, 25172, -10426,    //    w09 w01 w08 w00
  261.     19266, 19266, 10426, -25172,    //    w13 w05 w12 w04
  262.     19266, -19266, 10426, 25172,    //    w11 w03 w10 w02
  263.     -19266, 19266, -25172, -10426,  //    w15 w07 w14 w06
  264.     26722, 15137, 22654, -26722,    //    w22 w20 w18 w16
  265.     22654, 5315, -5315, -15137,     //    w23 w21 w19 w17
  266.     15137, 5315, 5315, 22654,       //    w30 w28 w26 w24
  267.     -26722, 22654, -15137, -26722,  //    w31 w29 w27 w25
  269.     //row6
  270.     21407, 21407, 27969, -11585,    //    w09 w01 w08 w00
  271.     21407, 21407, 11585, -27969,    //    w13 w05 w12 w04
  272.     21407, -21407, 11585, 27969,    //    w11 w03 w10 w02
  273.     -21407, 21407, -27969, -11585,  //    w15 w07 w14 w06, 
  274.     29692, 16819, 25172, -29692,    //    w22 w20 w18 w16
  275.     25172, 5906, -5906, -16819,     //    w23 w21 w19 w17
  276.     16819, 5906, 5906, 25172,       //    w30 w28 w26 w24
  277.     -29692, 25172, -16819, -29692,  //    w31 w29 w27 w25, 
  279.     //row7
  280.     22725, 22725, 29692, -12299,    //    w09 w01 w08 w00
  281.     22725, 22725, 12299, -29692,    //    w13 w05 w12 w04
  282.     22725, -22725, 12299, 29692,    //    w11 w03 w10 w02
  283.     -22725, 22725, -29692, -12299,  //    w15 w07 w14 w06, 
  284.     31521, 17855, 26722, -31521,    //    w22 w20 w18 w16
  285.     26722, 6270, -6270, -17855,     //    w23 w21 w19 w17
  286.     17855, 6270, 6270, 26722,       //    w30 w28 w26 w24
  287.     -31521, 26722, -17855, -31521   //    w31 w29 w27 w25
  288. };
  292. void
  293. fdct_mm32( short *blk )
  294. {
  295.     static __int64 xt70[2]; // xt7xt6xt5xt4, xt3xt2xt1xt0
  296.     static int a0, a1, a2, a3, b0, b1, b2, b3;
  297.     static short *sptr, *optr, *tf; // tf = table_ptr
  298.     static short *xt = (short *) &xt70[0];
  299.     static int j;
  300.     
  301.     const static short _tg_1_16   = 13036;  //tg * (2<<16) + 0.5
  302.     const static short _tg_2_16   = 27146;  //tg * (2<<16) + 0.5
  303.     const static short _tg_3_16   =-21746;  //tg * (2<<16) + 0.5
  304.     const static short _cos_4_16  =-19195;  //cos * (2<<16) + 0.5
  305.     const static short _ocos_4_16 = 23170;  //cos * (2<<15) + 0.5
  306.     const static short _one_corr  =     1;  //rounding compensation
  308.     static short t0, t1, t2, t3, t4, t5, t6, t7;
  309.     static short tp03, tm03, tp12, tm12, tp65, tm65;
  310.     static short tp465, tm465, tp765, tm765;
  312.     __asm {
  314.     ////////////////////////////////////////////////////////////////////////
  315.     //
  316.     // The high-level pseudocode for the fdct_mm32() routine :
  317.     //
  318.     // fdct_mm32()
  319.     // {
  320.     //    forward_dct_col03(); // dct_column transform on cols 0-3
  321.     //    forward_dct_col47(); // dct_column transform on cols 4-7
  322.     //    for ( j = 0; j < 8; j=j+1 )
  323.     //      forward_dct_row1(j); // dct_row transform on row #j
  324.     // }
  326. mov INP, dword ptr [blk]; ;// input data is row 0 of blk[]
  327.     ;// transform the left half of the matrix (4 columns)
  329.     lea TABLEF, dword ptr [tg_all_16];
  330.     mov OUT, INP;
  332. // lea round_frw_col, dword ptr [r_frw_col]
  333.     // for ( i = 0; i < 2; i = i + 1)
  334.     // the for-loop is executed twice.  We are better off unrolling the 
  335.     // loop to avoid branch misprediction.
  336. mmx32_fdct_col03: // begin processing columns 0-3
  337.     movq mm0, [x1] ; 0 ; x1
  338.      ;//
  340.     movq mm1, [x6] ; 1 ; x6
  341.      movq mm2, mm0 ; 2 ; x1
  343.     movq mm3, [x2] ; 3 ; x2
  344.      paddsw mm0, mm1 ; t1 = x[1] + x[6]
  346.     movq mm4, [x5] ; 4 ; x5
  347.      psllw mm0, SHIFT_FRW_COL ; t1
  349.     movq mm5, [x0] ; 5 ; x0
  350.      paddsw mm4, mm3 ; t2 = x[2] + x[5]
  352.     paddsw mm5, [x7] ; t0 = x[0] + x[7]
  353.      psllw mm4, SHIFT_FRW_COL ; t2
  355.     movq mm6, mm0 ; 6 ; t1
  356.      psubsw mm2, mm1 ; 1 ; t6 = x[1] - x[6]
  358.     movq mm1, qword ptr [tg_2_16] ; 1 ; tg_2_16
  359.      psubsw mm0, mm4 ; tm12 = t1 - t2
  361.     movq mm7, [x3] ; 7 ; x3
  362.      pmulhw mm1, mm0 ; tm12*tg_2_16
  364.     paddsw mm7, [x4] ; t3 = x[3] + x[4]
  365.      psllw mm5, SHIFT_FRW_COL ; t0
  367.     paddsw mm6, mm4 ; 4 ; tp12 = t1 + t2
  368.      psllw mm7, SHIFT_FRW_COL ; t3
  370.     movq mm4, mm5 ; 4 ; t0
  371.      psubsw mm5, mm7 ; tm03 = t0 - t3
  373.     paddsw mm1, mm5 ; y2 = tm03 + tm12*tg_2_16
  374.      paddsw mm4, mm7 ; 7 ; tp03 = t0 + t3
  376.     por mm1, qword ptr one_corr ; correction y2 +0.5
  377.      psllw mm2, SHIFT_FRW_COL+1 ; t6
  379.     pmulhw mm5, qword ptr [tg_2_16] ; tm03*tg_2_16
  380.      movq mm7, mm4 ; 7 ; tp03
  382.     psubsw mm3, [x5] ; t5 = x[2] - x[5]
  383.      psubsw mm4, mm6 ; y4 = tp03 - tp12
  385.     movq [y2], mm1 ; 1 ; save y2
  386.      paddsw mm7, mm6 ; 6 ; y0 = tp03 + tp12
  387.      
  388.     movq mm1, [x3] ; 1 ; x3
  389.      psllw mm3, SHIFT_FRW_COL+1 ; t5
  391.     psubsw mm1, [x4] ; t4 = x[3] - x[4]
  392.      movq mm6, mm2 ; 6 ; t6
  393.     
  394.     movq [y4], mm4 ; 4 ; save y4
  395.      paddsw mm2, mm3 ; t6 + t5
  397.     pmulhw mm2, qword ptr [ocos_4_16] ; tp65 = (t6 + t5)*cos_4_16
  398.      psubsw mm6, mm3 ; 3 ; t6 - t5
  400.     pmulhw mm6, qword ptr [ocos_4_16] ; tm65 = (t6 - t5)*cos_4_16
  401.      psubsw mm5, mm0 ; 0 ; y6 = tm03*tg_2_16 - tm12
  403.     por mm5, qword ptr one_corr ; correction y6 +0.5
  404.      psllw mm1, SHIFT_FRW_COL ; t4
  406.     por mm2, qword ptr one_corr ; correction tp65 +0.5
  407.      movq mm4, mm1 ; 4 ; t4
  409.     movq mm3, [x0] ; 3 ; x0
  410.      paddsw mm1, mm6 ; tp465 = t4 + tm65
  412.     psubsw mm3, [x7] ; t7 = x[0] - x[7]
  413.      psubsw mm4, mm6 ; 6 ; tm465 = t4 - tm65
  415.     movq mm0, qword ptr [tg_1_16] ; 0 ; tg_1_16
  416.      psllw mm3, SHIFT_FRW_COL ; t7
  418.     movq mm6, qword ptr [tg_3_16] ; 6 ; tg_3_16
  419.      pmulhw mm0, mm1 ; tp465*tg_1_16
  421.     movq [y0], mm7 ; 7 ; save y0
  422.      pmulhw mm6, mm4 ; tm465*tg_3_16
  424.     movq [y6], mm5 ; 5 ; save y6
  425.      movq mm7, mm3 ; 7 ; t7
  427.     movq mm5, qword ptr [tg_3_16] ; 5 ; tg_3_16
  428.      psubsw mm7, mm2 ; tm765 = t7 - tp65
  430.     paddsw mm3, mm2 ; 2 ; tp765 = t7 + tp65
  431.      pmulhw mm5, mm7 ; tm765*tg_3_16
  433.     paddsw mm0, mm3 ; y1 = tp765 + tp465*tg_1_16
  434.      paddsw mm6, mm4 ; tm465*tg_3_16
  436.     pmulhw mm3, qword ptr [tg_1_16] ; tp765*tg_1_16
  437.      ;//
  439.     por mm0, qword ptr one_corr ; correction y1 +0.5
  440.      paddsw mm5, mm7 ; tm765*tg_3_16
  442.     psubsw mm7, mm6 ; 6 ; y3 = tm765 - tm465*tg_3_16
  443.      add INP, 0x08   ; // increment pointer
  445.     movq [y1], mm0 ; 0 ; save y1
  446.      paddsw mm5, mm4 ; 4 ; y5 = tm765*tg_3_16 + tm465
  448.     movq [y3], mm7 ; 7 ; save y3
  449.      psubsw mm3, mm1 ; 1 ; y7 = tp765*tg_1_16 - tp465
  451.     movq [y5], mm5 ; 5 ; save y5
  454.   mmx32_fdct_col47: // begin processing columns 4-7
  455.     movq mm0, [x1] ; 0 ; x1
  456.      ;//
  457.     movq [y7], mm3 ; 3 ; save y7 (columns 0-4)
  458.      ;//
  460.     movq mm1, [x6] ; 1 ; x6
  461.      movq mm2, mm0 ; 2 ; x1
  463.     movq mm3, [x2] ; 3 ; x2
  464.      paddsw mm0, mm1 ; t1 = x[1] + x[6]
  466.     movq mm4, [x5] ; 4 ; x5
  467.      psllw mm0, SHIFT_FRW_COL ; t1
  469.     movq mm5, [x0] ; 5 ; x0
  470.      paddsw mm4, mm3 ; t2 = x[2] + x[5]
  472.     paddsw mm5, [x7] ; t0 = x[0] + x[7]
  473.      psllw mm4, SHIFT_FRW_COL ; t2
  475.     movq mm6, mm0 ; 6 ; t1
  476.      psubsw mm2, mm1 ; 1 ; t6 = x[1] - x[6]
  478.     movq mm1, qword ptr [tg_2_16] ; 1 ; tg_2_16
  479.      psubsw mm0, mm4 ; tm12 = t1 - t2
  481.     movq mm7, [x3] ; 7 ; x3
  482.      pmulhw mm1, mm0 ; tm12*tg_2_16
  484.     paddsw mm7, [x4] ; t3 = x[3] + x[4]
  485.      psllw mm5, SHIFT_FRW_COL ; t0
  487.     paddsw mm6, mm4 ; 4 ; tp12 = t1 + t2
  488.      psllw mm7, SHIFT_FRW_COL ; t3
  490.     movq mm4, mm5 ; 4 ; t0
  491.      psubsw mm5, mm7 ; tm03 = t0 - t3
  493.     paddsw mm1, mm5 ; y2 = tm03 + tm12*tg_2_16
  494.      paddsw mm4, mm7 ; 7 ; tp03 = t0 + t3
  496.     por mm1, qword ptr one_corr ; correction y2 +0.5
  497.      psllw mm2, SHIFT_FRW_COL+1 ; t6
  499.     pmulhw mm5, qword ptr [tg_2_16] ; tm03*tg_2_16
  500.      movq mm7, mm4 ; 7 ; tp03
  502.     psubsw mm3, [x5] ; t5 = x[2] - x[5]
  503.      psubsw mm4, mm6 ; y4 = tp03 - tp12
  505.     movq [y2+8], mm1 ; 1 ; save y2
  506.      paddsw mm7, mm6 ; 6 ; y0 = tp03 + tp12
  507.      
  508.     movq mm1, [x3] ; 1 ; x3
  509.      psllw mm3, SHIFT_FRW_COL+1 ; t5
  511.     psubsw mm1, [x4] ; t4 = x[3] - x[4]
  512.      movq mm6, mm2 ; 6 ; t6
  513.     
  514.     movq [y4+8], mm4 ; 4 ; save y4
  515.      paddsw mm2, mm3 ; t6 + t5
  517.     pmulhw mm2, qword ptr [ocos_4_16] ; tp65 = (t6 + t5)*cos_4_16
  518.      psubsw mm6, mm3 ; 3 ; t6 - t5
  520.     pmulhw mm6, qword ptr [ocos_4_16] ; tm65 = (t6 - t5)*cos_4_16
  521.      psubsw mm5, mm0 ; 0 ; y6 = tm03*tg_2_16 - tm12
  523.     por mm5, qword ptr one_corr ; correction y6 +0.5
  524.      psllw mm1, SHIFT_FRW_COL ; t4
  526.     por mm2, qword ptr one_corr ; correction tp65 +0.5
  527.      movq mm4, mm1 ; 4 ; t4
  529.     movq mm3, [x0] ; 3 ; x0
  530.      paddsw mm1, mm6 ; tp465 = t4 + tm65
  532.     psubsw mm3, [x7] ; t7 = x[0] - x[7]
  533.      psubsw mm4, mm6 ; 6 ; tm465 = t4 - tm65
  535.     movq mm0, qword ptr [tg_1_16] ; 0 ; tg_1_16
  536.      psllw mm3, SHIFT_FRW_COL ; t7
  538.     movq mm6, qword ptr [tg_3_16] ; 6 ; tg_3_16
  539.      pmulhw mm0, mm1 ; tp465*tg_1_16
  541.     movq [y0+8], mm7 ; 7 ; save y0
  542.      pmulhw mm6, mm4 ; tm465*tg_3_16
  544.     movq [y6+8], mm5 ; 5 ; save y6
  545.      movq mm7, mm3 ; 7 ; t7
  547.     movq mm5, qword ptr [tg_3_16] ; 5 ; tg_3_16
  548.      psubsw mm7, mm2 ; tm765 = t7 - tp65
  550.     paddsw mm3, mm2 ; 2 ; tp765 = t7 + tp65
  551.      pmulhw mm5, mm7 ; tm765*tg_3_16
  553.     paddsw mm0, mm3 ; y1 = tp765 + tp465*tg_1_16
  554.      paddsw mm6, mm4 ; tm465*tg_3_16
  556.     pmulhw mm3, qword ptr [tg_1_16] ; tp765*tg_1_16
  557.      ;//
  559.     por mm0, qword ptr one_corr ; correction y1 +0.5
  560.      paddsw mm5, mm7 ; tm765*tg_3_16
  562.     psubsw mm7, mm6 ; 6 ; y3 = tm765 - tm465*tg_3_16
  563.      ;//
  565.     movq [y1+8], mm0 ; 0 ; save y1
  566.      paddsw mm5, mm4 ; 4 ; y5 = tm765*tg_3_16 + tm465
  568.     movq [y3+8], mm7 ; 7 ; save y3
  569.      psubsw mm3, mm1 ; 1 ; y7 = tp765*tg_1_16 - tp465
  571.     movq [y5+8], mm5 ; 5 ; save y5
  573.     movq [y7+8], mm3 ; 3 ; save y7
  575.   //   emms;
  576.   //  }   // end of forward_dct_col07() 
  577.     //  done with dct_col transform
  580.   ////////////////////////////////////////////////////////////////////////
  581.   //
  582.   // fdct_mmx32_rows() --
  583.   // the following subroutine performs the row-transform operation,
  584.   //
  585.   //  The output is stored into blk[], destroying the original
  586.   //  source data.
  588.   //  v1.01 - output is range-clipped to {-2048, +2047}
  590. mov INP, dword ptr [blk]; ;// row 0
  591.  mov edi, 0x08; //x = 8
  593. lea TABLE, dword ptr [tab_frw_01234567]; // row 0
  594.  mov OUT, INP;
  596. lea round_frw_row, dword ptr [r_frw_row];
  597. // for ( x = 8; x > 0; --x )  // transform 1 row per iteration
  599. // ---------- loop begin
  600.   lp_mmx_fdct_row1:
  601.     movd mm5, dword ptr [INP+12]; // mm5 = 7 6
  603.     punpcklwd mm5, dword ptr [INP+8] // mm5 =  5 7 4 6
  605.     movq mm2, mm5;     // mm2 = 5 7 4 6
  606.     psrlq mm5, 32;     // mm5 = _ _ 5 7
  608.     movq mm0, qword ptr [INP]; // mm0 = 3 2 1 0
  609.     punpcklwd mm5, mm2;// mm5 = 4 5 6 7
  611.     movq mm1, mm0;     // mm1 = 3 2 1 0
  612.     paddsw mm0, mm5;   // mm0 = [3+4, 2+5, 1+6, 0+7] (xt3, xt2, xt1, xt0)
  614.     psubsw mm1, mm5;   // mm1 = [3-4, 2-5, 1-6, 0-7] (xt7, xt6, xt5, xt4)
  615.     movq mm2, mm0;     // mm2 = [ xt3 xt2 xt1 xt0 ]
  617.     //movq [ xt3xt2xt1xt0 ], mm0; // debugging
  618.     //movq [ xt7xt6xt5xt4 ], mm1; // debugging
  620.     punpcklwd mm0, mm1;// mm0 = [ xt5 xt1 xt4 xt0 ]
  622.     punpckhwd mm2, mm1;// mm2 = [ xt7 xt3 xt6 xt2 ]
  623.     movq mm1, mm2;     // mm1
  625.     ;// shuffle bytes around
  627. //  movq mm0, qword ptr [INP] ; 0 ; x3 x2 x1 x0
  629. //  movq mm1, qword ptr [INP+8] ; 1 ; x7 x6 x5 x4
  630.     movq mm2, mm0 ; 2 ; x3 x2 x1 x0
  632.     movq mm3, qword ptr [TABLE] ; 3 ; w06 w04 w02 w00
  633.     punpcklwd mm0, mm1 ; x5 x1 x4 x0
  635.     movq mm5, mm0 ; 5 ; x5 x1 x4 x0
  636.     punpckldq mm0, mm0 ; x4 x0 x4 x0  [ xt2 xt0 xt2 xt0 ]
  638.     movq mm4, qword ptr [TABLE+8] ; 4 ; w07 w05 w03 w01
  639.     punpckhwd mm2, mm1 ; 1 ; x7 x3 x6 x2
  641.     pmaddwd mm3, mm0 ; x4*w06+x0*w04 x4*w02+x0*w00
  642.     movq mm6, mm2 ; 6 ; x7 x3 x6 x2
  644.     movq mm1, qword ptr [TABLE+32] ; 1 ; w22 w20 w18 w16
  645.     punpckldq mm2, mm2 ; x6 x2 x6 x2  [ xt3 xt1 xt3 xt1 ]
  647.     pmaddwd mm4, mm2 ; x6*w07+x2*w05 x6*w03+x2*w01
  648.     punpckhdq mm5, mm5 ; x5 x1 x5 x1  [ xt6 xt4 xt6 xt4 ]
  650.     pmaddwd mm0, qword ptr [TABLE+16] ; x4*w14+x0*w12 x4*w10+x0*w08
  651.     punpckhdq mm6, mm6 ; x7 x3 x7 x3  [ xt7 xt5 xt7 xt5 ]
  653.     movq mm7, qword ptr [TABLE+40] ; 7 ; w23 w21 w19 w17
  654.     pmaddwd mm1, mm5 ; x5*w22+x1*w20 x5*w18+x1*w16
  655. //mm3 = a1, a0 (y2,y0)
  656. //mm1 = b1, b0 (y3,y1)
  657. //mm0 = a3,a2  (y6,y4)
  658. //mm5 = b3,b2  (y7,y5)
  660.     paddd mm3, qword ptr [round_frw_row] ; +rounder (y2,y0)
  661.     pmaddwd mm7, mm6 ; x7*w23+x3*w21 x7*w19+x3*w17
  663.     pmaddwd mm2, qword ptr [TABLE+24] ; x6*w15+x2*w13 x6*w11+x2*w09
  664.     paddd mm3, mm4 ; 4 ; a1=sum(even1) a0=sum(even0) // now ( y2, y0)
  666.     pmaddwd mm5, qword ptr [TABLE+48] ; x5*w30+x1*w28 x5*w26+x1*w24
  667.     ;//
  669.     pmaddwd mm6, qword ptr [TABLE+56] ; x7*w31+x3*w29 x7*w27+x3*w25
  670.     paddd mm1, mm7 ; 7 ; b1=sum(odd1) b0=sum(odd0) // now ( y3, y1)
  672.     paddd mm0, qword ptr [round_frw_row] ; +rounder (y6,y4)
  673.     psrad mm3, SHIFT_FRW_ROW_CLIP1 ;// (y2, y0) 
  675.     paddd mm1, qword ptr [round_frw_row] ; +rounder (y3,y1)
  676.     paddd mm0, mm2 ; 2 ; a3=sum(even3) a2=sum(even2) // now (y6, y4)
  678.     paddd mm5, qword ptr [round_frw_row] ; +rounder (y7,y5)
  679.     psrad mm1, SHIFT_FRW_ROW_CLIP1 ;// y1=a1+b1 y0=a0+b0
  681.     paddd mm5, mm6 ; 6 ; b3=sum(odd3) b2=sum(odd2) // now ( y7, y5)
  682.     psrad mm0, SHIFT_FRW_ROW_CLIP1 ;//y3=a3+b3 y2=a2+b2
  684.     add OUT, 16;  // increment row-output address by 1 row
  685.     psrad mm5, SHIFT_FRW_ROW_CLIP1;// y4=a3-b3 y5=a2-b2
  687.     add INP, 16;  // increment row-address by 1 row
  688.     packssdw mm3, mm0 ;// 0 ; y6 y4 y2 y0, saturate {-32768,+32767}
  690.     packssdw mm1, mm5 ;// 3 ; y7 y5 y3 y1, saturate {-32768,+32767}
  691.     movq mm6, mm3;    // mm0 = y6 y4 y2 y0
  693.     punpcklwd mm3, mm1; // y3 y2 y1 y0
  694.     sub edi, 0x01;   // i = i - 1
  695.     
  696.     punpckhwd mm6, mm1; // y7 y6 y5 y4
  697.     add TABLE,64;  // increment to next table
  699.     psraw mm3, SHIFT_FRW_ROW_CLIP2;  // descale [y3 y2 y1 y0] to {-2048,+2047}
  701.     psraw mm6, SHIFT_FRW_ROW_CLIP2;  // descale [y7 y6 y5 y4] to {-2048,+2047}
  703.     movq qword ptr [OUT-16], mm3 ; 1 ; save y3 y2 y1 y0
  705.     movq qword ptr [OUT-8], mm6 ; 7 ; save y7 y6 y5 y4
  707.     cmp edi, 0x00;
  708.     jg lp_mmx_fdct_row1;  // begin fdct processing on next row
  709.     emms;
  710.     }
  711.     
  712. /*
  713.     ////////////////////////////////////////////////////////////////////////
  714.     //
  715.     // DCT_8_FRW_COL(), equivalent c_code
  716.     //
  717.     // This C-code can be substituted for the same __asm block
  718.     //
  719.     // I found several *DISCREPANCIES* between the AP-922 C-listing 
  720.     // and actual corrected code (shown below).
  721.     //
  722.     ////////////////////////////////////////////////////////////////////////
  724.     sptr = (short *) blk;
  725.     optr = (short *) blk; // output will overwrite source data!
  727.     for ( j = 0; j < 8; j=j+1 ) // dct_frw_col1 loop
  728.     {
  729.       // read source-data column #j into xt[0..7]
  730.       xt[7] = sptr[7*8];
  731.       xt[6] = sptr[6*8];
  732.       xt[5] = sptr[5*8];
  733.       xt[4] = sptr[4*8];
  735.       xt[3] = sptr[3*8];
  736.       xt[2] = sptr[2*8];
  737.       xt[1] = sptr[1*8];
  738.       xt[0] = sptr[0*8];
  739.  
  740. #define  LEFT_SHIFT( x ) ((x) << (SHIFT_FRW_COL) )   // left shift
  741. #define LEFT_SHIFT1( x ) ((x) << (SHIFT_FRW_COL+1) ) // left shift+1
  743.       t0 = LEFT_SHIFT ( xt[0] + xt[7] );
  744.       t1 = LEFT_SHIFT ( xt[1] + xt[6] );
  745.       t2 = LEFT_SHIFT ( xt[2] + xt[5] );
  746.       t3 = LEFT_SHIFT ( xt[3] + xt[4] );
  747.       t4 = LEFT_SHIFT ( xt[3] - xt[4] );
  748.       t5 = LEFT_SHIFT1( xt[2] - xt[5] ); // *** DISCREPANCY
  749.       t6 = LEFT_SHIFT1( xt[1] - xt[6] ); // *** DISCREPANCY
  750.       t7 = LEFT_SHIFT ( xt[0] - xt[7] );
  751.  
  752.       tp03 = t0 + t3;
  753.       tm03 = t0 - t3;
  754.       tp12 = t1 + t2;
  755.       tm12 = t1 - t2;
  757. // pmulhw/pmulhrw emulation macros 
  758. #define X86_PMULHW( X ) ((short) ( ((int)X)>>16 ))   //Intel MMX
  759. //#define X86_PMULHRW( X ) ((short) ( ( (((int)X)>>15)+1) >>1) ) //3DNow-MMX
  761.       optr[0*8] = tp03 + tp12;
  762.       optr[4*8] = tp03 - tp12;
  763.       optr[2*8] = tm03 + X86_PMULHW( tm12 * _tg_2_16 );
  764.       optr[2*8] = optr[2*8] | _one_corr; // one_correction
  765.       optr[6*8] = X86_PMULHW( tm03 * _tg_2_16 ) - tm12;
  766.       optr[6*8] = optr[6*8] | _one_corr; // one_correction
  767.  
  768.       tp65 = X86_PMULHW( (t6 +t5 )*_ocos_4_16 ); // *** DISCREPANCY
  769.       tp65 = tp65 | _one_corr; // one_correction
  770.       tm65 = X86_PMULHW( (t6 -t5 )*_ocos_4_16 ); // *** DISCREPANCY
  771.   
  772.       tp765 = t7 + tp65;
  773.       tm765 = t7 - tp65;
  774.       tp465 = t4 + tm65;
  775.       tm465 = t4 - tm65;
  776.  
  777.       optr[1*8]  = tp765 + X86_PMULHW( tp465 * _tg_1_16 );
  778.       optr[1*8]  = optr[1*8] | _one_corr; // one_correction
  779.       optr[7*8] = X86_PMULHW( tp765 * _tg_1_16 ) - tp465;
  781. //    optr[5*8] = X86_PMULHW( tm765 * _tg_3_16 ) + tm465; // *** DISCREPANCY
  782.       // from pg8 of AP-922,  ICONST = [ const*(2^16) + 0.5 ]
  783.       //                      const * x = PMULHW( ICONST,x ) + x
  784.       // The constant "tg_3_16" > 0.5, thus _tg_3_16 is encoded as tg_3_16-1.0
  785.       // optr[5*8] = X86_PMULHW( tm765 * ( tg_3_16 - 1.0 ) ) + tm465
  786.       //           = [tm765*tg_3_16 - tm765] + tm465
  787.       //
  788.       // optr[5*8] + tm765 = [ tm765*tg_3_16 ] + tm465 + tm765
  789.       //                   = [ tm765*tg_3_16 ] + tm465 <-- what we want
  791.       optr[5*8] = X86_PMULHW( tm765 * _tg_3_16 ) + tm465 + tm765;
  793. //    optr[3*8] = tm765 - X86_PMULHW( tm465 * _tg_3_16 ); // *** DISCREPANCY
  794.       // The following operations must be performed in the shown order!
  795.       // same trick (as shown for optr[5*8]) applies to optr[3*8]
  797.       optr[3*8] = X86_PMULHW( tm465 * _tg_3_16 ) + tm465;
  798.       optr[3*8] = tm765 - optr[3*8];
  800.     ++sptr;   // increment source pointer +1 column
  801.     ++optr;   // increment output pointer +1 column
  802.   } // end for ( j = 0 ..., end of C_equivalent code for forward_dct_col_1
  803.  
  804.     ////////////////////////////////////////////////////////////////////////
  805.     //
  806.     // DCT8_FRW_ROW1(), equivalent c_code
  807.     //
  808.     // This C-code can be substituted for the same __asm block
  809.     // For a derivation of this code, please read fdctmm32.doc
  810.     ////////////////////////////////////////////////////////////////////////
  812.     sptr = (short *) blk;
  813.     optr = (short *) blk; // output will overwrite source data!
  814.     tf = &tab_frw_01234567[ 0 ]; // fdct_row load table_forward_w
  816.     for ( j = 0; j < 8; j=j+1 ) // dct_frw_row1 loop
  817.     {
  818.         // forward_dct_row input arithmetic + shuffle
  819.         xt[3] = sptr[3] + sptr[4];
  820.         xt[2] = sptr[2] + sptr[5];
  821.         xt[1] = sptr[1] + sptr[6];
  822.         xt[0] = sptr[0] + sptr[7];
  824.         xt[7] = sptr[3] - sptr[4];
  825.         xt[6] = sptr[2] - sptr[5];
  826.         xt[5] = sptr[1] - sptr[6];
  827.         xt[4] = sptr[0] - sptr[7];
  828.   
  830.         a3 = ( xt[0]*tf[10]+ xt[2]*tf[11]) + ( xt[1]*tf[14]+ xt[3]*tf[15]);
  831.         a2 = ( xt[0]*tf[8] + xt[2]*tf[9] ) + ( xt[1]*tf[12]+ xt[3]*tf[13]);
  832.         a1 = ( xt[0]*tf[2] + xt[2]*tf[3] ) + ( xt[1]*tf[6] + xt[3]*tf[7] );
  833.         a0 = ( xt[0]*tf[0] + xt[2]*tf[1] ) + ( xt[1]*tf[4] + xt[3]*tf[5] );
  834.         tf += 16;  // increment table pointer
  836.         b3 = ( xt[4]*tf[10]+ xt[6]*tf[11]) + ( xt[5]*tf[14]+ xt[7]*tf[15]);
  837.         b2 = ( xt[4]*tf[8] + xt[6]*tf[9] ) + ( xt[5]*tf[12]+ xt[7]*tf[13]);
  838.         b1 = ( xt[4]*tf[2] + xt[6]*tf[3] ) + ( xt[5]*tf[6] + xt[7]*tf[7] );
  839.         b0 = ( xt[4]*tf[0] + xt[6]*tf[1] ) + ( xt[5]*tf[4] + xt[7]*tf[5] );
  840.         tf += 16;  // increment table pointer
  842.         // apply rounding constants to scaled elements
  843.         // note, in the MMX implementation, the shift&round is done *last.*
  844.         // Here, the C-code applies the shifts 1st, then the clipping.
  845. #define SHIFT_AND_ROUND_FRW_ROW( x )  ( ((x)+RND_FRW_ROW) >> SHIFT_FRW_ROW )
  847.         a3 = SHIFT_AND_ROUND_FRW_ROW( a3 );
  848.         a2 = SHIFT_AND_ROUND_FRW_ROW( a2 );
  849.         a1 = SHIFT_AND_ROUND_FRW_ROW( a1 );
  850.         a0 = SHIFT_AND_ROUND_FRW_ROW( a0 );
  852.         b3 = SHIFT_AND_ROUND_FRW_ROW( b3 );
  853.         b2 = SHIFT_AND_ROUND_FRW_ROW( b2 );
  854.         b1 = SHIFT_AND_ROUND_FRW_ROW( b1 );
  855.         b0 = SHIFT_AND_ROUND_FRW_ROW( b0 );
  857.         // v1.01, clip output results to range {-2048, +2047}
  859.         // In the MMX implementation, the "clipper" is integrated into
  860.         // the shift&round operation (thanks to packssdw)
  861.         a3 = (a3 > 2047) ?  2047 : a3; // ceiling @ +2047
  862.         a2 = (a2 > 2047) ?  2047 : a2; // ceiling @ +2047
  863.         a1 = (a1 > 2047) ?  2047 : a1; // ceiling @ +2047
  864.         a0 = (a0 > 2047) ?  2047 : a0; // ceiling @ +2047
  865.         b3 = (b3 > 2047) ?  2047 : b3; // ceiling @ +2047
  866.         b2 = (b2 > 2047) ?  2047 : b2; // ceiling @ +2047
  867.         b1 = (b1 > 2047) ?  2047 : b1; // ceiling @ +2047
  868.         b0 = (b0 > 2047) ?  2047 : b0; // ceiling @ +2047
  870.         a3 = (a3 <-2048) ? -2048 : a3; // floor   @ -2048
  871.         a2 = (a2 <-2048) ? -2048 : a2; // floor   @ -2048
  872.         a1 = (a1 <-2048) ? -2048 : a1; // floor   @ -2048
  873.         a0 = (a0 <-2048) ? -2048 : a0; // floor   @ -2048
  874.         b3 = (b3 <-2048) ? -2048 : b3; // floor   @ -2048
  875.         b2 = (b2 <-2048) ? -2048 : b2; // floor   @ -2048
  876.         b1 = (b1 <-2048) ? -2048 : b1; // floor   @ -2048
  877.         b0 = (b0 <-2048) ? -2048 : b0; // floor   @ -2048
  880.         // forward_dct_row, assign outputs
  881.         optr[ 3 ] = b1;
  882.         optr[ 2 ] = a1;
  883.         optr[ 1 ] = b0;
  884.         optr[ 0 ] = a0;
  886.         optr[ 7 ] = b3;
  887.         optr[ 6 ] = a3;
  888.         optr[ 5 ] = b2;
  889.         optr[ 4 ] = a2;
  891.         sptr += 8;   // increment source pointer +1 row
  892.         optr += 8;   // increment output pointer +1 row
  893.     } // end for ( j = 0 ..., end of C_equivalent code for forward_dct_row_1
  894.   */  
  895. } // fdct_mm32( short *blk )