开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 嵌入式/单片机编程 > Windows CE > 查看源码
dsputil_mmx_rnd.h
资源名称：tcpmp.rar　[点击查看]
上传用户：wstnjxml
上传日期：2014-04-03
资源大小：7248k
文件大小：16k
源码类别：

Windows CE

开发平台：

C/C++

dsputil_mmx_rnd.h：源码内容
  1. /*
  2.  * DSP utils mmx functions are compiled twice for rnd/no_rnd
  3.  * Copyright (c) 2000, 2001 Fabrice Bellard.
  4.  * Copyright (c) 2003-2004 Michael Niedermayer <michaelni@gmx.at>
  5.  *
  6.  * This library is free software; you can redistribute it and/or
  7.  * modify it under the terms of the GNU Lesser General Public
  8.  * License as published by the Free Software Foundation; either
  9.  * version 2 of the License, or (at your option) any later version.
  10.  *
  11.  * This library is distributed in the hope that it will be useful,
  12.  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13.  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14.  * Lesser General Public License for more details.
  15.  *
  16.  * You should have received a copy of the GNU Lesser General Public
  17.  * License along with this library; if not, write to the Free Software
  18.  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19.  *
  20.  * MMX optimization by Nick Kurshev <nickols_k@mail.ru>
  21.  * mostly rewritten by Michael Niedermayer <michaelni@gmx.at>
  22.  * and improved by Zdenek Kabelac <kabi@users.sf.net>
  23.  */
  25. // put_pixels
  26. static void DEF(put, pixels8_x2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  27. {
  28.     MOVQ_BFE(mm6);
  29.     __asm __volatile(
  30. "lea (%3, %3), %%"REG_a" nt"
  31. ".balign 8 nt"
  32. "1: nt"
  33. "movq (%1), %%mm0 nt"
  34. "movq 1(%1), %%mm1 nt"
  35. "movq (%1, %3), %%mm2 nt"
  36. "movq 1(%1, %3), %%mm3 nt"
  37. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  38. "movq %%mm4, (%2) nt"
  39. "movq %%mm5, (%2, %3) nt"
  40. "add %%"REG_a", %1 nt"
  41. "add %%"REG_a", %2 nt"
  42. "movq (%1), %%mm0 nt"
  43. "movq 1(%1), %%mm1 nt"
  44. "movq (%1, %3), %%mm2 nt"
  45. "movq 1(%1, %3), %%mm3 nt"
  46. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  47. "movq %%mm4, (%2) nt"
  48. "movq %%mm5, (%2, %3) nt"
  49. "add %%"REG_a", %1 nt"
  50. "add %%"REG_a", %2 nt"
  51. "subl $4, %0 nt"
  52. "jnz 1b nt"
  53. :"+g"(h), "+S"(pixels), "+D"(block)
  54. :"r"((long)line_size)
  55. :REG_a, "memory");
  56. }
  58. static void attribute_unused DEF(put, pixels8_l2)(uint8_t *dst, uint8_t *src1, uint8_t *src2, int dstStride, int src1Stride, int h)
  59. {
  60.     MOVQ_BFE(mm6);
  61.     __asm __volatile(
  62. "testl $1, %0 nt"
  63.         " jz 1f nt"
  64. "movq (%1), %%mm0 nt"
  65. "movq (%2), %%mm1 nt"
  66. "add %4, %1 nt"
  67. "add $8, %2 nt"
  68. PAVGB(%%mm0, %%mm1, %%mm4, %%mm6)
  69. "movq %%mm4, (%3) nt"
  70. "add %5, %3 nt"
  71.         "decl %0 nt"
  72. ".balign 8 nt"
  73. "1: nt"
  74. "movq (%1), %%mm0 nt"
  75. "movq (%2), %%mm1 nt"
  76. "add %4, %1 nt"
  77. "movq (%1), %%mm2 nt"
  78. "movq 8(%2), %%mm3 nt"
  79. "add %4, %1 nt"
  80. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  81. "movq %%mm4, (%3) nt"
  82. "add %5, %3 nt"
  83. "movq %%mm5, (%3) nt"
  84. "add %5, %3 nt"
  85. "movq (%1), %%mm0 nt"
  86. "movq 16(%2), %%mm1 nt"
  87. "add %4, %1 nt"
  88. "movq (%1), %%mm2 nt"
  89. "movq 24(%2), %%mm3 nt"
  90. "add %4, %1 nt"
  91. "add $32, %2 nt"
  92. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  93. "movq %%mm4, (%3) nt"
  94. "add %5, %3 nt"
  95. "movq %%mm5, (%3) nt"
  96. "add %5, %3 nt"
  97. "subl $4, %0 nt"
  98. "jnz 1b nt"
  99. #ifdef PIC //Note "+bm" and "+mb" are buggy too (with gcc 3.2.2 at least) and cant be used
  100.         :"+m"(h), "+a"(src1), "+c"(src2), "+d"(dst)
  101. #else
  102.         :"+b"(h), "+a"(src1), "+c"(src2), "+d"(dst)
  103. #endif
  104. :"S"((long)src1Stride), "D"((long)dstStride)
  105. :"memory");
  106. }
  108. static void DEF(put, pixels16_x2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  109. {
  110.     MOVQ_BFE(mm6);
  111.     __asm __volatile(
  112. "lea (%3, %3), %%"REG_a" nt"
  113. ".balign 8 nt"
  114. "1: nt"
  115. "movq (%1), %%mm0 nt"
  116. "movq 1(%1), %%mm1 nt"
  117. "movq (%1, %3), %%mm2 nt"
  118. "movq 1(%1, %3), %%mm3 nt"
  119. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  120. "movq %%mm4, (%2) nt"
  121. "movq %%mm5, (%2, %3) nt"
  122. "movq 8(%1), %%mm0 nt"
  123. "movq 9(%1), %%mm1 nt"
  124. "movq 8(%1, %3), %%mm2 nt"
  125. "movq 9(%1, %3), %%mm3 nt"
  126. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  127. "movq %%mm4, 8(%2) nt"
  128. "movq %%mm5, 8(%2, %3) nt"
  129. "add %%"REG_a", %1 nt"
  130. "add %%"REG_a", %2 nt"
  131. "movq (%1), %%mm0 nt"
  132. "movq 1(%1), %%mm1 nt"
  133. "movq (%1, %3), %%mm2 nt"
  134. "movq 1(%1, %3), %%mm3 nt"
  135. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  136. "movq %%mm4, (%2) nt"
  137. "movq %%mm5, (%2, %3) nt"
  138. "movq 8(%1), %%mm0 nt"
  139. "movq 9(%1), %%mm1 nt"
  140. "movq 8(%1, %3), %%mm2 nt"
  141. "movq 9(%1, %3), %%mm3 nt"
  142. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  143. "movq %%mm4, 8(%2) nt"
  144. "movq %%mm5, 8(%2, %3) nt"
  145. "add %%"REG_a", %1 nt"
  146. "add %%"REG_a", %2 nt"
  147. "subl $4, %0 nt"
  148. "jnz 1b nt"
  149. :"+g"(h), "+S"(pixels), "+D"(block)
  150. :"r"((long)line_size)
  151. :REG_a, "memory");
  152. }
  154. static void attribute_unused DEF(put, pixels16_l2)(uint8_t *dst, uint8_t *src1, uint8_t *src2, int dstStride, int src1Stride, int h)
  155. {
  156.     MOVQ_BFE(mm6);
  157.     __asm __volatile(
  158. "testl $1, %0 nt"
  159.         " jz 1f nt"
  160. "movq (%1), %%mm0 nt"
  161. "movq (%2), %%mm1 nt"
  162. "movq 8(%1), %%mm2 nt"
  163. "movq 8(%2), %%mm3 nt"
  164. "add %4, %1 nt"
  165. "add $16, %2 nt"
  166. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  167. "movq %%mm4, (%3) nt"
  168. "movq %%mm5, 8(%3) nt"
  169. "add %5, %3 nt"
  170. "decl %0 nt"
  171. ".balign 8 nt"
  172. "1: nt"
  173. "movq (%1), %%mm0 nt"
  174. "movq (%2), %%mm1 nt"
  175. "movq 8(%1), %%mm2 nt"
  176. "movq 8(%2), %%mm3 nt"
  177. "add %4, %1 nt"
  178. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  179. "movq %%mm4, (%3) nt"
  180. "movq %%mm5, 8(%3) nt"
  181. "add %5, %3 nt"
  182. "movq (%1), %%mm0 nt"
  183. "movq 16(%2), %%mm1 nt"
  184. "movq 8(%1), %%mm2 nt"
  185. "movq 24(%2), %%mm3 nt"
  186. "add %4, %1 nt"
  187. PAVGBP(%%mm0, %%mm1, %%mm4,   %%mm2, %%mm3, %%mm5)
  188. "movq %%mm4, (%3) nt"
  189. "movq %%mm5, 8(%3) nt"
  190. "add %5, %3 nt"
  191. "add $32, %2 nt"
  192. "subl $2, %0 nt"
  193. "jnz 1b nt"
  194. #ifdef PIC //Note "+bm" and "+mb" are buggy too (with gcc 3.2.2 at least) and cant be used
  195. :"+m"(h), "+a"(src1), "+c"(src2), "+d"(dst)
  196. #else
  197. :"+b"(h), "+a"(src1), "+c"(src2), "+d"(dst)
  198. #endif
  199. :"S"((long)src1Stride), "D"((long)dstStride)
  200. :"memory"); 
  201. }
  203. static void DEF(put, pixels8_y2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  204. {
  205.     MOVQ_BFE(mm6);
  206.     __asm __volatile(
  207. "lea (%3, %3), %%"REG_a" nt"
  208. "movq (%1), %%mm0 nt"
  209. ".balign 8 nt"
  210. "1: nt"
  211. "movq (%1, %3), %%mm1 nt"
  212. "movq (%1, %%"REG_a"),%%mm2 nt"
  213. PAVGBP(%%mm1, %%mm0, %%mm4,   %%mm2, %%mm1, %%mm5)
  214. "movq %%mm4, (%2) nt"
  215. "movq %%mm5, (%2, %3) nt"
  216. "add %%"REG_a", %1 nt"
  217. "add %%"REG_a", %2 nt"
  218. "movq (%1, %3), %%mm1 nt"
  219. "movq (%1, %%"REG_a"),%%mm0 nt"
  220. PAVGBP(%%mm1, %%mm2, %%mm4,   %%mm0, %%mm1, %%mm5)
  221. "movq %%mm4, (%2) nt"
  222. "movq %%mm5, (%2, %3) nt"
  223. "add %%"REG_a", %1 nt"
  224. "add %%"REG_a", %2 nt"
  225. "subl $4, %0 nt"
  226. "jnz 1b nt"
  227. :"+g"(h), "+S"(pixels), "+D"(block)
  228. :"r"((long)line_size)
  229. :REG_a, "memory");
  230. }
  232. static void DEF(put, pixels8_xy2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  233. {
  234.     MOVQ_ZERO(mm7);
  235.     SET_RND(mm6); // =2 for rnd  and  =1 for no_rnd version
  236.     __asm __volatile(
  237. "movq (%1), %%mm0 nt"
  238. "movq 1(%1), %%mm4 nt"
  239. "movq %%mm0, %%mm1 nt"
  240. "movq %%mm4, %%mm5 nt"
  241. "punpcklbw %%mm7, %%mm0 nt"
  242. "punpcklbw %%mm7, %%mm4 nt"
  243. "punpckhbw %%mm7, %%mm1 nt"
  244. "punpckhbw %%mm7, %%mm5 nt"
  245. "paddusw %%mm0, %%mm4 nt"
  246. "paddusw %%mm1, %%mm5 nt"
  247. "xor %%"REG_a", %%"REG_a" nt"
  248. "add %3, %1 nt"
  249. ".balign 8       nt"
  250. "1: nt"
  251. "movq (%1, %%"REG_a"), %%mm0 nt"
  252. "movq 1(%1, %%"REG_a"), %%mm2 nt"
  253. "movq %%mm0, %%mm1 nt"
  254. "movq %%mm2, %%mm3 nt"
  255. "punpcklbw %%mm7, %%mm0 nt"
  256. "punpcklbw %%mm7, %%mm2 nt"
  257. "punpckhbw %%mm7, %%mm1 nt"
  258. "punpckhbw %%mm7, %%mm3 nt"
  259. "paddusw %%mm2, %%mm0   nt"
  260. "paddusw %%mm3, %%mm1 nt"
  261. "paddusw %%mm6, %%mm4 nt"
  262. "paddusw %%mm6, %%mm5 nt"
  263. "paddusw %%mm0, %%mm4 nt"
  264. "paddusw %%mm1, %%mm5 nt"
  265. "psrlw $2, %%mm4 nt"
  266. "psrlw $2, %%mm5 nt"
  267. "packuswb  %%mm5, %%mm4 nt"
  268. "movq %%mm4, (%2, %%"REG_a") nt"
  269. "add %3, %%"REG_a" nt"
  271. "movq (%1, %%"REG_a"), %%mm2 nt" // 0 <-> 2   1 <-> 3
  272. "movq 1(%1, %%"REG_a"), %%mm4 nt"
  273. "movq %%mm2, %%mm3 nt"
  274. "movq %%mm4, %%mm5 nt"
  275. "punpcklbw %%mm7, %%mm2 nt"
  276. "punpcklbw %%mm7, %%mm4 nt"
  277. "punpckhbw %%mm7, %%mm3 nt"
  278. "punpckhbw %%mm7, %%mm5 nt"
  279. "paddusw %%mm2, %%mm4   nt"
  280. "paddusw %%mm3, %%mm5 nt"
  281. "paddusw %%mm6, %%mm0 nt"
  282. "paddusw %%mm6, %%mm1 nt"
  283. "paddusw %%mm4, %%mm0 nt"
  284. "paddusw %%mm5, %%mm1 nt"
  285. "psrlw $2, %%mm0 nt"
  286. "psrlw $2, %%mm1 nt"
  287. "packuswb  %%mm1, %%mm0 nt"
  288. "movq %%mm0, (%2, %%"REG_a") nt"
  289. "add %3, %%"REG_a" nt"
  291. "subl $2, %0 nt"
  292. "jnz 1b nt"
  293. :"+g"(h), "+S"(pixels)
  294. :"D"(block), "r"((long)line_size)
  295. :REG_a, "memory");
  296. }
  298. // avg_pixels
  299. static void attribute_unused DEF(avg, pixels4)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  300. {
  301.     MOVQ_BFE(mm6);
  302.     JUMPALIGN();
  303.     do {
  304. __asm __volatile(
  305.      "movd  %0, %%mm0 nt"
  306.      "movd  %1, %%mm1 nt"
  307.      PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  308.      "movd  %%mm2, %0 nt"
  309.      :"+m"(*block)
  310.      :"m"(*pixels)
  311.      :"memory");
  312. pixels += line_size;
  313. block += line_size;
  314.     }
  315.     while (--h);
  316. }
  318. // in case more speed is needed - unroling would certainly help
  319. static void DEF(avg, pixels8)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  320. {
  321.     MOVQ_BFE(mm6);
  322.     JUMPALIGN();
  323.     do {
  324. __asm __volatile(
  325.      "movq  %0, %%mm0 nt"
  326.      "movq  %1, %%mm1 nt"
  327.      PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  328.      "movq  %%mm2, %0 nt"
  329.      :"+m"(*block)
  330.      :"m"(*pixels)
  331.      :"memory");
  332. pixels += line_size;
  333. block += line_size;
  334.     }
  335.     while (--h);
  336. }
  338. static void DEF(avg, pixels16)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  339. {
  340.     MOVQ_BFE(mm6);
  341.     JUMPALIGN();
  342.     do {
  343. __asm __volatile(
  344.      "movq  %0, %%mm0 nt"
  345.      "movq  %1, %%mm1 nt"
  346.      PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  347.      "movq  %%mm2, %0 nt"
  348.      "movq  8%0, %%mm0 nt"
  349.      "movq  8%1, %%mm1 nt"
  350.      PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  351.      "movq  %%mm2, 8%0 nt"
  352.      :"+m"(*block)
  353.      :"m"(*pixels)
  354.      :"memory");
  355. pixels += line_size;
  356. block += line_size;
  357.     }
  358.     while (--h);
  359. }
  361. static void DEF(avg, pixels8_x2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  362. {
  363.     MOVQ_BFE(mm6);
  364.     JUMPALIGN();
  365.     do {
  366. __asm __volatile(
  367.     "movq  %1, %%mm0 nt"
  368.     "movq  1%1, %%mm1 nt"
  369.     "movq  %0, %%mm3 nt"
  370.     PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  371.     PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
  372.     "movq  %%mm0, %0 nt"
  373.     :"+m"(*block)
  374.     :"m"(*pixels)
  375.     :"memory");
  376. pixels += line_size;
  377. block += line_size;
  378.     } while (--h);
  379. }
  381. static __attribute__((unused)) void DEF(avg, pixels8_l2)(uint8_t *dst, uint8_t *src1, uint8_t *src2, int dstStride, int src1Stride, int h)
  382. {
  383.     MOVQ_BFE(mm6);
  384.     JUMPALIGN();
  385.     do {
  386. __asm __volatile(
  387.     "movq  %1, %%mm0 nt"
  388.     "movq  %2, %%mm1 nt"
  389.     "movq  %0, %%mm3 nt"
  390.     PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  391.     PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
  392.     "movq  %%mm0, %0 nt"
  393.     :"+m"(*dst)
  394.     :"m"(*src1), "m"(*src2)
  395.     :"memory");
  396. dst += dstStride;
  397.         src1 += src1Stride;
  398.         src2 += 8;
  399.     } while (--h);
  400. }
  402. static void DEF(avg, pixels16_x2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  403. {
  404.     MOVQ_BFE(mm6);
  405.     JUMPALIGN();
  406.     do {
  407. __asm __volatile(
  408.     "movq  %1, %%mm0 nt"
  409.     "movq  1%1, %%mm1 nt"
  410.     "movq  %0, %%mm3 nt"
  411.     PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  412.     PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
  413.     "movq  %%mm0, %0 nt"
  414.     "movq  8%1, %%mm0 nt"
  415.     "movq  9%1, %%mm1 nt"
  416.     "movq  8%0, %%mm3 nt"
  417.     PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  418.     PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
  419.     "movq  %%mm0, 8%0 nt"
  420.     :"+m"(*block)
  421.     :"m"(*pixels)
  422.     :"memory");
  423. pixels += line_size;
  424. block += line_size;
  425.     } while (--h);
  426. }
  428. static __attribute__((unused)) void DEF(avg, pixels16_l2)(uint8_t *dst, uint8_t *src1, uint8_t *src2, int dstStride, int src1Stride, int h)
  429. {
  430.     MOVQ_BFE(mm6);
  431.     JUMPALIGN();
  432.     do {
  433. __asm __volatile(
  434.     "movq  %1, %%mm0 nt"
  435.     "movq  %2, %%mm1 nt"
  436.     "movq  %0, %%mm3 nt"
  437.     PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  438.     PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
  439.     "movq  %%mm0, %0 nt"
  440.     "movq  8%1, %%mm0 nt"
  441.     "movq  8%2, %%mm1 nt"
  442.     "movq  8%0, %%mm3 nt"
  443.     PAVGB(%%mm0, %%mm1, %%mm2, %%mm6)
  444.     PAVGB(%%mm3, %%mm2, %%mm0, %%mm6)
  445.     "movq  %%mm0, 8%0 nt"
  446.     :"+m"(*dst)
  447.     :"m"(*src1), "m"(*src2)
  448.     :"memory");
  449. dst += dstStride;
  450.         src1 += src1Stride;
  451.         src2 += 16;
  452.     } while (--h);
  453. }
  455. static void DEF(avg, pixels8_y2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  456. {
  457.     MOVQ_BFE(mm6);
  458.     __asm __volatile(
  459. "lea (%3, %3), %%"REG_a" nt"
  460. "movq (%1), %%mm0 nt"
  461. ".balign 8 nt"
  462. "1: nt"
  463. "movq (%1, %3), %%mm1 nt"
  464. "movq (%1, %%"REG_a"), %%mm2 nt"
  465. PAVGBP(%%mm1, %%mm0, %%mm4,   %%mm2, %%mm1, %%mm5)
  466. "movq (%2), %%mm3 nt"
  467. PAVGB(%%mm3, %%mm4, %%mm0, %%mm6)
  468. "movq (%2, %3), %%mm3 nt"
  469. PAVGB(%%mm3, %%mm5, %%mm1, %%mm6)
  470. "movq %%mm0, (%2) nt"
  471. "movq %%mm1, (%2, %3) nt"
  472. "add %%"REG_a", %1 nt"
  473. "add %%"REG_a", %2 nt"
  475. "movq (%1, %3), %%mm1 nt"
  476. "movq (%1, %%"REG_a"), %%mm0 nt"
  477. PAVGBP(%%mm1, %%mm2, %%mm4,   %%mm0, %%mm1, %%mm5)
  478. "movq (%2), %%mm3 nt"
  479. PAVGB(%%mm3, %%mm4, %%mm2, %%mm6)
  480. "movq (%2, %3), %%mm3 nt"
  481. PAVGB(%%mm3, %%mm5, %%mm1, %%mm6)
  482. "movq %%mm2, (%2) nt"
  483. "movq %%mm1, (%2, %3) nt"
  484. "add %%"REG_a", %1 nt"
  485. "add %%"REG_a", %2 nt"
  487. "subl $4, %0 nt"
  488. "jnz 1b nt"
  489. :"+g"(h), "+S"(pixels), "+D"(block)
  490. :"r"((long)line_size)
  491. :REG_a, "memory");
  492. }
  494. // this routine is 'slightly' suboptimal but mostly unused
  495. static void DEF(avg, pixels8_xy2)(uint8_t *block, const uint8_t *pixels, int line_size, int h)
  496. {
  497.     MOVQ_ZERO(mm7);
  498.     SET_RND(mm6); // =2 for rnd  and  =1 for no_rnd version
  499.     __asm __volatile(
  500. "movq (%1), %%mm0 nt"
  501. "movq 1(%1), %%mm4 nt"
  502. "movq %%mm0, %%mm1 nt"
  503. "movq %%mm4, %%mm5 nt"
  504. "punpcklbw %%mm7, %%mm0 nt"
  505. "punpcklbw %%mm7, %%mm4 nt"
  506. "punpckhbw %%mm7, %%mm1 nt"
  507. "punpckhbw %%mm7, %%mm5 nt"
  508. "paddusw %%mm0, %%mm4 nt"
  509. "paddusw %%mm1, %%mm5 nt"
  510. "xor %%"REG_a", %%"REG_a" nt"
  511. "add %3, %1 nt"
  512. ".balign 8 nt"
  513. "1: nt"
  514. "movq (%1, %%"REG_a"), %%mm0 nt"
  515. "movq 1(%1, %%"REG_a"), %%mm2 nt"
  516. "movq %%mm0, %%mm1 nt"
  517. "movq %%mm2, %%mm3 nt"
  518. "punpcklbw %%mm7, %%mm0 nt"
  519. "punpcklbw %%mm7, %%mm2 nt"
  520. "punpckhbw %%mm7, %%mm1 nt"
  521. "punpckhbw %%mm7, %%mm3 nt"
  522. "paddusw %%mm2, %%mm0   nt"
  523. "paddusw %%mm3, %%mm1 nt"
  524. "paddusw %%mm6, %%mm4 nt"
  525. "paddusw %%mm6, %%mm5 nt"
  526. "paddusw %%mm0, %%mm4 nt"
  527. "paddusw %%mm1, %%mm5 nt"
  528. "psrlw $2, %%mm4 nt"
  529. "psrlw $2, %%mm5 nt"
  530. "movq (%2, %%"REG_a"), %%mm3 nt"
  531. "packuswb  %%mm5, %%mm4 nt"
  532. "pcmpeqd %%mm2, %%mm2 nt"
  533. "paddb %%mm2, %%mm2 nt"
  534. PAVGB(%%mm3, %%mm4, %%mm5, %%mm2)
  535. "movq %%mm5, (%2, %%"REG_a") nt"
  536. "add %3, %%"REG_a" nt"
  538. "movq (%1, %%"REG_a"), %%mm2 nt" // 0 <-> 2   1 <-> 3
  539. "movq 1(%1, %%"REG_a"), %%mm4 nt"
  540. "movq %%mm2, %%mm3 nt"
  541. "movq %%mm4, %%mm5 nt"
  542. "punpcklbw %%mm7, %%mm2 nt"
  543. "punpcklbw %%mm7, %%mm4 nt"
  544. "punpckhbw %%mm7, %%mm3 nt"
  545. "punpckhbw %%mm7, %%mm5 nt"
  546. "paddusw %%mm2, %%mm4   nt"
  547. "paddusw %%mm3, %%mm5 nt"
  548. "paddusw %%mm6, %%mm0 nt"
  549. "paddusw %%mm6, %%mm1 nt"
  550. "paddusw %%mm4, %%mm0 nt"
  551. "paddusw %%mm5, %%mm1 nt"
  552. "psrlw $2, %%mm0 nt"
  553. "psrlw $2, %%mm1 nt"
  554. "movq (%2, %%"REG_a"), %%mm3 nt"
  555. "packuswb  %%mm1, %%mm0 nt"
  556. "pcmpeqd %%mm2, %%mm2 nt"
  557. "paddb %%mm2, %%mm2 nt"
  558. PAVGB(%%mm3, %%mm0, %%mm1, %%mm2)
  559. "movq %%mm1, (%2, %%"REG_a") nt"
  560. "add %3, %%"REG_a" nt"
  562. "subl $2, %0 nt"
  563. "jnz 1b nt"
  564. :"+g"(h), "+S"(pixels)
  565. :"D"(block), "r"((long)line_size)
  566. :REG_a, "memory");
  567. }
  569. //FIXME optimize
  570. static void DEF(put, pixels16_y2)(uint8_t *block, const uint8_t *pixels, int line_size, int h){
  571.     DEF(put, pixels8_y2)(block  , pixels  , line_size, h);
  572.     DEF(put, pixels8_y2)(block+8, pixels+8, line_size, h);
  573. }
  575. static void DEF(put, pixels16_xy2)(uint8_t *block, const uint8_t *pixels, int line_size, int h){
  576.     DEF(put, pixels8_xy2)(block  , pixels  , line_size, h);
  577.     DEF(put, pixels8_xy2)(block+8, pixels+8, line_size, h);
  578. }
  580. static void DEF(avg, pixels16_y2)(uint8_t *block, const uint8_t *pixels, int line_size, int h){
  581.     DEF(avg, pixels8_y2)(block  , pixels  , line_size, h);
  582.     DEF(avg, pixels8_y2)(block+8, pixels+8, line_size, h);
  583. }
  585. static void DEF(avg, pixels16_xy2)(uint8_t *block, const uint8_t *pixels, int line_size, int h){
  586.     DEF(avg, pixels8_xy2)(block  , pixels  , line_size, h);
  587.     DEF(avg, pixels8_xy2)(block+8, pixels+8, line_size, h);
  588. }