开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 嵌入式/单片机编程 > Windows CE > 查看源码
dsputil_iwmmxt_rnd.h
资源名称：tcpmp.rar　[点击查看]
上传用户：wstnjxml
上传日期：2014-04-03
资源大小：7248k
文件大小：46k
源码类别：

Windows CE

开发平台：

C/C++

dsputil_iwmmxt_rnd.h：源码内容
  1. void DEF(put, pixels8)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  2. {
  3.     int stride = line_size;
  4.     __asm__ __volatile__ (
  5.         "and r12, %[pixels], #7 nt"
  6.         "bic %[pixels], %[pixels], #7 nt"
  7.         "tmcr wcgr1, r12 nt"
  8.         "add r4, %[pixels], %[line_size] nt"
  9.         "add r5, %[block], %[line_size] nt"
  10.         "mov %[line_size], %[line_size], lsl #1 nt"
  11.         "1: nt"
  12.         "wldrd wr0, [%[pixels]] nt"
  13.         "subs %[h], %[h], #2 nt"
  14.         "wldrd wr1, [%[pixels], #8] nt"
  15.         "add %[pixels], %[pixels], %[line_size] nt"
  16.         "wldrd wr3, [r4] nt"
  17.         "pld [%[pixels]] nt"
  18.         "pld [%[pixels], #32] nt"
  19.         "wldrd wr4, [r4, #8] nt"
  20.         "add r4, r4, %[line_size] nt"
  21.         "walignr1 wr8, wr0, wr1 nt"
  22.         "pld [r4] nt"
  23.         "pld [r4, #32] nt"
  24.         "walignr1 wr10, wr3, wr4 nt"
  25.         "wstrd wr8, [%[block]] nt"
  26.         "add %[block], %[block], %[line_size] nt"
  27.         "wstrd wr10, [r5] nt"
  28.         "add r5, r5, %[line_size] nt"
  29.         "bne 1b nt"
  30.         : [block]"+r"(block), [pixels]"+r"(pixels), [line_size]"+r"(stride), [h]"+r"(h)
  31.         :
  32.         : "memory", "r4", "r5", "r12");
  33. }
  35. void DEF(avg, pixels8)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  36. {
  37.     int stride = line_size;
  38.     __asm__ __volatile__ (
  39.         "and r12, %[pixels], #7 nt"
  40.         "bic %[pixels], %[pixels], #7 nt"
  41.         "tmcr wcgr1, r12 nt"
  42.         "add r4, %[pixels], %[line_size] nt"
  43.         "add r5, %[block], %[line_size] nt"
  44.         "mov %[line_size], %[line_size], lsl #1 nt"
  45.         "1: nt"
  46.         "wldrd wr0, [%[pixels]] nt"
  47.         "subs %[h], %[h], #2 nt"
  48.         "wldrd wr1, [%[pixels], #8] nt"
  49.         "add %[pixels], %[pixels], %[line_size] nt"
  50.         "wldrd wr3, [r4] nt"
  51.         "pld [%[pixels]] nt"
  52.         "pld [%[pixels], #32] nt"
  53.         "wldrd wr4, [r4, #8] nt"
  54.         "add r4, r4, %[line_size] nt"
  55.         "walignr1 wr8, wr0, wr1 nt"
  56.         "wldrd wr0, [%[block]] nt"
  57.         "wldrd wr2, [r5] nt"
  58.         "pld [r4] nt"
  59.         "pld [r4, #32] nt"
  60.         "walignr1 wr10, wr3, wr4 nt"
  61.         WAVG2B" wr8, wr8, wr0 nt"
  62.         WAVG2B" wr10, wr10, wr2 nt"
  63.         "wstrd wr8, [%[block]] nt"
  64.         "add %[block], %[block], %[line_size] nt"
  65.         "wstrd wr10, [r5] nt"
  66.         "pld [%[block]] nt"
  67.         "pld [%[block], #32] nt"
  68.         "add r5, r5, %[line_size] nt"
  69.         "pld [r5] nt"
  70.         "pld [r5, #32] nt"
  71.         "bne 1b nt"
  72.         : [block]"+r"(block), [pixels]"+r"(pixels), [line_size]"+r"(stride), [h]"+r"(h)
  73.         :
  74.         : "memory", "r4", "r5", "r12");
  75. }
  77. void DEF(put, pixels16)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  78. {
  79.     int stride = line_size;
  80.     __asm__ __volatile__ (
  81.         "and r12, %[pixels], #7 nt"
  82.         "bic %[pixels], %[pixels], #7 nt"
  83.         "tmcr wcgr1, r12 nt"
  84.         "add r4, %[pixels], %[line_size] nt"
  85.         "add r5, %[block], %[line_size] nt"
  86.         "mov %[line_size], %[line_size], lsl #1 nt"
  87.         "1: nt"
  88.         "wldrd wr0, [%[pixels]] nt"
  89.         "wldrd wr1, [%[pixels], #8] nt"
  90.         "subs %[h], %[h], #2 nt"
  91.         "wldrd wr2, [%[pixels], #16] nt"
  92.         "add %[pixels], %[pixels], %[line_size] nt"
  93.         "wldrd wr3, [r4] nt"
  94.         "pld [%[pixels]] nt"
  95.         "pld [%[pixels], #32] nt"
  96.         "walignr1 wr8, wr0, wr1 nt"
  97.         "wldrd wr4, [r4, #8] nt"
  98.         "walignr1 wr9, wr1, wr2 nt"
  99.         "wldrd wr5, [r4, #16] nt"
  100.         "add r4, r4, %[line_size] nt"
  101.         "pld [r4] nt"
  102.         "pld [r4, #32] nt"
  103.         "walignr1 wr10, wr3, wr4 nt"
  104.         "wstrd wr8, [%[block]] nt"
  105.         "walignr1 wr11, wr4, wr5 nt"
  106.         "wstrd wr9, [%[block], #8] nt"
  107.         "add %[block], %[block], %[line_size] nt"
  108.         "wstrd wr10, [r5] nt"
  109.         "wstrd wr11, [r5, #8] nt"
  110.         "add r5, r5, %[line_size] nt"
  111.         "bne 1b nt"
  112.         : [block]"+r"(block), [pixels]"+r"(pixels), [line_size]"+r"(stride), [h]"+r"(h)
  113.         :
  114.         : "memory", "r4", "r5", "r12");
  115. }
  117. void DEF(avg, pixels16)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  118. {
  119.     int stride = line_size;
  120.     __asm__ __volatile__ (
  121.         "pld [%[pixels]]                nt"
  122.         "pld [%[pixels], #32]           nt"
  123.         "pld [%[block]]                 nt"
  124.         "pld [%[block], #32]            nt"
  125.         "and r12, %[pixels], #7         nt"
  126.         "bic %[pixels], %[pixels], #7   nt"
  127.         "tmcr wcgr1, r12                nt"
  128.         "add r4, %[pixels], %[line_size]nt"
  129.         "add r5, %[block], %[line_size] nt"
  130.         "mov %[line_size], %[line_size], lsl #1 nt"
  131.         "1:                             nt"
  132.         "wldrd wr0, [%[pixels]]         nt"
  133.         "wldrd wr1, [%[pixels], #8]     nt"
  134.         "subs %[h], %[h], #2            nt"
  135.         "wldrd wr2, [%[pixels], #16]    nt"
  136.         "add %[pixels], %[pixels], %[line_size] nt"
  137.         "wldrd wr3, [r4]                nt"
  138.         "pld [%[pixels]]                nt"
  139.         "pld [%[pixels], #32]           nt"
  140.         "walignr1 wr8, wr0, wr1         nt"
  141.         "wldrd wr4, [r4, #8]            nt"
  142.         "walignr1 wr9, wr1, wr2         nt"
  143.         "wldrd wr5, [r4, #16]           nt"
  144.         "add r4, r4, %[line_size]       nt"
  145.         "wldrd wr0, [%[block]]          nt"
  146.         "pld [r4]                       nt"
  147.         "wldrd wr1, [%[block], #8]      nt"
  148.         "pld [r4, #32]                  nt"
  149.         "wldrd wr2, [r5]                nt"
  150.         "walignr1 wr10, wr3, wr4        nt"
  151.         "wldrd wr3, [r5, #8]            nt"
  152.         WAVG2B" wr8, wr8, wr0           nt"
  153.         WAVG2B" wr9, wr9, wr1           nt"
  154.         WAVG2B" wr10, wr10, wr2         nt"
  155.         "wstrd wr8, [%[block]]          nt"
  156.         "walignr1 wr11, wr4, wr5        nt"
  157.         WAVG2B" wr11, wr11, wr3         nt"
  158.         "wstrd wr9, [%[block], #8]      nt"
  159.         "add %[block], %[block], %[line_size] nt"
  160.         "wstrd wr10, [r5]               nt"
  161.         "pld [%[block]]                 nt"
  162.         "pld [%[block], #32]            nt"
  163.         "wstrd wr11, [r5, #8]           nt"
  164.         "add r5, r5, %[line_size]       nt"
  165.         "pld [r5]                       nt"
  166.         "pld [r5, #32]                  nt"
  167.         "bne 1b nt"
  168.         : [block]"+r"(block), [pixels]"+r"(pixels), [line_size]"+r"(stride), [h]"+r"(h)
  169.         :
  170.         : "memory", "r4", "r5", "r12");
  171. }
  173. void DEF(put, pixels8_x2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  174. {
  175.     int stride = line_size;
  176.     // [wr0 wr1 wr2 wr3] for previous line
  177.     // [wr4 wr5 wr6 wr7] for current line
  178.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  179.     __asm__ __volatile__(
  180.         "pld [%[pixels]]                nt"
  181.         "pld [%[pixels], #32]           nt"
  182.         "and r12, %[pixels], #7         nt"
  183.         "bic %[pixels], %[pixels], #7   nt"
  184.         "tmcr wcgr1, r12                nt"
  185.         "add r12, r12, #1               nt"
  186.         "add r4, %[pixels], %[line_size]nt"
  187.         "tmcr wcgr2, r12                nt"
  188.         "add r5, %[block], %[line_size] nt"
  189.         "mov %[line_size], %[line_size], lsl #1 nt"
  191.         "1:                             nt"
  192.         "wldrd wr10, [%[pixels]]        nt"
  193.         "cmp r12, #8                    nt"
  194.         "wldrd wr11, [%[pixels], #8]    nt"
  195.         "add %[pixels], %[pixels], %[line_size] nt"
  196.         "wldrd wr13, [r4]               nt"
  197.         "pld [%[pixels]]                nt"
  198.         "wldrd wr14, [r4, #8]           nt"
  199.         "pld [%[pixels], #32]           nt"
  200.         "add r4, r4, %[line_size]       nt"
  201.         "walignr1 wr0, wr10, wr11       nt"
  202.         "pld [r4]                       nt"
  203.         "pld [r4, #32]                  nt"
  204.         "walignr1 wr2, wr13, wr14       nt"
  205.         "wmoveq wr4, wr11               nt"
  206.         "wmoveq wr6, wr14               nt"
  207.         "walignr2ne wr4, wr10, wr11     nt"
  208.         "walignr2ne wr6, wr13, wr14     nt"
  209.         WAVG2B" wr0, wr0, wr4           nt"
  210.         WAVG2B" wr2, wr2, wr6           nt"
  211.         "wstrd wr0, [%[block]]          nt"
  212.         "subs %[h], %[h], #2            nt"
  213.         "wstrd wr2, [r5]                nt"
  214.         "add %[block], %[block], %[line_size]   nt"
  215.         "add r5, r5, %[line_size]       nt"
  216.         "bne 1b                         nt"
  217.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block), [line_size]"+r"(stride)
  218.         :
  219.         : "r4", "r5", "r12", "memory");
  220. }
  222. void DEF(put, pixels16_x2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  223. {
  224.     int stride = line_size;
  225.     // [wr0 wr1 wr2 wr3] for previous line
  226.     // [wr4 wr5 wr6 wr7] for current line
  227.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  228.     __asm__ __volatile__(
  229.         "pld [%[pixels]]                nt"
  230.         "pld [%[pixels], #32]           nt"
  231.         "and r12, %[pixels], #7         nt"
  232.         "bic %[pixels], %[pixels], #7   nt"
  233.         "tmcr wcgr1, r12                nt"
  234.         "add r12, r12, #1               nt"
  235.         "add r4, %[pixels], %[line_size]nt"
  236.         "tmcr wcgr2, r12                nt"
  237.         "add r5, %[block], %[line_size] nt"
  238.         "mov %[line_size], %[line_size], lsl #1 nt"
  240.         "1:                             nt"
  241.         "wldrd wr10, [%[pixels]]        nt"
  242.         "cmp r12, #8                    nt"
  243.         "wldrd wr11, [%[pixels], #8]    nt"
  244.         "wldrd wr12, [%[pixels], #16]   nt"
  245.         "add %[pixels], %[pixels], %[line_size] nt"
  246.         "wldrd wr13, [r4]               nt"
  247.         "pld [%[pixels]]                nt"
  248.         "wldrd wr14, [r4, #8]           nt"
  249.         "pld [%[pixels], #32]           nt"
  250.         "wldrd wr15, [r4, #16]          nt"
  251.         "add r4, r4, %[line_size]       nt"
  252.         "walignr1 wr0, wr10, wr11       nt"
  253.         "pld [r4]                       nt"
  254.         "pld [r4, #32]                  nt"
  255.         "walignr1 wr1, wr11, wr12       nt"
  256.         "walignr1 wr2, wr13, wr14       nt"
  257.         "walignr1 wr3, wr14, wr15       nt"
  258.         "wmoveq wr4, wr11               nt"
  259.         "wmoveq wr5, wr12               nt"
  260.         "wmoveq wr6, wr14               nt"
  261.         "wmoveq wr7, wr15               nt"
  262.         "walignr2ne wr4, wr10, wr11     nt"
  263.         "walignr2ne wr5, wr11, wr12     nt"
  264.         "walignr2ne wr6, wr13, wr14     nt"
  265.         "walignr2ne wr7, wr14, wr15     nt"
  266.         WAVG2B" wr0, wr0, wr4           nt"
  267.         WAVG2B" wr1, wr1, wr5           nt"
  268.         "wstrd wr0, [%[block]]          nt"
  269.         WAVG2B" wr2, wr2, wr6           nt"
  270.         "wstrd wr1, [%[block], #8]      nt"
  271.         WAVG2B" wr3, wr3, wr7           nt"
  272.         "add %[block], %[block], %[line_size]   nt"
  273.         "wstrd wr2, [r5]                nt"
  274.         "subs %[h], %[h], #2            nt"
  275.         "wstrd wr3, [r5, #8]            nt"
  276.         "add r5, r5, %[line_size]       nt"
  277.         "bne 1b                         nt"
  278.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block), [line_size]"+r"(stride)
  279.         :
  280.         : "r4", "r5", "r12", "memory");
  281. }
  283. void DEF(avg, pixels8_x2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  284. {
  285.     int stride = line_size;
  286.     // [wr0 wr1 wr2 wr3] for previous line
  287.     // [wr4 wr5 wr6 wr7] for current line
  288.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  289.     __asm__ __volatile__(
  290.         "pld [%[pixels]]                nt"
  291.         "pld [%[pixels], #32]           nt"
  292.         "pld [%[block]]                 nt"
  293.         "pld [%[block], #32]            nt"
  294.         "and r12, %[pixels], #7         nt"
  295.         "bic %[pixels], %[pixels], #7   nt"
  296.         "tmcr wcgr1, r12                nt"
  297.         "add r12, r12, #1               nt"
  298.         "add r4, %[pixels], %[line_size]nt"
  299.         "tmcr wcgr2, r12                nt"
  300.         "add r5, %[block], %[line_size] nt"
  301.         "mov %[line_size], %[line_size], lsl #1 nt"
  302.         "pld [r5]                       nt"
  303.         "pld [r5, #32]                  nt"
  305.         "1:                             nt"
  306.         "wldrd wr10, [%[pixels]]        nt"
  307.         "cmp r12, #8                    nt"
  308.         "wldrd wr11, [%[pixels], #8]    nt"
  309.         "add %[pixels], %[pixels], %[line_size] nt"
  310.         "wldrd wr13, [r4]               nt"
  311.         "pld [%[pixels]]                nt"
  312.         "wldrd wr14, [r4, #8]           nt"
  313.         "pld [%[pixels], #32]           nt"
  314.         "add r4, r4, %[line_size]       nt"
  315.         "walignr1 wr0, wr10, wr11       nt"
  316.         "pld [r4]                       nt"
  317.         "pld [r4, #32]                  nt"
  318.         "walignr1 wr2, wr13, wr14       nt"
  319.         "wmoveq wr4, wr11               nt"
  320.         "wmoveq wr6, wr14               nt"
  321.         "walignr2ne wr4, wr10, wr11     nt"
  322.         "wldrd wr10, [%[block]]         nt"
  323.         "walignr2ne wr6, wr13, wr14     nt"
  324.         "wldrd wr12, [r5]               nt"
  325.         WAVG2B" wr0, wr0, wr4           nt"
  326.         WAVG2B" wr2, wr2, wr6           nt"
  327.         WAVG2B" wr0, wr0, wr10          nt"
  328.         WAVG2B" wr2, wr2, wr12          nt"
  329.         "wstrd wr0, [%[block]]          nt"
  330.         "subs %[h], %[h], #2            nt"
  331.         "wstrd wr2, [r5]                nt"
  332.         "add %[block], %[block], %[line_size]   nt"
  333.         "add r5, r5, %[line_size]       nt"
  334.         "pld [%[block]]                 nt"
  335.         "pld [%[block], #32]            nt"
  336.         "pld [r5]                       nt"
  337.         "pld [r5, #32]                  nt"
  338.         "bne 1b                         nt"
  339.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block), [line_size]"+r"(stride)
  340.         :
  341.         : "r4", "r5", "r12", "memory");
  342. }
  344. void DEF(avg, pixels16_x2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  345. {
  346.     int stride = line_size;
  347.     // [wr0 wr1 wr2 wr3] for previous line
  348.     // [wr4 wr5 wr6 wr7] for current line
  349.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  350.     __asm__ __volatile__(
  351.         "pld [%[pixels]]                nt"
  352.         "pld [%[pixels], #32]           nt"
  353.         "pld [%[block]]                 nt"
  354.         "pld [%[block], #32]            nt"
  355.         "and r12, %[pixels], #7         nt"
  356.         "bic %[pixels], %[pixels], #7   nt"
  357.         "tmcr wcgr1, r12                nt"
  358.         "add r12, r12, #1               nt"
  359.         "add r4, %[pixels], %[line_size]nt"
  360.         "tmcr wcgr2, r12                nt"
  361.         "add r5, %[block], %[line_size] nt"
  362.         "mov %[line_size], %[line_size], lsl #1 nt"
  363.         "pld [r5]                       nt"
  364.         "pld [r5, #32]                  nt"
  366.         "1:                             nt"
  367.         "wldrd wr10, [%[pixels]]        nt"
  368.         "cmp r12, #8                    nt"
  369.         "wldrd wr11, [%[pixels], #8]    nt"
  370.         "wldrd wr12, [%[pixels], #16]   nt"
  371.         "add %[pixels], %[pixels], %[line_size] nt"
  372.         "wldrd wr13, [r4]               nt"
  373.         "pld [%[pixels]]                nt"
  374.         "wldrd wr14, [r4, #8]           nt"
  375.         "pld [%[pixels], #32]           nt"
  376.         "wldrd wr15, [r4, #16]          nt"
  377.         "add r4, r4, %[line_size]       nt"
  378.         "walignr1 wr0, wr10, wr11       nt"
  379.         "pld [r4]                       nt"
  380.         "pld [r4, #32]                  nt"
  381.         "walignr1 wr1, wr11, wr12       nt"
  382.         "walignr1 wr2, wr13, wr14       nt"
  383.         "walignr1 wr3, wr14, wr15       nt"
  384.         "wmoveq wr4, wr11               nt"
  385.         "wmoveq wr5, wr12               nt"
  386.         "wmoveq wr6, wr14               nt"
  387.         "wmoveq wr7, wr15               nt"
  388.         "walignr2ne wr4, wr10, wr11     nt"
  389.         "walignr2ne wr5, wr11, wr12     nt"
  390.         "walignr2ne wr6, wr13, wr14     nt"
  391.         "walignr2ne wr7, wr14, wr15     nt"
  392.         "wldrd wr10, [%[block]]         nt"
  393.         WAVG2B" wr0, wr0, wr4           nt"
  394.         "wldrd wr11, [%[block], #8]     nt"
  395.         WAVG2B" wr1, wr1, wr5           nt"
  396.         "wldrd wr12, [r5]               nt"
  397.         WAVG2B" wr2, wr2, wr6           nt"
  398.         "wldrd wr13, [r5, #8]           nt"
  399.         WAVG2B" wr3, wr3, wr7           nt"
  400.         WAVG2B" wr0, wr0, wr10          nt"
  401.         WAVG2B" wr1, wr1, wr11          nt"
  402.         WAVG2B" wr2, wr2, wr12          nt"
  403.         WAVG2B" wr3, wr3, wr13          nt"
  404.         "wstrd wr0, [%[block]]          nt"
  405.         "subs %[h], %[h], #2            nt"
  406.         "wstrd wr1, [%[block], #8]      nt"
  407.         "add %[block], %[block], %[line_size]   nt"
  408.         "wstrd wr2, [r5]                nt"
  409.         "pld [%[block]]                 nt"
  410.         "wstrd wr3, [r5, #8]            nt"
  411.         "add r5, r5, %[line_size]       nt"
  412.         "pld [%[block], #32]            nt"
  413.         "pld [r5]                       nt"
  414.         "pld [r5, #32]                  nt"
  415.         "bne 1b                         nt"
  416.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block), [line_size]"+r"(stride)
  417.         :
  418.         :"r4", "r5", "r12", "memory");
  419. }
  421. void DEF(avg, pixels8_y2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  422. {
  423.     int stride = line_size;
  424.     // [wr0 wr1 wr2 wr3] for previous line
  425.     // [wr4 wr5 wr6 wr7] for current line
  426.     __asm__ __volatile__(
  427.         "pld            [%[pixels]]                             nt"
  428.         "pld            [%[pixels], #32]                        nt"
  429.         "and            r12, %[pixels], #7                      nt"
  430.         "tmcr           wcgr1, r12                              nt"
  431.         "bic            %[pixels], %[pixels], #7                nt"
  433.         "wldrd          wr10, [%[pixels]]                       nt"
  434.         "wldrd          wr11, [%[pixels], #8]                   nt"
  435.         "pld            [%[block]]                              nt"
  436.         "add            %[pixels], %[pixels], %[line_size]      nt"
  437.         "walignr1       wr0, wr10, wr11                         nt"
  438.         "pld            [%[pixels]]                             nt"
  439.         "pld            [%[pixels], #32]                        nt"
  441.       "1:                                                       nt"
  442.         "wldrd          wr10, [%[pixels]]                       nt"
  443.         "wldrd          wr11, [%[pixels], #8]                   nt"
  444.         "add            %[pixels], %[pixels], %[line_size]      nt"
  445.         "pld            [%[pixels]]                             nt"
  446.         "pld            [%[pixels], #32]                        nt"
  447.         "walignr1       wr4, wr10, wr11                         nt"
  448.         "wldrd          wr10, [%[block]]                        nt"
  449.          WAVG2B"        wr8, wr0, wr4                           nt"
  450.          WAVG2B"        wr8, wr8, wr10                          nt"
  451.         "wstrd          wr8, [%[block]]                         nt"
  452.         "add            %[block], %[block], %[line_size]        nt"
  454.         "wldrd          wr10, [%[pixels]]                       nt"
  455.         "wldrd          wr11, [%[pixels], #8]                   nt"
  456.         "pld            [%[block]]                              nt"
  457.         "add            %[pixels], %[pixels], %[line_size]      nt"
  458.         "pld            [%[pixels]]                             nt"
  459.         "pld            [%[pixels], #32]                        nt"
  460.         "walignr1       wr0, wr10, wr11                         nt"
  461.         "wldrd          wr10, [%[block]]                        nt"
  462.          WAVG2B"        wr8, wr0, wr4                           nt"
  463.          WAVG2B"        wr8, wr8, wr10                          nt"
  464.         "wstrd          wr8, [%[block]]                         nt"
  465.         "add            %[block], %[block], %[line_size]        nt"
  467.         "subs           %[h], %[h], #2                          nt"
  468.         "pld            [%[block]]                              nt"
  469.         "bne            1b                                      nt"
  470.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block), [line_size]"+r"(stride)
  471.         :
  472.         : "cc", "memory", "r12");
  473. }
  475. void DEF(put, pixels16_y2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  476. {
  477.     int stride = line_size;
  478.     // [wr0 wr1 wr2 wr3] for previous line
  479.     // [wr4 wr5 wr6 wr7] for current line
  480.     __asm__ __volatile__(
  481.         "pld [%[pixels]]                nt"
  482.         "pld [%[pixels], #32]           nt"
  483.         "and r12, %[pixels], #7         nt"
  484.         "tmcr wcgr1, r12                nt"
  485.         "bic %[pixels], %[pixels], #7   nt"
  487.         "wldrd wr10, [%[pixels]]        nt"
  488.         "wldrd wr11, [%[pixels], #8]    nt"
  489.         "wldrd wr12, [%[pixels], #16]   nt"
  490.         "add %[pixels], %[pixels], %[line_size] nt"
  491.         "pld [%[pixels]]                nt"
  492.         "pld [%[pixels], #32]           nt"
  493.         "walignr1 wr0, wr10, wr11       nt"
  494.         "walignr1 wr1, wr11, wr12       nt"
  496.         "1:                             nt"
  497.         "wldrd wr10, [%[pixels]]        nt"
  498.         "wldrd wr11, [%[pixels], #8]    nt"
  499.         "wldrd wr12, [%[pixels], #16]   nt"
  500.         "add %[pixels], %[pixels], %[line_size] nt"
  501.         "pld [%[pixels]]                nt"
  502.         "pld [%[pixels], #32]           nt"
  503.         "walignr1 wr4, wr10, wr11       nt"
  504.         "walignr1 wr5, wr11, wr12       nt"
  505.         WAVG2B" wr8, wr0, wr4           nt"
  506.         WAVG2B" wr9, wr1, wr5           nt"
  507.         "wstrd wr8, [%[block]]          nt"
  508.         "wstrd wr9, [%[block], #8]      nt"
  509.         "add %[block], %[block], %[line_size]   nt"
  511.         "wldrd wr10, [%[pixels]]        nt"
  512.         "wldrd wr11, [%[pixels], #8]    nt"
  513.         "wldrd wr12, [%[pixels], #16]   nt"
  514.         "add %[pixels], %[pixels], %[line_size] nt"
  515.         "pld [%[pixels]]                nt"
  516.         "pld [%[pixels], #32]           nt"
  517.         "walignr1 wr0, wr10, wr11       nt"
  518.         "walignr1 wr1, wr11, wr12       nt"
  519.         WAVG2B" wr8, wr0, wr4           nt"
  520.         WAVG2B" wr9, wr1, wr5           nt"
  521.         "wstrd wr8, [%[block]]          nt"
  522.         "wstrd wr9, [%[block], #8]      nt"
  523.         "add %[block], %[block], %[line_size]   nt"
  525.         "subs %[h], %[h], #2            nt"
  526.         "bne 1b                         nt"
  527.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block), [line_size]"+r"(stride)
  528.         :
  529.         : "r4", "r5", "r12", "memory");
  530. }
  532. void DEF(avg, pixels16_y2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  533. {
  534.     int stride = line_size;
  535.     // [wr0 wr1 wr2 wr3] for previous line
  536.     // [wr4 wr5 wr6 wr7] for current line
  537.     __asm__ __volatile__(
  538.         "pld [%[pixels]]                nt"
  539.         "pld [%[pixels], #32]           nt"
  540.         "and r12, %[pixels], #7         nt"
  541.         "tmcr wcgr1, r12                nt"
  542.         "bic %[pixels], %[pixels], #7   nt"
  544.         "wldrd wr10, [%[pixels]]        nt"
  545.         "wldrd wr11, [%[pixels], #8]    nt"
  546.         "pld [%[block]]                 nt"
  547.         "wldrd wr12, [%[pixels], #16]   nt"
  548.         "add %[pixels], %[pixels], %[line_size] nt"
  549.         "pld [%[pixels]]                nt"
  550.         "pld [%[pixels], #32]           nt"
  551.         "walignr1 wr0, wr10, wr11       nt"
  552.         "walignr1 wr1, wr11, wr12       nt"
  554.         "1:                             nt"
  555.         "wldrd wr10, [%[pixels]]        nt"
  556.         "wldrd wr11, [%[pixels], #8]    nt"
  557.         "wldrd wr12, [%[pixels], #16]   nt"
  558.         "add %[pixels], %[pixels], %[line_size] nt"
  559.         "pld [%[pixels]]                nt"
  560.         "pld [%[pixels], #32]           nt"
  561.         "walignr1 wr4, wr10, wr11       nt"
  562.         "walignr1 wr5, wr11, wr12       nt"
  563.         "wldrd wr10, [%[block]]         nt"
  564.         "wldrd wr11, [%[block], #8]     nt"
  565.         WAVG2B" wr8, wr0, wr4           nt"
  566.         WAVG2B" wr9, wr1, wr5           nt"
  567.         WAVG2B" wr8, wr8, wr10          nt"
  568.         WAVG2B" wr9, wr9, wr11          nt"
  569.         "wstrd wr8, [%[block]]          nt"
  570.         "wstrd wr9, [%[block], #8]      nt"
  571.         "add %[block], %[block], %[line_size]   nt"
  573.         "wldrd wr10, [%[pixels]]        nt"
  574.         "wldrd wr11, [%[pixels], #8]    nt"
  575.         "pld [%[block]]                 nt"
  576.         "wldrd wr12, [%[pixels], #16]   nt"
  577.         "add %[pixels], %[pixels], %[line_size] nt"
  578.         "pld [%[pixels]]                nt"
  579.         "pld [%[pixels], #32]           nt"
  580.         "walignr1 wr0, wr10, wr11       nt"
  581.         "walignr1 wr1, wr11, wr12       nt"
  582.         "wldrd wr10, [%[block]]         nt"
  583.         "wldrd wr11, [%[block], #8]     nt"
  584.         WAVG2B" wr8, wr0, wr4           nt"
  585.         WAVG2B" wr9, wr1, wr5           nt"
  586.         WAVG2B" wr8, wr8, wr10          nt"
  587.         WAVG2B" wr9, wr9, wr11          nt"
  588.         "wstrd wr8, [%[block]]          nt"
  589.         "wstrd wr9, [%[block], #8]      nt"
  590.         "add %[block], %[block], %[line_size]   nt"
  592.         "subs %[h], %[h], #2            nt"
  593.         "pld [%[block]]                 nt"
  594.         "bne 1b                         nt"
  595.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block), [line_size]"+r"(stride)
  596.         :
  597.         : "r4", "r5", "r12", "memory");
  598. }
  600. void DEF(put, pixels8_xy2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  601. {
  602.     // [wr0 wr1 wr2 wr3] for previous line
  603.     // [wr4 wr5 wr6 wr7] for current line
  604.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  605.     __asm__ __volatile__(
  606.         "pld [%[pixels]]                nt"
  607.         "mov r12, #2                    nt"
  608.         "pld [%[pixels], #32]           nt"
  609.         "tmcr wcgr0, r12                nt" /* for shift value */
  610.         "and r12, %[pixels], #7         nt"
  611.         "bic %[pixels], %[pixels], #7   nt"
  612.         "tmcr wcgr1, r12                nt"
  614.         // [wr0 wr1 wr2 wr3] <= *
  615.         // [wr4 wr5 wr6 wr7]
  616.         "wldrd wr12, [%[pixels]]        nt"
  617.         "add r12, r12, #1               nt"
  618.         "wldrd wr13, [%[pixels], #8]    nt"
  619.         "tmcr wcgr2, r12                nt"
  620.         "add %[pixels], %[pixels], %[line_size] nt"
  621.         "cmp r12, #8                    nt"
  622.         "pld [%[pixels]]                nt"
  623.         "pld [%[pixels], #32]           nt"
  624.         "walignr1 wr2, wr12, wr13       nt"
  625.         "wmoveq wr10, wr13              nt"
  626.         "walignr2ne wr10, wr12, wr13    nt"
  627.         "wunpckelub wr0, wr2            nt"
  628.         "wunpckehub wr1, wr2            nt"
  629.         "wunpckelub wr8, wr10           nt"
  630.         "wunpckehub wr9, wr10           nt"
  631.         "waddhus wr0, wr0, wr8          nt"
  632.         "waddhus wr1, wr1, wr9          nt"
  634.         "1:                             nt"
  635.         // [wr0 wr1 wr2 wr3]
  636.         // [wr4 wr5 wr6 wr7] <= *
  637.         "wldrd wr12, [%[pixels]]        nt"
  638.         "cmp r12, #8                    nt"
  639.         "wldrd wr13, [%[pixels], #8]    nt"
  640.         "add %[pixels], %[pixels], %[line_size] nt"
  641.         "walignr1 wr6, wr12, wr13       nt"
  642.         "pld [%[pixels]]                nt"
  643.         "pld [%[pixels], #32]           nt"
  644.         "wmoveq wr10, wr13              nt"
  645.         "walignr2ne wr10, wr12, wr13    nt"
  646.         "wunpckelub wr4, wr6            nt"
  647.         "wunpckehub wr5, wr6            nt"
  648.         "wunpckelub wr8, wr10           nt"
  649.         "wunpckehub wr9, wr10           nt"
  650.         "waddhus wr4, wr4, wr8          nt"
  651.         "waddhus wr5, wr5, wr9          nt"
  652.         "waddhus wr8, wr0, wr4          nt"
  653.         "waddhus wr9, wr1, wr5          nt"
  654.         "waddhus wr8, wr8, wr15         nt"
  655.         "waddhus wr9, wr9, wr15         nt"
  656.         "wsrlhg wr8, wr8, wcgr0         nt"
  657.         "wsrlhg wr9, wr9, wcgr0         nt"
  658.         "wpackhus wr8, wr8, wr9         nt"
  659.         "wstrd wr8, [%[block]]          nt"
  660.         "add %[block], %[block], %[line_size]   nt"
  662.         // [wr0 wr1 wr2 wr3] <= *
  663.         // [wr4 wr5 wr6 wr7]
  664.         "wldrd wr12, [%[pixels]]        nt"
  665.         "wldrd wr13, [%[pixels], #8]    nt"
  666.         "add %[pixels], %[pixels], %[line_size] nt"
  667.         "walignr1 wr2, wr12, wr13       nt"
  668.         "pld [%[pixels]]                nt"
  669.         "pld [%[pixels], #32]           nt"
  670.         "wmoveq wr10, wr13              nt"
  671.         "walignr2ne wr10, wr12, wr13    nt"
  672.         "wunpckelub wr0, wr2            nt"
  673.         "wunpckehub wr1, wr2            nt"
  674.         "wunpckelub wr8, wr10           nt"
  675.         "wunpckehub wr9, wr10           nt"
  676.         "waddhus wr0, wr0, wr8          nt"
  677.         "waddhus wr1, wr1, wr9          nt"
  678.         "waddhus wr8, wr0, wr4          nt"
  679.         "waddhus wr9, wr1, wr5          nt"
  680.         "waddhus wr8, wr8, wr15         nt"
  681.         "waddhus wr9, wr9, wr15         nt"
  682.         "wsrlhg wr8, wr8, wcgr0         nt"
  683.         "wsrlhg wr9, wr9, wcgr0         nt"
  684.         "wpackhus wr8, wr8, wr9         nt"
  685.         "subs %[h], %[h], #2            nt"
  686.         "wstrd wr8, [%[block]]          nt"
  687.         "add %[block], %[block], %[line_size]   nt"
  688.         "bne 1b                         nt"
  689.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block)
  690.         : [line_size]"r"(line_size)
  691.         : "r12", "memory");
  692. }
  694. void DEF(put, pixels16_xy2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  695. {
  696.     // [wr0 wr1 wr2 wr3] for previous line
  697.     // [wr4 wr5 wr6 wr7] for current line
  698.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  699.     __asm__ __volatile__(
  700.         "pld [%[pixels]]                nt"
  701.         "mov r12, #2                    nt"
  702.         "pld [%[pixels], #32]           nt"
  703.         "tmcr wcgr0, r12                nt" /* for shift value */
  704.         /* alignment */
  705.         "and r12, %[pixels], #7         nt"
  706.         "bic %[pixels], %[pixels], #7   nt"
  707.         "tmcr wcgr1, r12                nt"
  708.         "add r12, r12, #1               nt"
  709.         "tmcr wcgr2, r12                nt"
  711.         // [wr0 wr1 wr2 wr3] <= *
  712.         // [wr4 wr5 wr6 wr7]
  713.         "wldrd wr12, [%[pixels]]        nt"
  714.         "cmp r12, #8                    nt"
  715.         "wldrd wr13, [%[pixels], #8]    nt"
  716.         "wldrd wr14, [%[pixels], #16]   nt"
  717.         "add %[pixels], %[pixels], %[line_size] nt"
  718.         "pld [%[pixels]]                nt"
  719.         "walignr1 wr2, wr12, wr13       nt"
  720.         "pld [%[pixels], #32]           nt"
  721.         "walignr1 wr3, wr13, wr14       nt"
  722.         "wmoveq wr10, wr13              nt"
  723.         "wmoveq wr11, wr14              nt"
  724.         "walignr2ne wr10, wr12, wr13    nt"
  725.         "walignr2ne wr11, wr13, wr14    nt"
  726.         "wunpckelub wr0, wr2            nt"
  727.         "wunpckehub wr1, wr2            nt"
  728.         "wunpckelub wr2, wr3            nt"
  729.         "wunpckehub wr3, wr3            nt"
  730.         "wunpckelub wr8, wr10           nt"
  731.         "wunpckehub wr9, wr10           nt"
  732.         "wunpckelub wr10, wr11          nt"
  733.         "wunpckehub wr11, wr11          nt"
  734.         "waddhus wr0, wr0, wr8          nt"
  735.         "waddhus wr1, wr1, wr9          nt"
  736.         "waddhus wr2, wr2, wr10         nt"
  737.         "waddhus wr3, wr3, wr11         nt"
  739.         "1:                             nt"
  740.         // [wr0 wr1 wr2 wr3]
  741.         // [wr4 wr5 wr6 wr7] <= *
  742.         "wldrd wr12, [%[pixels]]        nt"
  743.         "cmp r12, #8                    nt"
  744.         "wldrd wr13, [%[pixels], #8]    nt"
  745.         "wldrd wr14, [%[pixels], #16]   nt"
  746.         "add %[pixels], %[pixels], %[line_size] nt"
  747.         "walignr1 wr6, wr12, wr13       nt"
  748.         "pld [%[pixels]]                nt"
  749.         "pld [%[pixels], #32]           nt"
  750.         "walignr1 wr7, wr13, wr14       nt"
  751.         "wmoveq wr10, wr13              nt"
  752.         "wmoveq wr11, wr14              nt"
  753.         "walignr2ne wr10, wr12, wr13    nt"
  754.         "walignr2ne wr11, wr13, wr14    nt"
  755.         "wunpckelub wr4, wr6            nt"
  756.         "wunpckehub wr5, wr6            nt"
  757.         "wunpckelub wr6, wr7            nt"
  758.         "wunpckehub wr7, wr7            nt"
  759.         "wunpckelub wr8, wr10           nt"
  760.         "wunpckehub wr9, wr10           nt"
  761.         "wunpckelub wr10, wr11          nt"
  762.         "wunpckehub wr11, wr11          nt"
  763.         "waddhus wr4, wr4, wr8          nt"
  764.         "waddhus wr5, wr5, wr9          nt"
  765.         "waddhus wr6, wr6, wr10         nt"
  766.         "waddhus wr7, wr7, wr11         nt"
  767.         "waddhus wr8, wr0, wr4          nt"
  768.         "waddhus wr9, wr1, wr5          nt"
  769.         "waddhus wr10, wr2, wr6         nt"
  770.         "waddhus wr11, wr3, wr7         nt"
  771.         "waddhus wr8, wr8, wr15         nt"
  772.         "waddhus wr9, wr9, wr15         nt"
  773.         "waddhus wr10, wr10, wr15       nt"
  774.         "waddhus wr11, wr11, wr15       nt"
  775.         "wsrlhg wr8, wr8, wcgr0         nt"
  776.         "wsrlhg wr9, wr9, wcgr0         nt"
  777.         "wsrlhg wr10, wr10, wcgr0       nt"
  778.         "wsrlhg wr11, wr11, wcgr0       nt"
  779.         "wpackhus wr8, wr8, wr9         nt"
  780.         "wpackhus wr9, wr10, wr11       nt"
  781.         "wstrd wr8, [%[block]]          nt"
  782.         "wstrd wr9, [%[block], #8]      nt"
  783.         "add %[block], %[block], %[line_size]   nt"
  785.         // [wr0 wr1 wr2 wr3] <= *
  786.         // [wr4 wr5 wr6 wr7]
  787.         "wldrd wr12, [%[pixels]]        nt"
  788.         "wldrd wr13, [%[pixels], #8]    nt"
  789.         "wldrd wr14, [%[pixels], #16]   nt"
  790.         "add %[pixels], %[pixels], %[line_size] nt"
  791.         "walignr1 wr2, wr12, wr13       nt"
  792.         "pld [%[pixels]]                nt"
  793.         "pld [%[pixels], #32]           nt"
  794.         "walignr1 wr3, wr13, wr14       nt"
  795.         "wmoveq wr10, wr13              nt"
  796.         "wmoveq wr11, wr14              nt"
  797.         "walignr2ne wr10, wr12, wr13    nt"
  798.         "walignr2ne wr11, wr13, wr14    nt"
  799.         "wunpckelub wr0, wr2            nt"
  800.         "wunpckehub wr1, wr2            nt"
  801.         "wunpckelub wr2, wr3            nt"
  802.         "wunpckehub wr3, wr3            nt"
  803.         "wunpckelub wr8, wr10           nt"
  804.         "wunpckehub wr9, wr10           nt"
  805.         "wunpckelub wr10, wr11          nt"
  806.         "wunpckehub wr11, wr11          nt"
  807.         "waddhus wr0, wr0, wr8          nt"
  808.         "waddhus wr1, wr1, wr9          nt"
  809.         "waddhus wr2, wr2, wr10         nt"
  810.         "waddhus wr3, wr3, wr11         nt"
  811.         "waddhus wr8, wr0, wr4          nt"
  812.         "waddhus wr9, wr1, wr5          nt"
  813.         "waddhus wr10, wr2, wr6         nt"
  814.         "waddhus wr11, wr3, wr7         nt"
  815.         "waddhus wr8, wr8, wr15         nt"
  816.         "waddhus wr9, wr9, wr15         nt"
  817.         "waddhus wr10, wr10, wr15       nt"
  818.         "waddhus wr11, wr11, wr15       nt"
  819.         "wsrlhg wr8, wr8, wcgr0         nt"
  820.         "wsrlhg wr9, wr9, wcgr0         nt"
  821.         "wsrlhg wr10, wr10, wcgr0       nt"
  822.         "wsrlhg wr11, wr11, wcgr0       nt"
  823.         "wpackhus wr8, wr8, wr9         nt"
  824.         "wpackhus wr9, wr10, wr11       nt"
  825.         "wstrd wr8, [%[block]]          nt"
  826.         "wstrd wr9, [%[block], #8]      nt"
  827.         "add %[block], %[block], %[line_size]   nt"
  829.         "subs %[h], %[h], #2            nt"
  830.         "bne 1b                         nt"
  831.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block)
  832.         : [line_size]"r"(line_size)
  833.         : "r12", "memory");
  834. }
  836. void DEF(avg, pixels8_xy2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  837. {
  838.     // [wr0 wr1 wr2 wr3] for previous line
  839.     // [wr4 wr5 wr6 wr7] for current line
  840.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  841.     __asm__ __volatile__(
  842.         "pld [%[block]]                 nt"
  843.         "pld [%[block], #32]            nt"
  844.         "pld [%[pixels]]                nt"
  845.         "mov r12, #2                    nt"
  846.         "pld [%[pixels], #32]           nt"
  847.         "tmcr wcgr0, r12                nt" /* for shift value */
  848.         "and r12, %[pixels], #7         nt"
  849.         "bic %[pixels], %[pixels], #7   nt"
  850.         "tmcr wcgr1, r12                nt"
  852.         // [wr0 wr1 wr2 wr3] <= *
  853.         // [wr4 wr5 wr6 wr7]
  854.         "wldrd wr12, [%[pixels]]        nt"
  855.         "add r12, r12, #1               nt"
  856.         "wldrd wr13, [%[pixels], #8]    nt"
  857.         "tmcr wcgr2, r12                nt"
  858.         "add %[pixels], %[pixels], %[line_size] nt"
  859.         "cmp r12, #8                    nt"
  860.         "pld [%[pixels]]                nt"
  861.         "pld [%[pixels], #32]           nt"
  862.         "walignr1 wr2, wr12, wr13       nt"
  863.         "wmoveq wr10, wr13              nt"
  864.         "walignr2ne wr10, wr12, wr13    nt"
  865.         "wunpckelub wr0, wr2            nt"
  866.         "wunpckehub wr1, wr2            nt"
  867.         "wunpckelub wr8, wr10           nt"
  868.         "wunpckehub wr9, wr10           nt"
  869.         "waddhus wr0, wr0, wr8          nt"
  870.         "waddhus wr1, wr1, wr9          nt"
  872.         "1:                             nt"
  873.         // [wr0 wr1 wr2 wr3]
  874.         // [wr4 wr5 wr6 wr7] <= *
  875.         "wldrd wr12, [%[pixels]]        nt"
  876.         "cmp r12, #8                    nt"
  877.         "wldrd wr13, [%[pixels], #8]    nt"
  878.         "add %[pixels], %[pixels], %[line_size] nt"
  879.         "walignr1 wr6, wr12, wr13       nt"
  880.         "pld [%[pixels]]                nt"
  881.         "pld [%[pixels], #32]           nt"
  882.         "wmoveq wr10, wr13              nt"
  883.         "walignr2ne wr10, wr12, wr13    nt"
  884.         "wunpckelub wr4, wr6            nt"
  885.         "wunpckehub wr5, wr6            nt"
  886.         "wunpckelub wr8, wr10           nt"
  887.         "wunpckehub wr9, wr10           nt"
  888.         "waddhus wr4, wr4, wr8          nt"
  889.         "waddhus wr5, wr5, wr9          nt"
  890.         "waddhus wr8, wr0, wr4          nt"
  891.         "waddhus wr9, wr1, wr5          nt"
  892.         "waddhus wr8, wr8, wr15         nt"
  893.         "waddhus wr9, wr9, wr15         nt"
  894.         "wldrd wr12, [%[block]]         nt"
  895.         "wsrlhg wr8, wr8, wcgr0         nt"
  896.         "wsrlhg wr9, wr9, wcgr0         nt"
  897.         "wpackhus wr8, wr8, wr9         nt"
  898.         WAVG2B" wr8, wr8, wr12          nt"
  899.         "wstrd wr8, [%[block]]          nt"
  900.         "add %[block], %[block], %[line_size]   nt"
  901.         "wldrd wr12, [%[pixels]]        nt"
  902.         "pld [%[block]]                 nt"
  903.         "pld [%[block], #32]            nt"
  905.         // [wr0 wr1 wr2 wr3] <= *
  906.         // [wr4 wr5 wr6 wr7]
  907.         "wldrd wr13, [%[pixels], #8]    nt"
  908.         "add %[pixels], %[pixels], %[line_size] nt"
  909.         "walignr1 wr2, wr12, wr13       nt"
  910.         "pld [%[pixels]]                nt"
  911.         "pld [%[pixels], #32]           nt"
  912.         "wmoveq wr10, wr13              nt"
  913.         "walignr2ne wr10, wr12, wr13    nt"
  914.         "wunpckelub wr0, wr2            nt"
  915.         "wunpckehub wr1, wr2            nt"
  916.         "wunpckelub wr8, wr10           nt"
  917.         "wunpckehub wr9, wr10           nt"
  918.         "waddhus wr0, wr0, wr8          nt"
  919.         "waddhus wr1, wr1, wr9          nt"
  920.         "waddhus wr8, wr0, wr4          nt"
  921.         "waddhus wr9, wr1, wr5          nt"
  922.         "waddhus wr8, wr8, wr15         nt"
  923.         "waddhus wr9, wr9, wr15         nt"
  924.         "wldrd wr12, [%[block]]         nt"
  925.         "wsrlhg wr8, wr8, wcgr0         nt"
  926.         "wsrlhg wr9, wr9, wcgr0         nt"
  927.         "wpackhus wr8, wr8, wr9         nt"
  928.         "subs %[h], %[h], #2            nt"
  929.         WAVG2B" wr8, wr8, wr12          nt"
  930.         "wstrd wr8, [%[block]]          nt"
  931.         "add %[block], %[block], %[line_size]   nt"
  932.         "pld [%[block]]                 nt"
  933.         "pld [%[block], #32]            nt"
  934.         "bne 1b                         nt"
  935.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block)
  936.         : [line_size]"r"(line_size)
  937.         : "r12", "memory");
  938. }
  940. void DEF(avg, pixels16_xy2)(uint8_t *block, const uint8_t *pixels, const int line_size, int h)
  941. {
  942.     // [wr0 wr1 wr2 wr3] for previous line
  943.     // [wr4 wr5 wr6 wr7] for current line
  944.     SET_RND(wr15); // =2 for rnd  and  =1 for no_rnd version
  945.     __asm__ __volatile__(
  946.         "pld [%[block]]                 nt"
  947.         "pld [%[block], #32]            nt"
  948.         "pld [%[pixels]]                nt"
  949.         "mov r12, #2                    nt"
  950.         "pld [%[pixels], #32]           nt"
  951.         "tmcr wcgr0, r12                nt" /* for shift value */
  952.         /* alignment */
  953.         "and r12, %[pixels], #7         nt"
  954.         "bic %[pixels], %[pixels], #7           nt"
  955.         "tmcr wcgr1, r12                nt"
  956.         "add r12, r12, #1               nt"
  957.         "tmcr wcgr2, r12                nt"
  959.         // [wr0 wr1 wr2 wr3] <= *
  960.         // [wr4 wr5 wr6 wr7]
  961.         "wldrd wr12, [%[pixels]]        nt"
  962.         "cmp r12, #8                    nt"
  963.         "wldrd wr13, [%[pixels], #8]    nt"
  964.         "wldrd wr14, [%[pixels], #16]   nt"
  965.         "add %[pixels], %[pixels], %[line_size] nt"
  966.         "pld [%[pixels]]                nt"
  967.         "walignr1 wr2, wr12, wr13       nt"
  968.         "pld [%[pixels], #32]           nt"
  969.         "walignr1 wr3, wr13, wr14       nt"
  970.         "wmoveq wr10, wr13              nt"
  971.         "wmoveq wr11, wr14              nt"
  972.         "walignr2ne wr10, wr12, wr13    nt"
  973.         "walignr2ne wr11, wr13, wr14    nt"
  974.         "wunpckelub wr0, wr2            nt"
  975.         "wunpckehub wr1, wr2            nt"
  976.         "wunpckelub wr2, wr3            nt"
  977.         "wunpckehub wr3, wr3            nt"
  978.         "wunpckelub wr8, wr10           nt"
  979.         "wunpckehub wr9, wr10           nt"
  980.         "wunpckelub wr10, wr11          nt"
  981.         "wunpckehub wr11, wr11          nt"
  982.         "waddhus wr0, wr0, wr8          nt"
  983.         "waddhus wr1, wr1, wr9          nt"
  984.         "waddhus wr2, wr2, wr10         nt"
  985.         "waddhus wr3, wr3, wr11         nt"
  987.         "1:                             nt"
  988.         // [wr0 wr1 wr2 wr3]
  989.         // [wr4 wr5 wr6 wr7] <= *
  990.         "wldrd wr12, [%[pixels]]        nt"
  991.         "cmp r12, #8                    nt"
  992.         "wldrd wr13, [%[pixels], #8]    nt"
  993.         "wldrd wr14, [%[pixels], #16]   nt"
  994.         "add %[pixels], %[pixels], %[line_size] nt"
  995.         "walignr1 wr6, wr12, wr13       nt"
  996.         "pld [%[pixels]]                nt"
  997.         "pld [%[pixels], #32]           nt"
  998.         "walignr1 wr7, wr13, wr14       nt"
  999.         "wmoveq wr10, wr13              nt"
  1000.         "wmoveq wr11, wr14              nt"
  1001.         "walignr2ne wr10, wr12, wr13    nt"
  1002.         "walignr2ne wr11, wr13, wr14    nt"
  1003.         "wunpckelub wr4, wr6            nt"
  1004.         "wunpckehub wr5, wr6            nt"
  1005.         "wunpckelub wr6, wr7            nt"
  1006.         "wunpckehub wr7, wr7            nt"
  1007.         "wunpckelub wr8, wr10           nt"
  1008.         "wunpckehub wr9, wr10           nt"
  1009.         "wunpckelub wr10, wr11          nt"
  1010.         "wunpckehub wr11, wr11          nt"
  1011.         "waddhus wr4, wr4, wr8          nt"
  1012.         "waddhus wr5, wr5, wr9          nt"
  1013.         "waddhus wr6, wr6, wr10         nt"
  1014.         "waddhus wr7, wr7, wr11         nt"
  1015.         "waddhus wr8, wr0, wr4          nt"
  1016.         "waddhus wr9, wr1, wr5          nt"
  1017.         "waddhus wr10, wr2, wr6         nt"
  1018.         "waddhus wr11, wr3, wr7         nt"
  1019.         "waddhus wr8, wr8, wr15         nt"
  1020.         "waddhus wr9, wr9, wr15         nt"
  1021.         "waddhus wr10, wr10, wr15       nt"
  1022.         "waddhus wr11, wr11, wr15       nt"
  1023.         "wsrlhg wr8, wr8, wcgr0         nt"
  1024.         "wsrlhg wr9, wr9, wcgr0         nt"
  1025.         "wldrd wr12, [%[block]]         nt"
  1026.         "wldrd wr13, [%[block], #8]     nt"
  1027.         "wsrlhg wr10, wr10, wcgr0       nt"
  1028.         "wsrlhg wr11, wr11, wcgr0       nt"
  1029.         "wpackhus wr8, wr8, wr9         nt"
  1030.         "wpackhus wr9, wr10, wr11       nt"
  1031.         WAVG2B" wr8, wr8, wr12          nt"
  1032.         WAVG2B" wr9, wr9, wr13          nt"
  1033.         "wstrd wr8, [%[block]]          nt"
  1034.         "wstrd wr9, [%[block], #8]      nt"
  1035.         "add %[block], %[block], %[line_size]   nt"
  1037.         // [wr0 wr1 wr2 wr3] <= *
  1038.         // [wr4 wr5 wr6 wr7]
  1039.         "wldrd wr12, [%[pixels]]        nt"
  1040.         "pld [%[block]]                 nt"
  1041.         "wldrd wr13, [%[pixels], #8]    nt"
  1042.         "pld [%[block], #32]            nt"
  1043.         "wldrd wr14, [%[pixels], #16]   nt"
  1044.         "add %[pixels], %[pixels], %[line_size] nt"
  1045.         "walignr1 wr2, wr12, wr13       nt"
  1046.         "pld [%[pixels]]                nt"
  1047.         "pld [%[pixels], #32]           nt"
  1048.         "walignr1 wr3, wr13, wr14       nt"
  1049.         "wmoveq wr10, wr13              nt"
  1050.         "wmoveq wr11, wr14              nt"
  1051.         "walignr2ne wr10, wr12, wr13    nt"
  1052.         "walignr2ne wr11, wr13, wr14    nt"
  1053.         "wunpckelub wr0, wr2            nt"
  1054.         "wunpckehub wr1, wr2            nt"
  1055.         "wunpckelub wr2, wr3            nt"
  1056.         "wunpckehub wr3, wr3            nt"
  1057.         "wunpckelub wr8, wr10           nt"
  1058.         "wunpckehub wr9, wr10           nt"
  1059.         "wunpckelub wr10, wr11          nt"
  1060.         "wunpckehub wr11, wr11          nt"
  1061.         "waddhus wr0, wr0, wr8          nt"
  1062.         "waddhus wr1, wr1, wr9          nt"
  1063.         "waddhus wr2, wr2, wr10         nt"
  1064.         "waddhus wr3, wr3, wr11         nt"
  1065.         "waddhus wr8, wr0, wr4          nt"
  1066.         "waddhus wr9, wr1, wr5          nt"
  1067.         "waddhus wr10, wr2, wr6         nt"
  1068.         "waddhus wr11, wr3, wr7         nt"
  1069.         "waddhus wr8, wr8, wr15         nt"
  1070.         "waddhus wr9, wr9, wr15         nt"
  1071.         "waddhus wr10, wr10, wr15       nt"
  1072.         "waddhus wr11, wr11, wr15       nt"
  1073.         "wsrlhg wr8, wr8, wcgr0         nt"
  1074.         "wsrlhg wr9, wr9, wcgr0         nt"
  1075.         "wldrd wr12, [%[block]]         nt"
  1076.         "wldrd wr13, [%[block], #8]     nt"
  1077.         "wsrlhg wr10, wr10, wcgr0       nt"
  1078.         "wsrlhg wr11, wr11, wcgr0       nt"
  1079.         "wpackhus wr8, wr8, wr9         nt"
  1080.         "wpackhus wr9, wr10, wr11       nt"
  1081.         WAVG2B" wr8, wr8, wr12          nt"
  1082.         WAVG2B" wr9, wr9, wr13          nt"
  1083.         "wstrd wr8, [%[block]]          nt"
  1084.         "wstrd wr9, [%[block], #8]      nt"
  1085.         "add %[block], %[block], %[line_size]   nt"
  1086.         "subs %[h], %[h], #2            nt"
  1087.         "pld [%[block]]                 nt"
  1088.         "pld [%[block], #32]            nt"
  1089.         "bne 1b                         nt"
  1090.         : [h]"+r"(h), [pixels]"+r"(pixels), [block]"+r"(block)
  1091.         : [line_size]"r"(line_size)
  1092.         : "r12", "memory");
  1093. }