开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多媒体 > 流媒体/Mpeg4/MP4 > 查看源码
pixel-a.S
资源名称：X264CODEC.rar　[点击查看]
上传用户：lctgjx
上传日期：2022-06-04
资源大小：8887k
文件大小：32k
源码类别：

流媒体/Mpeg4/MP4

开发平台：

Visual C++

pixel-a.S：源码内容
  1. /*****************************************************************************
  2.  * pixel.S: h264 encoder
  3.  *****************************************************************************
  4.  * Copyright (C) 2009 x264 project
  5.  *
  6.  * Authors: David Conrad <lessen42@gmail.com>
  7.  *
  8.  * This program is free software; you can redistribute it and/or modify
  9.  * it under the terms of the GNU General Public License as published by
  10.  * the Free Software Foundation; either version 2 of the License, or
  11.  * (at your option) any later version.
  12.  *
  13.  * This program is distributed in the hope that it will be useful,
  14.  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15.  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16.  * GNU General Public License for more details.
  17.  *
  18.  * You should have received a copy of the GNU General Public License
  19.  * along with this program; if not, write to the Free Software
  20.  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  21.  *****************************************************************************/
  23. #include "asm.S"
  25. .fpu neon
  26. .section .rodata
  27. .align 4
  29. .rept 16 .byte 0xff
  30. .endr
  31. mask_ff:
  32. .rept 16 .byte 0
  33. .endr
  35. mask_ac4:
  36. .short 0, -1, -1, -1,  0, -1, -1, -1
  37. mask_ac8:
  38. .short 0, -1, -1, -1, -1, -1, -1, -1
  40. .text
  42. .macro SAD4_ARMV6 h
  43. function x264_pixel_sad_4xh()_armv6, export=1
  44.     push        {r4-r6,lr}
  45.     ldr         r4, [r2], r3
  46.     ldr         r5, [r0], r1
  47.     ldr         r6, [r2], r3
  48.     ldr         lr, [r0], r1
  49.     usad8       ip, r4, r5
  50. .rept (h - 2)/2
  51.     ldr         r4, [r2], r3
  52.     ldr         r5, [r0], r1
  53.     usada8      ip, r6, lr, ip
  54.     ldr         r6, [r2], r3
  55.     ldr         lr, [r0], r1
  56.     usada8      ip, r4, r5, ip
  57. .endr
  58.     usada8      r0, r6, lr, ip
  59.     pop         {r4-r6,pc}
  60. .endfunc
  61. .endm
  63. SAD4_ARMV6 4
  64. SAD4_ARMV6 8
  67. .macro SAD_START_4 align:vararg
  68.     vld1.32     {d1[]}, [r2 align], r3
  69.     vld1.32     {d0[]}, [r0,:32], r1
  70.     vabdl.u8    q8,  d0,  d1
  71. .endm
  73. .macro SAD_4 align:vararg
  74.     vld1.32     {d1[]}, [r2 align], r3
  75.     vld1.32     {d0[]}, [r0,:32], r1
  76.     vabal.u8    q8,  d0,  d1
  77. .endm
  79. .macro SAD_START_8 align:vararg
  80.     vld1.64     {d1}, [r2 align], r3
  81.     vld1.64     {d0}, [r0,:64], r1
  82.     vabdl.u8    q8,  d0,  d1
  83. .endm
  85. .macro SAD_8 align:vararg
  86.     vld1.64     {d1}, [r2 align], r3
  87.     vld1.64     {d0}, [r0,:64], r1
  88.     vabal.u8    q8,  d0,  d1
  89. .endm
  91. .macro SAD_START_16 align:vararg
  92.     vld1.64     {d2-d3}, [r2 align], r3
  93.     vld1.64     {d0-d1}, [r0,:128], r1
  94.     vabdl.u8    q8,  d0,  d2
  95.     vld1.64     {d6-d7}, [r2 align], r3
  96.     vabdl.u8    q9,  d1,  d3
  97.     vld1.64     {d4-d5}, [r0,:128], r1
  98. .endm
  100. .macro SAD_16 align:vararg
  101.     vabal.u8    q8,  d4,  d6
  102.     vld1.64     {d2-d3}, [r2 align], r3
  103.     vabal.u8    q9,  d5,  d7
  104.     vld1.64     {d0-d1}, [r0,:128], r1
  105.     vabal.u8    q8,  d0,  d2
  106.     vld1.64     {d6-d7}, [r2 align], r3
  107.     vabal.u8    q9,  d1,  d3
  108.     vld1.64     {d4-d5}, [r0,:128], r1
  109. .endm
  111. .macro SAD_FUNC w, h, name, align:vararg
  112. function x264_pixel_sadname()_w()xh()_neon, export=1
  113. .if w == 16
  114.     .set r, h / 2 - 1
  115. .else
  116.     .set r, h - 1
  117. .endif
  119.     SAD_START_w align
  120. .rept r
  121.     SAD_w align
  122. .endr
  124. .if w > 8
  125.     vabal.u8    q8,  d4,  d6
  126.     vabal.u8    q9,  d5,  d7
  127.     vadd.u16    q8,  q8,  q9
  128. .endif
  129. .if w > 4
  130.     vadd.u16    d16, d16, d17
  131. .endif
  132.     vpadd.u16   d0,  d16, d16
  133.     vpaddl.u16  d0,  d0
  134.     vmov.u32    r0,  d0[0]
  135.     bx          lr
  136. .endfunc
  137. .endm
  139. SAD_FUNC  4,  4
  140. SAD_FUNC  4,  8
  141. SAD_FUNC  8,  4
  142. SAD_FUNC  8,  8
  143. SAD_FUNC  8,  16
  144. SAD_FUNC  16, 8
  145. SAD_FUNC  16, 16
  147. SAD_FUNC  4,  4,  _aligned, ,:32
  148. SAD_FUNC  4,  8,  _aligned, ,:32
  149. SAD_FUNC  8,  4,  _aligned, ,:64
  150. SAD_FUNC  8,  8,  _aligned, ,:64
  151. SAD_FUNC  8,  16, _aligned, ,:64
  152. SAD_FUNC  16, 8,  _aligned, ,:128
  153. SAD_FUNC  16, 16, _aligned, ,:128
  155. // If dual issue is possible, use additional accumulators to avoid
  156. // stalls from vadal's latency. This only matters for aligned.
  157. .macro SAD_DUAL_START_8
  158.     SAD_START_8 ,:64
  159.     vld1.64     {d3}, [r2,:64], r3
  160.     vld1.64     {d2}, [r0,:64], r1
  161.     vabdl.u8    q9,  d2,  d3
  162. .endm
  164. .macro SAD_DUAL_8 align:vararg
  165.     vld1.64     {d1}, [r2,:64], r3
  166.     vld1.64     {d0}, [r0,:64], r1
  167.     vabal.u8    q8,  d0,  d1
  168.     vld1.64     {d3}, [r2,:64], r3
  169.     vld1.64     {d2}, [r0,:64], r1
  170.     vabal.u8    q9,  d2,  d3
  171. .endm
  173. .macro SAD_DUAL_START_16
  174.     SAD_START_16 ,:128
  175.     vabdl.u8    q10, d4,  d6
  176.     vld1.64     {d2-d3}, [r2,:128], r3
  177.     vabdl.u8    q11, d5,  d7
  178.     vld1.64     {d0-d1}, [r0,:128], r1
  179. .endm
  181. .macro SAD_DUAL_16
  182.     vabal.u8    q8,  d0,  d2
  183.     vld1.64     {d6-d7}, [r2,:128], r3
  184.     vabal.u8    q9,  d1,  d3
  185.     vld1.64     {d4-d5}, [r0,:128], r1
  186.     vabal.u8    q10, d4,  d6
  187.     vld1.64     {d2-d3}, [r2,:128], r3
  188.     vabal.u8    q11, d5,  d7
  189.     vld1.64     {d0-d1}, [r0,:128], r1
  190. .endm
  192. .macro SAD_DUAL_END_16
  193.     vabal.u8    q8,  d0,  d2
  194.     vld1.64     {d6-d7}, [r2,:128], r3
  195.     vabal.u8    q9,  d1,  d3
  196.     vld1.64     {d4-d5}, [r0,:128], r1
  197.     vabal.u8    q10, d4,  d6
  198.     vabal.u8    q11, d5,  d7
  199. .endm
  201. .macro SAD_FUNC_DUAL w, h
  202. function x264_pixel_sad_aligned_w()xh()_neon_dual, export=1
  203.     SAD_DUAL_START_w
  204. .rept h / 2 - w / 8
  205.     SAD_DUAL_w
  206. .endr
  208. .if w > 8
  209.     SAD_DUAL_END_16
  210.     vadd.u16    q8,  q8,  q9
  211.     vadd.u16    q9,  q10, q11
  212. .endif
  213. .if w > 4
  214.     vadd.u16    q8,  q8,  q9
  215.     vadd.u16    d16, d16, d17
  216. .endif
  217.     vpadd.u16   d0,  d16, d16
  218.     vpaddl.u16  d0,  d0
  219.     vmov.u32    r0,  d0[0]
  220.     bx          lr
  221. .endfunc
  222. .endm
  224. SAD_FUNC_DUAL  8,  4
  225. SAD_FUNC_DUAL  8,  8
  226. SAD_FUNC_DUAL  8,  16
  227. SAD_FUNC_DUAL  16, 8
  228. SAD_FUNC_DUAL  16, 16
  231. .macro SAD_X_START_4 x
  232.     vld1.32     {d0[]}, [r0,:32], lr
  233.     vld1.32     {d1[]}, [r1], r6
  234.     vabdl.u8    q8,  d1,  d0
  235.     vld1.32     {d2[]}, [r2], r6
  236.     vabdl.u8    q9,  d2,  d0
  237.     vld1.32     {d3[]}, [r3], r6
  238.     vabdl.u8    q10, d3,  d0
  239. .if x == 4
  240.     vld1.32     {d4[]}, [r12], r6
  241.     vabdl.u8    q11, d4,  d0
  242. .endif
  243. .endm
  245. .macro SAD_X_4 x
  246.     vld1.32     {d0[]}, [r0,:32], lr
  247.     vld1.32     {d1[]}, [r1], r6
  248.     vabal.u8    q8,  d1,  d0
  249.     vld1.32     {d2[]}, [r2], r6
  250.     vabal.u8    q9,  d2,  d0
  251.     vld1.32     {d3[]}, [r3], r6
  252.     vabal.u8    q10, d3,  d0
  253. .if x == 4
  254.     vld1.32     {d4[]}, [r12], r6
  255.     vabal.u8    q11, d4,  d0
  256. .endif
  257. .endm
  259. .macro SAD_X_START_8 x
  260.     vld1.64     {d0}, [r0,:64], lr
  261.     vld1.64     {d1}, [r1], r6
  262.     vabdl.u8    q8,  d1,  d0
  263.     vld1.64     {d2}, [r2], r6
  264.     vabdl.u8    q9,  d2,  d0
  265.     vld1.64     {d3}, [r3], r6
  266.     vabdl.u8    q10, d3,  d0
  267. .if x == 4
  268.     vld1.64     {d4}, [r12], r6
  269.     vabdl.u8    q11, d4,  d0
  270. .endif
  271. .endm
  273. .macro SAD_X_8 x
  274.     vld1.64     {d0}, [r0,:64], lr
  275.     vld1.64     {d1}, [r1], r6
  276.     vabal.u8    q8,  d1,  d0
  277.     vld1.64     {d2}, [r2], r6
  278.     vabal.u8    q9,  d2,  d0
  279.     vld1.64     {d3}, [r3], r6
  280.     vabal.u8    q10, d3,  d0
  281. .if x == 4
  282.     vld1.64     {d4}, [r12], r6
  283.     vabal.u8    q11, d4,  d0
  284. .endif
  285. .endm
  287. .macro SAD_X_START_16 x
  288.     vld1.64     {d0-d1}, [r0,:128], lr
  289.     vld1.64     {d2-d3}, [r1], r6
  290.     vabdl.u8    q8,  d2,  d0
  291.     vabdl.u8    q12, d3,  d1
  292.     vld1.64     {d4-d5}, [r2], r6
  293.     vabdl.u8    q9,  d4,  d0
  294.     vabdl.u8    q13, d5,  d1
  295.     vld1.64     {d6-d7}, [r3], r6
  296.     vabdl.u8    q10, d6,  d0
  297.     vabdl.u8    q14, d7,  d1
  298. .if x == 4
  299.     vld1.64     {d2-d3}, [r12], r6
  300.     vabdl.u8    q11, d2,  d0
  301.     vabdl.u8    q15, d3,  d1
  302. .endif
  303. .endm
  305. .macro SAD_X_16 x
  306.     vld1.64     {d0-d1}, [r0,:128], lr
  307.     vld1.64     {d2-d3}, [r1], r6
  308.     vabal.u8    q8,  d2,  d0
  309.     vabal.u8    q12, d3,  d1
  310.     vld1.64     {d4-d5}, [r2], r6
  311.     vabal.u8    q9,  d4,  d0
  312.     vabal.u8    q13, d5,  d1
  313.     vld1.64     {d6-d7}, [r3], r6
  314.     vabal.u8    q10, d6,  d0
  315.     vabal.u8    q14, d7,  d1
  316. .if x == 4
  317.     vld1.64     {d2-d3}, [r12], r6
  318.     vabal.u8    q11, d2,  d0
  319.     vabal.u8    q15, d3,  d1
  320. .endif
  321. .endm
  323. .macro SAD_X_FUNC x, w, h
  324. function x264_pixel_sad_xx()_w()xh()_neon, export=1
  325.     push        {r6-r7,lr}
  326. .if x == 3
  327.     ldrd        r6,  [sp, #12]
  328. .else
  329.     ldrd        r6,  [sp, #16]
  330.     ldr         r12, [sp, #12]
  331. .endif
  332.     mov         lr,  #FENC_STRIDE
  334.     SAD_X_START_w x
  335. .rept h - 1
  336.     SAD_X_w x
  337. .endr
  339. // add up the sads
  340. .if w > 8
  341.     vadd.u16    q8,  q8,  q12
  342.     vadd.u16    q9,  q9,  q13
  343.     vadd.u16    q10, q10, q14
  344. .if x == 4
  345.     vadd.u16    q11, q11, q15
  346. .endif
  347. .endif
  348. .if w > 4
  349.     vadd.u16    d16, d16, d17
  350.     vadd.u16    d18, d18, d19
  351.     vadd.u16    d20, d20, d21
  352. .if x == 4
  353.     vadd.u16    d22, d22, d23
  354. .endif
  355. .endif
  356.     vpadd.u16   d0,  d16, d18
  357.     vpadd.u16   d1,  d20, d22
  358.     vpaddl.u16  q0,  q0
  360. .if x == 3
  361.     vst1.32     {d0},    [r7]!
  362.     vst1.32     {d1[0]}, [r7,:32]
  363. .else
  364.     vst1.32     {d0-d1}, [r7]
  365. .endif
  366.     pop         {r6-r7,pc}
  367. .endfunc
  368. .endm
  370. SAD_X_FUNC  3, 4,  4
  371. SAD_X_FUNC  3, 4,  8
  372. SAD_X_FUNC  3, 8,  4
  373. SAD_X_FUNC  3, 8,  8
  374. SAD_X_FUNC  3, 8,  16
  375. SAD_X_FUNC  3, 16, 8
  376. SAD_X_FUNC  3, 16, 16
  378. SAD_X_FUNC  4, 4,  4
  379. SAD_X_FUNC  4, 4,  8
  380. SAD_X_FUNC  4, 8,  4
  381. SAD_X_FUNC  4, 8,  8
  382. SAD_X_FUNC  4, 8,  16
  383. SAD_X_FUNC  4, 16, 8
  384. SAD_X_FUNC  4, 16, 16
  387. .macro SSD_START_4
  388.     vld1.32     {d16[]}, [r0,:32], r1
  389.     vld1.32     {d17[]}, [r2,:32], r3
  390.     vsubl.u8    q2, d16, d17
  391.     vld1.32     {d16[]}, [r0,:32], r1
  392.     vmull.s16   q0, d4, d4
  393.     vld1.32     {d17[]}, [r2,:32], r3
  394. .endm
  396. .macro SSD_4
  397.     vsubl.u8    q2, d16, d17
  398.     vld1.32     {d16[]}, [r0,:32], r1
  399.     vmlal.s16   q0, d4, d4
  400.     vld1.32     {d17[]}, [r2,:32], r3
  401. .endm
  403. .macro SSD_END_4
  404.     vsubl.u8    q2, d16, d17
  405.     vmlal.s16   q0, d4, d4
  406. .endm
  408. .macro SSD_START_8
  409.     vld1.64     {d16}, [r0,:64], r1
  410.     vld1.64     {d17}, [r2,:64], r3
  411.     vsubl.u8    q2, d16, d17
  412.     vld1.64     {d16}, [r0,:64], r1
  413.     vmull.s16   q0, d4, d4
  414.     vmlal.s16   q0, d5, d5
  415.     vld1.64     {d17}, [r2,:64], r3
  416. .endm
  418. .macro SSD_8
  419.     vsubl.u8    q2, d16, d17
  420.     vld1.64     {d16}, [r0,:64], r1
  421.     vmlal.s16   q0, d4, d4
  422.     vmlal.s16   q0, d5, d5
  423.     vld1.64     {d17}, [r2,:64], r3
  424. .endm
  426. .macro SSD_END_8
  427.     vsubl.u8    q2, d16, d17
  428.     vmlal.s16   q0, d4, d4
  429.     vmlal.s16   q0, d5, d5
  430. .endm
  432. .macro SSD_START_16
  433.     vld1.64     {d16-d17}, [r0,:128], r1
  434.     vld1.64     {d18-d19}, [r2,:128], r3
  435.     vsubl.u8    q2, d16, d18
  436.     vsubl.u8    q3, d17, d19
  437.     vld1.64     {d16-d17}, [r0,:128], r1
  438.     vmull.s16   q0, d4, d4
  439.     vmlal.s16   q0, d5, d5
  440.     vld1.64     {d18-d19}, [r2,:128], r3
  441.     vmlal.s16   q0, d6, d6
  442.     vmlal.s16   q0, d7, d7
  443. .endm
  445. .macro SSD_16
  446.     vsubl.u8    q2, d16, d18
  447.     vsubl.u8    q3, d17, d19
  448.     vld1.64     {d16-d17}, [r0,:128], r1
  449.     vmlal.s16   q0, d4, d4
  450.     vmlal.s16   q0, d5, d5
  451.     vld1.64     {d18-d19}, [r2,:128], r3
  452.     vmlal.s16   q0, d6, d6
  453.     vmlal.s16   q0, d7, d7
  454. .endm
  456. .macro SSD_END_16
  457.     vsubl.u8    q2, d16, d18
  458.     vsubl.u8    q3, d17, d19
  459.     vmlal.s16   q0, d4, d4
  460.     vmlal.s16   q0, d5, d5
  461.     vmlal.s16   q0, d6, d6
  462.     vmlal.s16   q0, d7, d7
  463. .endm
  465. .macro SSD_FUNC w h
  466. function x264_pixel_ssd_w()xh()_neon, export=1
  467.     SSD_START_w
  468. .rept h-2
  469.     SSD_w
  470. .endr
  471.     SSD_END_w
  472.     vadd.s32    d0, d0, d1
  473.     vpadd.s32   d0, d0, d0
  474.     vmov.32     r0, d0[0]
  475.     bx          lr
  476. .endfunc
  477. .endm
  479. SSD_FUNC   4, 4
  480. SSD_FUNC   4, 8
  481. SSD_FUNC   8, 4
  482. SSD_FUNC   8, 8
  483. SSD_FUNC   8, 16
  484. SSD_FUNC  16, 8
  485. SSD_FUNC  16, 16
  488. .macro VAR_SQR_SUM qsqr_sum qsqr_last qsqr dsrc vpadal=vpadal.u16
  489.     vmull.u8        qsqr, dsrc, dsrc
  490.     vaddw.u8        q0, q0, dsrc
  491.     vpadal         qsqr_sum, qsqr_last
  492. .endm
  494. function x264_pixel_var_8x8_neon, export=1
  495.     vld1.64         {d16}, [r0,:64], r1
  496.     vmull.u8        q1,  d16, d16
  497.     vmovl.u8        q0,  d16
  498.     vld1.64         {d18}, [r0,:64], r1
  499.     vmull.u8        q2,  d18, d18
  500.     vaddw.u8        q0,  q0,  d18
  502.     vld1.64         {d20}, [r0,:64], r1
  503.     VAR_SQR_SUM     q1,  q1,   q3,  d20, vpaddl.u16
  504.     vld1.64         {d22}, [r0,:64], r1
  505.     VAR_SQR_SUM     q2,  q2,   q8,  d22, vpaddl.u16
  507.     vld1.64         {d24}, [r0,:64], r1
  508.     VAR_SQR_SUM     q1,  q3,   q9,  d24
  509.     vld1.64         {d26}, [r0,:64], r1
  510.     VAR_SQR_SUM     q2,  q8,   q10, d26
  511.     vld1.64         {d24}, [r0,:64], r1
  512.     VAR_SQR_SUM     q1,  q9,   q14, d24
  513.     vld1.64         {d26}, [r0,:64], r1
  514.     VAR_SQR_SUM     q2,  q10,  q15, d26
  516.     mov             r2,  #6
  517.     b               x264_var_end
  518. .endfunc
  520. function x264_pixel_var_16x16_neon, export=1
  521.     vld1.64         {d16-d17}, [r0,:128], r1
  522.     vmull.u8        q12, d16, d16
  523.     vmovl.u8        q0,  d16
  524.     vmull.u8        q13, d17, d17
  525.     vaddw.u8        q0,  q0,  d17
  527.     vld1.64         {d18-d19}, [r0,:128], r1
  528.     VAR_SQR_SUM     q1,  q12,  q14, d18, vpaddl.u16
  529.     VAR_SQR_SUM     q2,  q13,  q15, d19, vpaddl.u16
  531.     mov             ip,  #7
  532.     mov             r2,  #8
  533. var16_loop:
  534.     subs            ip,  ip,  #1
  535.     vld1.64         {d16-d17}, [r0,:128], r1
  536.     VAR_SQR_SUM     q1,  q14,  q12, d16
  537.     VAR_SQR_SUM     q2,  q15,  q13, d17
  539.     vld1.64         {d18-d19}, [r0,:128], r1
  540.     VAR_SQR_SUM     q1,  q12,  q14, d18
  541.     VAR_SQR_SUM     q2,  q13,  q15, d19
  542.     bgt             var16_loop
  543. .endfunc
  545. function x264_var_end
  546.     vpaddl.u16      q8,  q14
  547.     vpaddl.u16      q9,  q15
  548.     vadd.u32        q1,  q1,  q8
  549.     vadd.u16        d0,  d0,  d1
  550.     vadd.u32        q1,  q1,  q9
  551.     vadd.u32        q1,  q1,  q2
  552.     vpaddl.u16      d0,  d0
  553.     vadd.u32        d2,  d2,  d3
  554.     vpadd.u32       d0,  d0,  d2
  556.     vmov            r0,  r1,  d0
  557.     mul             r0,  r0,  r0
  558.     sub             r0,  r1,  r0,  lsr r2
  559.     bx              lr
  560. .endfunc
  562. .macro DIFF_SUM diff da db lastdiff
  563.     vld1.64         {da}, [r0,:64], r1
  564.     vld1.64         {db}, [r2,:64], r3
  565. .ifnb lastdiff
  566.     vadd.s16        q0,  q0,  lastdiff
  567. .endif
  568.     vsubl.u8        diff, da, db
  569. .endm
  571. .macro SQR_ACC acc d0 d1 vmlal=vmlal.s16
  572.     vmlal          acc, d0, d0
  573.     vmlal.s16       acc, d1, d1
  574. .endm
  576. function x264_pixel_var2_8x8_neon, export=1
  577.     DIFF_SUM        q0,  d0,  d1
  578.     DIFF_SUM        q8,  d16, d17
  579.     SQR_ACC         q1,  d0,  d1,  vmull.s16
  580.     DIFF_SUM        q9,  d18, d19, q8
  581.     SQR_ACC         q2,  d16, d17, vmull.s16
  582. .rept 2
  583.     DIFF_SUM        q8,  d16, d17, q9
  584.     SQR_ACC         q1,  d18, d19
  585.     DIFF_SUM        q9,  d18, d19, q8
  586.     SQR_ACC         q2,  d16, d17
  587. .endr
  588.     DIFF_SUM        q8,  d16, d17, q9
  589.     SQR_ACC         q1,  d18, d19
  590.     vadd.s16        q0,  q0,  q8
  591.     SQR_ACC         q2,  d16, d17
  593.     ldr             ip,  [sp]
  594.     vadd.s16        d0,  d0,  d1
  595.     vadd.s32        q1,  q1,  q2
  596.     vpaddl.s16      d0,  d0
  597.     vadd.s32        d1,  d2,  d3
  598.     vpadd.s32       d0,  d0,  d1
  600.     vmov.32         r0,  r1,  d0
  601.     vst1.32         {d0[1]}, [ip,:32]
  602.     mul             r0,  r0,  r0
  603.     sub             r0,  r1,  r0,  lsr #6
  604.     bx              lr
  605. .endfunc
  608. .macro LOAD_DIFF_8x4 q0 q1 q2 q3
  609.     vld1.32     {d1}, [r2], r3
  610.     vld1.32     {d0}, [r0,:64], r1
  611.     vsubl.u8    q0, d0,  d1
  612.     vld1.32     {d3}, [r2], r3
  613.     vld1.32     {d2}, [r0,:64], r1
  614.     vsubl.u8    q1, d2,  d3
  615.     vld1.32     {d5}, [r2], r3
  616.     vld1.32     {d4}, [r0,:64], r1
  617.     vsubl.u8    q2, d4,  d5
  618.     vld1.32     {d7}, [r2], r3
  619.     vld1.32     {d6}, [r0,:64], r1
  620.     vsubl.u8    q3, d6,  d7
  621. .endm
  623. function x264_pixel_satd_4x4_neon, export=1
  624.     vld1.32     {d1[]},  [r2], r3
  625.     vld1.32     {d0[]},  [r0,:32], r1
  626.     vld1.32     {d3[]},  [r2], r3
  627.     vld1.32     {d2[]},  [r0,:32], r1
  628.     vld1.32     {d1[1]}, [r2], r3
  629.     vld1.32     {d0[1]}, [r0,:32], r1
  630.     vld1.32     {d3[1]}, [r2], r3
  631.     vld1.32     {d2[1]}, [r0,:32], r1
  632.     vsubl.u8    q0,  d0,  d1
  633.     vsubl.u8    q1,  d2,  d3
  635.     SUMSUB_AB   q2, q3, q0, q1
  636.     SUMSUB_ABCD d0, d2, d1, d3, d4, d5, d6, d7
  637.     HADAMARD    1, sumsub, q2, q3, q0, q1
  638.     HADAMARD    2, amax,   q0,,    q2, q3
  640.     HORIZ_ADD   d0,  d0,  d1
  641.     vmov.32     r0,  d0[0]
  642.     bx          lr
  643. .endfunc
  645. function x264_pixel_satd_4x8_neon, export=1
  646.     vld1.32     {d1[]},  [r2], r3
  647.     vld1.32     {d0[]},  [r0,:32], r1
  648.     vld1.32     {d3[]},  [r2], r3
  649.     vld1.32     {d2[]},  [r0,:32], r1
  650.     vld1.32     {d5[]},  [r2], r3
  651.     vld1.32     {d4[]},  [r0,:32], r1
  652.     vld1.32     {d7[]},  [r2], r3
  653.     vld1.32     {d6[]},  [r0,:32], r1
  655.     vld1.32     {d1[1]}, [r2], r3
  656.     vld1.32     {d0[1]}, [r0,:32], r1
  657.     vsubl.u8    q0,  d0,  d1
  658.     vld1.32     {d3[1]}, [r2], r3
  659.     vld1.32     {d2[1]}, [r0,:32], r1
  660.     vsubl.u8    q1,  d2,  d3
  661.     vld1.32     {d5[1]}, [r2], r3
  662.     vld1.32     {d4[1]}, [r0,:32], r1
  663.     vsubl.u8    q2,  d4,  d5
  664.     vld1.32     {d7[1]}, [r2], r3
  665.     SUMSUB_AB   q8,  q9,  q0,  q1
  666.     vld1.32     {d6[1]}, [r0,:32], r1
  667.     vsubl.u8    q3,  d6,  d7
  668.     SUMSUB_AB   q10, q11, q2,  q3
  669.     b           x264_satd_4x8_8x4_end_neon
  670. .endfunc
  672. function x264_pixel_satd_8x4_neon, export=1
  673.     vld1.64     {d1}, [r2], r3
  674.     vld1.64     {d0}, [r0,:64], r1
  675.     vsubl.u8    q0,  d0,  d1
  676.     vld1.64     {d3}, [r2], r3
  677.     vld1.64     {d2}, [r0,:64], r1
  678.     vsubl.u8    q1,  d2,  d3
  679.     vld1.64     {d5}, [r2], r3
  680.     vld1.64     {d4}, [r0,:64], r1
  681.     vsubl.u8    q2,  d4,  d5
  682.     vld1.64     {d7}, [r2], r3
  683.     SUMSUB_AB   q8,  q9,  q0,  q1
  684.     vld1.64     {d6}, [r0,:64], r1
  685.     vsubl.u8    q3,  d6,  d7
  686.     SUMSUB_AB   q10, q11, q2,  q3
  687. .endfunc
  689. function x264_satd_4x8_8x4_end_neon
  690.     vadd.s16    q0,  q8,  q10
  691.     vadd.s16    q1,  q9,  q11
  692.     vsub.s16    q2,  q8,  q10
  693.     vsub.s16    q3,  q9,  q11
  695.     vtrn.16     q0,  q1
  696.     vadd.s16    q8,  q0,  q1
  697.     vtrn.16     q2,  q3
  698.     vsub.s16    q9,  q0,  q1
  699.     vadd.s16    q10, q2,  q3
  700.     vsub.s16    q11, q2,  q3
  701.     vtrn.32     q8,  q10
  702.     vabs.s16    q8,  q8
  703.     vtrn.32     q9,  q11
  704.     vabs.s16    q10, q10
  705.     vabs.s16    q9,  q9
  706.     vabs.s16    q11, q11
  707.     vmax.u16    q0,  q8,  q10
  708.     vmax.u16    q1,  q9,  q11
  710.     vadd.u16    q0,  q0,  q1
  711.     HORIZ_ADD   d0,  d0,  d1
  712.     vmov.32     r0,  d0[0]
  713.     bx          lr
  714. .endfunc
  716. function x264_pixel_satd_8x8_neon, export=1
  717.     mov         ip,  lr
  719.     bl x264_satd_8x8_neon
  720.     vadd.u16    q0,  q12, q13
  721.     vadd.u16    q1,  q14, q15
  723.     vadd.u16    q0,  q0,  q1
  724.     HORIZ_ADD   d0,  d0,  d1
  725.     mov         lr,  ip
  726.     vmov.32     r0,  d0[0]
  727.     bx          lr
  728. .endfunc
  730. function x264_pixel_satd_8x16_neon, export=1
  731.     vpush       {d8-d11}
  732.     mov         ip,  lr
  734.     bl x264_satd_8x8_neon
  735.     vadd.u16    q4,  q12, q13
  736.     vadd.u16    q5,  q14, q15
  738.     bl x264_satd_8x8_neon
  739.     vadd.u16    q4,  q4,  q12
  740.     vadd.u16    q5,  q5,  q13
  741.     vadd.u16    q4,  q4,  q14
  742.     vadd.u16    q5,  q5,  q15
  744.     vadd.u16    q0,  q4,  q5
  745.     HORIZ_ADD   d0,  d0,  d1
  746.     vpop        {d8-d11}
  747.     mov         lr,  ip
  748.     vmov.32     r0,  d0[0]
  749.     bx          lr
  750. .endfunc
  752. function x264_satd_8x8_neon
  753.     LOAD_DIFF_8x4 q8,  q9,  q10, q11
  754.     vld1.64     {d7}, [r2], r3
  755.     SUMSUB_AB   q0,  q1,  q8,  q9
  756.     vld1.64     {d6}, [r0,:64], r1
  757.     vsubl.u8    q12, d6,  d7
  758.     vld1.64     {d17}, [r2], r3
  759.     SUMSUB_AB   q2,  q3,  q10, q11
  760.     vld1.64     {d16}, [r0,:64], r1
  761.     vsubl.u8    q13, d16, d17
  762.     vld1.64     {d19}, [r2], r3
  763.     SUMSUB_AB   q8,  q10, q0,  q2
  764.     vld1.64     {d18}, [r0,:64], r1
  765.     vsubl.u8    q14, d18, d19
  766.     vld1.64     {d1}, [r2], r3
  767.     SUMSUB_AB   q9,  q11, q1,  q3
  768.     vld1.64     {d0}, [r0,:64], r1
  769.     vsubl.u8    q15, d0,  d1
  770. .endfunc
  772. // one vertical hadamard pass and two horizontal
  773. function x264_satd_8x4v_8x8h_neon
  774.     SUMSUB_ABCD q0, q1, q2, q3, q12, q13, q14, q15
  775.     vtrn.16     q8,  q9
  776.     SUMSUB_AB   q12, q14, q0,  q2
  777.     vtrn.16     q10, q11
  778.     SUMSUB_AB   q13, q15, q1,  q3
  779.     SUMSUB_AB   q0,  q1,  q8,  q9
  780.     vtrn.16     q12, q13
  781.     SUMSUB_AB   q2,  q3,  q10, q11
  782.     vtrn.16     q14, q15
  783.     SUMSUB_AB   q8,  q9,  q12, q13
  784.     vtrn.32     q0,  q2
  785.     SUMSUB_AB   q10, q11, q14, q15
  787.     vtrn.32     q1,  q3
  788.     ABS2        q0,  q2
  789.     vtrn.32     q8,  q10
  790.     ABS2        q1,  q3
  791.     vtrn.32     q9,  q11
  792.     ABS2        q8,  q10
  793.     ABS2        q9,  q11
  794.     vmax.s16    q12, q0,  q2
  795.     vmax.s16    q13, q1,  q3
  796.     vmax.s16    q14, q8,  q10
  797.     vmax.s16    q15, q9,  q11
  798.     bx          lr
  799. .endfunc
  801. function x264_pixel_satd_16x8_neon, export=1
  802.     vpush       {d8-d11}
  803.     mov         ip, lr
  805.     bl          x264_satd_16x4_neon
  806.     vadd.u16    q4,  q12, q13
  807.     vadd.u16    q5,  q14, q15
  809.     bl          x264_satd_16x4_neon
  810.     vadd.u16    q4,  q4,  q12
  811.     vadd.u16    q5,  q5,  q13
  812.     vadd.u16    q4,  q4,  q14
  813.     vadd.u16    q5,  q5,  q15
  815.     vadd.u16    q0,  q4,  q5
  816.     HORIZ_ADD   d0,  d0,  d1
  817.     vpop        {d8-d11}
  818.     mov         lr,  ip
  819.     vmov.32     r0,  d0[0]
  820.     bx          lr
  821. .endfunc
  823. function x264_pixel_satd_16x16_neon, export=1
  824.     vpush       {d8-d11}
  825.     mov         ip, lr
  827.     bl          x264_satd_16x4_neon
  828.     vadd.u16    q4,  q12, q13
  829.     vadd.u16    q5,  q14, q15
  831.     bl          x264_satd_16x4_neon
  832.     vadd.u16    q4,  q4,  q12
  833.     vadd.u16    q5,  q5,  q13
  834.     vadd.u16    q4,  q4,  q14
  835.     vadd.u16    q5,  q5,  q15
  837.     bl          x264_satd_16x4_neon
  838.     vadd.u16    q4,  q4,  q12
  839.     vadd.u16    q5,  q5,  q13
  840.     vadd.u16    q4,  q4,  q14
  841.     vadd.u16    q5,  q5,  q15
  843.     bl          x264_satd_16x4_neon
  844.     vadd.u16    q4,  q4,  q12
  845.     vadd.u16    q5,  q5,  q13
  846.     vadd.u16    q4,  q4,  q14
  847.     vadd.u16    q5,  q5,  q15
  849.     vadd.u16    q0,  q4,  q5
  850.     HORIZ_ADD   d0,  d0,  d1
  851.     vpop        {d8-d11}
  852.     mov         lr,  ip
  853.     vmov.32     r0,  d0[0]
  854.     bx          lr
  855. .endfunc
  857. function x264_satd_16x4_neon
  858.     vld1.64     {d2-d3}, [r2], r3
  859.     vld1.64     {d0-d1}, [r0,:128], r1
  860.     vsubl.u8    q8,  d0,  d2
  861.     vld1.64     {d6-d7}, [r2], r3
  862.     vsubl.u8    q12, d1,  d3
  863.     vld1.64     {d4-d5}, [r0,:128], r1
  864.     vsubl.u8    q9,  d4,  d6
  865.     vld1.64     {d2-d3}, [r2], r3
  866.     vsubl.u8    q13, d5,  d7
  867.     vld1.64     {d0-d1}, [r0,:128], r1
  868.     vsubl.u8    q10, d0,  d2
  869.     vld1.64     {d6-d7}, [r2], r3
  870.     vsubl.u8    q14, d1,  d3
  871.     vadd.s16    q0,  q8,  q9
  872.     vld1.64     {d4-d5}, [r0,:128], r1
  873.     vsub.s16    q1,  q8,  q9
  874.     vsubl.u8    q11, d4,  d6
  875.     vsubl.u8    q15, d5,  d7
  876.     SUMSUB_AB   q2,  q3,  q10, q11
  877.     SUMSUB_ABCD q8,  q10, q9,  q11, q0,  q2,  q1,  q3
  878.     b           x264_satd_8x4v_8x8h_neon
  879. .endfunc
  882. function x264_pixel_sa8d_8x8_neon, export=1
  883.     mov             ip,  lr
  884.     bl              x264_sa8d_8x8_neon
  885.     vadd.u16        q0,  q8,  q9
  886.     HORIZ_ADD       d0,  d0,  d1
  887.     mov             lr,  ip
  888.     vmov.32         r0,  d0[0]
  889.     add             r0,  r0,  #1
  890.     lsr             r0,  r0,  #1
  891.     bx              lr
  892. .endfunc
  894. function x264_pixel_sa8d_16x16_neon, export=1
  895.     vpush           {d8-d11}
  896.     mov             ip,  lr
  897.     bl              x264_sa8d_8x8_neon
  898.     vpaddl.u16      q4,  q8
  899.     vpaddl.u16      q5,  q9
  900.     bl              x264_sa8d_8x8_neon
  901.     vpadal.u16      q4,  q8
  902.     vpadal.u16      q5,  q9
  903.     sub             r0,  r0,  r1,  lsl #4
  904.     sub             r2,  r2,  r3,  lsl #4
  905.     add             r0,  r0,  #8
  906.     add             r2,  r2,  #8
  907.     bl              x264_sa8d_8x8_neon
  908.     vpadal.u16      q4,  q8
  909.     vpadal.u16      q5,  q9
  910.     bl              x264_sa8d_8x8_neon
  911.     vpaddl.u16      q8,  q8
  912.     vpaddl.u16      q9,  q9
  913.     vadd.u32        q0,  q4,  q8
  914.     vadd.u32        q1,  q5,  q9
  915.     vadd.u32        q0,  q0,  q1
  916.     vadd.u32        d0,  d0,  d1
  917.     vpadd.u32       d0,  d0,  d0
  918.     vpop            {d8-d11}
  919.     mov             lr,  ip
  920.     vmov.32         r0,  d0[0]
  921.     add             r0,  r0,  #1
  922.     lsr             r0,  r0,  #1
  923.     bx              lr
  924. .endfunc
  926. .macro HADAMARD4_V r1, r2, r3, r4, t1, t2, t3, t4
  927.     SUMSUB_ABCD t1, t2, t3, t4, r1, r2, r3, r4
  928.     SUMSUB_ABCD r1, r3, r2, r4, t1, t3, t2, t4
  929. .endm
  931. function x264_sa8d_8x8_neon
  932.     LOAD_DIFF_8x4   q8,  q9,  q10, q11
  933.     vld1.64         {d7}, [r2], r3
  934.     SUMSUB_AB       q0,  q1,  q8,  q9
  935.     vld1.64         {d6}, [r0,:64], r1
  936.     vsubl.u8        q12, d6,  d7
  937.     vld1.64         {d17}, [r2], r3
  938.     SUMSUB_AB       q2,  q3,  q10, q11
  939.     vld1.64         {d16}, [r0,:64], r1
  940.     vsubl.u8        q13, d16, d17
  941.     vld1.64         {d19}, [r2], r3
  942.     SUMSUB_AB       q8,  q10, q0,  q2
  943.     vld1.64         {d18}, [r0,:64], r1
  944.     vsubl.u8        q14, d18, d19
  945.     vld1.64         {d1}, [r2], r3
  946.     SUMSUB_AB       q9,  q11, q1,  q3
  947.     vld1.64         {d0}, [r0,:64], r1
  948.     vsubl.u8        q15, d0,  d1
  950.     HADAMARD4_V     q12, q13, q14, q15,  q0,  q1,  q2,  q3
  951.     SUMSUB_ABCD     q0,  q8,  q1,  q9,   q8,  q12, q9,  q13
  952.     SUMSUB_AB       q2,  q10, q10, q14
  953.     vtrn.16         q8,  q9
  954.     SUMSUB_AB       q3,  q11, q11, q15
  955.     vtrn.16         q0,  q1
  956.     SUMSUB_AB       q12, q13, q8,  q9
  957.     vtrn.16         q10, q11
  958.     SUMSUB_AB       q8,  q9,  q0,  q1
  959.     vtrn.16         q2,  q3
  960.     SUMSUB_AB       q14, q15, q10, q11
  961.     vadd.i16        q10, q2,  q3
  962.     vtrn.32         q12, q14
  963.     vsub.i16        q11, q2,  q3
  964.     vtrn.32         q13, q15
  965.     SUMSUB_AB       q0,  q2,  q12, q14
  966.     vtrn.32         q8,  q10
  967.     SUMSUB_AB       q1,  q3,  q13, q15
  968.     vtrn.32         q9,  q11
  969.     SUMSUB_AB       q12, q14, q8,  q10
  970.     SUMSUB_AB       q13, q15, q9,  q11
  972.     vswp            d1,  d24
  973.     ABS2            q0,  q12
  974.     vswp            d3,  d26
  975.     ABS2            q1,  q13
  976.     vswp            d5,  d28
  977.     ABS2            q2,  q14
  978.     vswp            d7,  d30
  979.     ABS2            q3,  q15
  980.     vmax.s16        q8,  q0,  q12
  981.     vmax.s16        q9,  q1,  q13
  982.     vmax.s16        q10, q2,  q14
  983.     vmax.s16        q11, q3,  q15
  984.     vadd.i16        q8,  q8,  q9
  985.     vadd.i16        q9,  q10, q11
  986.     bx              lr
  987. .endfunc
  990. .macro HADAMARD_AC w h
  991. function x264_pixel_hadamard_ac_w()xh()_neon, export=1
  992.     vpush           {d8-d15}
  993.     movrel          ip, mask_ac4
  994.     vmov.i8         q4, #0
  995.     // note: this assumes mask_ac8 is after mask_ac4 (so don't move it)
  996.     vld1.64         {d12-d15}, [ip,:128]
  997.     vmov.i8         q5, #0
  999.     mov             ip,  lr
  1000.     bl              x264_hadamard_ac_8x8_neon
  1001. .if h > 8
  1002.     bl              x264_hadamard_ac_8x8_neon
  1003. .endif
  1004. .if w > 8
  1005.     sub             r0,  r0,  r1,  lsl #3
  1006.     add             r0,  r0,  #8
  1007.     bl              x264_hadamard_ac_8x8_neon
  1008. .endif
  1009. .if w * h == 256
  1010.     sub             r0,  r0,  r1,  lsl #4
  1011.     bl              x264_hadamard_ac_8x8_neon
  1012. .endif
  1014.     vadd.s32        d8,  d8,  d9
  1015.     vadd.s32        d10, d10, d11
  1016.     vpadd.s32       d0,  d8,  d10
  1017.     vpop            {d8-d15}
  1018.     mov             lr,  ip
  1019.     vmov            r0,  r1,  d0
  1020.     lsr             r0,  r0,  #1
  1021.     lsr             r1,  r1,  #2
  1022.     bx              lr
  1023. .endfunc
  1024. .endm
  1026. HADAMARD_AC  8, 8
  1027. HADAMARD_AC  8, 16
  1028. HADAMARD_AC 16, 8
  1029. HADAMARD_AC 16, 16
  1031. // q4: satd  q5: sa8d  q6: mask_ac4  q7: mask_ac8
  1032. function x264_hadamard_ac_8x8_neon
  1033.     vld1.64         {d2},  [r0,:64], r1
  1034.     vld1.64         {d3},  [r0,:64], r1
  1035.     vaddl.u8        q0,  d2,  d3
  1036.     vld1.64         {d6},  [r0,:64], r1
  1037.     vsubl.u8        q1,  d2,  d3
  1038.     vld1.64         {d7},  [r0,:64], r1
  1039.     vaddl.u8        q2,  d6,  d7
  1040.     vld1.64         {d18}, [r0,:64], r1
  1041.     vsubl.u8        q3,  d6,  d7
  1042.     vld1.64         {d19}, [r0,:64], r1
  1043.     vaddl.u8        q8,  d18, d19
  1044.     vld1.64         {d22}, [r0,:64], r1
  1045.     vsubl.u8        q9,  d18, d19
  1046.     vld1.64         {d23}, [r0,:64], r1
  1048.     SUMSUB_ABCD     q12, q14, q13, q15, q0,  q2,  q1,  q3
  1049.     vaddl.u8        q10, d22, d23
  1050.     vsubl.u8        q11, d22, d23
  1051.     vtrn.16         q12, q13
  1052.     SUMSUB_ABCD     q0,  q2,  q1,  q3,  q8,  q10, q9,  q11
  1054.     vtrn.16         q14, q15
  1055.     SUMSUB_AB       q8,  q9,  q12, q13
  1056.     vtrn.16         q0,  q1
  1057.     SUMSUB_AB       q10, q11, q14, q15
  1058.     vtrn.16         q2,  q3
  1059.     SUMSUB_AB       q12, q13, q0,  q1
  1060.     vtrn.32         q8,  q10
  1061.     SUMSUB_AB       q14, q15, q2,  q3
  1062.     vtrn.32         q9,  q11
  1063.     SUMSUB_AB       q0,  q2,  q8,  q10
  1064.     vtrn.32         q12, q14
  1065.     SUMSUB_AB       q1,  q3,  q9,  q11
  1066.     vtrn.32         q13, q15
  1067.     SUMSUB_ABCD     q8,  q10, q9,  q11, q12, q14, q13, q15
  1069.     vabs.s16        q12, q0
  1070.     vabs.s16        q13, q8
  1071.     vabs.s16        q15, q1
  1072.     vadd.s16        q12, q12, q13
  1073.     vabs.s16        q14, q2
  1074.     vand.s16        q12, q12, q6
  1075.     vabs.s16        q13, q3
  1076.     vadd.s16        q12, q12, q15
  1077.     vabs.s16        q15, q9
  1078.     vadd.s16        q12, q12, q14
  1079.     vabs.s16        q14, q10
  1080.     vadd.s16        q12, q12, q13
  1081.     vabs.s16        q13, q11
  1082.     vadd.s16        q12, q12, q15
  1083.     vsub.s16        q15, q11, q3
  1084.     vadd.s16        q12, q12, q14
  1085.     vadd.s16        q14, q11, q3
  1086.     vadd.s16        q12, q12, q13
  1087.     vsub.s16        q13, q10, q2
  1088.     vadd.s16        q2,  q10, q2
  1089.     vpadal.u16      q4,  q12
  1091.     SUMSUB_AB       q10, q11, q9,  q1
  1092.     SUMSUB_AB       q9,  q8,  q0,  q8
  1093.     vswp            d29, d30
  1094.     vabs.s16        q14, q14
  1095.     vabs.s16        q15, q15
  1096.     vswp            d5,  d26
  1097.     vabs.s16        q2,  q2
  1098.     vabs.s16        q13, q13
  1099.     vswp            d21, d22
  1100.     vabs.s16        q10, q10
  1101.     vabs.s16        q11, q11
  1102.     vmax.s16        q3,  q14, q15
  1103.     vmax.s16        q2,  q2,  q13
  1104.     vmax.s16        q1,  q10, q11
  1105.     vswp            d19, d16
  1106.     SUMSUB_AB       q14, q15, q9,  q8
  1108.     vadd.s16        q2,  q2,  q3
  1109.     vadd.s16        q2,  q2,  q1
  1110.     vand            q14, q14, q7
  1111.     vadd.s16        q2,  q2,  q2
  1112.     vabs.s16        q15, q15
  1113.     vabs.s16        q14, q14
  1114.     vadd.s16        q2,  q2,  q15
  1115.     vadd.s16        q2,  q2,  q14
  1116.     vpadal.u16      q5,  q2
  1117.     bx              lr
  1118. .endfunc
  1121. .macro SSIM_ITER n ssa s12 ssb lastssa lasts12 lastssb da db dnext
  1122.     vld1.64     {db}, [r2], r3
  1123.     vmull.u8    ssa,  da, da
  1124.     vmull.u8    s12,  da, db
  1125. .if n == 1
  1126.     vpaddl.u16  q2,  lastssa
  1127.     vpaddl.u16  q3,  lasts12
  1128.     vaddl.u8    q0,  d0,  da
  1129. .else
  1130.     vpadal.u16  q2,  lastssa
  1131.     vpadal.u16  q3,  lasts12
  1132.     vaddw.u8    q0,  q0,  da
  1133. .endif
  1134.     vpadal.u16  q2,  lastssb
  1135. .if n < 3
  1136.     vld1.64     {dnext}, [r0], r1
  1137. .endif
  1138. .if n == 1
  1139.     vaddl.u8    q1,  d2,  db
  1140. .else
  1141.     vaddw.u8    q1,  q1,  db
  1142. .endif
  1143.     vmull.u8    ssb, db, db
  1144. .endm
  1146. function x264_pixel_ssim_4x4x2_core_neon, export=1
  1147.     ldr         ip, [sp]
  1148.     vld1.64     {d0}, [r0], r1
  1149.     vld1.64     {d2}, [r2], r3
  1150.     vmull.u8    q2,  d0,  d0
  1151.     vmull.u8    q3,  d0,  d2
  1152.     vld1.64     {d28}, [r0], r1
  1153.     vmull.u8    q15, d2,  d2
  1155.     SSIM_ITER 1, q8, q9, q14,  q2, q3, q15,  d28, d29, d26
  1156.     SSIM_ITER 2, q10,q11,q13,  q8, q9, q14,  d26, d27, d28
  1157.     SSIM_ITER 3, q8, q9, q15,  q10,q11,q13,  d28, d29
  1159.     vpadal.u16  q2,  q8
  1160.     vpaddl.u16  q0,  q0
  1161.     vpaddl.u16  q1,  q1
  1162.     vpadal.u16  q2,  q15
  1163.     vpadal.u16  q3,  q9
  1165.     vpadd.u32   d0,  d0,  d1
  1166.     vpadd.u32   d1,  d2,  d3
  1167.     vpadd.u32   d2,  d4,  d5
  1168.     vpadd.u32   d3,  d6,  d7
  1170.     vst4.32     {d0-d3}, [ip]
  1171.     bx          lr
  1172. .endfunc
  1174. // FIXME: see about doing 16x16 -> 32 bit multiplies for s1/s2
  1175. function x264_pixel_ssim_end4_neon, export=1
  1176.     vld1.32     {d16-d19}, [r0,:128]!
  1177.     vld1.32     {d20-d23}, [r1,:128]!
  1178.     vadd.s32    q0,  q8,  q10
  1179.     vadd.s32    q1,  q9,  q11
  1180.     vld1.32     {d24-d27}, [r0,:128]!
  1181.     vadd.s32    q0,  q0,  q1
  1182.     vld1.32     {d28-d31}, [r1,:128]!
  1183.     vadd.s32    q2,  q12, q14
  1184.     vadd.s32    q3,  q13, q15
  1185.     vld1.32     {d16-d17}, [r0,:128]
  1186.     vadd.s32    q1,  q1,  q2
  1187.     vld1.32     {d18-d19}, [r1,:128]
  1188.     vadd.s32    q8,  q8,  q9
  1189.     vadd.s32    q2,  q2,  q3
  1190.     vadd.s32    q3,  q3,  q8
  1192.     vtrn.32     q0,  q1
  1193.     vtrn.32     q2,  q3
  1194.     vswp        d1,  d4
  1195.     vswp        d3,  d6
  1197. //  s1=q0, s2=q1, ss=q2, s12=q3
  1198.     vmul.s32    q8,  q0,  q1    // s1*s2
  1199.     vmul.s32    q0,  q0,  q0
  1200.     vmla.s32    q0,  q1,  q1    // s1*s1 + s2*s2
  1202.     vshl.s32    q3,  q3,  #7
  1203.     vshl.s32    q2,  q2,  #6
  1204.     vadd.s32    q1,  q8,  q8
  1206.     mov         r3, #416        // ssim_c1 = .01*.01*255*255*64
  1207.     movconst    ip, 235963      // ssim_c2 = .03*.03*255*255*64*63
  1208.     vdup.32     q14, r3
  1209.     vdup.32     q15, ip
  1211.     vsub.s32    q2,  q2,  q0    // vars
  1212.     vsub.s32    q3,  q3,  q1    // covar*2
  1213.     vadd.s32    q0,  q0,  q14
  1214.     vadd.s32    q2,  q2,  q15
  1215.     vadd.s32    q1,  q1,  q14
  1216.     vadd.s32    q3,  q3,  q15
  1218.     vcvt.f32.s32    q0,  q0
  1219.     vcvt.f32.s32    q2,  q2
  1220.     vcvt.f32.s32    q1,  q1
  1221.     vcvt.f32.s32    q3,  q3
  1223.     vmul.f32    q0,  q0,  q2
  1224.     vmul.f32    q1,  q1,  q3
  1226.     cmp         r2,  #4
  1228.     vdiv.f32    s0,  s4,  s0
  1229.     vdiv.f32    s1,  s5,  s1
  1230.     vdiv.f32    s2,  s6,  s2
  1231.     vdiv.f32    s3,  s7,  s3
  1233.     beq         ssim_skip
  1234.     movrel      r3,  mask_ff
  1235.     sub         r3,  r3,  r2,  lsl #2
  1236.     vld1.64     {d6-d7}, [r3]
  1237.     vand        q0,  q0,  q3
  1238. ssim_skip:
  1239.     vadd.f32    d0,  d0,  d1
  1240.     vpadd.f32   d0,  d0,  d0
  1241.     vmov.32     r0,  d0[0]
  1242.     bx          lr
  1243. .endfunc