x86inc.asm
上传用户:lctgjx
上传日期:2022-06-04
资源大小:8887k
文件大小:15k
源码类别:

流媒体/Mpeg4/MP4

开发平台:

Visual C++

  1. ;*****************************************************************************
  2. ;* x86inc.asm
  3. ;*****************************************************************************
  4. ;* Copyright (C) 2005-2008 x264 project
  5. ;*
  6. ;* Authors: Loren Merritt <lorenm@u.washington.edu>
  7. ;*          Anton Mitrofanov <BugMaster@narod.ru>
  8. ;*
  9. ;* This program is free software; you can redistribute it and/or modify
  10. ;* it under the terms of the GNU General Public License as published by
  11. ;* the Free Software Foundation; either version 2 of the License, or
  12. ;* (at your option) any later version.
  13. ;*
  14. ;* This program is distributed in the hope that it will be useful,
  15. ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  16. ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17. ;* GNU General Public License for more details.
  18. ;*
  19. ;* You should have received a copy of the GNU General Public License
  20. ;* along with this program; if not, write to the Free Software
  21. ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
  22. ;*****************************************************************************
  23. %ifdef ARCH_X86_64
  24.     %ifidn __OUTPUT_FORMAT__,win32
  25.         %define WIN64
  26.     %else
  27.         %define UNIX64
  28.     %endif
  29. %endif
  30. ; FIXME: All of the 64bit asm functions that take a stride as an argument
  31. ; via register, assume that the high dword of that register is filled with 0.
  32. ; This is true in practice (since we never do any 64bit arithmetic on strides,
  33. ; and x264's strides are all positive), but is not guaranteed by the ABI.
  34. ; Name of the .rodata section.
  35. ; Kludge: Something on OS X fails to align .rodata even given an align attribute,
  36. ; so use a different read-only section.
  37. %macro SECTION_RODATA 0-1 16
  38.     %ifidn __OUTPUT_FORMAT__,macho64
  39.         SECTION .text align=%1
  40.     %elifidn __OUTPUT_FORMAT__,macho
  41.         SECTION .text align=%1
  42.         fakegot:
  43.     %else
  44.         SECTION .rodata align=%1
  45.     %endif
  46. %endmacro
  47. ; PIC support macros.
  48. ; x86_64 can't fit 64bit address literals in most instruction types,
  49. ; so shared objects (under the assumption that they might be anywhere
  50. ; in memory) must use an address mode that does fit.
  51. ; So all accesses to global variables must use this macro, e.g.
  52. ;     mov eax, [foo GLOBAL]
  53. ; instead of
  54. ;     mov eax, [foo]
  55. ;
  56. ; x86_32 doesn't require PIC.
  57. ; Some distros prefer shared objects to be PIC, but nothing breaks if
  58. ; the code contains a few textrels, so we'll skip that complexity.
  59. %ifdef WIN64
  60.     %define PIC
  61. %elifndef ARCH_X86_64
  62.     %undef PIC
  63. %endif
  64. %ifdef PIC
  65.     %define GLOBAL wrt rip
  66. %else
  67.     %define GLOBAL
  68. %endif
  69. ; Macros to eliminate most code duplication between x86_32 and x86_64:
  70. ; Currently this works only for leaf functions which load all their arguments
  71. ; into registers at the start, and make no other use of the stack. Luckily that
  72. ; covers most of x264's asm.
  73. ; PROLOGUE:
  74. ; %1 = number of arguments. loads them from stack if needed.
  75. ; %2 = number of registers used. pushes callee-saved regs if needed.
  76. ; %3 = number of xmm registers used. pushes callee-saved xmm regs if needed.
  77. ; %4 = list of names to define to registers
  78. ; PROLOGUE can also be invoked by adding the same options to cglobal
  79. ; e.g.
  80. ; cglobal foo, 2,3, dst, src, tmp
  81. ; declares a function (foo), taking two args (dst and src) and one local variable (tmp)
  82. ; TODO Some functions can use some args directly from the stack. If they're the
  83. ; last args then you can just not declare them, but if they're in the middle
  84. ; we need more flexible macro.
  85. ; RET:
  86. ; Pops anything that was pushed by PROLOGUE
  87. ; REP_RET:
  88. ; Same, but if it doesn't pop anything it becomes a 2-byte ret, for athlons
  89. ; which are slow when a normal ret follows a branch.
  90. ; registers:
  91. ; rN and rNq are the native-size register holding function argument N
  92. ; rNd, rNw, rNb are dword, word, and byte size
  93. ; rNm is the original location of arg N (a register or on the stack), dword
  94. ; rNmp is native size
  95. %macro DECLARE_REG 6
  96.     %define r%1q %2
  97.     %define r%1d %3
  98.     %define r%1w %4
  99.     %define r%1b %5
  100.     %define r%1m %6
  101.     %ifid %6 ; i.e. it's a register
  102.         %define r%1mp %2
  103.     %elifdef ARCH_X86_64 ; memory
  104.         %define r%1mp qword %6
  105.     %else
  106.         %define r%1mp dword %6
  107.     %endif
  108.     %define r%1  %2
  109. %endmacro
  110. %macro DECLARE_REG_SIZE 2
  111.     %define r%1q r%1
  112.     %define e%1q r%1
  113.     %define r%1d e%1
  114.     %define e%1d e%1
  115.     %define r%1w %1
  116.     %define e%1w %1
  117.     %define r%1b %2
  118.     %define e%1b %2
  119. %ifndef ARCH_X86_64
  120.     %define r%1  e%1
  121. %endif
  122. %endmacro
  123. DECLARE_REG_SIZE ax, al
  124. DECLARE_REG_SIZE bx, bl
  125. DECLARE_REG_SIZE cx, cl
  126. DECLARE_REG_SIZE dx, dl
  127. DECLARE_REG_SIZE si, sil
  128. DECLARE_REG_SIZE di, dil
  129. DECLARE_REG_SIZE bp, bpl
  130. ; t# defines for when per-arch register allocation is more complex than just function arguments
  131. %macro DECLARE_REG_TMP 1-*
  132.     %assign %%i 0
  133.     %rep %0
  134.         CAT_XDEFINE t, %%i, r%1
  135.         %assign %%i %%i+1
  136.         %rotate 1
  137.     %endrep
  138. %endmacro
  139. %macro DECLARE_REG_TMP_SIZE 0-*
  140.     %rep %0
  141.         %define t%1q t%1 %+ q
  142.         %define t%1d t%1 %+ d
  143.         %define t%1w t%1 %+ w
  144.         %define t%1b t%1 %+ b
  145.         %rotate 1
  146.     %endrep
  147. %endmacro
  148. DECLARE_REG_TMP_SIZE 0,1,2,3,4,5,6,7
  149. %ifdef ARCH_X86_64
  150.     %define gprsize 8
  151. %else
  152.     %define gprsize 4
  153. %endif
  154. %macro PUSH 1
  155.     push %1
  156.     %assign stack_offset stack_offset+gprsize
  157. %endmacro
  158. %macro POP 1
  159.     pop %1
  160.     %assign stack_offset stack_offset-gprsize
  161. %endmacro
  162. %macro SUB 2
  163.     sub %1, %2
  164.     %ifidn %1, rsp
  165.         %assign stack_offset stack_offset+(%2)
  166.     %endif
  167. %endmacro
  168. %macro ADD 2
  169.     add %1, %2
  170.     %ifidn %1, rsp
  171.         %assign stack_offset stack_offset-(%2)
  172.     %endif
  173. %endmacro
  174. %macro movifnidn 2
  175.     %ifnidn %1, %2
  176.         mov %1, %2
  177.     %endif
  178. %endmacro
  179. %macro movsxdifnidn 2
  180.     %ifnidn %1, %2
  181.         movsxd %1, %2
  182.     %endif
  183. %endmacro
  184. %macro ASSERT 1
  185.     %if (%1) == 0
  186.         %error assert failed
  187.     %endif
  188. %endmacro
  189. %macro DEFINE_ARGS 0-*
  190.     %ifdef n_arg_names
  191.         %assign %%i 0
  192.         %rep n_arg_names
  193.             CAT_UNDEF arg_name %+ %%i, q
  194.             CAT_UNDEF arg_name %+ %%i, d
  195.             CAT_UNDEF arg_name %+ %%i, w
  196.             CAT_UNDEF arg_name %+ %%i, b
  197.             CAT_UNDEF arg_name, %%i
  198.             %assign %%i %%i+1
  199.         %endrep
  200.     %endif
  201.     %assign %%i 0
  202.     %rep %0
  203.         %xdefine %1q r %+ %%i %+ q
  204.         %xdefine %1d r %+ %%i %+ d
  205.         %xdefine %1w r %+ %%i %+ w
  206.         %xdefine %1b r %+ %%i %+ b
  207.         CAT_XDEFINE arg_name, %%i, %1
  208.         %assign %%i %%i+1
  209.         %rotate 1
  210.     %endrep
  211.     %assign n_arg_names %%i
  212. %endmacro
  213. %ifdef WIN64 ; Windows x64 ;=================================================
  214. DECLARE_REG 0, rcx, ecx, cx,  cl,  ecx
  215. DECLARE_REG 1, rdx, edx, dx,  dl,  edx
  216. DECLARE_REG 2, r8,  r8d, r8w, r8b, r8d
  217. DECLARE_REG 3, r9,  r9d, r9w, r9b, r9d
  218. DECLARE_REG 4, rdi, edi, di,  dil, [rsp + stack_offset + 40]
  219. DECLARE_REG 5, rsi, esi, si,  sil, [rsp + stack_offset + 48]
  220. DECLARE_REG 6, rax, eax, ax,  al,  [rsp + stack_offset + 56]
  221. %define r7m [rsp + stack_offset + 64]
  222. %define r8m [rsp + stack_offset + 72]
  223. %macro LOAD_IF_USED 2 ; reg_id, number_of_args
  224.     %if %1 < %2
  225.         mov r%1, [rsp + stack_offset + 8 + %1*8]
  226.     %endif
  227. %endmacro
  228. %macro PROLOGUE 2-4+ ; #args, #regs, #xmm_regs, arg_names...
  229.     ASSERT %2 >= %1
  230.     %assign regs_used %2
  231.     ASSERT regs_used <= 7
  232.     %if %0 > 2
  233.         %assign xmm_regs_used %3
  234.     %else
  235.         %assign xmm_regs_used 0
  236.     %endif
  237.     ASSERT xmm_regs_used <= 16
  238.     %if regs_used > 4
  239.         push r4
  240.         push r5
  241.         %assign stack_offset stack_offset+16
  242.     %endif
  243.     %if xmm_regs_used > 6
  244.         sub rsp, (xmm_regs_used-6)*16+16
  245.         %assign stack_offset stack_offset+(xmm_regs_used-6)*16+16
  246.         %assign %%i xmm_regs_used
  247.         %rep (xmm_regs_used-6)
  248.             %assign %%i %%i-1
  249.             movdqa [rsp + (%%i-6)*16+8], xmm %+ %%i
  250.         %endrep
  251.     %endif
  252.     LOAD_IF_USED 4, %1
  253.     LOAD_IF_USED 5, %1
  254.     LOAD_IF_USED 6, %1
  255.     DEFINE_ARGS %4
  256. %endmacro
  257. %macro RESTORE_XMM_INTERNAL 1
  258.     %if xmm_regs_used > 6
  259.         %assign %%i xmm_regs_used
  260.         %rep (xmm_regs_used-6)
  261.             %assign %%i %%i-1
  262.             movdqa xmm %+ %%i, [%1 + (%%i-6)*16+8]
  263.         %endrep
  264.         add %1, (xmm_regs_used-6)*16+16
  265.     %endif
  266. %endmacro
  267. %macro RESTORE_XMM 1
  268.     RESTORE_XMM_INTERNAL %1
  269.     %assign stack_offset stack_offset-(xmm_regs_used-6)*16+16
  270.     %assign xmm_regs_used 0
  271. %endmacro
  272. %macro RET 0
  273.     RESTORE_XMM_INTERNAL rsp
  274.     %if regs_used > 4
  275.         pop r5
  276.         pop r4
  277.     %endif
  278.     ret
  279. %endmacro
  280. %macro REP_RET 0
  281.     %if regs_used > 4 || xmm_regs_used > 6
  282.         RET
  283.     %else
  284.         rep ret
  285.     %endif
  286. %endmacro
  287. %elifdef ARCH_X86_64 ; *nix x64 ;=============================================
  288. DECLARE_REG 0, rdi, edi, di,  dil, edi
  289. DECLARE_REG 1, rsi, esi, si,  sil, esi
  290. DECLARE_REG 2, rdx, edx, dx,  dl,  edx
  291. DECLARE_REG 3, rcx, ecx, cx,  cl,  ecx
  292. DECLARE_REG 4, r8,  r8d, r8w, r8b, r8d
  293. DECLARE_REG 5, r9,  r9d, r9w, r9b, r9d
  294. DECLARE_REG 6, rax, eax, ax,  al,  [rsp + stack_offset + 8]
  295. %define r7m [rsp + stack_offset + 16]
  296. %define r8m [rsp + stack_offset + 24]
  297. %macro LOAD_IF_USED 2 ; reg_id, number_of_args
  298.     %if %1 < %2
  299.         mov r%1, [rsp - 40 + %1*8]
  300.     %endif
  301. %endmacro
  302. %macro PROLOGUE 2-4+ ; #args, #regs, #xmm_regs, arg_names...
  303.     ASSERT %2 >= %1
  304.     ASSERT %2 <= 7
  305.     LOAD_IF_USED 6, %1
  306.     DEFINE_ARGS %4
  307. %endmacro
  308. %macro RET 0
  309.     ret
  310. %endmacro
  311. %macro REP_RET 0
  312.     rep ret
  313. %endmacro
  314. %else ; X86_32 ;==============================================================
  315. DECLARE_REG 0, eax, eax, ax, al,   [esp + stack_offset + 4]
  316. DECLARE_REG 1, ecx, ecx, cx, cl,   [esp + stack_offset + 8]
  317. DECLARE_REG 2, edx, edx, dx, dl,   [esp + stack_offset + 12]
  318. DECLARE_REG 3, ebx, ebx, bx, bl,   [esp + stack_offset + 16]
  319. DECLARE_REG 4, esi, esi, si, null, [esp + stack_offset + 20]
  320. DECLARE_REG 5, edi, edi, di, null, [esp + stack_offset + 24]
  321. DECLARE_REG 6, ebp, ebp, bp, null, [esp + stack_offset + 28]
  322. %define r7m [esp + stack_offset + 32]
  323. %define r8m [esp + stack_offset + 36]
  324. %define rsp esp
  325. %macro PUSH_IF_USED 1 ; reg_id
  326.     %if %1 < regs_used
  327.         push r%1
  328.         %assign stack_offset stack_offset+4
  329.     %endif
  330. %endmacro
  331. %macro POP_IF_USED 1 ; reg_id
  332.     %if %1 < regs_used
  333.         pop r%1
  334.     %endif
  335. %endmacro
  336. %macro LOAD_IF_USED 2 ; reg_id, number_of_args
  337.     %if %1 < %2
  338.         mov r%1, [esp + stack_offset + 4 + %1*4]
  339.     %endif
  340. %endmacro
  341. %macro PROLOGUE 2-4+ ; #args, #regs, arg_names...
  342.     ASSERT %2 >= %1
  343.     %assign regs_used %2
  344.     ASSERT regs_used <= 7
  345.     PUSH_IF_USED 3
  346.     PUSH_IF_USED 4
  347.     PUSH_IF_USED 5
  348.     PUSH_IF_USED 6
  349.     LOAD_IF_USED 0, %1
  350.     LOAD_IF_USED 1, %1
  351.     LOAD_IF_USED 2, %1
  352.     LOAD_IF_USED 3, %1
  353.     LOAD_IF_USED 4, %1
  354.     LOAD_IF_USED 5, %1
  355.     LOAD_IF_USED 6, %1
  356.     DEFINE_ARGS %4
  357. %endmacro
  358. %macro RET 0
  359.     POP_IF_USED 6
  360.     POP_IF_USED 5
  361.     POP_IF_USED 4
  362.     POP_IF_USED 3
  363.     ret
  364. %endmacro
  365. %macro REP_RET 0
  366.     %if regs_used > 3
  367.         RET
  368.     %else
  369.         rep ret
  370.     %endif
  371. %endmacro
  372. %endif ;======================================================================
  373. ;=============================================================================
  374. ; arch-independent part
  375. ;=============================================================================
  376. %assign function_align 16
  377. ; Symbol prefix for C linkage
  378. %macro cglobal 1-2+
  379.     %ifdef PREFIX
  380.         %xdefine %1.skip_prologue _%1.skip_prologue
  381.         %xdefine %1 _%1
  382.     %endif
  383.     %ifidn __OUTPUT_FORMAT__,elf
  384.         global %1:function hidden
  385.     %else
  386.         global %1
  387.     %endif
  388.     align function_align
  389.     %1:
  390.     RESET_MM_PERMUTATION ; not really needed, but makes disassembly somewhat nicer
  391.     %assign stack_offset 0
  392.     %if %0 > 1
  393.         PROLOGUE %2
  394.     %endif
  395. %endmacro
  396. %macro cextern 1
  397.     %ifdef PREFIX
  398.         %xdefine %1 _%1
  399.     %endif
  400.     extern %1
  401. %endmacro
  402. ; This is needed for ELF, otherwise the GNU linker assumes the stack is
  403. ; executable by default.
  404. %ifidn __OUTPUT_FORMAT__,elf
  405. SECTION .note.GNU-stack noalloc noexec nowrite progbits
  406. %endif
  407. %assign FENC_STRIDE 16
  408. %assign FDEC_STRIDE 32
  409. ; merge mmx and sse*
  410. %macro CAT_XDEFINE 3
  411.     %xdefine %1%2 %3
  412. %endmacro
  413. %macro CAT_UNDEF 2
  414.     %undef %1%2
  415. %endmacro
  416. %macro INIT_MMX 0
  417.     %define RESET_MM_PERMUTATION INIT_MMX
  418.     %define mmsize 8
  419.     %define num_mmregs 8
  420.     %define mova movq
  421.     %define movu movq
  422.     %define movh movd
  423.     %define movnt movntq
  424.     %assign %%i 0
  425.     %rep 8
  426.     CAT_XDEFINE m, %%i, mm %+ %%i
  427.     CAT_XDEFINE nmm, %%i, %%i
  428.     %assign %%i %%i+1
  429.     %endrep
  430.     %rep 8
  431.     CAT_UNDEF m, %%i
  432.     CAT_UNDEF nmm, %%i
  433.     %assign %%i %%i+1
  434.     %endrep
  435. %endmacro
  436. %macro INIT_XMM 0
  437.     %define RESET_MM_PERMUTATION INIT_XMM
  438.     %define mmsize 16
  439.     %define num_mmregs 8
  440.     %ifdef ARCH_X86_64
  441.     %define num_mmregs 16
  442.     %endif
  443.     %define mova movdqa
  444.     %define movu movdqu
  445.     %define movh movq
  446.     %define movnt movntdq
  447.     %assign %%i 0
  448.     %rep num_mmregs
  449.     CAT_XDEFINE m, %%i, xmm %+ %%i
  450.     CAT_XDEFINE nxmm, %%i, %%i
  451.     %assign %%i %%i+1
  452.     %endrep
  453. %endmacro
  454. INIT_MMX
  455. ; I often want to use macros that permute their arguments. e.g. there's no
  456. ; efficient way to implement butterfly or transpose or dct without swapping some
  457. ; arguments.
  458. ;
  459. ; I would like to not have to manually keep track of the permutations:
  460. ; If I insert a permutation in the middle of a function, it should automatically
  461. ; change everything that follows. For more complex macros I may also have multiple
  462. ; implementations, e.g. the SSE2 and SSSE3 versions may have different permutations.
  463. ;
  464. ; Hence these macros. Insert a PERMUTE or some SWAPs at the end of a macro that
  465. ; permutes its arguments. It's equivalent to exchanging the contents of the
  466. ; registers, except that this way you exchange the register names instead, so it
  467. ; doesn't cost any cycles.
  468. %macro PERMUTE 2-* ; takes a list of pairs to swap
  469. %rep %0/2
  470.     %xdefine tmp%2 m%2
  471.     %xdefine ntmp%2 nm%2
  472.     %rotate 2
  473. %endrep
  474. %rep %0/2
  475.     %xdefine m%1 tmp%2
  476.     %xdefine nm%1 ntmp%2
  477.     %undef tmp%2
  478.     %undef ntmp%2
  479.     %rotate 2
  480. %endrep
  481. %endmacro
  482. %macro SWAP 2-* ; swaps a single chain (sometimes more concise than pairs)
  483. %rep %0-1
  484. %ifdef m%1
  485.     %xdefine tmp m%1
  486.     %xdefine m%1 m%2
  487.     %xdefine m%2 tmp
  488.     CAT_XDEFINE n, m%1, %1
  489.     CAT_XDEFINE n, m%2, %2
  490. %else
  491.     ; If we were called as "SWAP m0,m1" rather than "SWAP 0,1" infer the original numbers here.
  492.     ; Be careful using this mode in nested macros though, as in some cases there may be
  493.     ; other copies of m# that have already been dereferenced and don't get updated correctly.
  494.     %xdefine %%n1 n %+ %1
  495.     %xdefine %%n2 n %+ %2
  496.     %xdefine tmp m %+ %%n1
  497.     CAT_XDEFINE m, %%n1, m %+ %%n2
  498.     CAT_XDEFINE m, %%n2, tmp
  499.     CAT_XDEFINE n, m %+ %%n1, %%n1
  500.     CAT_XDEFINE n, m %+ %%n2, %%n2
  501. %endif
  502.     %undef tmp
  503.     %rotate 1
  504. %endrep
  505. %endmacro
  506. %macro SAVE_MM_PERMUTATION 1
  507.     %assign %%i 0
  508.     %rep num_mmregs
  509.     CAT_XDEFINE %1_m, %%i, m %+ %%i
  510.     %assign %%i %%i+1
  511.     %endrep
  512. %endmacro
  513. %macro LOAD_MM_PERMUTATION 1
  514.     %assign %%i 0
  515.     %rep num_mmregs
  516.     CAT_XDEFINE m, %%i, %1_m %+ %%i
  517.     CAT_XDEFINE n, m %+ %%i, %%i
  518.     %assign %%i %%i+1
  519.     %endrep
  520. %endmacro
  521. %macro call 1
  522.     call %1
  523.     %ifdef %1_m0
  524.         LOAD_MM_PERMUTATION %1
  525.     %endif
  526. %endmacro
  527. ;Substitutions that reduce instruction size but are functionally equivalent
  528. %macro add 2
  529.     %ifnum %2
  530.         %if %2==128
  531.             sub %1, -128
  532.         %else
  533.             add %1, %2
  534.         %endif
  535.     %else
  536.         add %1, %2
  537.     %endif
  538. %endmacro
  539. %macro sub 2
  540.     %ifnum %2
  541.         %if %2==128
  542.             add %1, -128
  543.         %else
  544.             sub %1, %2
  545.         %endif
  546.     %else
  547.         sub %1, %2
  548.     %endif
  549. %endmacro