ivt.S
上传用户:jlfgdled
上传日期:2013-04-10
资源大小:33168k
文件大小:41k
源码类别:

Linux/Unix编程

开发平台:

Unix_Linux

  1. /*
  2.  * arch/ia64/kernel/ivt.S
  3.  *
  4.  * Copyright (C) 1998-2001 Hewlett-Packard Co
  5.  * Stephane Eranian <eranian@hpl.hp.com>
  6.  * David Mosberger <davidm@hpl.hp.com>
  7.  *
  8.  * 00/08/23 Asit Mallick <asit.k.mallick@intel.com> TLB handling for SMP
  9.  * 00/12/20 David Mosberger-Tang <davidm@hpl.hp.com> DTLB/ITLB handler now uses virtual PT.
  10.  */
  11. /*
  12.  * This file defines the interruption vector table used by the CPU.
  13.  * It does not include one entry per possible cause of interruption.
  14.  *
  15.  * The first 20 entries of the table contain 64 bundles each while the
  16.  * remaining 48 entries contain only 16 bundles each.
  17.  *
  18.  * The 64 bundles are used to allow inlining the whole handler for critical
  19.  * interruptions like TLB misses.
  20.  *
  21.  *  For each entry, the comment is as follows:
  22.  *
  23.  * // 0x1c00 Entry 7 (size 64 bundles) Data Key Miss (12,51)
  24.  *  entry offset ----/     /         /                  /          /
  25.  *  entry number ---------/         /                  /          /
  26.  *  size of the entry -------------/                  /          /
  27.  *  vector name -------------------------------------/          /
  28.  *  interruptions triggering this vector ----------------------/
  29.  *
  30.  * The table is 32KB in size and must be aligned on 32KB boundary.
  31.  * (The CPU ignores the 15 lower bits of the address)
  32.  *
  33.  * Table is based upon EAS2.6 (Oct 1999)
  34.  */
  35. #include <linux/config.h>
  36. #include <asm/asmmacro.h>
  37. #include <asm/break.h>
  38. #include <asm/kregs.h>
  39. #include <asm/offsets.h>
  40. #include <asm/pgtable.h>
  41. #include <asm/processor.h>
  42. #include <asm/ptrace.h>
  43. #include <asm/system.h>
  44. #include <asm/unistd.h>
  45. #if 1
  46. # define PSR_DEFAULT_BITS psr.ac
  47. #else
  48. # define PSR_DEFAULT_BITS 0
  49. #endif
  50. #if 0
  51.   /*
  52.    * This lets you track the last eight faults that occurred on the CPU.  Make sure ar.k2 isn't
  53.    * needed for something else before enabling this...
  54.    */
  55. # define DBG_FAULT(i) mov r16=ar.k2;; shl r16=r16,8;; add r16=(i),r16;;mov ar.k2=r16
  56. #else
  57. # define DBG_FAULT(i)
  58. #endif
  59. #define MINSTATE_VIRT /* needed by minstate.h */
  60. #include "minstate.h"
  61. #define FAULT(n)
  62. mov r31=pr;
  63. mov r19=n;; /* prepare to save predicates */
  64. br.sptk.many dispatch_to_fault_handler
  65. /*
  66.  * As we don't (hopefully) use the space available, we need to fill it with
  67.  * nops. the parameter may be used for debugging and is representing the entry
  68.  * number
  69.  */
  70. #define BREAK_BUNDLE(a) break.m (a); 
  71. break.i (a); 
  72. break.i (a)
  73. /*
  74.  * 4 breaks bundles all together
  75.  */
  76. #define BREAK_BUNDLE4(a); BREAK_BUNDLE(a); BREAK_BUNDLE(a); BREAK_BUNDLE(a); BREAK_BUNDLE(a)
  77. /*
  78.  * 8 bundles all together (too lazy to use only 4 at a time !)
  79.  */
  80. #define BREAK_BUNDLE8(a); BREAK_BUNDLE4(a); BREAK_BUNDLE4(a)
  81. .section .text.ivt,"ax"
  82. .align 32768 // align on 32KB boundary
  83. .global ia64_ivt
  84. ia64_ivt:
  85. /////////////////////////////////////////////////////////////////////////////////////////
  86. // 0x0000 Entry 0 (size 64 bundles) VHPT Translation (8,20,47)
  87. ENTRY(vhpt_miss)
  88. DBG_FAULT(0)
  89. /*
  90.  * The VHPT vector is invoked when the TLB entry for the virtual page table
  91.  * is missing.  This happens only as a result of a previous
  92.  * (the "original") TLB miss, which may either be caused by an instruction
  93.  * fetch or a data access (or non-access).
  94.  *
  95.  * What we do here is normal TLB miss handing for the _original_ miss, followed
  96.  * by inserting the TLB entry for the virtual page table page that the VHPT
  97.  * walker was attempting to access.  The latter gets inserted as long
  98.  * as both L1 and L2 have valid mappings for the faulting address.
  99.  * The TLB entry for the original miss gets inserted only if
  100.  * the L3 entry indicates that the page is present.
  101.  *
  102.  * do_page_fault gets invoked in the following cases:
  103.  * - the faulting virtual address uses unimplemented address bits
  104.  * - the faulting virtual address has no L1, L2, or L3 mapping
  105.  */
  106. mov r16=cr.ifa // get address that caused the TLB miss
  107. ;;
  108. rsm psr.dt // use physical addressing for data
  109. mov r31=pr // save the predicate registers
  110. mov r19=IA64_KR(PT_BASE) // get page table base address
  111. shl r21=r16,3 // shift bit 60 into sign bit
  112. shr.u r17=r16,61 // get the region number into r17
  113. ;;
  114. cmp.eq p6,p7=5,r17 // is IFA pointing into to region 5?
  115. shr.u r18=r16,PGDIR_SHIFT // get bits 33-63 of the faulting address
  116. ;;
  117. (p7) dep r17=r17,r19,(PAGE_SHIFT-3),3 // put region number bits in place
  118. srlz.d // ensure "rsm psr.dt" has taken effect
  119. (p6) movl r19=__pa(swapper_pg_dir) // region 5 is rooted at swapper_pg_dir
  120. (p6) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT
  121. (p7) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT-3
  122. ;;
  123. (p6) dep r17=r18,r19,3,(PAGE_SHIFT-3) // r17=PTA + IFA(33,42)*8
  124. (p7) dep r17=r18,r17,3,(PAGE_SHIFT-6) // r17=PTA + (((IFA(61,63) << 7) | IFA(33,39))*8)
  125. cmp.eq p7,p6=0,r21 // unused address bits all zeroes?
  126. shr.u r18=r16,PMD_SHIFT // shift L2 index into position
  127. ;;
  128. ld8 r17=[r17] // fetch the L1 entry (may be 0)
  129. ;;
  130. (p7) cmp.eq p6,p7=r17,r0 // was L1 entry NULL?
  131. dep r17=r18,r17,3,(PAGE_SHIFT-3) // compute address of L2 page table entry
  132. ;;
  133. (p7) ld8 r20=[r17] // fetch the L2 entry (may be 0)
  134. shr.u r19=r16,PAGE_SHIFT // shift L3 index into position
  135. ;;
  136. (p7) cmp.eq.or.andcm p6,p7=r20,r0 // was L2 entry NULL?
  137. dep r21=r19,r20,3,(PAGE_SHIFT-3) // compute address of L3 page table entry
  138. ;;
  139. (p7) ld8 r18=[r21] // read the L3 PTE
  140. mov r19=cr.isr // cr.isr bit 0 tells us if this is an insn miss
  141. ;;
  142. (p7) tbit.z p6,p7=r18,_PAGE_P_BIT // page present bit cleared?
  143. mov r22=cr.iha // get the VHPT address that caused the TLB miss
  144. ;; // avoid RAW on p7
  145. (p7) tbit.nz.unc p10,p11=r19,32 // is it an instruction TLB miss?
  146. dep r23=0,r20,0,PAGE_SHIFT // clear low bits to get page address
  147. ;;
  148. (p10) itc.i r18 // insert the instruction TLB entry
  149. (p11) itc.d r18 // insert the data TLB entry
  150. (p6) br.cond.spnt.many page_fault // handle bad address/page not present (page fault)
  151. mov cr.ifa=r22
  152. /*
  153.  * Now compute and insert the TLB entry for the virtual page table.  We never
  154.  * execute in a page table page so there is no need to set the exception deferral
  155.  * bit.
  156.  */
  157. adds r24=__DIRTY_BITS_NO_ED|_PAGE_PL_0|_PAGE_AR_RW,r23
  158. ;;
  159. (p7) itc.d r24
  160. ;;
  161. #ifdef CONFIG_SMP
  162. /*
  163.  * Re-check L2 and L3 pagetable.  If they changed, we may have received a ptc.g
  164.  * between reading the pagetable and the "itc".  If so, flush the entry we
  165.  * inserted and retry.
  166.  */
  167. ld8 r25=[r21] // read L3 PTE again
  168. ld8 r26=[r17] // read L2 entry again
  169. ;;
  170. cmp.ne p6,p7=r26,r20 // did L2 entry change
  171. mov r27=PAGE_SHIFT<<2
  172. ;;
  173. (p6) ptc.l r22,r27 // purge PTE page translation
  174. (p7) cmp.ne.or.andcm p6,p7=r25,r18 // did L3 PTE change
  175. ;;
  176. (p6) ptc.l r16,r27 // purge translation
  177. #endif
  178. mov pr=r31,-1 // restore predicate registers
  179. rfi
  180. END(vhpt_miss)
  181. .align 1024
  182. /////////////////////////////////////////////////////////////////////////////////////////
  183. // 0x0400 Entry 1 (size 64 bundles) ITLB (21)
  184. ENTRY(itlb_miss)
  185. DBG_FAULT(1)
  186. /*
  187.  * The ITLB handler accesses the L3 PTE via the virtually mapped linear
  188.  * page table.  If a nested TLB miss occurs, we switch into physical
  189.  * mode, walk the page table, and then re-execute the L3 PTE read
  190.  * and go on normally after that.
  191.  */
  192. mov r16=cr.ifa // get virtual address
  193. mov r29=b0 // save b0
  194. mov r31=pr // save predicates
  195. itlb_fault:
  196. mov r17=cr.iha // get virtual address of L3 PTE
  197. movl r30=1f // load nested fault continuation point
  198. ;;
  199. 1: ld8 r18=[r17] // read L3 PTE
  200. ;;
  201. mov b0=r29
  202. tbit.z p6,p0=r18,_PAGE_P_BIT // page present bit cleared?
  203. (p6) br.cond.spnt page_fault
  204. ;;
  205. itc.i r18
  206. ;;
  207. #ifdef CONFIG_SMP
  208. ld8 r19=[r17] // read L3 PTE again and see if same
  209. mov r20=PAGE_SHIFT<<2 // setup page size for purge
  210. ;;
  211. cmp.ne p7,p0=r18,r19
  212. ;;
  213. (p7) ptc.l r16,r20
  214. #endif
  215. mov pr=r31,-1
  216. rfi
  217. END(itlb_miss)
  218. .align 1024
  219. /////////////////////////////////////////////////////////////////////////////////////////
  220. // 0x0800 Entry 2 (size 64 bundles) DTLB (9,48)
  221. ENTRY(dtlb_miss)
  222. DBG_FAULT(2)
  223. /*
  224.  * The DTLB handler accesses the L3 PTE via the virtually mapped linear
  225.  * page table.  If a nested TLB miss occurs, we switch into physical
  226.  * mode, walk the page table, and then re-execute the L3 PTE read
  227.  * and go on normally after that.
  228.  */
  229. mov r16=cr.ifa // get virtual address
  230. mov r29=b0 // save b0
  231. mov r31=pr // save predicates
  232. dtlb_fault:
  233. mov r17=cr.iha // get virtual address of L3 PTE
  234. movl r30=1f // load nested fault continuation point
  235. ;;
  236. 1: ld8 r18=[r17] // read L3 PTE
  237. ;;
  238. mov b0=r29
  239. tbit.z p6,p0=r18,_PAGE_P_BIT // page present bit cleared?
  240. (p6) br.cond.spnt page_fault
  241. ;;
  242. itc.d r18
  243. ;;
  244. #ifdef CONFIG_SMP
  245. ld8 r19=[r17] // read L3 PTE again and see if same
  246. mov r20=PAGE_SHIFT<<2 // setup page size for purge
  247. ;;
  248. cmp.ne p7,p0=r18,r19
  249. ;;
  250. (p7) ptc.l r16,r20
  251. #endif
  252. mov pr=r31,-1
  253. rfi
  254. END(dtlb_miss)
  255. .align 1024
  256. /////////////////////////////////////////////////////////////////////////////////////////
  257. // 0x0c00 Entry 3 (size 64 bundles) Alt ITLB (19)
  258. ENTRY(alt_itlb_miss)
  259. DBG_FAULT(3)
  260. mov r16=cr.ifa // get address that caused the TLB miss
  261. movl r17=PAGE_KERNEL
  262. mov r21=cr.ipsr
  263. movl r19=(((1 << IA64_MAX_PHYS_BITS) - 1) & ~0xfff)
  264. mov r31=pr
  265. ;;
  266. #ifdef CONFIG_DISABLE_VHPT
  267. shr.u r22=r16,61 // get the region number into r21
  268. ;;
  269. cmp.gt p8,p0=6,r22 // user mode
  270. ;;
  271. (p8) thash r17=r16
  272. ;;
  273. (p8) mov cr.iha=r17
  274. (p8) mov r29=b0 // save b0
  275. (p8) br.cond.dptk itlb_fault
  276. #endif
  277. extr.u r23=r21,IA64_PSR_CPL0_BIT,2 // extract psr.cpl
  278. and r19=r19,r16 // clear ed, reserved bits, and PTE control bits
  279. shr.u r18=r16,57 // move address bit 61 to bit 4
  280. ;;
  281. andcm r18=0x10,r18 // bit 4=~address-bit(61)
  282. cmp.ne p8,p0=r0,r23 // psr.cpl != 0?
  283. or r19=r17,r19 // insert PTE control bits into r19
  284. ;;
  285. or r19=r19,r18 // set bit 4 (uncached) if the access was to region 6
  286. (p8) br.cond.spnt page_fault
  287. ;;
  288. itc.i r19 // insert the TLB entry
  289. mov pr=r31,-1
  290. rfi
  291. END(alt_itlb_miss)
  292. .align 1024
  293. /////////////////////////////////////////////////////////////////////////////////////////
  294. // 0x1000 Entry 4 (size 64 bundles) Alt DTLB (7,46)
  295. ENTRY(alt_dtlb_miss)
  296. DBG_FAULT(4)
  297. mov r16=cr.ifa // get address that caused the TLB miss
  298. movl r17=PAGE_KERNEL
  299. mov r20=cr.isr
  300. movl r19=(((1 << IA64_MAX_PHYS_BITS) - 1) & ~0xfff)
  301. mov r21=cr.ipsr
  302. mov r31=pr
  303. ;;
  304. #ifdef CONFIG_DISABLE_VHPT
  305. shr.u r22=r16,61 // get the region number into r21
  306. ;;
  307. cmp.gt p8,p0=6,r22 // access to region 0-5
  308. ;;
  309. (p8) thash r17=r16
  310. ;;
  311. (p8) mov cr.iha=r17
  312. (p8) mov r29=b0 // save b0
  313. (p8) br.cond.dptk dtlb_fault
  314. #endif
  315. extr.u r23=r21,IA64_PSR_CPL0_BIT,2 // extract psr.cpl
  316. and r22=IA64_ISR_CODE_MASK,r20 // get the isr.code field
  317. tbit.nz p6,p7=r20,IA64_ISR_SP_BIT // is speculation bit on?
  318. shr.u r18=r16,57 // move address bit 61 to bit 4
  319. and r19=r19,r16 // clear ed, reserved bits, and PTE control bits
  320. tbit.nz p9,p0=r20,IA64_ISR_NA_BIT // is non-access bit on?
  321. ;;
  322. andcm r18=0x10,r18 // bit 4=~address-bit(61)
  323. cmp.ne p8,p0=r0,r23
  324. (p9) cmp.eq.or.andcm p6,p7=IA64_ISR_CODE_LFETCH,r22 // check isr.code field
  325. (p8) br.cond.spnt page_fault
  326. dep r21=-1,r21,IA64_PSR_ED_BIT,1
  327. or r19=r19,r17 // insert PTE control bits into r19
  328. ;;
  329. or r19=r19,r18 // set bit 4 (uncached) if the access was to region 6
  330. (p6) mov cr.ipsr=r21
  331. ;;
  332. (p7) itc.d r19 // insert the TLB entry
  333. mov pr=r31,-1
  334. rfi
  335. END(alt_dtlb_miss)
  336. //-----------------------------------------------------------------------------------
  337. // call do_page_fault (predicates are in r31, psr.dt may be off, r16 is faulting address)
  338. ENTRY(page_fault)
  339. ssm psr.dt
  340. ;;
  341. srlz.i
  342. ;;
  343. SAVE_MIN_WITH_COVER
  344. alloc r15=ar.pfs,0,0,3,0
  345. mov out0=cr.ifa
  346. mov out1=cr.isr
  347. adds r3=8,r2 // set up second base pointer
  348. ;;
  349. ssm psr.ic | PSR_DEFAULT_BITS
  350. ;;
  351. srlz.i // guarantee that interruption collectin is on
  352. ;;
  353. (p15) ssm psr.i // restore psr.i
  354. movl r14=ia64_leave_kernel
  355. ;;
  356. SAVE_REST
  357. mov rp=r14
  358. ;;
  359. adds out2=16,r12 // out2 = pointer to pt_regs
  360. br.call.sptk.many b6=ia64_do_page_fault // ignore return address
  361. END(page_fault)
  362. .align 1024
  363. /////////////////////////////////////////////////////////////////////////////////////////
  364. // 0x1400 Entry 5 (size 64 bundles) Data nested TLB (6,45)
  365. ENTRY(nested_dtlb_miss)
  366. /*
  367.  * In the absence of kernel bugs, we get here when the virtually mapped linear
  368.  * page table is accessed non-speculatively (e.g., in the Dirty-bit, Instruction
  369.  * Access-bit, or Data Access-bit faults).  If the DTLB entry for the virtual page
  370.  * table is missing, a nested TLB miss fault is triggered and control is
  371.  * transferred to this point.  When this happens, we lookup the pte for the
  372.  * faulting address by walking the page table in physical mode and return to the
  373.  * continuation point passed in register r30 (or call page_fault if the address is
  374.  * not mapped).
  375.  *
  376.  * Input: r16: faulting address
  377.  * r29: saved b0
  378.  * r30: continuation address
  379.  * r31: saved pr
  380.  *
  381.  * Output: r17: physical address of L3 PTE of faulting address
  382.  * r29: saved b0
  383.  * r30: continuation address
  384.  * r31: saved pr
  385.  *
  386.  * Clobbered: b0, r18, r19, r21, psr.dt (cleared)
  387.  */
  388. rsm psr.dt // switch to using physical data addressing
  389. mov r19=IA64_KR(PT_BASE) // get the page table base address
  390. shl r21=r16,3 // shift bit 60 into sign bit
  391. ;;
  392. shr.u r17=r16,61 // get the region number into r17
  393. ;;
  394. cmp.eq p6,p7=5,r17 // is faulting address in region 5?
  395. shr.u r18=r16,PGDIR_SHIFT // get bits 33-63 of faulting address
  396. ;;
  397. (p7) dep r17=r17,r19,(PAGE_SHIFT-3),3 // put region number bits in place
  398. srlz.d
  399. (p6) movl r19=__pa(swapper_pg_dir) // region 5 is rooted at swapper_pg_dir
  400. (p6) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT
  401. (p7) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT-3
  402. ;;
  403. (p6) dep r17=r18,r19,3,(PAGE_SHIFT-3) // r17=PTA + IFA(33,42)*8
  404. (p7) dep r17=r18,r17,3,(PAGE_SHIFT-6) // r17=PTA + (((IFA(61,63) << 7) | IFA(33,39))*8)
  405. cmp.eq p7,p6=0,r21 // unused address bits all zeroes?
  406. shr.u r18=r16,PMD_SHIFT // shift L2 index into position
  407. ;;
  408. ld8 r17=[r17] // fetch the L1 entry (may be 0)
  409. ;;
  410. (p7) cmp.eq p6,p7=r17,r0 // was L1 entry NULL?
  411. dep r17=r18,r17,3,(PAGE_SHIFT-3) // compute address of L2 page table entry
  412. ;;
  413. (p7) ld8 r17=[r17] // fetch the L2 entry (may be 0)
  414. shr.u r19=r16,PAGE_SHIFT // shift L3 index into position
  415. ;;
  416. (p7) cmp.eq.or.andcm p6,p7=r17,r0 // was L2 entry NULL?
  417. dep r17=r19,r17,3,(PAGE_SHIFT-3) // compute address of L3 page table entry
  418. (p6) br.cond.spnt page_fault
  419. mov b0=r30
  420. br.sptk.many b0 // return to continuation point
  421. END(nested_dtlb_miss)
  422. .align 1024
  423. /////////////////////////////////////////////////////////////////////////////////////////
  424. // 0x1800 Entry 6 (size 64 bundles) Instruction Key Miss (24)
  425. ENTRY(ikey_miss)
  426. DBG_FAULT(6)
  427. FAULT(6)
  428. END(ikey_miss)
  429. .align 1024
  430. /////////////////////////////////////////////////////////////////////////////////////////
  431. // 0x1c00 Entry 7 (size 64 bundles) Data Key Miss (12,51)
  432. ENTRY(dkey_miss)
  433. DBG_FAULT(7)
  434. FAULT(7)
  435. END(dkey_miss)
  436. .align 1024
  437. /////////////////////////////////////////////////////////////////////////////////////////
  438. // 0x2000 Entry 8 (size 64 bundles) Dirty-bit (54)
  439. ENTRY(dirty_bit)
  440. DBG_FAULT(8)
  441. /*
  442.  * What we do here is to simply turn on the dirty bit in the PTE.  We need to
  443.  * update both the page-table and the TLB entry.  To efficiently access the PTE,
  444.  * we address it through the virtual page table.  Most likely, the TLB entry for
  445.  * the relevant virtual page table page is still present in the TLB so we can
  446.  * normally do this without additional TLB misses.  In case the necessary virtual
  447.  * page table TLB entry isn't present, we take a nested TLB miss hit where we look
  448.  * up the physical address of the L3 PTE and then continue at label 1 below.
  449.  */
  450. mov r16=cr.ifa // get the address that caused the fault
  451. movl r30=1f // load continuation point in case of nested fault
  452. ;;
  453. thash r17=r16 // compute virtual address of L3 PTE
  454. mov r29=b0 // save b0 in case of nested fault
  455. mov r31=pr // save pr
  456. #ifdef CONFIG_SMP
  457. mov r28=ar.ccv // save ar.ccv
  458. ;;
  459. 1: ld8 r18=[r17]
  460. ;; // avoid RAW on r18
  461. mov ar.ccv=r18 // set compare value for cmpxchg
  462. or r25=_PAGE_D|_PAGE_A,r18 // set the dirty and accessed bits
  463. ;;
  464. cmpxchg8.acq r26=[r17],r25,ar.ccv
  465. mov r24=PAGE_SHIFT<<2
  466. ;;
  467. cmp.eq p6,p7=r26,r18
  468. ;;
  469. (p6) itc.d r25 // install updated PTE
  470. ;;
  471. ld8 r18=[r17] // read PTE again
  472. ;;
  473. cmp.eq p6,p7=r18,r25 // is it same as the newly installed
  474. ;;
  475. (p7) ptc.l r16,r24
  476. mov b0=r29 // restore b0
  477. mov ar.ccv=r28
  478. #else
  479. ;;
  480. 1: ld8 r18=[r17]
  481. ;; // avoid RAW on r18
  482. or r18=_PAGE_D|_PAGE_A,r18 // set the dirty and accessed bits
  483. mov b0=r29 // restore b0
  484. ;;
  485. st8 [r17]=r18 // store back updated PTE
  486. itc.d r18 // install updated PTE
  487. #endif
  488. mov pr=r31,-1 // restore pr
  489. rfi
  490. END(idirty_bit)
  491. .align 1024
  492. /////////////////////////////////////////////////////////////////////////////////////////
  493. // 0x2400 Entry 9 (size 64 bundles) Instruction Access-bit (27)
  494. ENTRY(iaccess_bit)
  495. DBG_FAULT(9)
  496. // Like Entry 8, except for instruction access
  497. mov r16=cr.ifa // get the address that caused the fault
  498. movl r30=1f // load continuation point in case of nested fault
  499. mov r31=pr // save predicates
  500. #ifdef CONFIG_ITANIUM
  501. /*
  502.  * Erratum 10 (IFA may contain incorrect address) has "NoFix" status.
  503.  */
  504. mov r17=cr.ipsr
  505. ;;
  506. mov r18=cr.iip
  507. tbit.z p6,p0=r17,IA64_PSR_IS_BIT // IA64 instruction set?
  508. ;;
  509. (p6) mov r16=r18 // if so, use cr.iip instead of cr.ifa
  510. #endif /* CONFIG_ITANIUM */
  511. ;;
  512. thash r17=r16 // compute virtual address of L3 PTE
  513. mov r29=b0 // save b0 in case of nested fault)
  514. #ifdef CONFIG_SMP
  515. mov r28=ar.ccv // save ar.ccv
  516. ;;
  517. 1: ld8 r18=[r17]
  518. ;;
  519. mov ar.ccv=r18 // set compare value for cmpxchg
  520. or r25=_PAGE_A,r18 // set the accessed bit
  521. ;;
  522. cmpxchg8.acq r26=[r17],r25,ar.ccv
  523. mov r24=PAGE_SHIFT<<2
  524. ;;
  525. cmp.eq p6,p7=r26,r18
  526. ;;
  527. (p6) itc.i r25 // install updated PTE
  528. ;;
  529. ld8 r18=[r17] // read PTE again
  530. ;;
  531. cmp.eq p6,p7=r18,r25 // is it same as the newly installed
  532. ;;
  533. (p7) ptc.l r16,r24
  534. mov b0=r29 // restore b0
  535. mov ar.ccv=r28
  536. #else /* !CONFIG_SMP */
  537. ;;
  538. 1: ld8 r18=[r17]
  539. ;;
  540. or r18=_PAGE_A,r18 // set the accessed bit
  541. mov b0=r29 // restore b0
  542. ;;
  543. st8 [r17]=r18 // store back updated PTE
  544. itc.i r18 // install updated PTE
  545. #endif /* !CONFIG_SMP */
  546. mov pr=r31,-1
  547. rfi
  548. END(iaccess_bit)
  549. .align 1024
  550. /////////////////////////////////////////////////////////////////////////////////////////
  551. // 0x2800 Entry 10 (size 64 bundles) Data Access-bit (15,55)
  552. ENTRY(daccess_bit)
  553. DBG_FAULT(10)
  554. // Like Entry 8, except for data access
  555. mov r16=cr.ifa // get the address that caused the fault
  556. movl r30=1f // load continuation point in case of nested fault
  557. ;;
  558. thash r17=r16 // compute virtual address of L3 PTE
  559. mov r31=pr
  560. mov r29=b0 // save b0 in case of nested fault)
  561. #ifdef CONFIG_SMP
  562. mov r28=ar.ccv // save ar.ccv
  563. ;;
  564. 1: ld8 r18=[r17]
  565. ;; // avoid RAW on r18
  566. mov ar.ccv=r18 // set compare value for cmpxchg
  567. or r25=_PAGE_A,r18 // set the dirty bit
  568. ;;
  569. cmpxchg8.acq r26=[r17],r25,ar.ccv
  570. mov r24=PAGE_SHIFT<<2
  571. ;;
  572. cmp.eq p6,p7=r26,r18
  573. ;;
  574. (p6) itc.d r25 // install updated PTE
  575. ;;
  576. ld8 r18=[r17] // read PTE again
  577. ;;
  578. cmp.eq p6,p7=r18,r25 // is it same as the newly installed
  579. ;;
  580. (p7) ptc.l r16,r24
  581. mov ar.ccv=r28
  582. #else
  583. ;;
  584. 1: ld8 r18=[r17]
  585. ;; // avoid RAW on r18
  586. or r18=_PAGE_A,r18 // set the accessed bit
  587. ;;
  588. st8 [r17]=r18 // store back updated PTE
  589. itc.d r18 // install updated PTE
  590. #endif
  591. mov b0=r29 // restore b0
  592. mov pr=r31,-1
  593. rfi
  594. END(daccess_bit)
  595. .align 1024
  596. /////////////////////////////////////////////////////////////////////////////////////////
  597. // 0x2c00 Entry 11 (size 64 bundles) Break instruction (33)
  598. ENTRY(break_fault)
  599. DBG_FAULT(11)
  600. mov r16=cr.iim
  601. mov r17=__IA64_BREAK_SYSCALL
  602. mov r31=pr // prepare to save predicates
  603. ;;
  604. cmp.eq p0,p7=r16,r17 // is this a system call? (p7 <- false, if so)
  605. (p7) br.cond.spnt non_syscall
  606. SAVE_MIN // uses r31; defines r2:
  607. ssm psr.ic | PSR_DEFAULT_BITS
  608. ;;
  609. srlz.i // guarantee that interruption collection is on
  610. cmp.eq pSys,pNonSys=r0,r0 // set pSys=1, pNonSys=0
  611. ;;
  612. (p15) ssm psr.i // restore psr.i
  613. adds r8=(IA64_PT_REGS_R8_OFFSET-IA64_PT_REGS_R16_OFFSET),r2
  614. ;;
  615. stf8 [r8]=f1 // ensure pt_regs.r8 != 0 (see handle_syscall_error)
  616. adds r3=8,r2 // set up second base pointer for SAVE_REST
  617. ;;
  618. SAVE_REST
  619. br.call.sptk.many rp=demine_args // clear NaT bits in (potential) syscall args
  620. mov r3=255
  621. adds r15=-1024,r15 // r15 contains the syscall number---subtract 1024
  622. adds r2=IA64_TASK_PTRACE_OFFSET,r13 // r2 = &current->ptrace
  623. ;;
  624. cmp.geu p6,p7=r3,r15 // (syscall > 0 && syscall <= 1024+255) ?
  625. movl r16=sys_call_table
  626. ;;
  627. (p6) shladd r16=r15,3,r16
  628. movl r15=ia64_ret_from_syscall
  629. (p7) adds r16=(__NR_ni_syscall-1024)*8,r16 // force __NR_ni_syscall
  630. ;;
  631. ld8 r16=[r16] // load address of syscall entry point
  632. mov rp=r15 // set the real return addr
  633. ;;
  634. ld8 r2=[r2] // r2 = current->ptrace
  635. mov b6=r16
  636. // arrange things so we skip over break instruction when returning:
  637. adds r16=16,sp // get pointer to cr_ipsr
  638. adds r17=24,sp // get pointer to cr_iip
  639. ;;
  640. ld8 r18=[r16] // fetch cr_ipsr
  641. tbit.z p8,p0=r2,PT_TRACESYS_BIT // (current->ptrace & PF_TRACESYS) == 0?
  642. ;;
  643. ld8 r19=[r17] // fetch cr_iip
  644. extr.u r20=r18,41,2 // extract ei field
  645. ;;
  646. cmp.eq p6,p7=2,r20 // isr.ei==2?
  647. adds r19=16,r19 // compute address of next bundle
  648. ;;
  649. (p6) mov r20=0 // clear ei to 0
  650. (p7) adds r20=1,r20 // increment ei to next slot
  651. ;;
  652. (p6) st8 [r17]=r19 // store new cr.iip if cr.isr.ei wrapped around
  653. dep r18=r20,r18,41,2 // insert new ei into cr.isr
  654. ;;
  655. st8 [r16]=r18 // store new value for cr.isr
  656. (p8) br.call.sptk.many b6=b6 // ignore this return addr
  657. br.cond.sptk ia64_trace_syscall
  658. // NOT REACHED
  659. END(break_fault)
  660. ENTRY(demine_args)
  661. alloc r2=ar.pfs,8,0,0,0
  662. tnat.nz p8,p0=in0
  663. tnat.nz p9,p0=in1
  664. ;;
  665. (p8) mov in0=-1
  666. tnat.nz p10,p0=in2
  667. tnat.nz p11,p0=in3
  668. (p9) mov in1=-1
  669. tnat.nz p12,p0=in4
  670. tnat.nz p13,p0=in5
  671. ;;
  672. (p10) mov in2=-1
  673. tnat.nz p14,p0=in6
  674. tnat.nz p15,p0=in7
  675. (p11) mov in3=-1
  676. tnat.nz p8,p0=r15 // demining r15 is not a must, but it is safer
  677. (p12) mov in4=-1
  678. (p13) mov in5=-1
  679. ;;
  680. (p14) mov in6=-1
  681. (p15) mov in7=-1
  682. (p8) mov r15=-1
  683. br.ret.sptk.many rp
  684. END(demine_args)
  685. .align 1024
  686. /////////////////////////////////////////////////////////////////////////////////////////
  687. // 0x3000 Entry 12 (size 64 bundles) External Interrupt (4)
  688. ENTRY(interrupt)
  689. DBG_FAULT(12)
  690. mov r31=pr // prepare to save predicates
  691. ;;
  692. SAVE_MIN_WITH_COVER // uses r31; defines r2 and r3
  693. ssm psr.ic | PSR_DEFAULT_BITS
  694. ;;
  695. adds r3=8,r2 // set up second base pointer for SAVE_REST
  696. srlz.i // ensure everybody knows psr.ic is back on
  697. ;;
  698. SAVE_REST
  699. ;;
  700. alloc r14=ar.pfs,0,0,2,0 // must be first in an insn group
  701. mov out0=cr.ivr // pass cr.ivr as first arg
  702. add out1=16,sp // pass pointer to pt_regs as second arg
  703. ;;
  704. srlz.d // make  sure we see the effect of cr.ivr
  705. movl r14=ia64_leave_kernel
  706. ;;
  707. mov rp=r14
  708. br.call.sptk.many b6=ia64_handle_irq
  709. END(interrupt)
  710. .align 1024
  711. /////////////////////////////////////////////////////////////////////////////////////////
  712. // 0x3400 Entry 13 (size 64 bundles) Reserved
  713. DBG_FAULT(13)
  714. FAULT(13)
  715. .align 1024
  716. /////////////////////////////////////////////////////////////////////////////////////////
  717. // 0x3800 Entry 14 (size 64 bundles) Reserved
  718. DBG_FAULT(14)
  719. FAULT(14)
  720. .align 1024
  721. /////////////////////////////////////////////////////////////////////////////////////////
  722. // 0x3c00 Entry 15 (size 64 bundles) Reserved
  723. DBG_FAULT(15)
  724. FAULT(15)
  725. /*
  726.  * Squatting in this space ...
  727.  *
  728.  * This special case dispatcher for illegal operation faults allows preserved
  729.  * registers to be modified through a callback function (asm only) that is handed
  730.  * back from the fault handler in r8. Up to three arguments can be passed to the
  731.  * callback function by returning an aggregate with the callback as its first
  732.  * element, followed by the arguments.
  733.  */
  734. ENTRY(dispatch_illegal_op_fault)
  735. SAVE_MIN_WITH_COVER
  736. ssm psr.ic | PSR_DEFAULT_BITS
  737. ;;
  738. srlz.i // guarantee that interruption collection is on
  739. ;;
  740. (p15) ssm psr.i // restore psr.i
  741. adds r3=8,r2 // set up second base pointer for SAVE_REST
  742. ;;
  743. alloc r14=ar.pfs,0,0,1,0 // must be first in insn group
  744. mov out0=ar.ec
  745. ;;
  746. SAVE_REST
  747. ;;
  748. br.call.sptk.many rp=ia64_illegal_op_fault
  749. .ret0: ;;
  750. alloc r14=ar.pfs,0,0,3,0 // must be first in insn group
  751. mov out0=r9
  752. mov out1=r10
  753. mov out2=r11
  754. movl r15=ia64_leave_kernel
  755. ;;
  756. mov rp=r15
  757. mov b6=r8
  758. ;;
  759. cmp.ne p6,p0=0,r8
  760. (p6) br.call.dpnt.many b6=b6 // call returns to ia64_leave_kernel
  761. br.sptk.many ia64_leave_kernel
  762. END(dispatch_illegal_op_fault)
  763. .align 1024
  764. /////////////////////////////////////////////////////////////////////////////////////////
  765. // 0x4000 Entry 16 (size 64 bundles) Reserved
  766. DBG_FAULT(16)
  767. FAULT(16)
  768. #ifdef CONFIG_IA32_SUPPORT
  769. /*
  770.  * There is no particular reason for this code to be here, other than that
  771.  * there happens to be space here that would go unused otherwise.  If this
  772.  * fault ever gets "unreserved", simply moved the following code to a more
  773.  * suitable spot...
  774.  */
  775. // IA32 interrupt entry point
  776. ENTRY(dispatch_to_ia32_handler)
  777. SAVE_MIN
  778. ;;
  779. mov r14=cr.isr
  780. ssm psr.ic | PSR_DEFAULT_BITS
  781. ;;
  782. srlz.i // guarantee that interruption collection is on
  783. ;;
  784. (p15) ssm psr.i
  785. adds r3=8,r2            // Base pointer for SAVE_REST
  786. ;;
  787. SAVE_REST
  788. ;;
  789. mov r15=0x80
  790. shr r14=r14,16          // Get interrupt number
  791. ;;
  792. cmp.ne p6,p0=r14,r15
  793. (p6)    br.call.dpnt.many b6=non_ia32_syscall
  794. adds r14=IA64_PT_REGS_R8_OFFSET + 16,sp // 16 byte hole per SW conventions
  795. adds r15=IA64_PT_REGS_R1_OFFSET + 16,sp
  796. ;;
  797. cmp.eq pSys,pNonSys=r0,r0 // set pSys=1, pNonSys=0
  798. st8 [r15]=r8 // save original EAX in r1 (IA32 procs don't use the GP)
  799. ;;
  800. alloc r15=ar.pfs,0,0,6,0 // must first in an insn group
  801. ;;
  802. ld4 r8=[r14],8 // r8 == eax (syscall number)
  803. mov r15=230 // number of entries in ia32 system call table
  804. ;;
  805. cmp.ltu.unc p6,p7=r8,r15
  806. ld4 out1=[r14],8 // r9 == ecx
  807. ;;
  808. ld4 out2=[r14],8 // r10 == edx
  809. ;;
  810. ld4 out0=[r14] // r11 == ebx
  811. adds r14=(IA64_PT_REGS_R8_OFFSET-(8*3)) + 16,sp
  812. ;;
  813. ld4 out5=[r14],8 // r13 == ebp
  814. ;;
  815. ld4 out3=[r14],8 // r14 == esi
  816. adds r2=IA64_TASK_PTRACE_OFFSET,r13 // r2 = &current->ptrace
  817. ;;
  818. ld4 out4=[r14] // r15 == edi
  819. movl r16=ia32_syscall_table
  820. ;;
  821. (p6)    shladd r16=r8,3,r16 // force ni_syscall if not valid syscall number
  822. ld8 r2=[r2] // r2 = current->ptrace
  823. ;;
  824. ld8 r16=[r16]
  825. tbit.z p8,p0=r2,PT_TRACESYS_BIT // (current->ptrace & PT_TRACESYS) == 0?
  826. ;;
  827. mov b6=r16
  828. movl r15=ia32_ret_from_syscall
  829. ;;
  830. mov rp=r15
  831. (p8) br.call.sptk.many b6=b6
  832. br.cond.sptk ia32_trace_syscall
  833. non_ia32_syscall:
  834. alloc r15=ar.pfs,0,0,2,0
  835. mov out0=r14 // interrupt #
  836. add out1=16,sp // pointer to pt_regs
  837. ;; // avoid WAW on CFM
  838. br.call.sptk.many rp=ia32_bad_interrupt
  839. .ret1: movl r15=ia64_leave_kernel
  840. ;;
  841. mov rp=r15
  842. br.ret.sptk.many rp
  843. END(dispatch_to_ia32_handler)
  844. #endif /* CONFIG_IA32_SUPPORT */
  845. .align 1024
  846. /////////////////////////////////////////////////////////////////////////////////////////
  847. // 0x4400 Entry 17 (size 64 bundles) Reserved
  848. DBG_FAULT(17)
  849. FAULT(17)
  850. ENTRY(non_syscall)
  851. SAVE_MIN_WITH_COVER
  852. // There is no particular reason for this code to be here, other than that
  853. // there happens to be space here that would go unused otherwise.  If this
  854. // fault ever gets "unreserved", simply moved the following code to a more
  855. // suitable spot...
  856. alloc r14=ar.pfs,0,0,2,0
  857. mov out0=cr.iim
  858. add out1=16,sp
  859. adds r3=8,r2 // set up second base pointer for SAVE_REST
  860. ssm psr.ic | PSR_DEFAULT_BITS
  861. ;;
  862. srlz.i // guarantee that interruption collection is on
  863. ;;
  864. (p15) ssm psr.i // restore psr.i
  865. movl r15=ia64_leave_kernel
  866. ;;
  867. SAVE_REST
  868. mov rp=r15
  869. ;;
  870. br.call.sptk.many b6=ia64_bad_break // avoid WAW on CFM and ignore return addr
  871. END(non_syscall)
  872. .align 1024
  873. /////////////////////////////////////////////////////////////////////////////////////////
  874. // 0x4800 Entry 18 (size 64 bundles) Reserved
  875. DBG_FAULT(18)
  876. FAULT(18)
  877. /*
  878.  * There is no particular reason for this code to be here, other than that
  879.  * there happens to be space here that would go unused otherwise.  If this
  880.  * fault ever gets "unreserved", simply moved the following code to a more
  881.  * suitable spot...
  882.  */
  883. ENTRY(dispatch_unaligned_handler)
  884. SAVE_MIN_WITH_COVER
  885. ;;
  886. alloc r14=ar.pfs,0,0,2,0 // now it's safe (must be first in insn group!)
  887. mov out0=cr.ifa
  888. adds out1=16,sp
  889. ssm psr.ic | PSR_DEFAULT_BITS
  890. ;;
  891. srlz.i // guarantee that interruption collection is on
  892. ;;
  893. (p15) ssm psr.i // restore psr.i
  894. adds r3=8,r2 // set up second base pointer
  895. ;;
  896. SAVE_REST
  897. movl r14=ia64_leave_kernel
  898. ;;
  899. mov rp=r14
  900. br.sptk.many ia64_prepare_handle_unaligned
  901. END(dispatch_unaligned_handler)
  902. .align 1024
  903. /////////////////////////////////////////////////////////////////////////////////////////
  904. // 0x4c00 Entry 19 (size 64 bundles) Reserved
  905. DBG_FAULT(19)
  906. FAULT(19)
  907. /*
  908.  * There is no particular reason for this code to be here, other than that
  909.  * there happens to be space here that would go unused otherwise.  If this
  910.  * fault ever gets "unreserved", simply moved the following code to a more
  911.  * suitable spot...
  912.  */
  913. ENTRY(dispatch_to_fault_handler)
  914. /*
  915.  * Input:
  916.  * psr.ic: off
  917.  * r19: fault vector number (e.g., 24 for General Exception)
  918.  * r31: contains saved predicates (pr)
  919.  */
  920. SAVE_MIN_WITH_COVER_R19
  921. alloc r14=ar.pfs,0,0,5,0
  922. mov out0=r15
  923. mov out1=cr.isr
  924. mov out2=cr.ifa
  925. mov out3=cr.iim
  926. mov out4=cr.itir
  927. ;;
  928. ssm psr.ic | PSR_DEFAULT_BITS
  929. ;;
  930. srlz.i // guarantee that interruption collection is on
  931. ;;
  932. (p15) ssm psr.i // restore psr.i
  933. adds r3=8,r2 // set up second base pointer for SAVE_REST
  934. ;;
  935. SAVE_REST
  936. movl r14=ia64_leave_kernel
  937. ;;
  938. mov rp=r14
  939. br.call.sptk.many b6=ia64_fault
  940. END(dispatch_to_fault_handler)
  941. //
  942. // --- End of long entries, Beginning of short entries
  943. //
  944. .align 1024
  945. /////////////////////////////////////////////////////////////////////////////////////////
  946. // 0x5000 Entry 20 (size 16 bundles) Page Not Present (10,22,49)
  947. ENTRY(page_not_present)
  948. DBG_FAULT(20)
  949. mov r16=cr.ifa
  950. rsm psr.dt
  951. /*
  952.  * The Linux page fault handler doesn't expect non-present pages to be in
  953.  * the TLB.  Flush the existing entry now, so we meet that expectation.
  954.  */
  955. mov r17=PAGE_SHIFT<<2
  956. ;;
  957. ptc.l r16,r17
  958. ;;
  959. mov r31=pr
  960. srlz.d
  961. br.sptk.many page_fault
  962. END(page_not_present)
  963. .align 256
  964. /////////////////////////////////////////////////////////////////////////////////////////
  965. // 0x5100 Entry 21 (size 16 bundles) Key Permission (13,25,52)
  966. ENTRY(key_permission)
  967. DBG_FAULT(21)
  968. mov r16=cr.ifa
  969. rsm psr.dt
  970. mov r31=pr
  971. ;;
  972. srlz.d
  973. br.sptk.many page_fault
  974. END(key_permission)
  975. .align 256
  976. /////////////////////////////////////////////////////////////////////////////////////////
  977. // 0x5200 Entry 22 (size 16 bundles) Instruction Access Rights (26)
  978. ENTRY(iaccess_rights)
  979. DBG_FAULT(22)
  980. mov r16=cr.ifa
  981. rsm psr.dt
  982. mov r31=pr
  983. ;;
  984. srlz.d
  985. br.sptk.many page_fault
  986. END(iaccess_rights)
  987. .align 256
  988. /////////////////////////////////////////////////////////////////////////////////////////
  989. // 0x5300 Entry 23 (size 16 bundles) Data Access Rights (14,53)
  990. ENTRY(daccess_rights)
  991. DBG_FAULT(23)
  992. mov r16=cr.ifa
  993. rsm psr.dt
  994. mov r31=pr
  995. ;;
  996. srlz.d
  997. br.sptk.many page_fault
  998. END(daccess_rights)
  999. .align 256
  1000. /////////////////////////////////////////////////////////////////////////////////////////
  1001. // 0x5400 Entry 24 (size 16 bundles) General Exception (5,32,34,36,38,39)
  1002. ENTRY(general_exception)
  1003. DBG_FAULT(24)
  1004. mov r16=cr.isr
  1005. mov r31=pr
  1006. ;;
  1007. cmp4.eq p6,p0=0,r16
  1008. (p6) br.sptk.many dispatch_illegal_op_fault
  1009. ;;
  1010. mov r19=24 // fault number
  1011. br.sptk.many dispatch_to_fault_handler
  1012. END(general_exception)
  1013. .align 256
  1014. /////////////////////////////////////////////////////////////////////////////////////////
  1015. // 0x5500 Entry 25 (size 16 bundles) Disabled FP-Register (35)
  1016. ENTRY(disabled_fp_reg)
  1017. DBG_FAULT(25)
  1018. rsm psr.dfh // ensure we can access fph
  1019. ;;
  1020. srlz.d
  1021. mov r31=pr
  1022. mov r19=25
  1023. br.sptk.many dispatch_to_fault_handler
  1024. END(disabled_fp_reg)
  1025. .align 256
  1026. /////////////////////////////////////////////////////////////////////////////////////////
  1027. // 0x5600 Entry 26 (size 16 bundles) Nat Consumption (11,23,37,50)
  1028. ENTRY(nat_consumption)
  1029. DBG_FAULT(26)
  1030. FAULT(26)
  1031. END(nat_consumption)
  1032. .align 256
  1033. /////////////////////////////////////////////////////////////////////////////////////////
  1034. // 0x5700 Entry 27 (size 16 bundles) Speculation (40)
  1035. ENTRY(speculation_vector)
  1036. DBG_FAULT(27)
  1037. /*
  1038.  * A [f]chk.[as] instruction needs to take the branch to the recovery code but
  1039.  * this part of the architecture is not implemented in hardware on some CPUs, such
  1040.  * as Itanium.  Thus, in general we need to emulate the behavior.  IIM contains
  1041.  * the relative target (not yet sign extended).  So after sign extending it we
  1042.  * simply add it to IIP.  We also need to reset the EI field of the IPSR to zero,
  1043.  * i.e., the slot to restart into.
  1044.  *
  1045.  * cr.imm contains zero_ext(imm21)
  1046.  */
  1047. mov r18=cr.iim
  1048. ;;
  1049. mov r17=cr.iip
  1050. shl r18=r18,43 // put sign bit in position (43=64-21)
  1051. ;;
  1052. mov r16=cr.ipsr
  1053. shr r18=r18,39 // sign extend (39=43-4)
  1054. ;;
  1055. add r17=r17,r18 // now add the offset
  1056. ;;
  1057. mov cr.iip=r17
  1058. dep r16=0,r16,41,2 // clear EI
  1059. ;;
  1060. mov cr.ipsr=r16
  1061. ;;
  1062. rfi // and go back
  1063. END(speculation_vector)
  1064. .align 256
  1065. /////////////////////////////////////////////////////////////////////////////////////////
  1066. // 0x5800 Entry 28 (size 16 bundles) Reserved
  1067. DBG_FAULT(28)
  1068. FAULT(28)
  1069. .align 256
  1070. /////////////////////////////////////////////////////////////////////////////////////////
  1071. // 0x5900 Entry 29 (size 16 bundles) Debug (16,28,56)
  1072. ENTRY(debug_vector)
  1073. DBG_FAULT(29)
  1074. FAULT(29)
  1075. END(debug_vector)
  1076. .align 256
  1077. /////////////////////////////////////////////////////////////////////////////////////////
  1078. // 0x5a00 Entry 30 (size 16 bundles) Unaligned Reference (57)
  1079. ENTRY(unaligned_access)
  1080. DBG_FAULT(30)
  1081. mov r16=cr.ipsr
  1082. mov r31=pr // prepare to save predicates
  1083. ;;
  1084. br.sptk.many dispatch_unaligned_handler
  1085. END(unaligned_access)
  1086. .align 256
  1087. /////////////////////////////////////////////////////////////////////////////////////////
  1088. // 0x5b00 Entry 31 (size 16 bundles) Unsupported Data Reference (57)
  1089. DBG_FAULT(31)
  1090. FAULT(31)
  1091. .align 256
  1092. /////////////////////////////////////////////////////////////////////////////////////////
  1093. // 0x5c00 Entry 32 (size 16 bundles) Floating-Point Fault (64)
  1094. DBG_FAULT(32)
  1095. FAULT(32)
  1096. .align 256
  1097. /////////////////////////////////////////////////////////////////////////////////////////
  1098. // 0x5d00 Entry 33 (size 16 bundles) Floating Point Trap (66)
  1099. DBG_FAULT(33)
  1100. FAULT(33)
  1101. .align 256
  1102. /////////////////////////////////////////////////////////////////////////////////////////
  1103. // 0x5e00 Entry 34 (size 16 bundles) Lower Privilege Tranfer Trap (66)
  1104. DBG_FAULT(34)
  1105. FAULT(34)
  1106. .align 256
  1107. /////////////////////////////////////////////////////////////////////////////////////////
  1108. // 0x5f00 Entry 35 (size 16 bundles) Taken Branch Trap (68)
  1109. DBG_FAULT(35)
  1110. FAULT(35)
  1111. .align 256
  1112. /////////////////////////////////////////////////////////////////////////////////////////
  1113. // 0x6000 Entry 36 (size 16 bundles) Single Step Trap (69)
  1114. DBG_FAULT(36)
  1115. FAULT(36)
  1116. .align 256
  1117. /////////////////////////////////////////////////////////////////////////////////////////
  1118. // 0x6100 Entry 37 (size 16 bundles) Reserved
  1119. DBG_FAULT(37)
  1120. FAULT(37)
  1121. .align 256
  1122. /////////////////////////////////////////////////////////////////////////////////////////
  1123. // 0x6200 Entry 38 (size 16 bundles) Reserved
  1124. DBG_FAULT(38)
  1125. FAULT(38)
  1126. .align 256
  1127. /////////////////////////////////////////////////////////////////////////////////////////
  1128. // 0x6300 Entry 39 (size 16 bundles) Reserved
  1129. DBG_FAULT(39)
  1130. FAULT(39)
  1131. .align 256
  1132. /////////////////////////////////////////////////////////////////////////////////////////
  1133. // 0x6400 Entry 40 (size 16 bundles) Reserved
  1134. DBG_FAULT(40)
  1135. FAULT(40)
  1136. .align 256
  1137. /////////////////////////////////////////////////////////////////////////////////////////
  1138. // 0x6500 Entry 41 (size 16 bundles) Reserved
  1139. DBG_FAULT(41)
  1140. FAULT(41)
  1141. .align 256
  1142. /////////////////////////////////////////////////////////////////////////////////////////
  1143. // 0x6600 Entry 42 (size 16 bundles) Reserved
  1144. DBG_FAULT(42)
  1145. FAULT(42)
  1146. .align 256
  1147. /////////////////////////////////////////////////////////////////////////////////////////
  1148. // 0x6700 Entry 43 (size 16 bundles) Reserved
  1149. DBG_FAULT(43)
  1150. FAULT(43)
  1151. .align 256
  1152. /////////////////////////////////////////////////////////////////////////////////////////
  1153. // 0x6800 Entry 44 (size 16 bundles) Reserved
  1154. DBG_FAULT(44)
  1155. FAULT(44)
  1156. .align 256
  1157. /////////////////////////////////////////////////////////////////////////////////////////
  1158. // 0x6900 Entry 45 (size 16 bundles) IA-32 Exeception (17,18,29,41,42,43,44,58,60,61,62,72,73,75,76,77)
  1159. ENTRY(ia32_exception)
  1160. DBG_FAULT(45)
  1161. FAULT(45)
  1162. END(ia32_exception)
  1163. .align 256
  1164. /////////////////////////////////////////////////////////////////////////////////////////
  1165. // 0x6a00 Entry 46 (size 16 bundles) IA-32 Intercept  (30,31,59,70,71)
  1166. ENTRY(ia32_intercept)
  1167. DBG_FAULT(46)
  1168. #ifdef CONFIG_IA32_SUPPORT
  1169. mov r31=pr
  1170. mov r16=cr.isr
  1171. ;;
  1172. extr.u r17=r16,16,8 // get ISR.code
  1173. mov r18=ar.eflag
  1174. mov r19=cr.iim // old eflag value
  1175. ;;
  1176. cmp.ne p6,p0=2,r17
  1177. (p6) br.cond.spnt 1f // not a system flag fault
  1178. xor r16=r18,r19
  1179. ;;
  1180. extr.u r17=r16,18,1 // get the eflags.ac bit
  1181. ;;
  1182. cmp.eq p6,p0=0,r17
  1183. (p6) br.cond.spnt 1f // eflags.ac bit didn't change
  1184. ;;
  1185. mov pr=r31,-1 // restore predicate registers
  1186. rfi
  1187. 1:
  1188. #endif // CONFIG_IA32_SUPPORT
  1189. FAULT(46)
  1190. END(ia32_intercept)
  1191. .align 256
  1192. /////////////////////////////////////////////////////////////////////////////////////////
  1193. // 0x6b00 Entry 47 (size 16 bundles) IA-32 Interrupt  (74)
  1194. ENTRY(ia32_interrupt)
  1195. DBG_FAULT(47)
  1196. #ifdef CONFIG_IA32_SUPPORT
  1197. mov r31=pr
  1198. br.sptk.many dispatch_to_ia32_handler
  1199. #else
  1200. FAULT(47)
  1201. #endif
  1202. END(ia32_interrupt)
  1203. .align 256
  1204. /////////////////////////////////////////////////////////////////////////////////////////
  1205. // 0x6c00 Entry 48 (size 16 bundles) Reserved
  1206. DBG_FAULT(48)
  1207. FAULT(48)
  1208. .align 256
  1209. /////////////////////////////////////////////////////////////////////////////////////////
  1210. // 0x6d00 Entry 49 (size 16 bundles) Reserved
  1211. DBG_FAULT(49)
  1212. FAULT(49)
  1213. .align 256
  1214. /////////////////////////////////////////////////////////////////////////////////////////
  1215. // 0x6e00 Entry 50 (size 16 bundles) Reserved
  1216. DBG_FAULT(50)
  1217. FAULT(50)
  1218. .align 256
  1219. /////////////////////////////////////////////////////////////////////////////////////////
  1220. // 0x6f00 Entry 51 (size 16 bundles) Reserved
  1221. DBG_FAULT(51)
  1222. FAULT(51)
  1223. .align 256
  1224. /////////////////////////////////////////////////////////////////////////////////////////
  1225. // 0x7000 Entry 52 (size 16 bundles) Reserved
  1226. DBG_FAULT(52)
  1227. FAULT(52)
  1228. .align 256
  1229. /////////////////////////////////////////////////////////////////////////////////////////
  1230. // 0x7100 Entry 53 (size 16 bundles) Reserved
  1231. DBG_FAULT(53)
  1232. FAULT(53)
  1233. .align 256
  1234. /////////////////////////////////////////////////////////////////////////////////////////
  1235. // 0x7200 Entry 54 (size 16 bundles) Reserved
  1236. DBG_FAULT(54)
  1237. FAULT(54)
  1238. .align 256
  1239. /////////////////////////////////////////////////////////////////////////////////////////
  1240. // 0x7300 Entry 55 (size 16 bundles) Reserved
  1241. DBG_FAULT(55)
  1242. FAULT(55)
  1243. .align 256
  1244. /////////////////////////////////////////////////////////////////////////////////////////
  1245. // 0x7400 Entry 56 (size 16 bundles) Reserved
  1246. DBG_FAULT(56)
  1247. FAULT(56)
  1248. .align 256
  1249. /////////////////////////////////////////////////////////////////////////////////////////
  1250. // 0x7500 Entry 57 (size 16 bundles) Reserved
  1251. DBG_FAULT(57)
  1252. FAULT(57)
  1253. .align 256
  1254. /////////////////////////////////////////////////////////////////////////////////////////
  1255. // 0x7600 Entry 58 (size 16 bundles) Reserved
  1256. DBG_FAULT(58)
  1257. FAULT(58)
  1258. .align 256
  1259. /////////////////////////////////////////////////////////////////////////////////////////
  1260. // 0x7700 Entry 59 (size 16 bundles) Reserved
  1261. DBG_FAULT(59)
  1262. FAULT(59)
  1263. .align 256
  1264. /////////////////////////////////////////////////////////////////////////////////////////
  1265. // 0x7800 Entry 60 (size 16 bundles) Reserved
  1266. DBG_FAULT(60)
  1267. FAULT(60)
  1268. .align 256
  1269. /////////////////////////////////////////////////////////////////////////////////////////
  1270. // 0x7900 Entry 61 (size 16 bundles) Reserved
  1271. DBG_FAULT(61)
  1272. FAULT(61)
  1273. .align 256
  1274. /////////////////////////////////////////////////////////////////////////////////////////
  1275. // 0x7a00 Entry 62 (size 16 bundles) Reserved
  1276. DBG_FAULT(62)
  1277. FAULT(62)
  1278. .align 256
  1279. /////////////////////////////////////////////////////////////////////////////////////////
  1280. // 0x7b00 Entry 63 (size 16 bundles) Reserved
  1281. DBG_FAULT(63)
  1282. FAULT(63)
  1283. .align 256
  1284. /////////////////////////////////////////////////////////////////////////////////////////
  1285. // 0x7c00 Entry 64 (size 16 bundles) Reserved
  1286. DBG_FAULT(64)
  1287. FAULT(64)
  1288. .align 256
  1289. /////////////////////////////////////////////////////////////////////////////////////////
  1290. // 0x7d00 Entry 65 (size 16 bundles) Reserved
  1291. DBG_FAULT(65)
  1292. FAULT(65)
  1293. .align 256
  1294. /////////////////////////////////////////////////////////////////////////////////////////
  1295. // 0x7e00 Entry 66 (size 16 bundles) Reserved
  1296. DBG_FAULT(66)
  1297. FAULT(66)
  1298. .align 256
  1299. /////////////////////////////////////////////////////////////////////////////////////////
  1300. // 0x7f00 Entry 67 (size 16 bundles) Reserved
  1301. DBG_FAULT(67)
  1302. FAULT(67)