ivt.S
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:40k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /*
  2.  * arch/ia64/kernel/ivt.S
  3.  *
  4.  * Copyright (C) 1998-2001 Hewlett-Packard Co
  5.  * Stephane Eranian <eranian@hpl.hp.com>
  6.  * David Mosberger <davidm@hpl.hp.com>
  7.  *
  8.  * 00/08/23 Asit Mallick <asit.k.mallick@intel.com> TLB handling for SMP
  9.  * 00/12/20 David Mosberger-Tang <davidm@hpl.hp.com> DTLB/ITLB handler now uses virtual PT.
  10.  */
  11. /*
  12.  * This file defines the interruption vector table used by the CPU.
  13.  * It does not include one entry per possible cause of interruption.
  14.  *
  15.  * The first 20 entries of the table contain 64 bundles each while the
  16.  * remaining 48 entries contain only 16 bundles each.
  17.  *
  18.  * The 64 bundles are used to allow inlining the whole handler for critical
  19.  * interruptions like TLB misses.
  20.  *
  21.  *  For each entry, the comment is as follows:
  22.  *
  23.  * // 0x1c00 Entry 7 (size 64 bundles) Data Key Miss (12,51)
  24.  *  entry offset ----/     /         /                  /          /
  25.  *  entry number ---------/         /                  /          /
  26.  *  size of the entry -------------/                  /          /
  27.  *  vector name -------------------------------------/          /
  28.  *  interruptions triggering this vector ----------------------/
  29.  *
  30.  * The table is 32KB in size and must be aligned on 32KB boundary.
  31.  * (The CPU ignores the 15 lower bits of the address)
  32.  *
  33.  * Table is based upon EAS2.6 (Oct 1999)
  34.  */
  35. #include <linux/config.h>
  36. #include <asm/asmmacro.h>
  37. #include <asm/break.h>
  38. #include <asm/kregs.h>
  39. #include <asm/offsets.h>
  40. #include <asm/pgtable.h>
  41. #include <asm/processor.h>
  42. #include <asm/ptrace.h>
  43. #include <asm/system.h>
  44. #include <asm/unistd.h>
  45. #if 1
  46. # define PSR_DEFAULT_BITS psr.ac
  47. #else
  48. # define PSR_DEFAULT_BITS 0
  49. #endif
  50. #if 0
  51.   /*
  52.    * This lets you track the last eight faults that occurred on the CPU.  Make sure ar.k2 isn't
  53.    * needed for something else before enabling this...
  54.    */
  55. # define DBG_FAULT(i) mov r16=ar.k2;; shl r16=r16,8;; add r16=(i),r16;;mov ar.k2=r16
  56. #else
  57. # define DBG_FAULT(i)
  58. #endif
  59. #define MINSTATE_VIRT /* needed by minstate.h */
  60. #include "minstate.h"
  61. #define FAULT(n)
  62. mov r31=pr;
  63. mov r19=n;; /* prepare to save predicates */
  64. br.sptk.many dispatch_to_fault_handler
  65. /*
  66.  * As we don't (hopefully) use the space available, we need to fill it with
  67.  * nops. the parameter may be used for debugging and is representing the entry
  68.  * number
  69.  */
  70. #define BREAK_BUNDLE(a) break.m (a); 
  71. break.i (a); 
  72. break.i (a)
  73. /*
  74.  * 4 breaks bundles all together
  75.  */
  76. #define BREAK_BUNDLE4(a); BREAK_BUNDLE(a); BREAK_BUNDLE(a); BREAK_BUNDLE(a); BREAK_BUNDLE(a)
  77. /*
  78.  * 8 bundles all together (too lazy to use only 4 at a time !)
  79.  */
  80. #define BREAK_BUNDLE8(a); BREAK_BUNDLE4(a); BREAK_BUNDLE4(a)
  81. .section .text.ivt,"ax"
  82. .align 32768 // align on 32KB boundary
  83. .global ia64_ivt
  84. ia64_ivt:
  85. /////////////////////////////////////////////////////////////////////////////////////////
  86. // 0x0000 Entry 0 (size 64 bundles) VHPT Translation (8,20,47)
  87. ENTRY(vhpt_miss)
  88. DBG_FAULT(0)
  89. /*
  90.  * The VHPT vector is invoked when the TLB entry for the virtual page table
  91.  * is missing.  This happens only as a result of a previous
  92.  * (the "original") TLB miss, which may either be caused by an instruction
  93.  * fetch or a data access (or non-access).
  94.  *
  95.  * What we do here is normal TLB miss handing for the _original_ miss, followed
  96.  * by inserting the TLB entry for the virtual page table page that the VHPT
  97.  * walker was attempting to access.  The latter gets inserted as long
  98.  * as both L1 and L2 have valid mappings for the faulting address.
  99.  * The TLB entry for the original miss gets inserted only if
  100.  * the L3 entry indicates that the page is present.
  101.  *
  102.  * do_page_fault gets invoked in the following cases:
  103.  * - the faulting virtual address uses unimplemented address bits
  104.  * - the faulting virtual address has no L1, L2, or L3 mapping
  105.  */
  106. mov r16=cr.ifa // get address that caused the TLB miss
  107. ;;
  108. rsm psr.dt // use physical addressing for data
  109. mov r31=pr // save the predicate registers
  110. mov r19=IA64_KR(PT_BASE) // get page table base address
  111. shl r21=r16,3 // shift bit 60 into sign bit
  112. shr.u r17=r16,61 // get the region number into r17
  113. ;;
  114. cmp.eq p6,p7=5,r17 // is IFA pointing into to region 5?
  115. shr.u r18=r16,PGDIR_SHIFT // get bits 33-63 of the faulting address
  116. ;;
  117. (p7) dep r17=r17,r19,(PAGE_SHIFT-3),3 // put region number bits in place
  118. srlz.d // ensure "rsm psr.dt" has taken effect
  119. (p6) movl r19=__pa(SWAPPER_PGD_ADDR) // region 5 is rooted at swapper_pg_dir
  120. (p6) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT
  121. (p7) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT-3
  122. ;;
  123. (p6) dep r17=r18,r19,3,(PAGE_SHIFT-3) // r17=PTA + IFA(33,42)*8
  124. (p7) dep r17=r18,r17,3,(PAGE_SHIFT-6) // r17=PTA + (((IFA(61,63) << 7) | IFA(33,39))*8)
  125. cmp.eq p7,p6=0,r21 // unused address bits all zeroes?
  126. shr.u r18=r16,PMD_SHIFT // shift L2 index into position
  127. ;;
  128. ld8 r17=[r17] // fetch the L1 entry (may be 0)
  129. ;;
  130. (p7) cmp.eq p6,p7=r17,r0 // was L1 entry NULL?
  131. dep r17=r18,r17,3,(PAGE_SHIFT-3) // compute address of L2 page table entry
  132. ;;
  133. (p7) ld8 r20=[r17] // fetch the L2 entry (may be 0)
  134. shr.u r19=r16,PAGE_SHIFT // shift L3 index into position
  135. ;;
  136. (p7) cmp.eq.or.andcm p6,p7=r20,r0 // was L2 entry NULL?
  137. dep r21=r19,r20,3,(PAGE_SHIFT-3) // compute address of L3 page table entry
  138. ;;
  139. (p7) ld8 r18=[r21] // read the L3 PTE
  140. mov r19=cr.isr // cr.isr bit 0 tells us if this is an insn miss
  141. ;;
  142. (p7) tbit.z p6,p7=r18,_PAGE_P_BIT // page present bit cleared?
  143. mov r22=cr.iha // get the VHPT address that caused the TLB miss
  144. ;; // avoid RAW on p7
  145. (p7) tbit.nz.unc p10,p11=r19,32 // is it an instruction TLB miss?
  146. dep r23=0,r20,0,PAGE_SHIFT // clear low bits to get page address
  147. ;;
  148. (p10) itc.i r18 // insert the instruction TLB entry
  149. (p11) itc.d r18 // insert the data TLB entry
  150. (p6) br.cond.spnt.many page_fault // handle bad address/page not present (page fault)
  151. mov cr.ifa=r22
  152. /*
  153.  * Now compute and insert the TLB entry for the virtual page table.  We never
  154.  * execute in a page table page so there is no need to set the exception deferral
  155.  * bit.
  156.  */
  157. adds r24=__DIRTY_BITS_NO_ED|_PAGE_PL_0|_PAGE_AR_RW,r23
  158. ;;
  159. (p7) itc.d r24
  160. ;;
  161. #ifdef CONFIG_SMP
  162. /*
  163.  * Re-check L2 and L3 pagetable.  If they changed, we may have received a ptc.g
  164.  * between reading the pagetable and the "itc".  If so, flush the entry we
  165.  * inserted and retry.
  166.  */
  167. ld8 r25=[r21] // read L3 PTE again
  168. ld8 r26=[r17] // read L2 entry again
  169. ;;
  170. cmp.ne p6,p7=r26,r20 // did L2 entry change
  171. mov r27=PAGE_SHIFT<<2
  172. ;;
  173. (p6) ptc.l r22,r27 // purge PTE page translation
  174. (p7) cmp.ne.or.andcm p6,p7=r25,r18 // did L3 PTE change
  175. ;;
  176. (p6) ptc.l r16,r27 // purge translation
  177. #endif
  178. mov pr=r31,-1 // restore predicate registers
  179. rfi
  180. END(vhpt_miss)
  181. .align 1024
  182. /////////////////////////////////////////////////////////////////////////////////////////
  183. // 0x0400 Entry 1 (size 64 bundles) ITLB (21)
  184. ENTRY(itlb_miss)
  185. DBG_FAULT(1)
  186. /*
  187.  * The ITLB handler accesses the L3 PTE via the virtually mapped linear
  188.  * page table.  If a nested TLB miss occurs, we switch into physical
  189.  * mode, walk the page table, and then re-execute the L3 PTE read
  190.  * and go on normally after that.
  191.  */
  192. mov r16=cr.ifa // get virtual address
  193. mov r29=b0 // save b0
  194. mov r31=pr // save predicates
  195. itlb_fault:
  196. mov r17=cr.iha // get virtual address of L3 PTE
  197. movl r30=1f // load nested fault continuation point
  198. ;;
  199. 1: ld8 r18=[r17] // read L3 PTE
  200. ;;
  201. mov b0=r29
  202. tbit.z p6,p0=r18,_PAGE_P_BIT // page present bit cleared?
  203. (p6) br.cond.spnt page_fault
  204. ;;
  205. itc.i r18
  206. ;;
  207. #ifdef CONFIG_SMP
  208. ld8 r19=[r17] // read L3 PTE again and see if same
  209. mov r20=PAGE_SHIFT<<2 // setup page size for purge
  210. ;;
  211. cmp.ne p7,p0=r18,r19
  212. ;;
  213. (p7) ptc.l r16,r20
  214. #endif
  215. mov pr=r31,-1
  216. rfi
  217. END(itlb_miss)
  218. .align 1024
  219. /////////////////////////////////////////////////////////////////////////////////////////
  220. // 0x0800 Entry 2 (size 64 bundles) DTLB (9,48)
  221. ENTRY(dtlb_miss)
  222. DBG_FAULT(2)
  223. /*
  224.  * The DTLB handler accesses the L3 PTE via the virtually mapped linear
  225.  * page table.  If a nested TLB miss occurs, we switch into physical
  226.  * mode, walk the page table, and then re-execute the L3 PTE read
  227.  * and go on normally after that.
  228.  */
  229. mov r16=cr.ifa // get virtual address
  230. mov r29=b0 // save b0
  231. mov r31=pr // save predicates
  232. dtlb_fault:
  233. mov r17=cr.iha // get virtual address of L3 PTE
  234. movl r30=1f // load nested fault continuation point
  235. ;;
  236. 1: ld8 r18=[r17] // read L3 PTE
  237. ;;
  238. mov b0=r29
  239. tbit.z p6,p0=r18,_PAGE_P_BIT // page present bit cleared?
  240. (p6) br.cond.spnt page_fault
  241. ;;
  242. itc.d r18
  243. ;;
  244. #ifdef CONFIG_SMP
  245. ld8 r19=[r17] // read L3 PTE again and see if same
  246. mov r20=PAGE_SHIFT<<2 // setup page size for purge
  247. ;;
  248. cmp.ne p7,p0=r18,r19
  249. ;;
  250. (p7) ptc.l r16,r20
  251. #endif
  252. mov pr=r31,-1
  253. rfi
  254. END(dtlb_miss)
  255. .align 1024
  256. /////////////////////////////////////////////////////////////////////////////////////////
  257. // 0x0c00 Entry 3 (size 64 bundles) Alt ITLB (19)
  258. ENTRY(alt_itlb_miss)
  259. DBG_FAULT(3)
  260. mov r16=cr.ifa // get address that caused the TLB miss
  261. movl r17=PAGE_KERNEL
  262. mov r21=cr.ipsr
  263. mov r31=pr
  264. ;;
  265. #ifdef CONFIG_DISABLE_VHPT
  266. shr.u r22=r16,61 // get the region number into r21
  267. ;;
  268. cmp.gt p8,p0=6,r22 // user mode
  269. ;;
  270. (p8) thash r17=r16
  271. ;;
  272. (p8) mov cr.iha=r17
  273. (p8) mov r29=b0 // save b0
  274. (p8) br.cond.dptk itlb_fault
  275. #endif
  276. extr.u r23=r21,IA64_PSR_CPL0_BIT,2 // extract psr.cpl
  277. shr.u r18=r16,57 // move address bit 61 to bit 4
  278. dep r19=0,r16,IA64_MAX_PHYS_BITS,(64-IA64_MAX_PHYS_BITS) // clear ed & reserved bits
  279. ;;
  280. andcm r18=0x10,r18 // bit 4=~address-bit(61)
  281. cmp.ne p8,p0=r0,r23 // psr.cpl != 0?
  282. dep r19=r17,r19,0,12 // insert PTE control bits into r19
  283. ;;
  284. or r19=r19,r18 // set bit 4 (uncached) if the access was to region 6
  285. (p8) br.cond.spnt page_fault
  286. ;;
  287. itc.i r19 // insert the TLB entry
  288. mov pr=r31,-1
  289. rfi
  290. END(alt_itlb_miss)
  291. .align 1024
  292. /////////////////////////////////////////////////////////////////////////////////////////
  293. // 0x1000 Entry 4 (size 64 bundles) Alt DTLB (7,46)
  294. ENTRY(alt_dtlb_miss)
  295. DBG_FAULT(4)
  296. mov r16=cr.ifa // get address that caused the TLB miss
  297. movl r17=PAGE_KERNEL
  298. mov r20=cr.isr
  299. mov r21=cr.ipsr
  300. mov r31=pr
  301. ;;
  302. #ifdef CONFIG_DISABLE_VHPT
  303. shr.u r22=r16,61 // get the region number into r21
  304. ;;
  305. cmp.gt p8,p0=6,r22 // access to region 0-5
  306. ;;
  307. (p8) thash r17=r16
  308. ;;
  309. (p8) mov cr.iha=r17
  310. (p8) mov r29=b0 // save b0
  311. (p8) br.cond.dptk dtlb_fault
  312. #endif
  313. extr.u r23=r21,IA64_PSR_CPL0_BIT,2 // extract psr.cpl
  314. tbit.nz p6,p7=r20,IA64_ISR_SP_BIT // is speculation bit on?
  315. shr.u r18=r16,57 // move address bit 61 to bit 4
  316. dep r19=0,r16,IA64_MAX_PHYS_BITS,(64-IA64_MAX_PHYS_BITS) // clear ed & reserved bits
  317. ;;
  318. andcm r18=0x10,r18 // bit 4=~address-bit(61)
  319. cmp.ne p8,p0=r0,r23
  320. (p8) br.cond.spnt page_fault
  321. dep r21=-1,r21,IA64_PSR_ED_BIT,1
  322. dep r19=r17,r19,0,12 // insert PTE control bits into r19
  323. ;;
  324. or r19=r19,r18 // set bit 4 (uncached) if the access was to region 6
  325. (p6) mov cr.ipsr=r21
  326. ;;
  327. (p7) itc.d r19 // insert the TLB entry
  328. mov pr=r31,-1
  329. rfi
  330. END(alt_dtlb_miss)
  331. //-----------------------------------------------------------------------------------
  332. // call do_page_fault (predicates are in r31, psr.dt may be off, r16 is faulting address)
  333. ENTRY(page_fault)
  334. ssm psr.dt
  335. ;;
  336. srlz.i
  337. ;;
  338. SAVE_MIN_WITH_COVER
  339. alloc r15=ar.pfs,0,0,3,0
  340. mov out0=cr.ifa
  341. mov out1=cr.isr
  342. adds r3=8,r2 // set up second base pointer
  343. ;;
  344. ssm psr.ic | PSR_DEFAULT_BITS
  345. ;;
  346. srlz.i // guarantee that interruption collectin is on
  347. ;;
  348. (p15) ssm psr.i // restore psr.i
  349. movl r14=ia64_leave_kernel
  350. ;;
  351. SAVE_REST
  352. mov rp=r14
  353. ;;
  354. adds out2=16,r12 // out2 = pointer to pt_regs
  355. br.call.sptk.many b6=ia64_do_page_fault // ignore return address
  356. END(page_fault)
  357. .align 1024
  358. /////////////////////////////////////////////////////////////////////////////////////////
  359. // 0x1400 Entry 5 (size 64 bundles) Data nested TLB (6,45)
  360. ENTRY(nested_dtlb_miss)
  361. /*
  362.  * In the absence of kernel bugs, we get here when the virtually mapped linear
  363.  * page table is accessed non-speculatively (e.g., in the Dirty-bit, Instruction
  364.  * Access-bit, or Data Access-bit faults).  If the DTLB entry for the virtual page
  365.  * table is missing, a nested TLB miss fault is triggered and control is
  366.  * transferred to this point.  When this happens, we lookup the pte for the
  367.  * faulting address by walking the page table in physical mode and return to the
  368.  * continuation point passed in register r30 (or call page_fault if the address is
  369.  * not mapped).
  370.  *
  371.  * Input: r16: faulting address
  372.  * r29: saved b0
  373.  * r30: continuation address
  374.  * r31: saved pr
  375.  *
  376.  * Output: r17: physical address of L3 PTE of faulting address
  377.  * r29: saved b0
  378.  * r30: continuation address
  379.  * r31: saved pr
  380.  *
  381.  * Clobbered: b0, r18, r19, r21, psr.dt (cleared)
  382.  */
  383. rsm psr.dt // switch to using physical data addressing
  384. mov r19=IA64_KR(PT_BASE) // get the page table base address
  385. shl r21=r16,3 // shift bit 60 into sign bit
  386. ;;
  387. shr.u r17=r16,61 // get the region number into r17
  388. ;;
  389. cmp.eq p6,p7=5,r17 // is faulting address in region 5?
  390. shr.u r18=r16,PGDIR_SHIFT // get bits 33-63 of faulting address
  391. ;;
  392. (p7) dep r17=r17,r19,(PAGE_SHIFT-3),3 // put region number bits in place
  393. srlz.d
  394. (p6) movl r19=__pa(SWAPPER_PGD_ADDR) // region 5 is rooted at swapper_pg_dir
  395. (p6) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT
  396. (p7) shr.u r21=r21,PGDIR_SHIFT+PAGE_SHIFT-3
  397. ;;
  398. (p6) dep r17=r18,r19,3,(PAGE_SHIFT-3) // r17=PTA + IFA(33,42)*8
  399. (p7) dep r17=r18,r17,3,(PAGE_SHIFT-6) // r17=PTA + (((IFA(61,63) << 7) | IFA(33,39))*8)
  400. cmp.eq p7,p6=0,r21 // unused address bits all zeroes?
  401. shr.u r18=r16,PMD_SHIFT // shift L2 index into position
  402. ;;
  403. ld8 r17=[r17] // fetch the L1 entry (may be 0)
  404. ;;
  405. (p7) cmp.eq p6,p7=r17,r0 // was L1 entry NULL?
  406. dep r17=r18,r17,3,(PAGE_SHIFT-3) // compute address of L2 page table entry
  407. ;;
  408. (p7) ld8 r17=[r17] // fetch the L2 entry (may be 0)
  409. shr.u r19=r16,PAGE_SHIFT // shift L3 index into position
  410. ;;
  411. (p7) cmp.eq.or.andcm p6,p7=r17,r0 // was L2 entry NULL?
  412. dep r17=r19,r17,3,(PAGE_SHIFT-3) // compute address of L3 page table entry
  413. (p6) br.cond.spnt page_fault
  414. mov b0=r30
  415. br.sptk.many b0 // return to continuation point
  416. END(nested_dtlb_miss)
  417. .align 1024
  418. /////////////////////////////////////////////////////////////////////////////////////////
  419. // 0x1800 Entry 6 (size 64 bundles) Instruction Key Miss (24)
  420. ENTRY(ikey_miss)
  421. DBG_FAULT(6)
  422. FAULT(6)
  423. END(ikey_miss)
  424. .align 1024
  425. /////////////////////////////////////////////////////////////////////////////////////////
  426. // 0x1c00 Entry 7 (size 64 bundles) Data Key Miss (12,51)
  427. ENTRY(dkey_miss)
  428. DBG_FAULT(7)
  429. FAULT(7)
  430. END(dkey_miss)
  431. .align 1024
  432. /////////////////////////////////////////////////////////////////////////////////////////
  433. // 0x2000 Entry 8 (size 64 bundles) Dirty-bit (54)
  434. ENTRY(dirty_bit)
  435. DBG_FAULT(8)
  436. /*
  437.  * What we do here is to simply turn on the dirty bit in the PTE.  We need to
  438.  * update both the page-table and the TLB entry.  To efficiently access the PTE,
  439.  * we address it through the virtual page table.  Most likely, the TLB entry for
  440.  * the relevant virtual page table page is still present in the TLB so we can
  441.  * normally do this without additional TLB misses.  In case the necessary virtual
  442.  * page table TLB entry isn't present, we take a nested TLB miss hit where we look
  443.  * up the physical address of the L3 PTE and then continue at label 1 below.
  444.  */
  445. mov r16=cr.ifa // get the address that caused the fault
  446. movl r30=1f // load continuation point in case of nested fault
  447. ;;
  448. thash r17=r16 // compute virtual address of L3 PTE
  449. mov r29=b0 // save b0 in case of nested fault
  450. mov r31=pr // save pr
  451. #ifdef CONFIG_SMP
  452. mov r28=ar.ccv // save ar.ccv
  453. ;;
  454. 1: ld8 r18=[r17]
  455. ;; // avoid RAW on r18
  456. mov ar.ccv=r18 // set compare value for cmpxchg
  457. or r25=_PAGE_D|_PAGE_A,r18 // set the dirty and accessed bits
  458. ;;
  459. cmpxchg8.acq r26=[r17],r25,ar.ccv
  460. mov r24=PAGE_SHIFT<<2
  461. ;;
  462. cmp.eq p6,p7=r26,r18
  463. ;;
  464. (p6) itc.d r25 // install updated PTE
  465. ;;
  466. ld8 r18=[r17] // read PTE again
  467. ;;
  468. cmp.eq p6,p7=r18,r25 // is it same as the newly installed
  469. ;;
  470. (p7) ptc.l r16,r24
  471. mov b0=r29 // restore b0
  472. mov ar.ccv=r28
  473. #else
  474. ;;
  475. 1: ld8 r18=[r17]
  476. ;; // avoid RAW on r18
  477. or r18=_PAGE_D|_PAGE_A,r18 // set the dirty and accessed bits
  478. mov b0=r29 // restore b0
  479. ;;
  480. st8 [r17]=r18 // store back updated PTE
  481. itc.d r18 // install updated PTE
  482. #endif
  483. mov pr=r31,-1 // restore pr
  484. rfi
  485. END(idirty_bit)
  486. .align 1024
  487. /////////////////////////////////////////////////////////////////////////////////////////
  488. // 0x2400 Entry 9 (size 64 bundles) Instruction Access-bit (27)
  489. ENTRY(iaccess_bit)
  490. DBG_FAULT(9)
  491. // Like Entry 8, except for instruction access
  492. mov r16=cr.ifa // get the address that caused the fault
  493. movl r30=1f // load continuation point in case of nested fault
  494. mov r31=pr // save predicates
  495. #ifdef CONFIG_ITANIUM
  496. /*
  497.  * Erratum 10 (IFA may contain incorrect address) has "NoFix" status.
  498.  */
  499. mov r17=cr.ipsr
  500. ;;
  501. mov r18=cr.iip
  502. tbit.z p6,p0=r17,IA64_PSR_IS_BIT // IA64 instruction set?
  503. ;;
  504. (p6) mov r16=r18 // if so, use cr.iip instead of cr.ifa
  505. #endif /* CONFIG_ITANIUM */
  506. ;;
  507. thash r17=r16 // compute virtual address of L3 PTE
  508. mov r29=b0 // save b0 in case of nested fault)
  509. #ifdef CONFIG_SMP
  510. mov r28=ar.ccv // save ar.ccv
  511. ;;
  512. 1: ld8 r18=[r17]
  513. ;;
  514. mov ar.ccv=r18 // set compare value for cmpxchg
  515. or r25=_PAGE_A,r18 // set the accessed bit
  516. ;;
  517. cmpxchg8.acq r26=[r17],r25,ar.ccv
  518. mov r24=PAGE_SHIFT<<2
  519. ;;
  520. cmp.eq p6,p7=r26,r18
  521. ;;
  522. (p6) itc.i r25 // install updated PTE
  523. ;;
  524. ld8 r18=[r17] // read PTE again
  525. ;;
  526. cmp.eq p6,p7=r18,r25 // is it same as the newly installed
  527. ;;
  528. (p7) ptc.l r16,r24
  529. mov b0=r29 // restore b0
  530. mov ar.ccv=r28
  531. #else /* !CONFIG_SMP */
  532. ;;
  533. 1: ld8 r18=[r17]
  534. ;;
  535. or r18=_PAGE_A,r18 // set the accessed bit
  536. mov b0=r29 // restore b0
  537. ;;
  538. st8 [r17]=r18 // store back updated PTE
  539. itc.i r18 // install updated PTE
  540. #endif /* !CONFIG_SMP */
  541. mov pr=r31,-1
  542. rfi
  543. END(iaccess_bit)
  544. .align 1024
  545. /////////////////////////////////////////////////////////////////////////////////////////
  546. // 0x2800 Entry 10 (size 64 bundles) Data Access-bit (15,55)
  547. ENTRY(daccess_bit)
  548. DBG_FAULT(10)
  549. // Like Entry 8, except for data access
  550. mov r16=cr.ifa // get the address that caused the fault
  551. movl r30=1f // load continuation point in case of nested fault
  552. ;;
  553. thash r17=r16 // compute virtual address of L3 PTE
  554. mov r31=pr
  555. mov r29=b0 // save b0 in case of nested fault)
  556. #ifdef CONFIG_SMP
  557. mov r28=ar.ccv // save ar.ccv
  558. ;;
  559. 1: ld8 r18=[r17]
  560. ;; // avoid RAW on r18
  561. mov ar.ccv=r18 // set compare value for cmpxchg
  562. or r25=_PAGE_A,r18 // set the dirty bit
  563. ;;
  564. cmpxchg8.acq r26=[r17],r25,ar.ccv
  565. mov r24=PAGE_SHIFT<<2
  566. ;;
  567. cmp.eq p6,p7=r26,r18
  568. ;;
  569. (p6) itc.d r25 // install updated PTE
  570. ;;
  571. ld8 r18=[r17] // read PTE again
  572. ;;
  573. cmp.eq p6,p7=r18,r25 // is it same as the newly installed
  574. ;;
  575. (p7) ptc.l r16,r24
  576. mov ar.ccv=r28
  577. #else
  578. ;;
  579. 1: ld8 r18=[r17]
  580. ;; // avoid RAW on r18
  581. or r18=_PAGE_A,r18 // set the accessed bit
  582. ;;
  583. st8 [r17]=r18 // store back updated PTE
  584. itc.d r18 // install updated PTE
  585. #endif
  586. mov b0=r29 // restore b0
  587. mov pr=r31,-1
  588. rfi
  589. END(daccess_bit)
  590. .align 1024
  591. /////////////////////////////////////////////////////////////////////////////////////////
  592. // 0x2c00 Entry 11 (size 64 bundles) Break instruction (33)
  593. ENTRY(break_fault)
  594. DBG_FAULT(11)
  595. mov r16=cr.iim
  596. mov r17=__IA64_BREAK_SYSCALL
  597. mov r31=pr // prepare to save predicates
  598. ;;
  599. cmp.eq p0,p7=r16,r17 // is this a system call? (p7 <- false, if so)
  600. (p7) br.cond.spnt non_syscall
  601. SAVE_MIN // uses r31; defines r2:
  602. ssm psr.ic | PSR_DEFAULT_BITS
  603. ;;
  604. srlz.i // guarantee that interruption collection is on
  605. cmp.eq pSys,pNonSys=r0,r0 // set pSys=1, pNonSys=0
  606. ;;
  607. (p15) ssm psr.i // restore psr.i
  608. adds r8=(IA64_PT_REGS_R8_OFFSET-IA64_PT_REGS_R16_OFFSET),r2
  609. ;;
  610. stf8 [r8]=f1 // ensure pt_regs.r8 != 0 (see handle_syscall_error)
  611. adds r3=8,r2 // set up second base pointer for SAVE_REST
  612. ;;
  613. SAVE_REST
  614. br.call.sptk.many rp=demine_args // clear NaT bits in (potential) syscall args
  615. mov r3=255
  616. adds r15=-1024,r15 // r15 contains the syscall number---subtract 1024
  617. adds r2=IA64_TASK_PTRACE_OFFSET,r13 // r2 = &current->ptrace
  618. ;;
  619. cmp.geu p6,p7=r3,r15 // (syscall > 0 && syscall <= 1024+255) ?
  620. movl r16=sys_call_table
  621. ;;
  622. (p6) shladd r16=r15,3,r16
  623. movl r15=ia64_ret_from_syscall
  624. (p7) adds r16=(__NR_ni_syscall-1024)*8,r16 // force __NR_ni_syscall
  625. ;;
  626. ld8 r16=[r16] // load address of syscall entry point
  627. mov rp=r15 // set the real return addr
  628. ;;
  629. ld8 r2=[r2] // r2 = current->ptrace
  630. mov b6=r16
  631. // arrange things so we skip over break instruction when returning:
  632. adds r16=16,sp // get pointer to cr_ipsr
  633. adds r17=24,sp // get pointer to cr_iip
  634. ;;
  635. ld8 r18=[r16] // fetch cr_ipsr
  636. tbit.z p8,p0=r2,PT_TRACESYS_BIT // (current->ptrace & PF_TRACESYS) == 0?
  637. ;;
  638. ld8 r19=[r17] // fetch cr_iip
  639. extr.u r20=r18,41,2 // extract ei field
  640. ;;
  641. cmp.eq p6,p7=2,r20 // isr.ei==2?
  642. adds r19=16,r19 // compute address of next bundle
  643. ;;
  644. (p6) mov r20=0 // clear ei to 0
  645. (p7) adds r20=1,r20 // increment ei to next slot
  646. ;;
  647. (p6) st8 [r17]=r19 // store new cr.iip if cr.isr.ei wrapped around
  648. dep r18=r20,r18,41,2 // insert new ei into cr.isr
  649. ;;
  650. st8 [r16]=r18 // store new value for cr.isr
  651. (p8) br.call.sptk.many b6=b6 // ignore this return addr
  652. br.cond.sptk ia64_trace_syscall
  653. // NOT REACHED
  654. END(break_fault)
  655. ENTRY(demine_args)
  656. alloc r2=ar.pfs,8,0,0,0
  657. tnat.nz p8,p0=in0
  658. tnat.nz p9,p0=in1
  659. ;;
  660. (p8) mov in0=-1
  661. tnat.nz p10,p0=in2
  662. tnat.nz p11,p0=in3
  663. (p9) mov in1=-1
  664. tnat.nz p12,p0=in4
  665. tnat.nz p13,p0=in5
  666. ;;
  667. (p10) mov in2=-1
  668. tnat.nz p14,p0=in6
  669. tnat.nz p15,p0=in7
  670. (p11) mov in3=-1
  671. tnat.nz p8,p0=r15 // demining r15 is not a must, but it is safer
  672. (p12) mov in4=-1
  673. (p13) mov in5=-1
  674. ;;
  675. (p14) mov in6=-1
  676. (p15) mov in7=-1
  677. (p8) mov r15=-1
  678. br.ret.sptk.many rp
  679. END(demine_args)
  680. .align 1024
  681. /////////////////////////////////////////////////////////////////////////////////////////
  682. // 0x3000 Entry 12 (size 64 bundles) External Interrupt (4)
  683. ENTRY(interrupt)
  684. DBG_FAULT(12)
  685. mov r31=pr // prepare to save predicates
  686. ;;
  687. SAVE_MIN_WITH_COVER // uses r31; defines r2 and r3
  688. ssm psr.ic | PSR_DEFAULT_BITS
  689. ;;
  690. adds r3=8,r2 // set up second base pointer for SAVE_REST
  691. srlz.i // ensure everybody knows psr.ic is back on
  692. ;;
  693. SAVE_REST
  694. ;;
  695. alloc r14=ar.pfs,0,0,2,0 // must be first in an insn group
  696. mov out0=cr.ivr // pass cr.ivr as first arg
  697. add out1=16,sp // pass pointer to pt_regs as second arg
  698. ;;
  699. srlz.d // make  sure we see the effect of cr.ivr
  700. movl r14=ia64_leave_kernel
  701. ;;
  702. mov rp=r14
  703. br.call.sptk.many b6=ia64_handle_irq
  704. END(interrupt)
  705. .align 1024
  706. /////////////////////////////////////////////////////////////////////////////////////////
  707. // 0x3400 Entry 13 (size 64 bundles) Reserved
  708. DBG_FAULT(13)
  709. FAULT(13)
  710. .align 1024
  711. /////////////////////////////////////////////////////////////////////////////////////////
  712. // 0x3800 Entry 14 (size 64 bundles) Reserved
  713. DBG_FAULT(14)
  714. FAULT(14)
  715. .align 1024
  716. /////////////////////////////////////////////////////////////////////////////////////////
  717. // 0x3c00 Entry 15 (size 64 bundles) Reserved
  718. DBG_FAULT(15)
  719. FAULT(15)
  720. /*
  721.  * Squatting in this space ...
  722.  *
  723.  * This special case dispatcher for illegal operation faults allows preserved
  724.  * registers to be modified through a callback function (asm only) that is handed
  725.  * back from the fault handler in r8. Up to three arguments can be passed to the
  726.  * callback function by returning an aggregate with the callback as its first
  727.  * element, followed by the arguments.
  728.  */
  729. ENTRY(dispatch_illegal_op_fault)
  730. SAVE_MIN_WITH_COVER
  731. ssm psr.ic | PSR_DEFAULT_BITS
  732. ;;
  733. srlz.i // guarantee that interruption collection is on
  734. ;;
  735. (p15) ssm psr.i // restore psr.i
  736. adds r3=8,r2 // set up second base pointer for SAVE_REST
  737. ;;
  738. alloc r14=ar.pfs,0,0,1,0 // must be first in insn group
  739. mov out0=ar.ec
  740. ;;
  741. SAVE_REST
  742. ;;
  743. br.call.sptk.many rp=ia64_illegal_op_fault
  744. .ret0: ;;
  745. alloc r14=ar.pfs,0,0,3,0 // must be first in insn group
  746. mov out0=r9
  747. mov out1=r10
  748. mov out2=r11
  749. movl r15=ia64_leave_kernel
  750. ;;
  751. mov rp=r15
  752. mov b6=r8
  753. ;;
  754. cmp.ne p6,p0=0,r8
  755. (p6) br.call.dpnt.many b6=b6 // call returns to ia64_leave_kernel
  756. br.sptk.many ia64_leave_kernel
  757. END(dispatch_illegal_op_fault)
  758. .align 1024
  759. /////////////////////////////////////////////////////////////////////////////////////////
  760. // 0x4000 Entry 16 (size 64 bundles) Reserved
  761. DBG_FAULT(16)
  762. FAULT(16)
  763. #ifdef CONFIG_IA32_SUPPORT
  764. /*
  765.  * There is no particular reason for this code to be here, other than that
  766.  * there happens to be space here that would go unused otherwise.  If this
  767.  * fault ever gets "unreserved", simply moved the following code to a more
  768.  * suitable spot...
  769.  */
  770. // IA32 interrupt entry point
  771. ENTRY(dispatch_to_ia32_handler)
  772. SAVE_MIN
  773. ;;
  774. mov r14=cr.isr
  775. ssm psr.ic | PSR_DEFAULT_BITS
  776. ;;
  777. srlz.i // guarantee that interruption collection is on
  778. ;;
  779. (p15) ssm psr.i
  780. adds r3=8,r2            // Base pointer for SAVE_REST
  781. ;;
  782. SAVE_REST
  783. ;;
  784. mov r15=0x80
  785. shr r14=r14,16          // Get interrupt number
  786. ;;
  787. cmp.ne p6,p0=r14,r15
  788. (p6)    br.call.dpnt.many b6=non_ia32_syscall
  789. adds r14=IA64_PT_REGS_R8_OFFSET + 16,sp // 16 byte hole per SW conventions
  790. adds r15=IA64_PT_REGS_R1_OFFSET + 16,sp
  791. ;;
  792. cmp.eq pSys,pNonSys=r0,r0 // set pSys=1, pNonSys=0
  793. st8 [r15]=r8 // save original EAX in r1 (IA32 procs don't use the GP)
  794. ;;
  795. alloc r15=ar.pfs,0,0,6,0 // must first in an insn group
  796. ;;
  797. ld4 r8=[r14],8 // r8 == eax (syscall number)
  798. mov r15=230 // number of entries in ia32 system call table
  799. ;;
  800. cmp.ltu.unc p6,p7=r8,r15
  801. ld4 out1=[r14],8 // r9 == ecx
  802. ;;
  803. ld4 out2=[r14],8 // r10 == edx
  804. ;;
  805. ld4 out0=[r14] // r11 == ebx
  806. adds r14=(IA64_PT_REGS_R8_OFFSET-(8*3)) + 16,sp
  807. ;;
  808. ld4 out5=[r14],8 // r13 == ebp
  809. ;;
  810. ld4 out3=[r14],8 // r14 == esi
  811. adds r2=IA64_TASK_PTRACE_OFFSET,r13 // r2 = &current->ptrace
  812. ;;
  813. ld4 out4=[r14] // r15 == edi
  814. movl r16=ia32_syscall_table
  815. ;;
  816. (p6)    shladd r16=r8,3,r16 // force ni_syscall if not valid syscall number
  817. ld8 r2=[r2] // r2 = current->ptrace
  818. ;;
  819. ld8 r16=[r16]
  820. tbit.z p8,p0=r2,PT_TRACESYS_BIT // (current->ptrace & PT_TRACESYS) == 0?
  821. ;;
  822. mov b6=r16
  823. movl r15=ia32_ret_from_syscall
  824. ;;
  825. mov rp=r15
  826. (p8) br.call.sptk.many b6=b6
  827. br.cond.sptk ia32_trace_syscall
  828. non_ia32_syscall:
  829. alloc r15=ar.pfs,0,0,2,0
  830. mov out0=r14 // interrupt #
  831. add out1=16,sp // pointer to pt_regs
  832. ;; // avoid WAW on CFM
  833. br.call.sptk.many rp=ia32_bad_interrupt
  834. .ret1: movl r15=ia64_leave_kernel
  835. ;;
  836. mov rp=r15
  837. br.ret.sptk.many rp
  838. END(dispatch_to_ia32_handler)
  839. #endif /* CONFIG_IA32_SUPPORT */
  840. .align 1024
  841. /////////////////////////////////////////////////////////////////////////////////////////
  842. // 0x4400 Entry 17 (size 64 bundles) Reserved
  843. DBG_FAULT(17)
  844. FAULT(17)
  845. ENTRY(non_syscall)
  846. SAVE_MIN_WITH_COVER
  847. // There is no particular reason for this code to be here, other than that
  848. // there happens to be space here that would go unused otherwise.  If this
  849. // fault ever gets "unreserved", simply moved the following code to a more
  850. // suitable spot...
  851. alloc r14=ar.pfs,0,0,2,0
  852. mov out0=cr.iim
  853. add out1=16,sp
  854. adds r3=8,r2 // set up second base pointer for SAVE_REST
  855. ssm psr.ic | PSR_DEFAULT_BITS
  856. ;;
  857. srlz.i // guarantee that interruption collection is on
  858. ;;
  859. (p15) ssm psr.i // restore psr.i
  860. movl r15=ia64_leave_kernel
  861. ;;
  862. SAVE_REST
  863. mov rp=r15
  864. ;;
  865. br.call.sptk.many b6=ia64_bad_break // avoid WAW on CFM and ignore return addr
  866. END(non_syscall)
  867. .align 1024
  868. /////////////////////////////////////////////////////////////////////////////////////////
  869. // 0x4800 Entry 18 (size 64 bundles) Reserved
  870. DBG_FAULT(18)
  871. FAULT(18)
  872. /*
  873.  * There is no particular reason for this code to be here, other than that
  874.  * there happens to be space here that would go unused otherwise.  If this
  875.  * fault ever gets "unreserved", simply moved the following code to a more
  876.  * suitable spot...
  877.  */
  878. ENTRY(dispatch_unaligned_handler)
  879. SAVE_MIN_WITH_COVER
  880. ;;
  881. alloc r14=ar.pfs,0,0,2,0 // now it's safe (must be first in insn group!)
  882. mov out0=cr.ifa
  883. adds out1=16,sp
  884. ssm psr.ic | PSR_DEFAULT_BITS
  885. ;;
  886. srlz.i // guarantee that interruption collection is on
  887. ;;
  888. (p15) ssm psr.i // restore psr.i
  889. adds r3=8,r2 // set up second base pointer
  890. ;;
  891. SAVE_REST
  892. movl r14=ia64_leave_kernel
  893. ;;
  894. mov rp=r14
  895. br.sptk.many ia64_prepare_handle_unaligned
  896. END(dispatch_unaligned_handler)
  897. .align 1024
  898. /////////////////////////////////////////////////////////////////////////////////////////
  899. // 0x4c00 Entry 19 (size 64 bundles) Reserved
  900. DBG_FAULT(19)
  901. FAULT(19)
  902. /*
  903.  * There is no particular reason for this code to be here, other than that
  904.  * there happens to be space here that would go unused otherwise.  If this
  905.  * fault ever gets "unreserved", simply moved the following code to a more
  906.  * suitable spot...
  907.  */
  908. ENTRY(dispatch_to_fault_handler)
  909. /*
  910.  * Input:
  911.  * psr.ic: off
  912.  * r19: fault vector number (e.g., 24 for General Exception)
  913.  * r31: contains saved predicates (pr)
  914.  */
  915. SAVE_MIN_WITH_COVER_R19
  916. alloc r14=ar.pfs,0,0,5,0
  917. mov out0=r15
  918. mov out1=cr.isr
  919. mov out2=cr.ifa
  920. mov out3=cr.iim
  921. mov out4=cr.itir
  922. ;;
  923. ssm psr.ic | PSR_DEFAULT_BITS
  924. ;;
  925. srlz.i // guarantee that interruption collection is on
  926. ;;
  927. (p15) ssm psr.i // restore psr.i
  928. adds r3=8,r2 // set up second base pointer for SAVE_REST
  929. ;;
  930. SAVE_REST
  931. movl r14=ia64_leave_kernel
  932. ;;
  933. mov rp=r14
  934. br.call.sptk.many b6=ia64_fault
  935. END(dispatch_to_fault_handler)
  936. //
  937. // --- End of long entries, Beginning of short entries
  938. //
  939. .align 1024
  940. /////////////////////////////////////////////////////////////////////////////////////////
  941. // 0x5000 Entry 20 (size 16 bundles) Page Not Present (10,22,49)
  942. ENTRY(page_not_present)
  943. DBG_FAULT(20)
  944. mov r16=cr.ifa
  945. rsm psr.dt
  946. /*
  947.  * The Linux page fault handler doesn't expect non-present pages to be in
  948.  * the TLB.  Flush the existing entry now, so we meet that expectation.
  949.  */
  950. mov r17=PAGE_SHIFT<<2
  951. ;;
  952. ptc.l r16,r17
  953. ;;
  954. mov r31=pr
  955. srlz.d
  956. br.sptk.many page_fault
  957. END(page_not_present)
  958. .align 256
  959. /////////////////////////////////////////////////////////////////////////////////////////
  960. // 0x5100 Entry 21 (size 16 bundles) Key Permission (13,25,52)
  961. ENTRY(key_permission)
  962. DBG_FAULT(21)
  963. mov r16=cr.ifa
  964. rsm psr.dt
  965. mov r31=pr
  966. ;;
  967. srlz.d
  968. br.sptk.many page_fault
  969. END(key_permission)
  970. .align 256
  971. /////////////////////////////////////////////////////////////////////////////////////////
  972. // 0x5200 Entry 22 (size 16 bundles) Instruction Access Rights (26)
  973. ENTRY(iaccess_rights)
  974. DBG_FAULT(22)
  975. mov r16=cr.ifa
  976. rsm psr.dt
  977. mov r31=pr
  978. ;;
  979. srlz.d
  980. br.sptk.many page_fault
  981. END(iaccess_rights)
  982. .align 256
  983. /////////////////////////////////////////////////////////////////////////////////////////
  984. // 0x5300 Entry 23 (size 16 bundles) Data Access Rights (14,53)
  985. ENTRY(daccess_rights)
  986. DBG_FAULT(23)
  987. mov r16=cr.ifa
  988. rsm psr.dt
  989. mov r31=pr
  990. ;;
  991. srlz.d
  992. br.sptk.many page_fault
  993. END(daccess_rights)
  994. .align 256
  995. /////////////////////////////////////////////////////////////////////////////////////////
  996. // 0x5400 Entry 24 (size 16 bundles) General Exception (5,32,34,36,38,39)
  997. ENTRY(general_exception)
  998. DBG_FAULT(24)
  999. mov r16=cr.isr
  1000. mov r31=pr
  1001. ;;
  1002. cmp4.eq p6,p0=0,r16
  1003. (p6) br.sptk.many dispatch_illegal_op_fault
  1004. ;;
  1005. mov r19=24 // fault number
  1006. br.sptk.many dispatch_to_fault_handler
  1007. END(general_exception)
  1008. .align 256
  1009. /////////////////////////////////////////////////////////////////////////////////////////
  1010. // 0x5500 Entry 25 (size 16 bundles) Disabled FP-Register (35)
  1011. ENTRY(disabled_fp_reg)
  1012. DBG_FAULT(25)
  1013. rsm psr.dfh // ensure we can access fph
  1014. ;;
  1015. srlz.d
  1016. mov r31=pr
  1017. mov r19=25
  1018. br.sptk.many dispatch_to_fault_handler
  1019. END(disabled_fp_reg)
  1020. .align 256
  1021. /////////////////////////////////////////////////////////////////////////////////////////
  1022. // 0x5600 Entry 26 (size 16 bundles) Nat Consumption (11,23,37,50)
  1023. ENTRY(nat_consumption)
  1024. DBG_FAULT(26)
  1025. FAULT(26)
  1026. END(nat_consumption)
  1027. .align 256
  1028. /////////////////////////////////////////////////////////////////////////////////////////
  1029. // 0x5700 Entry 27 (size 16 bundles) Speculation (40)
  1030. ENTRY(speculation_vector)
  1031. DBG_FAULT(27)
  1032. /*
  1033.  * A [f]chk.[as] instruction needs to take the branch to the recovery code but
  1034.  * this part of the architecture is not implemented in hardware on some CPUs, such
  1035.  * as Itanium.  Thus, in general we need to emulate the behavior.  IIM contains
  1036.  * the relative target (not yet sign extended).  So after sign extending it we
  1037.  * simply add it to IIP.  We also need to reset the EI field of the IPSR to zero,
  1038.  * i.e., the slot to restart into.
  1039.  *
  1040.  * cr.imm contains zero_ext(imm21)
  1041.  */
  1042. mov r18=cr.iim
  1043. ;;
  1044. mov r17=cr.iip
  1045. shl r18=r18,43 // put sign bit in position (43=64-21)
  1046. ;;
  1047. mov r16=cr.ipsr
  1048. shr r18=r18,39 // sign extend (39=43-4)
  1049. ;;
  1050. add r17=r17,r18 // now add the offset
  1051. ;;
  1052. mov cr.iip=r17
  1053. dep r16=0,r16,41,2 // clear EI
  1054. ;;
  1055. mov cr.ipsr=r16
  1056. ;;
  1057. rfi // and go back
  1058. END(speculation_vector)
  1059. .align 256
  1060. /////////////////////////////////////////////////////////////////////////////////////////
  1061. // 0x5800 Entry 28 (size 16 bundles) Reserved
  1062. DBG_FAULT(28)
  1063. FAULT(28)
  1064. .align 256
  1065. /////////////////////////////////////////////////////////////////////////////////////////
  1066. // 0x5900 Entry 29 (size 16 bundles) Debug (16,28,56)
  1067. ENTRY(debug_vector)
  1068. DBG_FAULT(29)
  1069. FAULT(29)
  1070. END(debug_vector)
  1071. .align 256
  1072. /////////////////////////////////////////////////////////////////////////////////////////
  1073. // 0x5a00 Entry 30 (size 16 bundles) Unaligned Reference (57)
  1074. ENTRY(unaligned_access)
  1075. DBG_FAULT(30)
  1076. mov r16=cr.ipsr
  1077. mov r31=pr // prepare to save predicates
  1078. ;;
  1079. br.sptk.many dispatch_unaligned_handler
  1080. END(unaligned_access)
  1081. .align 256
  1082. /////////////////////////////////////////////////////////////////////////////////////////
  1083. // 0x5b00 Entry 31 (size 16 bundles) Unsupported Data Reference (57)
  1084. DBG_FAULT(31)
  1085. FAULT(31)
  1086. .align 256
  1087. /////////////////////////////////////////////////////////////////////////////////////////
  1088. // 0x5c00 Entry 32 (size 16 bundles) Floating-Point Fault (64)
  1089. DBG_FAULT(32)
  1090. FAULT(32)
  1091. .align 256
  1092. /////////////////////////////////////////////////////////////////////////////////////////
  1093. // 0x5d00 Entry 33 (size 16 bundles) Floating Point Trap (66)
  1094. DBG_FAULT(33)
  1095. FAULT(33)
  1096. .align 256
  1097. /////////////////////////////////////////////////////////////////////////////////////////
  1098. // 0x5e00 Entry 34 (size 16 bundles) Lower Privilege Tranfer Trap (66)
  1099. DBG_FAULT(34)
  1100. FAULT(34)
  1101. .align 256
  1102. /////////////////////////////////////////////////////////////////////////////////////////
  1103. // 0x5f00 Entry 35 (size 16 bundles) Taken Branch Trap (68)
  1104. DBG_FAULT(35)
  1105. FAULT(35)
  1106. .align 256
  1107. /////////////////////////////////////////////////////////////////////////////////////////
  1108. // 0x6000 Entry 36 (size 16 bundles) Single Step Trap (69)
  1109. DBG_FAULT(36)
  1110. FAULT(36)
  1111. .align 256
  1112. /////////////////////////////////////////////////////////////////////////////////////////
  1113. // 0x6100 Entry 37 (size 16 bundles) Reserved
  1114. DBG_FAULT(37)
  1115. FAULT(37)
  1116. .align 256
  1117. /////////////////////////////////////////////////////////////////////////////////////////
  1118. // 0x6200 Entry 38 (size 16 bundles) Reserved
  1119. DBG_FAULT(38)
  1120. FAULT(38)
  1121. .align 256
  1122. /////////////////////////////////////////////////////////////////////////////////////////
  1123. // 0x6300 Entry 39 (size 16 bundles) Reserved
  1124. DBG_FAULT(39)
  1125. FAULT(39)
  1126. .align 256
  1127. /////////////////////////////////////////////////////////////////////////////////////////
  1128. // 0x6400 Entry 40 (size 16 bundles) Reserved
  1129. DBG_FAULT(40)
  1130. FAULT(40)
  1131. .align 256
  1132. /////////////////////////////////////////////////////////////////////////////////////////
  1133. // 0x6500 Entry 41 (size 16 bundles) Reserved
  1134. DBG_FAULT(41)
  1135. FAULT(41)
  1136. .align 256
  1137. /////////////////////////////////////////////////////////////////////////////////////////
  1138. // 0x6600 Entry 42 (size 16 bundles) Reserved
  1139. DBG_FAULT(42)
  1140. FAULT(42)
  1141. .align 256
  1142. /////////////////////////////////////////////////////////////////////////////////////////
  1143. // 0x6700 Entry 43 (size 16 bundles) Reserved
  1144. DBG_FAULT(43)
  1145. FAULT(43)
  1146. .align 256
  1147. /////////////////////////////////////////////////////////////////////////////////////////
  1148. // 0x6800 Entry 44 (size 16 bundles) Reserved
  1149. DBG_FAULT(44)
  1150. FAULT(44)
  1151. .align 256
  1152. /////////////////////////////////////////////////////////////////////////////////////////
  1153. // 0x6900 Entry 45 (size 16 bundles) IA-32 Exeception (17,18,29,41,42,43,44,58,60,61,62,72,73,75,76,77)
  1154. ENTRY(ia32_exception)
  1155. DBG_FAULT(45)
  1156. FAULT(45)
  1157. END(ia32_exception)
  1158. .align 256
  1159. /////////////////////////////////////////////////////////////////////////////////////////
  1160. // 0x6a00 Entry 46 (size 16 bundles) IA-32 Intercept  (30,31,59,70,71)
  1161. ENTRY(ia32_intercept)
  1162. DBG_FAULT(46)
  1163. #ifdef CONFIG_IA32_SUPPORT
  1164. mov r31=pr
  1165. mov r16=cr.isr
  1166. ;;
  1167. extr.u r17=r16,16,8 // get ISR.code
  1168. mov r18=ar.eflag
  1169. mov r19=cr.iim // old eflag value
  1170. ;;
  1171. cmp.ne p6,p0=2,r17
  1172. (p6) br.cond.spnt 1f // not a system flag fault
  1173. xor r16=r18,r19
  1174. ;;
  1175. extr.u r17=r16,18,1 // get the eflags.ac bit
  1176. ;;
  1177. cmp.eq p6,p0=0,r17
  1178. (p6) br.cond.spnt 1f // eflags.ac bit didn't change
  1179. ;;
  1180. mov pr=r31,-1 // restore predicate registers
  1181. rfi
  1182. 1:
  1183. #endif // CONFIG_IA32_SUPPORT
  1184. FAULT(46)
  1185. END(ia32_intercept)
  1186. .align 256
  1187. /////////////////////////////////////////////////////////////////////////////////////////
  1188. // 0x6b00 Entry 47 (size 16 bundles) IA-32 Interrupt  (74)
  1189. ENTRY(ia32_interrupt)
  1190. DBG_FAULT(47)
  1191. #ifdef CONFIG_IA32_SUPPORT
  1192. mov r31=pr
  1193. br.sptk.many dispatch_to_ia32_handler
  1194. #else
  1195. FAULT(47)
  1196. #endif
  1197. END(ia32_interrupt)
  1198. .align 256
  1199. /////////////////////////////////////////////////////////////////////////////////////////
  1200. // 0x6c00 Entry 48 (size 16 bundles) Reserved
  1201. DBG_FAULT(48)
  1202. FAULT(48)
  1203. .align 256
  1204. /////////////////////////////////////////////////////////////////////////////////////////
  1205. // 0x6d00 Entry 49 (size 16 bundles) Reserved
  1206. DBG_FAULT(49)
  1207. FAULT(49)
  1208. .align 256
  1209. /////////////////////////////////////////////////////////////////////////////////////////
  1210. // 0x6e00 Entry 50 (size 16 bundles) Reserved
  1211. DBG_FAULT(50)
  1212. FAULT(50)
  1213. .align 256
  1214. /////////////////////////////////////////////////////////////////////////////////////////
  1215. // 0x6f00 Entry 51 (size 16 bundles) Reserved
  1216. DBG_FAULT(51)
  1217. FAULT(51)
  1218. .align 256
  1219. /////////////////////////////////////////////////////////////////////////////////////////
  1220. // 0x7000 Entry 52 (size 16 bundles) Reserved
  1221. DBG_FAULT(52)
  1222. FAULT(52)
  1223. .align 256
  1224. /////////////////////////////////////////////////////////////////////////////////////////
  1225. // 0x7100 Entry 53 (size 16 bundles) Reserved
  1226. DBG_FAULT(53)
  1227. FAULT(53)
  1228. .align 256
  1229. /////////////////////////////////////////////////////////////////////////////////////////
  1230. // 0x7200 Entry 54 (size 16 bundles) Reserved
  1231. DBG_FAULT(54)
  1232. FAULT(54)
  1233. .align 256
  1234. /////////////////////////////////////////////////////////////////////////////////////////
  1235. // 0x7300 Entry 55 (size 16 bundles) Reserved
  1236. DBG_FAULT(55)
  1237. FAULT(55)
  1238. .align 256
  1239. /////////////////////////////////////////////////////////////////////////////////////////
  1240. // 0x7400 Entry 56 (size 16 bundles) Reserved
  1241. DBG_FAULT(56)
  1242. FAULT(56)
  1243. .align 256
  1244. /////////////////////////////////////////////////////////////////////////////////////////
  1245. // 0x7500 Entry 57 (size 16 bundles) Reserved
  1246. DBG_FAULT(57)
  1247. FAULT(57)
  1248. .align 256
  1249. /////////////////////////////////////////////////////////////////////////////////////////
  1250. // 0x7600 Entry 58 (size 16 bundles) Reserved
  1251. DBG_FAULT(58)
  1252. FAULT(58)
  1253. .align 256
  1254. /////////////////////////////////////////////////////////////////////////////////////////
  1255. // 0x7700 Entry 59 (size 16 bundles) Reserved
  1256. DBG_FAULT(59)
  1257. FAULT(59)
  1258. .align 256
  1259. /////////////////////////////////////////////////////////////////////////////////////////
  1260. // 0x7800 Entry 60 (size 16 bundles) Reserved
  1261. DBG_FAULT(60)
  1262. FAULT(60)
  1263. .align 256
  1264. /////////////////////////////////////////////////////////////////////////////////////////
  1265. // 0x7900 Entry 61 (size 16 bundles) Reserved
  1266. DBG_FAULT(61)
  1267. FAULT(61)
  1268. .align 256
  1269. /////////////////////////////////////////////////////////////////////////////////////////
  1270. // 0x7a00 Entry 62 (size 16 bundles) Reserved
  1271. DBG_FAULT(62)
  1272. FAULT(62)
  1273. .align 256
  1274. /////////////////////////////////////////////////////////////////////////////////////////
  1275. // 0x7b00 Entry 63 (size 16 bundles) Reserved
  1276. DBG_FAULT(63)
  1277. FAULT(63)
  1278. .align 256
  1279. /////////////////////////////////////////////////////////////////////////////////////////
  1280. // 0x7c00 Entry 64 (size 16 bundles) Reserved
  1281. DBG_FAULT(64)
  1282. FAULT(64)
  1283. .align 256
  1284. /////////////////////////////////////////////////////////////////////////////////////////
  1285. // 0x7d00 Entry 65 (size 16 bundles) Reserved
  1286. DBG_FAULT(65)
  1287. FAULT(65)
  1288. .align 256
  1289. /////////////////////////////////////////////////////////////////////////////////////////
  1290. // 0x7e00 Entry 66 (size 16 bundles) Reserved
  1291. DBG_FAULT(66)
  1292. FAULT(66)
  1293. .align 256
  1294. /////////////////////////////////////////////////////////////////////////////////////////
  1295. // 0x7f00 Entry 67 (size 16 bundles) Reserved
  1296. DBG_FAULT(67)
  1297. FAULT(67)