开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Linux/Unix编程 > 查看源码
head.S
资源名称：linux-2.4.20.tar.gz　[点击查看]
上传用户：jlfgdled
上传日期：2013-04-10
资源大小：33168k
文件大小：57k
源码类别：

Linux/Unix编程

开发平台：

Unix_Linux

head.S：源码内容
  1. /*
  2.  *  arch/ppc64/kernel/head.S
  3.  *
  4.  *  PowerPC version
  5.  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
  6.  *
  7.  *  Rewritten by Cort Dougan (cort@cs.nmt.edu) for PReP
  8.  *    Copyright (C) 1996 Cort Dougan <cort@cs.nmt.edu>
  9.  *  Adapted for Power Macintosh by Paul Mackerras.
  10.  *  Low-level exception handlers and MMU support
  11.  *  rewritten by Paul Mackerras.
  12.  *    Copyright (C) 1996 Paul Mackerras.
  13.  *
  14.  *  Adapted for 64bit PowerPC by Dave Engebretsen, Peter Bergner, and
  15.  *    Mike Corrigan {engebret|bergner|mikejc}@us.ibm.com
  16.  *
  17.  *  This file contains the low-level support and setup for the
  18.  *  PowerPC-64 platform, including trap and interrupt dispatch.
  19.  *
  20.  *  This program is free software; you can redistribute it and/or
  21.  *  modify it under the terms of the GNU General Public License
  22.  *  as published by the Free Software Foundation; either version
  23.  *  2 of the License, or (at your option) any later version.
  24.  */
  26. #define SECONDARY_PROCESSORS
  28. #include "ppc_asm.h"
  29. #include "ppc_defs.h"
  30. #include <asm/processor.h>
  31. #include <asm/page.h>
  32. #include <linux/config.h>
  33. #include <asm/mmu.h>
  34. #include <asm/perfmon.h>
  36. #ifdef CONFIG_PPC_ISERIES
  37. #define DO_SOFT_DISABLE
  38. #endif
  40. /*
  41.  * hcall interface to pSeries LPAR
  42.  */
  43. #define HSC .long 0x44000022
  44. #define H_SET_ASR 0x30
  46. /*
  47.  * We layout physical memory as follows:
  48.  * 0x0000 - 0x00ff : Secondary processor spin code
  49.  * 0x0100 - 0x2fff : pSeries Interrupt prologs
  50.  * 0x3000 - 0x3fff : Interrupt support
  51.  * 0x4000 - 0x4fff : NACA
  52.  * 0x5000 - 0x5fff : Initial segment table
  53.  * 0x6000          : iSeries and common interrupt prologs
  54.  */
  56. /*
  57.  *   SPRG Usage
  58.  *
  59.  *   Register          Definition
  60.  *
  61.  *   SPRG0             reserved for hypervisor
  62.  *   SPRG1             temp - used to save gpr
  63.  *   SPRG2             temp - used to save gpr
  64.  *   SPRG3             virt addr of paca
  65.  */
  67. /*
  68.  * Entering into this code we make the following assumptions:
  69.  *  For pSeries:
  70.  *   1. The MMU is off & open firmware is running in real mode.
  71.  *   2. The kernel is entered at __start
  72.  *
  73.  *  For iSeries:
  74.  *   1. The MMU is on (as it always is for iSeries)
  75.  *   2. The kernel is entered at SystemReset_Iseries
  76.  */
  78. .text
  79. .globl  _stext
  80. _stext:
  81. _STATIC(__start)
  82. b .__start_initialization_pSeries
  84. /* At offset 0x20, there is a pointer to iSeries LPAR data.
  85.  * This is required by the hypervisor */
  86. . = 0x20
  87. .llong hvReleaseData-KERNELBASE
  89. /* At offset 0x28 and 0x30 are offsets to the msChunks
  90.  * array (used by the iSeries LPAR debugger to do translation
  91.  * between physical addresses and absolute addresses) and
  92.  * to the pidhash table (also used by the debugger) */
  93. .llong msChunks-KERNELBASE
  94. .llong pidhash-KERNELBASE
  96. /* Offset 0x38 - Pointer to start of embedded System.map */
  97. .globl embedded_sysmap_start
  98. embedded_sysmap_start:
  99. .llong 0
  100. /* Offset 0x40 - Pointer to end of embedded System.map */
  101. .globl embedded_sysmap_end
  102. embedded_sysmap_end:
  103. .llong 0
  105. /* Secondary processors spin on this value until it goes to 1. */
  106. .globl  __secondary_hold_spinloop
  107. __secondary_hold_spinloop:
  108. .llong  0x0
  110. /* Secondary processors write this value with their cpu # */
  111. /* after they enter the spin loop immediatly below.       */
  112. .globl  __secondary_hold_acknowledge
  113. __secondary_hold_acknowledge:
  114. .llong  0x0
  116. . = 0x60
  117. /*
  118.  * The following code is used on pSeries to hold secondary processors
  119.  * in a spin loop after they have been freed from OpenFirmware, but
  120.  * before the bulk of the kernel has been relocated.  This code
  121.  * is relocated to physical address 0x60 before prom_init is run.
  122.  * All of it must fit below the first exception vector at 0x100.
  123.  */
  124. _GLOBAL(__secondary_hold)
  125. /* Grab our linux cpu number */
  126. mr      r24,r3
  128. /* Tell the master cpu we're here */
  129. /* Relocation is off & we are located at an address less */
  130. /* than 0x100, so only need to grab low order offset.    */
  131. std     r24,__secondary_hold_acknowledge@l(0)
  133. /* All secondary cpu's wait here until told to start. */
  134. 100:    ld      r4,__secondary_hold_spinloop@l(0)
  135. cmpdi   0,r4,1
  136. bne     100b
  138. #ifdef CONFIG_HMT
  139. b .hmt_init
  140. #else
  141. #ifdef CONFIG_SMP
  142. mr      r3,r24
  143. b       .pseries_secondary_smp_init
  144. #else
  145. BUG_OPCODE
  146. #endif
  147. #endif
  149. /*
  150.  * The following macros define the code that appears as
  151.  * the prologue to each of the exception handlers.  They
  152.  * are split into two parts to allow a single kernel binary
  153.  * to be used for pSeries, and iSeries.
  154.  */
  156. /*
  157.  * We make as much of the exception code common between native
  158.  * exception handlers (including pSeries LPAR) and iSeries LPAR
  159.  * implementations as possible.
  160.  */
  162. /*
  163.  * This is the start of the interrupt handlers for pSeries
  164.  * This code runs with relocation off.
  165.  */
  166. #define EX_SRR0 0
  167. #define EX_SRR1 8
  168. #define EX_R20 16
  169. #define EX_R21 24
  170. #define EX_R22 32
  171. #define EX_R23 40
  172. #define EX_DAR 48
  173. #define EX_DSISR 56
  174. #define EX_CCR    60
  175. #define EX_TRAP    60
  177. #define EXCEPTION_PROLOG_PSERIES(n,label)                                
  178. mtspr   SPRG2,r20;              /* use SPRG2 as scratch reg   */ 
  179. mtspr   SPRG1,r21;              /* save r21                   */ 
  180. mfspr   r20,SPRG3;              /* get paca virt addr         */ 
  181. ld      r21,PACAEXCSP(r20);     /* get exception stack ptr    */ 
  182. addi    r21,r21,EXC_FRAME_SIZE; /* make exception frame       */ 
  183. std r22,EX_R22(r21); /* Save r22 in exc. frame     */ 
  184. li r22,n;                  /* Save the ex # in exc. frame*/ 
  185. stw r22,EX_TRAP(r21); /*                            */ 
  186. std r23,EX_R23(r21); /* Save r23 in exc. frame     */ 
  187. mfspr   r22,SRR0;               /* EA of interrupted instr    */ 
  188. std r22,EX_SRR0(r21); /* Save SRR0 in exc. frame    */ 
  189. mfspr   r23,SRR1;               /* machine state at interrupt */ 
  190. std r23,EX_SRR1(r21); /* Save SRR1 in exc. frame    */ 
  191. clrrdi  r22,r20,60;             /* Get 0xc part of the vaddr  */ 
  192. ori r22,r22,(label)@l;      /* add in the vaddr offset    */ 
  193.                         /*   assumes *_common < 16b   */ 
  194. mfmsr   r23;                                                     
  195. rotldi  r23,r23,4;                                               
  196. ori     r23,r23,0x30B;          /* Set IR, DR, SF, ISF, HV    */ 
  197. rotldi  r23,r23,60;             /* for generic handlers       */ 
  198. mtspr   SRR0,r22;                                                
  199. mtspr   SRR1,r23;                                                
  200. mfcr    r23;                    /* save CR in r23             */ 
  201. rfid
  203. /*
  204.  * This is the start of the interrupt handlers for iSeries
  205.  * This code runs with relocation on.
  206.  */
  207. #define EXCEPTION_PROLOG_ISERIES(n)                                       
  208. mtspr SPRG2,r20;     /* use SPRG2 as scratch reg    */ 
  209. mtspr   SPRG1,r21;                  /* save r21                    */ 
  210. mfspr r20,SPRG3;     /* get paca                    */ 
  211. ld      r21,PACAEXCSP(r20);         /* get exception stack ptr     */ 
  212. addi    r21,r21,EXC_FRAME_SIZE;     /* make exception frame        */ 
  213. std r22,EX_R22(r21);     /* save r22 on exception frame */ 
  214. li r22,n;                      /* Save the ex # in exc. frame */ 
  215. stw r22,EX_TRAP(r21);     /*                             */ 
  216. std r23,EX_R23(r21);     /* Save r23 in exc. frame      */ 
  217. ld      r22,LPPACA+LPPACASRR0(r20); /* Get SRR0 from ItLpPaca      */ 
  218. std r22,EX_SRR0(r21);     /* save SRR0 in exc. frame     */ 
  219. ld      r23,LPPACA+LPPACASRR1(r20); /* Get SRR1 from ItLpPaca      */ 
  220. std r23,EX_SRR1(r21);     /* save SRR1 in exc. frame     */ 
  221. mfcr    r23;                        /* save CR in r23              */
  223. /*
  224.  * The common exception prolog is used for all except a few exceptions
  225.  * such as a segment miss on a kernel address.  We have to be prepared
  226.  * to take another exception from the point where we first touch the
  227.  * kernel stack onwards.
  228.  *
  229.  * On entry r20 points to the paca and r21 points to the exception
  230.  * frame on entry, r23 contains the saved CR, and relocation is on.
  231.  */
  232. #define EXCEPTION_PROLOG_COMMON                                           
  233. mfspr r22,SPRG2; /* Save r20 in exc. frame      */ 
  234. std r22,EX_R20(r21);                                   
  235. mfspr r22,SPRG1; /* Save r21 in exc. frame      */ 
  236. std r22,EX_R21(r21);                                   
  237. mfspr   r22,DAR;                /* Save DAR in exc. frame      */ 
  238. std r22,EX_DAR(r21);                                   
  239. std     r21,PACAEXCSP(r20);     /* update exception stack ptr  */ 
  240.                         /*   iff no protection flt     */ 
  241. mfspr r22,DSISR; /* Save DSISR in exc. frame    */ 
  242. stw r22,EX_DSISR(r21);                                   
  243. ld r22,EX_SRR1(r21); /* Get SRR1 from exc. frame    */ 
  244. andi.   r22,r22,MSR_PR;         /* Set CR for later branch     */ 
  245. mr      r22,r1;                 /* Save r1                     */ 
  246. subi    r1,r1,INT_FRAME_SIZE;   /* alloc frame on kernel stack */ 
  247. beq-    1f;                                                       
  248. ld      r1,PACAKSAVE(r20);      /* kernel stack to use         */ 
  249. 1:      std     r22,GPR1(r1);           /* save r1 in stackframe       */ 
  250. std     r22,0(r1);              /* make stack chain pointer    */ 
  251. std     r23,_CCR(r1);           /* save CR in stackframe       */ 
  252. ld r22,EX_R20(r21); /* move r20 to stackframe      */ 
  253. std r22,GPR20(r1);                                   
  254. ld r23,EX_R21(r21); /* move r21 to stackframe      */ 
  255. std r23,GPR21(r1);                                   
  256. ld r22,EX_R22(r21); /* move r22 to stackframe      */ 
  257. std r22,GPR22(r1);                                   
  258. ld r23,EX_R23(r21); /* move r23 to stackframe      */ 
  259. std r23,GPR23(r1);                                   
  260. mflr    r22;                    /* save LR in stackframe       */ 
  261. std     r22,_LINK(r1);                                            
  262. mfctr   r23;                    /* save CTR in stackframe      */ 
  263. std     r23,_CTR(r1);                                             
  264. mfspr   r22,XER;                /* save XER in stackframe      */ 
  265. std     r22,_XER(r1);                                             
  266. ld r23,EX_DAR(r21); /* move DAR to stackframe      */ 
  267. std r23,_DAR(r1);                                   
  268. lwz     r22,EX_DSISR(r21); /* move DSISR to stackframe    */ 
  269. std r22,_DSISR(r1);                                   
  270. lbz r22,PACAPROCENABLED(r20);                                 
  271. std r22,SOFTE(r1);                                   
  272. ld r22,EX_SRR0(r21); /* get SRR0 from exc. frame    */ 
  273. ld r23,EX_SRR1(r21); /* get SRR1 from exc. frame    */ 
  274. addi    r21,r21,-EXC_FRAME_SIZE;/* pop off exception frame     */ 
  275. std     r21,PACAEXCSP(r20);                                       
  276. SAVE_GPR(0, r1);                /* save r0 in stackframe       */ 
  277. SAVE_8GPRS(2, r1);              /* save r2 - r13 in stackframe */ 
  278. SAVE_4GPRS(10, r1);                                               
  279. ld      r2,PACATOC(r20);                                   
  280. ld      r13,PACACURRENT(r20)
  282. /*
  283.  * Note: code which follows this uses cr0.eq (set if from kernel),
  284.  * r1, r22 (SRR0), and r23 (SRR1).
  285.  */
  287. /*
  288.  * Exception vectors.
  289.  */
  290. #define STD_EXCEPTION_PSERIES(n, label )
  291. . = n;
  292. .globl label##_Pseries;
  293. label##_Pseries:
  294. EXCEPTION_PROLOG_PSERIES( n, label##_common )
  296. #define STD_EXCEPTION_ISERIES( n, label )
  297. .globl label##_Iseries;
  298. label##_Iseries:
  299. EXCEPTION_PROLOG_ISERIES( n );          
  300. b label##_common
  302. #define MASKABLE_EXCEPTION_ISERIES( n, label )
  303. .globl label##_Iseries;
  304. label##_Iseries:
  305. EXCEPTION_PROLOG_ISERIES( n );
  306. lbz r22,PACAPROFMODE(r20);
  307. cmpi 0,r22,PMC_STATE_DECR_PROFILE;
  308. beq- label##_Iseries_profile;
  309. label##_Iseries_prof_ret:
  310. lbz r22,PACAPROCENABLED(r20);
  311. cmpi 0,r22,0;
  312. beq- label##_Iseries_masked;
  313. b label##_common;
  314. label##_Iseries_profile:
  315. std r24,48(r21);
  316. std r25,56(r21);
  317. mflr r24;
  318. bl do_profile;
  319. mtlr r24;
  320. ld r24,48(r21);
  321. ld r25,56(r21);
  322. b label##_Iseries_prof_ret
  324. #define STD_EXCEPTION_COMMON( trap, label, hdlr )
  325. .globl label##_common;
  326. label##_common:
  327. EXCEPTION_PROLOG_COMMON;
  328. addi r3,r1,STACK_FRAME_OVERHEAD;
  329. li r20,0;
  330. li r6,trap;
  331. bl      .save_remaining_regs;           
  332. bl      hdlr;                           
  333. b       .ret_from_except
  335. /*
  336.  * Start of pSeries system interrupt routines
  337.  */
  338. . = 0x100
  339. .globl __start_interupts
  340. __start_interupts:
  342. STD_EXCEPTION_PSERIES( 0x100, SystemReset )
  343. STD_EXCEPTION_PSERIES( 0x200, MachineCheck )
  344. STD_EXCEPTION_PSERIES( 0x300, DataAccess )
  345. STD_EXCEPTION_PSERIES( 0x380, DataAccessSLB )
  346. STD_EXCEPTION_PSERIES( 0x400, InstructionAccess )
  347. STD_EXCEPTION_PSERIES( 0x480, InstructionAccessSLB )
  348. STD_EXCEPTION_PSERIES( 0x500, HardwareInterrupt )
  349. STD_EXCEPTION_PSERIES( 0x600, Alignment )
  350. STD_EXCEPTION_PSERIES( 0x700, ProgramCheck )
  351. STD_EXCEPTION_PSERIES( 0x800, FPUnavailable )
  352. STD_EXCEPTION_PSERIES( 0x900, Decrementer )
  353. STD_EXCEPTION_PSERIES( 0xa00, Trap_0a )
  354. STD_EXCEPTION_PSERIES( 0xb00, Trap_0b )
  355. STD_EXCEPTION_PSERIES( 0xc00, SystemCall )
  356. STD_EXCEPTION_PSERIES( 0xd00, SingleStep )
  357. STD_EXCEPTION_PSERIES( 0xe00, Trap_0e )
  358. STD_EXCEPTION_PSERIES( 0xf00, PerformanceMonitor )
  359. STD_EXCEPTION_PSERIES( 0x1300, InstructionBreakpoint )
  361. /* Space for the naca.  Architected to be located at real address
  362.  * 0x4000.  Various tools rely on this location being fixed.
  363.  * The first dword of the naca is required by iSeries LPAR to
  364.  * point to itVpdAreas.  On pSeries native, this value is not used.
  365.  */
  366. . = 0x4000
  367. .globl __end_interupts
  368. .globl __start_naca
  369. __end_interupts:
  370. __start_naca:
  371. .llong itVpdAreas
  372. .llong 0x0
  373. .llong 0x0
  374. .llong paca
  376. /*
  377.  * Space for the initial segment table
  378.  * For LPAR, the hypervisor must fill in at least one entry
  379.  * before we get control (with relocate on)
  380.  */
  381. . = 0x5000
  382. .globl __end_naca
  383. .globl __start_stab
  384. __end_naca:
  385. __start_stab:
  388. . = 0x6000
  389. .globl __end_stab
  390. __end_stab:
  392. /*
  393.  * The iSeries LPAR map is at this fixed address
  394.  * so that the HvReleaseData structure can address
  395.  * it with a 32-bit offset.
  396.  *
  397.  * The VSID values below are dependent on the
  398.  * VSID generation algorithm.  See include/asm/mmu_context.h.
  399.  */
  401. .llong 1 /* # ESIDs to be mapped by hypervisor         */
  402. .llong 1 /* # memory ranges to be mapped by hypervisor */
  403. .llong 5 /* Page # of segment table within load area   */
  404. .llong 0 /* Reserved */
  405. .llong  0 /* Reserved */
  406. .llong  0 /* Reserved */
  407. .llong 0 /* Reserved */
  408. .llong 0 /* Reserved */
  409. .llong 0x0c00000000 /* ESID to map (Kernel at EA = 0xC000000000000000) */
  410. .llong 0x06a99b4b14    /* VSID to map (Kernel at VA = 0x6a99b4b140000000) */
  411. .llong 8192 /* # pages to map (32 MB) */
  412. .llong 0 /* Offset from start of loadarea to start of map */
  413. .llong 0x0006a99b4b140000 /* VPN of first page to map */
  415. . = 0x6100
  417. /***  ISeries-LPAR interrupt handlers ***/
  419. STD_EXCEPTION_ISERIES( 0x200, MachineCheck )
  420. STD_EXCEPTION_ISERIES( 0x300, DataAccess )
  421. STD_EXCEPTION_ISERIES( 0x380, DataAccessSLB )
  422. STD_EXCEPTION_ISERIES( 0x400, InstructionAccess )
  423. STD_EXCEPTION_ISERIES( 0x480, InstructionAccessSLB )
  424. MASKABLE_EXCEPTION_ISERIES( 0x500, HardwareInterrupt )
  425. STD_EXCEPTION_ISERIES( 0x600, Alignment )
  426. STD_EXCEPTION_ISERIES( 0x700, ProgramCheck )
  427. STD_EXCEPTION_ISERIES( 0x800, FPUnavailable )
  428. MASKABLE_EXCEPTION_ISERIES( 0x900, Decrementer )
  429. STD_EXCEPTION_ISERIES( 0xa00, Trap_0a )
  430. STD_EXCEPTION_ISERIES( 0xb00, Trap_0b )
  431. STD_EXCEPTION_ISERIES( 0xc00, SystemCall )
  432. STD_EXCEPTION_ISERIES( 0xd00, SingleStep )
  433. STD_EXCEPTION_ISERIES( 0xe00, Trap_0e )
  434. MASKABLE_EXCEPTION_ISERIES( 0xf00, PerformanceMonitor )
  436. .globl SystemReset_Iseries
  437. SystemReset_Iseries:
  438. mfspr 25,SPRG3 /* Get paca address */
  439. lhz r24,PACAPACAINDEX(r25) /* Get processor # */
  440. cmpi 0,r24,0 /* Are we processor 0? */
  441. beq .__start_initialization_iSeries /* Start up the first processor */
  442. mfspr r4,CTRLF
  443. li r5,RUNLATCH /* Turn off the run light */
  444. andc r4,r4,r5
  445. mtspr CTRLT,r4
  447. 1:
  448. HMT_LOW
  449. #ifdef CONFIG_SMP
  450. lbz r23,PACAPROCSTART(r25) /* Test if this processor
  451.  * should start */
  452. sync
  453. LOADADDR(r3,current_set)
  454. sldi r28,r24,4 /* get current_set[cpu#] */
  455. ldx r3,r3,r28
  456. addi r1,r3,TASK_UNION_SIZE
  457. subi r1,r1,STACK_FRAME_OVERHEAD
  459. cmpi 0,r23,0
  460. beq iseries_secondary_smp_loop /* Loop until told to go */
  461. #ifdef SECONDARY_PROCESSORS
  462. bne .__secondary_start /* Loop until told to go */
  463. #endif
  464. iseries_secondary_smp_loop:
  465. /* Let the Hypervisor know we are alive */
  466. /* 8002 is a call to HvCallCfg::getLps, a harmless Hypervisor function */
  467. lis r3,0x8002
  468. rldicr r3,r3,32,15 /* r0 = (r3 << 32) & 0xffff000000000000 */
  469. #else /* CONFIG_SMP */
  470. /* Yield the processor.  This is required for non-SMP kernels
  471.    which are running on multi-threaded machines. */
  472. lis r3,0x8000
  473. rldicr r3,r3,32,15 /* r3 = (r3 << 32) & 0xffff000000000000 */
  474. addi r3,r3,18 /* r3 = 0x8000000000000012 which is "yield" */
  475. li r4,0 /* "yield timed" */
  476. li r5,-1 /* "yield forever" */
  477. #endif /* CONFIG_SMP */
  478. li r0,-1 /* r0=-1 indicates a Hypervisor call */
  479. sc /* Invoke the hypervisor via a system call */
  480. mfspr r25,SPRG3 /* Put r25 back ???? */
  481. b 1b /* If SMP not configured, secondaries
  482.  * loop forever */
  484. .globl HardwareInterrupt_Iseries_masked
  485. HardwareInterrupt_Iseries_masked:
  486. b maskable_exception_exit
  488. .globl PerformanceMonitor_Iseries_masked
  489. PerformanceMonitor_Iseries_masked:
  490. li r22,1
  491. stb r22,PACALPPACA+LPPACAPDCINT(r20)
  492. b maskable_exception_exit
  494. .globl Decrementer_Iseries_masked
  495. Decrementer_Iseries_masked:
  496. li r22,1
  497. stb r22,PACALPPACA+LPPACADECRINT(r20)
  498. lwz r22,PACADEFAULTDECR(r20)
  499. mtspr DEC,r22
  500. maskable_exception_exit:
  501. mtcrf 0xff,r23 /* Restore regs and free exception frame */
  502. ld r22,EX_SRR0(r21)
  503. ld r23,EX_SRR1(r21)
  504. mtspr SRR0,r22
  505. mtspr SRR1,r23
  506. ld r22,EX_R22(r21)
  507. ld r23,EX_R23(r21)
  508. mfspr r21,SPRG1
  509. mfspr r20,SPRG2
  510. rfid
  512. /*
  513.  * Data area reserved for FWNMI option.
  514.  */
  515.         .= 0x7000
  516. .globl fwnmi_data_area
  517. fwnmi_data_area:
  519. /*
  520.  * Vectors for the FWNMI option.  Share common code.
  521.  */
  522. . = 0x8000
  523. .globl SystemReset_FWNMI
  524. SystemReset_FWNMI:
  525. EXCEPTION_PROLOG_PSERIES(0x100, SystemReset_common)
  526. .globl MachineCheck_FWNMI
  527. MachineCheck_FWNMI:
  528. EXCEPTION_PROLOG_PSERIES(0x200, MachineCheck_common)
  530. /*** Common interrupt handlers ***/
  532. STD_EXCEPTION_COMMON( 0x100, SystemReset, .SystemResetException )
  533. STD_EXCEPTION_COMMON( 0x200, MachineCheck, .MachineCheckException )
  534. STD_EXCEPTION_COMMON( 0x900, Decrementer, .timer_interrupt )
  535. STD_EXCEPTION_COMMON( 0xa00, Trap_0a, .UnknownException )
  536. STD_EXCEPTION_COMMON( 0xb00, Trap_0b, .UnknownException )
  537. STD_EXCEPTION_COMMON( 0xd00, SingleStep, .SingleStepException )
  538. STD_EXCEPTION_COMMON( 0xe00, Trap_0e, .UnknownException )
  539. STD_EXCEPTION_COMMON(0x1300, InstructionBreakpoint, .InstructionBreakpointException )
  541. /*
  542.  * Return from an exception which is handled without calling
  543.  * save_remaining_regs.  The caller is assumed to have done
  544.  * EXCEPTION_PROLOG_COMMON.
  545.  */
  546. fast_exception_return:
  547. ld      r3,_CCR(r1)
  548. ld      r4,_LINK(r1)
  549. ld      r5,_CTR(r1)
  550. ld      r6,_XER(r1)
  551. mtcr    r3
  552. mtlr    r4
  553. mtctr   r5
  554. mtspr   XER,r6
  555. REST_GPR(0, r1)
  556. REST_8GPRS(2, r1)
  557. REST_4GPRS(10, r1)
  558. mtspr   SRR1,r23
  559. mtspr   SRR0,r22
  560. REST_4GPRS(20, r1)
  561. ld      r1,GPR1(r1)
  562. rfid
  564. /*
  565.  * Here r20 points to the PACA, r21 to the exception frame,
  566.  * r23 contains the saved CR.
  567.  * r20 - r23, SRR0 and SRR1 are saved in the exception frame.
  568.  */
  569. .globl DataAccess_common
  570. DataAccess_common:
  571. mfspr   r22,DAR
  572. srdi    r22,r22,60
  573. cmpi    0,r22,0xc
  574. beq     .do_stab_bolted
  575. cmpi    0,r22,0xb
  576. beq     .do_stab_bolted
  578. stab_bolted_user_return:
  579. EXCEPTION_PROLOG_COMMON
  580. ld      r3,_DSISR(r1)
  581. andis. r0,r3,0xa450 /* weird error? */
  582. bne 1f /* if not, try to put a PTE */
  583. andis. r0,r3,0x0020 /* Is it a page table fault? */
  584. rlwinm r4,r3,32-23,29,29 /* DSISR_STORE -> _PAGE_RW */
  585. ld      r3,_DAR(r1)             /* into the hash table */
  587. beq 2f /* If so handle it */
  588. li r4,0x300                /* Trap number */
  589. bl .do_stab_SI
  590. b 1f
  592. 2: li r5,0x300
  593. bl .do_hash_page_DSI  /* Try to handle as hpte fault */
  594. 1:
  595. ld      r4,_DAR(r1)
  596. ld      r5,_DSISR(r1)
  597. addi r3,r1,STACK_FRAME_OVERHEAD
  598. #ifdef DO_SOFT_DISABLE
  599. ld r20,SOFTE(r1) /* Copy saved SOFTE bit */
  600. #else
  601. rldicl r20,r23,49,63    /* copy EE bit from saved MSR */
  602. #endif
  603. li r6,0x300
  604. bl      .save_remaining_regs
  605. bl      .do_page_fault
  606. b       .ret_from_except
  608. .globl DataAccessSLB_common
  609. DataAccessSLB_common:
  610. mfspr   r22,DAR
  611. srdi    r22,r22,60
  612. cmpi    0,r22,0xc
  613. beq     .do_slb_bolted
  614. cmpi    0,r22,0xb
  615. beq     .do_slb_bolted
  617. EXCEPTION_PROLOG_COMMON
  618. ld      r3,_DAR(r1)
  619. li      r4,0x380                /* Exception vector  */
  620. bl .ste_allocate
  621. or. r3,r3,r3 /* Check return code */
  622. beq     fast_exception_return   /* Return if we succeeded */
  623. addi r3,r1,STACK_FRAME_OVERHEAD
  624. #ifdef DO_SOFT_DISABLE
  625. ld r20,SOFTE(r1)
  626. #else
  627. rldicl r20,r23,49,63    /* copy EE bit from saved MSR */
  628. #endif
  629. li r6,0x380
  630. bl      .save_remaining_regs
  631. bl      .do_page_fault
  632. b       .ret_from_except
  634. .globl InstructionAccess_common
  635. InstructionAccess_common:
  636. EXCEPTION_PROLOG_COMMON
  638. andis. r0,r23,0x0020 /* no ste found? */
  639. beq 2f
  640. mr r3,r22 /* SRR0 at interrupt */
  641. li r4,0x400 /* Trap number       */
  642. bl .do_stab_SI
  643. b 1f
  645. 2: andis. r0,r23,0x4000 /* no pte found? */
  646. beq 1f /* if so, try to put a PTE */
  647. mr r3,r22 /* into the hash table */
  648. bl .do_hash_page_ISI /* Try to handle as hpte fault */
  649. 1:
  650. mr r4,r22
  651. mr r5,r23
  652. addi r3,r1,STACK_FRAME_OVERHEAD
  653. #ifdef DO_SOFT_DISABLE
  654. ld r20,SOFTE(r1)
  655. #else
  656. rldicl r20,r23,49,63    /* copy EE bit from saved MSR */
  657. #endif
  658. li r6,0x400
  659. bl      .save_remaining_regs
  660. bl      .do_page_fault
  661. b       .ret_from_except
  663. .globl InstructionAccessSLB_common
  664. InstructionAccessSLB_common:
  665. EXCEPTION_PROLOG_COMMON
  666. mr      r3,r22                  /* SRR0 = NIA        */
  667. li r4,0x480                /* Exception vector  */
  668. bl .ste_allocate
  669. or. r3,r3,r3 /* Check return code */
  670. beq     fast_exception_return   /* Return if we succeeded */
  672. addi r3,r1,STACK_FRAME_OVERHEAD
  673. #ifdef DO_SOFT_DISABLE
  674. ld r20,SOFTE(r1)
  675. #else
  676. rldicl r20,r23,49,63    /* copy EE bit from saved MSR */
  677. #endif
  678. li r6,0x480
  679. bl      .save_remaining_regs
  680. bl      .do_page_fault
  681. b       .ret_from_except
  683. .globl HardwareInterrupt_common
  684. HardwareInterrupt_common:
  685. EXCEPTION_PROLOG_COMMON
  686. HardwareInterrupt_entry:
  687. addi r3,r1,STACK_FRAME_OVERHEAD
  688. li r20,0
  689. li r6,0x500
  690. bl      .save_remaining_regs
  691. /* Determine if need to run do_irq on a hardware interrupt stack  */
  692. /*   The first invocation of do_irq will occur on the kernel      */
  693. /*   stack in the current stack                                   */
  694. /*   All other invocations of do_irq will run on the hardware     */
  695. /*   interrupt stack associated with the PACA of the current      */
  696. /*   processor.                                                   */
  697. /*                                                                */
  698. /*  The call to do_irq will preserve the value of r14 - r31       */
  699. /*                                                                */
  700. mfspr r20,SPRG3      /* get paca                   */
  701. lbz     r21,PACAHRDWINTCOUNT(r20)    /* get hardware interrupt cnt */
  702. cmpi    0,r21,0                     /*                            */
  703. addi    r21,r21,1                   /* incr hardware interrupt cnt*/
  704. stb     r21,PACAHRDWINTCOUNT(r20)   /*                            */
  705. bne     2f                          /*                            */
  707. mr      r14,r1                      /* preserve current r1        */
  708. ld      r1,PACAHRDWINTSTACK(r20)    /*                            */
  709. std     r14,0(r1)                   /* set the back chain         */
  710. bl      .do_IRQ
  711. lbz     r22,PACAHRDWINTCOUNT(r20)   /* get hardware interrupt cnt */
  712. cmp     0,r22,r21                   /* debug test                 */
  713. bne     3f
  714. subi    r21,r21,1
  715. stb     r21,PACAHRDWINTCOUNT(r20)   /*                            */
  716. mr      r1,r14                      /*                            */
  717. b       .ret_from_except
  719. 2:
  720. bl      .do_IRQ
  722. lbz     r22,PACAHRDWINTCOUNT(r20)   /* get hardware interrupt cnt */
  723. cmp     0,r22,r21                   /* debug test                 */
  724. bne     3f                          /*                            */
  725. subi    r21,r21,1                   /* decr hardware interrupt cnt*/
  726. stb     r21,PACAHRDWINTCOUNT(r20)   /*                            */
  728. b       .ret_from_except
  730. 3:
  731. /* error - counts out of sync                                      */
  732. #ifdef CONFIG_XMON
  733. bl .xmon
  734. #endif
  735. 4: b 4b
  738. .globl Alignment_common
  739. Alignment_common:
  740. EXCEPTION_PROLOG_COMMON
  741. addi r3,r1,STACK_FRAME_OVERHEAD
  742. #ifdef DO_SOFT_DISABLE
  743. ld r20,SOFTE(r1)
  744. #else
  745. rldicl r20,r23,49,63    /* copy EE bit from saved MSR */
  746. #endif
  747. li r6,0x600
  748. bl      .save_remaining_regs
  749. bl      .AlignmentException
  750. b       .ret_from_except
  752. .globl ProgramCheck_common
  753. ProgramCheck_common:
  754. EXCEPTION_PROLOG_COMMON
  755. addi r3,r1,STACK_FRAME_OVERHEAD
  756. #ifdef DO_SOFT_DISABLE
  757. ld r20,SOFTE(r1)
  758. #else
  759. rldicl r20,r23,49,63    /* copy EE bit from saved MSR */
  760. #endif
  761. li r6,0x700
  762. bl      .save_remaining_regs
  763. bl      .ProgramCheckException
  764. b       .ret_from_except
  766. .globl FPUnavailable_common
  767. FPUnavailable_common:
  768. EXCEPTION_PROLOG_COMMON
  769. bne .load_up_fpu /* if from user, just load it up */
  770. li r20,0
  771. li r6,0x800
  772. bl      .save_remaining_regs    /* if from kernel, take a trap */
  773. bl      .KernelFP
  774. b       .ret_from_except
  776. .globl SystemCall_common
  777. SystemCall_common:
  778. EXCEPTION_PROLOG_COMMON
  779. #ifdef CONFIG_PPC_ISERIES
  780. cmpi 0,r0,0x5555 /* Special syscall to handle pending */
  781. bne+ 1f /* interrupts */
  782. andi. r6,r23,MSR_PR /* Only allowed from kernel */
  783. beq+ HardwareInterrupt_entry
  784. 1:
  785. #endif
  786. std r3,ORIG_GPR3(r1)
  787. #ifdef DO_SOFT_DISABLE
  788. ld r20,SOFTE(r1)
  789. #else
  790. rldicl r20,r23,49,63    /* copy EE bit from saved MSR */
  791. #endif
  792. li r6,0xC00
  793. bl      .save_remaining_regs
  794. bl      .DoSyscall
  795. b       .ret_from_except
  797. .globl PerformanceMonitor_common
  798. PerformanceMonitor_common:
  799. EXCEPTION_PROLOG_COMMON
  800. bl .PerformanceMonitorException
  801. b fast_exception_return
  803. _GLOBAL(PerformanceMonitorException)
  804. mfspr r7,SPRG3
  805. lbz r8,PACAPROFMODE(r7)
  806. cmpi 0,r8,PMC_STATE_PROFILE_KERN
  807. beq  5f
  808. cmpi 0,r8,PMC_STATE_TRACE_KERN
  809. beq  6f
  810. cmpi 0,r8,PMC_STATE_TRACE_USER
  811. beq  9f
  812. blr
  814. /* PMC Profile Kernel */
  815. 5: mfspr   r9,SIAR
  816. srdi    r8,r9,60
  817. cmpi    0,r8,0xc
  818. beq     3f
  819. li r9,0xc
  820. sldi r9,r9,60
  821. 3:      ld r8,PACAPROFSTEXT(r7) /* _stext */
  822. subf r9,r8,r9 /* offset into kernel */
  823. lwz r8,PACAPROFSHIFT(r7)
  824. srd r9,r9,r8
  825. lwz r8,PACAPROFLEN(r7) /* length of profile table (-1) */
  826. srdi r8,r8,2
  827. cmpd r9,r8 /* off end? */
  828. ble 1f
  829. mr r9,r8 /* force into last entry */
  830. srdi r9,r9,2
  831. 1: sldi r9,r9,2 /* convert to offset into buffer */
  832. ld r8,PACAPROFBUFFER(r7) /* profile buffer */
  833. add r8,r8,r9
  834. 2: lwarx r9,0,r8 /* atomically increment */
  835. addi r9,r9,1
  836. stwcx. r9,0,r8
  837. bne- 2b
  838. addi r10,r7,PACAPMC1
  839. addi r7,r7,PACAPMCC1
  840. b 7f
  842. /* PMC Trace Kernel */
  843. 6: LOADADDR(r11, perfmon_base)
  844.    addi r8,r11,32
  845. ld r12,24(r11)
  846. subi r12,r12,1
  847. 8: ldarx r10,0,r8
  848. addi r9,r10,16
  849. and r9,r9,r12
  850. stdcx. r9,0,r8
  851. bne- 8b
  852. ld r9,16(r11) /* profile buffer */
  853. add r8,r9,r10
  854.    mfspr   r9,SIAR
  855. std r9,0(r8)
  856. mfspr   r9,SDAR
  857. std r9,8(r8)
  858. addi r10,r7,PACAPMC1
  859. addi r7,r7,PACAPMCC1
  860. b 7f
  862. /* PMC Trace User */
  863. 9: LOADADDR(r11, perfmon_base)
  864. #if 0
  865.    addi r8,r11,32
  866. ld r12,24(r11)
  867. subi r12,r12,1
  868. 8: ldarx r10,0,r8
  869. addi r9,r10,16
  870. and r9,r9,r12
  871. stdcx. r9,0,r8
  872. bne- 8b
  873. ld r9,16(r11) /* profile buffer */
  874. add r8,r9,r10
  875.    mfspr   r9,SIAR
  876. std r9,0(r8)
  877. mfspr   r9,SDAR
  878. std r9,8(r8)
  879. addi r10,r13,THREAD+THREAD_PMC1
  880. addi r7,r13,THREAD+THREAD_PMCC1
  881. #endif
  882. /* Accumulate counter values for kernel traces */
  883. 7: ld r9,0(r7)
  884. mfspr   r8,PMC1
  885. add r9,r9,r8
  886. std r9,0(r7)
  887. ld r9,8(r7)
  888. mfspr r8,PMC2
  889. add r9,r9,r8
  890. std r9,8(r7)
  891. ld r9,16(r7)
  892. mfspr r8,PMC3
  893. add r9,r9,r8
  894. std r9,16(r7)
  895. ld r9,24(r7)
  896. mfspr r8,PMC4
  897. add r9,r9,r8
  898. std r9,24(r7)
  899. ld r9,32(r7)
  900. mfspr r8,PMC5
  901. add r9,r9,r8
  902. std r9,32(r7)
  903. ld r9,40(r7)
  904. mfspr r8,PMC6
  905. add r9,r9,r8
  906. std r9,40(r7)
  907. ld r9,48(r7)
  908. mfspr r8,PMC7
  909. add r9,r9,r8
  910. std r9,48(r7)
  911. ld r9,56(r7)
  912. mfspr r8,PMC8
  913. add r9,r9,r8
  914. std r9,56(r7)
  916. /* Reset all counters for kernel traces */
  917. lwz r9,0(r10)
  918. mtspr PMC1,r9
  919. lwz r9,4(r10)
  920. mtspr PMC2,r9
  921. lwz r9,8(r10)
  922. mtspr PMC3,r9
  923. lwz r9,12(r10)
  924. mtspr PMC4,r9
  925. lwz r9,16(r10)
  926. mtspr PMC5,r9
  927. lwz r9,20(r10)
  928. mtspr PMC6,r9
  929. lwz r9,24(r10)
  930. mtspr PMC7,r9
  931. lwz r9,28(r10)
  932. mtspr PMC8,r9
  933. lwz r9,32(r10)
  934. mtspr MMCR0,r9
  935. lwz r9,36(r10)
  936. mtspr MMCR1,r9
  937. lwz r9,40(r10)
  938. mtspr MMCRA,r9
  939. blr
  941. _GLOBAL(do_hash_page_ISI)
  942. li r4,0
  943. _GLOBAL(do_hash_page_DSI)
  944. rlwimi r4,r23,32-13,30,30 /* Insert MSR_PR as _PAGE_USER */
  945. ori r4,r4,1 /* add _PAGE_PRESENT */
  947. mflr r21 /* Save LR in r21 */
  949. #ifdef DO_SOFT_DISABLE
  950. /*
  951.  * We hard enable here (but first soft disable) so that the hash_page
  952.  * code can spin on the hash_table_lock with problem on a shared
  953.  * processor.
  954.  */
  955. li r0,0
  956. stb r0,PACAPROCENABLED(r20) /* Soft Disabled */
  958. mfmsr r0
  959. ori r0,r0,MSR_EE+MSR_RI
  960. mtmsrd r0 /* Hard Enable, RI on */
  961. #endif
  963. /*
  964.  * r3 contains the faulting address
  965.  * r4 contains the required access permissions
  966.  * r5 contains the trap number
  967.  *
  968.  * at return r3 = 0 for success
  969.  */
  971. bl .hash_page /* build HPTE if possible */
  973. #ifdef DO_SOFT_DISABLE
  974. /*
  975.  * Now go back to hard disabled.
  976.  */
  977. mfmsr r0
  978. li r4,0
  979. ori r4,r4,MSR_EE+MSR_RI
  980. andc r0,r0,r4
  981. mtmsrd r0 /* Hard Disable, RI off */
  983. ld r0,SOFTE(r1)
  984. cmpdi 0,r0,0 /* See if we will soft enable in */
  985. /* save_remaining_regs */
  986. beq 5f
  987. CHECKANYINT(r4,r5)
  988. bne- HardwareInterrupt_entry /* Convert this DSI into an External */
  989. /* to process interrupts which occurred */
  990. /* during hash_page */
  991. 5:
  992. stb r0,PACAPROCENABLED(r20) /* Restore soft enable/disable status */
  993. #endif
  994. or. r3,r3,r3 /* Check return code */
  995. beq     fast_exception_return   /* Return from exception on success */
  997. mtlr    r21                     /* restore LR */
  998. blr                             /* Return to DSI or ISI on failure */
  1000. /*
  1001.  * r20 points to the PACA, r21 to the exception frame,
  1002.  * r23 contains the saved CR.
  1003.  * r20 - r23, SRR0 and SRR1 are saved in the exception frame.
  1004.  * We assume we aren't going to take any exceptions during this procedure.
  1005.  */
  1006. _GLOBAL(do_stab_bolted)
  1007. stw r23,EX_CCR(r21) /* save CR in exc. frame */
  1009. mfspr   r22,DSISR
  1010. andis.  r22,r22,0x0020
  1011. bne+    2f
  1012. ld r22,8(r21) /* get SRR1 */
  1013. andi. r22,r22,MSR_PR /* check if from user */
  1014. bne+ stab_bolted_user_return  /* from user, send the error on up */
  1015. li r3,0
  1016. #ifdef CONFIG_XMON
  1017. bl .xmon
  1018. #endif
  1019. 1: b 1b
  1020. 2:
  1021. /* (((ea >> 28) & 0x1fff) << 15) | (ea >> 60) */
  1022. mfspr r21,DAR
  1023. rldicl  r20,r21,36,32   /* Permits a full 32b of ESID */
  1024. rldicr  r20,r20,15,48
  1025. rldicl  r21,r21,4,60
  1026. or      r20,r20,r21
  1028. li      r21,9           /* VSID_RANDOMIZER */
  1029. sldi    r21,r21,32
  1030. oris    r21,r21,58231
  1031. ori     r21,r21,39831
  1033. mulld   r20,r20,r21
  1034. clrldi  r20,r20,28      /* r20 = vsid */
  1036. mfsprg  r21,3
  1037. ld      r21,PACASTABVIRT(r21)
  1039. /* Hash to the primary group */
  1040. mfspr r22,DAR
  1041. rldicl  r22,r22,36,59
  1042. rldicr  r22,r22,7,56
  1043. or      r21,r21,r22     /* r21 = first ste of the group */
  1045. /* Search the primary group for a free entry */
  1046. li      r22,0
  1047. 1:
  1048. ld      r23,0(r21)      /* Test valid bit of the current ste   */
  1049. rldicl  r23,r23,57,63
  1050. cmpwi   r23,0
  1051. bne     2f
  1052. ld      r23,8(r21)      /* Get the current vsid part of the ste */
  1053. rldimi  r23,r20,12,0    /* Insert the new vsid value            */
  1054. std     r23,8(r21)      /* Put new entry back into the stab     */
  1055. eieio                  /* Order vsid update                    */
  1056. ld      r23,0(r21)      /* Get the esid part of the ste         */
  1057. mfspr r20,DAR        /* Get the new esid                     */
  1058. rldicl  r20,r20,36,28  /* Permits a full 36b of ESID           */
  1059. rldimi  r23,r20,28,0    /* Insert the new esid value            */
  1060. ori     r23,r23,144      /* Turn on valid and kp                 */
  1061. std     r23,0(r21)      /* Put new entry back into the stab     */
  1062. sync                   /* Order the update                     */
  1063. b       3f
  1064. 2:
  1065. addi    r22,r22,1
  1066. addi    r21,r21,16
  1067. cmpldi  r22,7
  1068. ble     1b
  1070. /* Stick for only searching the primary group for now.          */
  1071. /* At least for now, we use a very simple random castout scheme */
  1072. /* Use the TB as a random number ;  OR in 1 to avoid entry 0    */
  1073. mftb    r22
  1074. andi.   r22,r22,7
  1075. ori r22,r22,1
  1076. sldi r22,r22,4
  1078. /* r21 currently points to and ste one past the group of interest */
  1079. /* make it point to the randomly selected entry                   */
  1080. subi r21,r21,128
  1081. or  r21,r21,r22      /* r21 is the entry to invalidate        */
  1083. isync                    /* mark the entry invalid                */
  1084. ld      r23,0(r21)
  1085. li      r22,-129
  1086. and     r23,r23,r22
  1087. std     r23,0(r21)
  1088. sync
  1090. ld      r23,8(r21)
  1091. rldimi  r23,r20,12,0
  1092. std     r23,8(r21)
  1093. eieio
  1095. ld      r23,0(r21)      /* Get the esid part of the ste         */
  1096. mr      r22,r23
  1097. mfspr r20,DAR         /* Get the new esid                     */
  1098. rldicl  r20,r20,36,28   /* Permits a full 32b of ESID           */
  1099. rldimi  r23,r20,28,0    /* Insert the new esid value            */
  1100. ori     r23,r23,144     /* Turn on valid and kp                 */
  1101. std     r23,0(r21)      /* Put new entry back into the stab     */
  1103. rldicl  r22,r22,36,28
  1104. rldicr  r22,r22,28,35
  1105. slbie   r22
  1106. sync
  1108. 3:
  1109. /* All done -- return from exception. */
  1110. mfsprg  r20,3                   /* Load the PACA pointer  */
  1111. ld      r21,PACAEXCSP(r20)      /* Get the exception frame pointer */
  1112. addi    r21,r21,EXC_FRAME_SIZE
  1113. lwz r23,EX_CCR(r21) /* get saved CR */
  1114. /* note that this is almost identical to maskable_exception_exit */
  1115. mtcr    r23                     /* restore CR */
  1116. ld r22,EX_SRR0(r21) /* Get SRR0 from exc. frame */
  1117. ld r23,EX_SRR1(r21) /* Get SRR1 from exc. frame */
  1118. mtspr SRR0,r22
  1119. mtspr   SRR1,r23
  1120. ld r22,EX_R22(r21) /* restore r22 and r23 */
  1121. ld r23,EX_R23(r21)
  1122. mfspr r20,SPRG2
  1123. mfspr r21,SPRG1
  1124. rfid
  1125. _TRACEBACK(do_stab_bolted)
  1127. /*
  1128.  * r20 points to the PACA, r21 to the exception frame,
  1129.  * r23 contains the saved CR.
  1130.  * r20 - r23, SRR0 and SRR1 are saved in the exception frame.
  1131.  * We assume we aren't going to take any exceptions during this procedure.
  1132.  */
  1133. _GLOBAL(do_slb_bolted)
  1134. stw     r23,EX_CCR(r21) /* save CR in exc. frame */
  1136. /* (((ea >> 28) & 0x1fff) << 15) | (ea >> 60) */
  1137. mfspr r21,DAR
  1138. rldicl  r20,r21,36,32   /* Permits a full 32b of ESID */
  1139. rldicr  r20,r20,15,48
  1140. rldicl  r21,r21,4,60
  1141. or      r20,r20,r21
  1143. li      r21,9           /* VSID_RANDOMIZER */
  1144. sldi    r21,r21,32
  1145. oris    r21,r21,58231
  1146. ori     r21,r21,39831
  1148. mulld   r20,r20,r21
  1149. clrldi  r20,r20,28      /* r20 = vsid */
  1151. /* Search the SLB for a free entry */
  1152. li      r22,1
  1153. 1:
  1154. slbmfee r23,r22
  1155. rldicl  r23,r23,37,63
  1156. cmpwi   r23,0
  1157. beq     3f              /* Found an invalid entry              */
  1159. addi r22,r22,1
  1160. cmpldi r22,64
  1161. blt 1b
  1163. /* No free entry - just take the next entry, round-robin */
  1164. /* XXX we should get the number of SLB entries from the naca */
  1165. SLB_NUM_ENTRIES = 64
  1166. mfspr r21,SPRG3
  1167. ld r22,PACASTABRR(r21)
  1168. addi r23,r22,1
  1169. cmpdi r23,SLB_NUM_ENTRIES
  1170. blt 2f
  1171. li r23,1
  1172. 2: std r23,PACASTABRR(r21)
  1174. /* r20 = vsid, r22 = entry */
  1175. 3:
  1176. /* Put together the vsid portion of the entry. */
  1177. li      r21,0
  1178. rldimi  r21,r20,12,0
  1179. ori     r20,r21,1024
  1180. #ifndef CONFIG_PPC_ISERIES
  1181. ori r20,r20,256    /* map kernel region with large ptes */
  1182. #endif
  1184. /* Invalidate the old entry */
  1185. slbmfee r21,r22
  1186. lis r23,-2049
  1187. ori r23,r23,65535
  1188. and r21,r21,r23
  1189. slbie r21
  1191. /* Put together the esid portion of the entry. */
  1192. mfspr r21,DAR        /* Get the new esid                     */
  1193. rldicl  r21,r21,36,28  /* Permits a full 36b of ESID           */
  1194. li      r23,0
  1195. rldimi  r23,r21,28,0   /* Insert esid  */
  1196. oris    r21,r23,2048   /* valid bit    */
  1197. rldimi  r21,r22,0,52   /* Insert entry */
  1199. isync
  1200. slbmte  r20,r21
  1201. isync
  1203. /* All done -- return from exception. */
  1204. mfsprg  r20,3                   /* Load the PACA pointer  */
  1205. ld      r21,PACAEXCSP(r20)      /* Get the exception frame pointer */
  1206. addi    r21,r21,EXC_FRAME_SIZE
  1207. lwz r23,EX_CCR(r21) /* get saved CR */
  1208. /* note that this is almost identical to maskable_exception_exit */
  1209. mtcr    r23                     /* restore CR */
  1210. ld r22,EX_SRR0(r21) /* Get SRR0 from exc. frame */
  1211. ld r23,EX_SRR1(r21) /* Get SRR1 from exc. frame */
  1212. mtspr SRR0,r22
  1213. mtspr   SRR1,r23
  1214. ld r22,EX_R22(r21) /* restore r22 and r23 */
  1215. ld r23,EX_R23(r21)
  1216. mfspr r20,SPRG2
  1217. mfspr r21,SPRG1
  1218. rfid
  1219. _TRACEBACK(do_slb_bolted)
  1221. _GLOBAL(do_stab_SI)
  1222. mflr r21 /* Save LR in r21 */
  1224. /*
  1225.  * r3 contains the faulting address
  1226.  * r4 contains the required access permissions
  1227.  *
  1228.  * at return r3 = 0 for success
  1229.  */
  1231. bl .ste_allocate /* build STE if possible */
  1232. or. r3,r3,r3 /* Check return code */
  1233. beq     fast_exception_return   /* Return from exception on success */
  1234. mtlr    r21                     /* restore LR */
  1235. blr                             /* Return to DSI or ISI on failure */
  1237. /*
  1238.  * This code finishes saving the registers to the exception frame.
  1239.  * Address translation is already on.
  1240.  */
  1241. _GLOBAL(save_remaining_regs)
  1242. /*
  1243.  * Save the rest of the registers into the pt_regs structure
  1244.  */
  1245. std     r22,_NIP(r1)
  1246. std     r23,_MSR(r1)
  1247. std     r6,TRAP(r1)
  1248. ld      r6,GPR6(r1)
  1249. SAVE_2GPRS(14, r1)
  1250. SAVE_4GPRS(16, r1)
  1251. SAVE_8GPRS(24, r1)
  1253. /*
  1254.  * Clear the RESULT field
  1255.  */
  1256. li r22,0
  1257. std r22,RESULT(r1)
  1259. /*
  1260.  * Test if from user state; result will be tested later
  1261.  */
  1262. andi. r23,r23,MSR_PR /* Set CR for later branch */
  1264. /*
  1265.  * Indicate that r1 contains the kernel stack and
  1266.  * get the Kernel TOC and CURRENT pointers from the paca
  1267.  */
  1268. mfspr r23,SPRG3 /* Get PACA */
  1269. std r22,PACAKSAVE(r23) /* r1 is now kernel sp */
  1270. ld r2,PACATOC(r23) /* Get Kernel TOC pointer */
  1272. /*
  1273.  * If from user state, update THREAD.regs
  1274.  */
  1275. beq 2f /* Modify THREAD.regs if from user */
  1276. addi r24,r1,STACK_FRAME_OVERHEAD
  1277. std r24,THREAD+PT_REGS(r13)
  1278. 2:
  1279. SET_REG_TO_CONST(r22, MSR_KERNEL)
  1281. #ifdef DO_SOFT_DISABLE
  1282. stb r20,PACAPROCENABLED(r23) /* possibly soft enable */
  1283. ori r22,r22,MSR_EE /* always hard enable */
  1284. #else
  1285. rldimi r22,r20,15,48 /* Insert desired EE value */
  1286. #endif
  1288. mtmsrd  r22
  1289. blr
  1291. /*
  1292.  * Kernel profiling with soft disable on iSeries
  1293.  */
  1294. do_profile:
  1295. ld r22,8(r21) /* Get SRR1 */
  1296. andi. r22,r22,MSR_PR /* Test if in kernel */
  1297. bnelr /* return if not in kernel */
  1298. ld r22,0(r21) /* Get SRR0 */
  1299. ld r25,PACAPROFSTEXT(r20) /* _stext */
  1300. subf r22,r25,r22 /* offset into kernel */
  1301. lwz r25,PACAPROFSHIFT(r20)
  1302. srd r22,r22,r25
  1303. lwz r25,PACAPROFLEN(r20) /* length of profile table (-1) */
  1304. cmp 0,r22,r25 /* off end? */
  1305. ble 1f
  1306. mr r22,r25 /* force into last entry */
  1307. 1: sldi r22,r22,2 /* convert to offset into buffer */
  1308. ld r25,PACAPROFBUFFER(r20) /* profile buffer */
  1309. add r25,r25,r22
  1310. 2: lwarx r22,0,r25 /* atomically increment */
  1311. addi r22,r22,1
  1312. stwcx. r22,0,r25
  1313. bne- 2b
  1314. blr
  1317. /*
  1318.  * On pSeries, secondary processors spin in the following code.
  1319.  * At entry, r3 = this processor's number (in Linux terms, not hardware).
  1320.  */
  1321. _GLOBAL(pseries_secondary_smp_init)
  1323. /* turn on 64-bit mode */
  1324. bl .enable_64b_mode
  1325. isync
  1327. /* Set up a paca value for this processor. */
  1328. LOADADDR(r24, paca)   /* Get base vaddr of Paca array  */
  1329. mulli r25,r3,PACA_SIZE  /* Calculate vaddr of right Paca */
  1330. add r25,r25,r24              /* for this processor.           */
  1332. mtspr SPRG3,r25  /* Save vaddr of Paca in SPRG3   */
  1333. mr r24,r3  /* __secondary_start needs cpu#  */
  1335. 1:
  1336. HMT_LOW
  1337. lbz r23,PACAPROCSTART(r25)  /* Test if this processor should */
  1338.  /* start.                        */
  1339. sync
  1341.         /* Create a temp kernel stack for use before relocation is on.    */
  1342.         mr      r1,r25
  1343.         addi    r1,r1,PACAGUARD
  1344.         addi    r1,r1,0x1000
  1345.         subi    r1,r1,STACK_FRAME_OVERHEAD
  1347. cmpi 0,r23,0
  1348. #ifdef CONFIG_SMP
  1349. #ifdef SECONDARY_PROCESSORS
  1350. bne .__secondary_start
  1351. #endif
  1352. #endif
  1353. b  1b  /* Loop until told to go         */
  1355. _GLOBAL(__start_initialization_iSeries)
  1357. LOADADDR(r1,init_task_union)
  1358. addi r1,r1,TASK_UNION_SIZE
  1359. li r0,0
  1360. stdu r0,-STACK_FRAME_OVERHEAD(r1)
  1362. LOADADDR(r2,__toc_start)
  1363. addi r2,r2,0x4000
  1364. addi r2,r2,0x4000
  1366. LOADADDR(r9,naca)
  1367. SET_REG_TO_CONST(r4, KERNELBASE)
  1368. addi r4,r4,0x4000
  1369. std r4,0(r9) /* set the naca pointer */
  1371. /* Get the pointer to the segment table */
  1372. ld r6,PACA(r4)             /* Get the base paca pointer       */
  1373. ld r4,PACASTABVIRT(r6)
  1375. bl      .iSeries_fixup_klimit
  1377. b .start_here_common
  1379. _GLOBAL(__start_initialization_pSeries)
  1380. mr r31,r3 /* save parameters */
  1381. mr r30,r4
  1382. mr r29,r5
  1383. mr r28,r6
  1384. mr r27,r7
  1385. mr r26,r8                  /* YABOOT: debug_print() routine */
  1386. mr r25,r9                  /* YABOOT: debug_delay() routine */
  1387. mr r24,r10                 /* YABOOT: debug_prom() routine */
  1389. bl .enable_64b_mode
  1391. /* put a relocation offset into r3 */
  1392. bl .reloc_offset
  1394. LOADADDR(r2,__toc_start)
  1395. addi    r2,r2,0x4000
  1396. addi    r2,r2,0x4000
  1398. /* Relocate the TOC from a virt addr to a real addr */
  1399. sub r2,r2,r3
  1401. /* setup the naca pointer which is needed by prom_init            */
  1402. LOADADDR(r9,naca)
  1403. sub r9,r9,r3                /* addr of the variable naca      */
  1405. SET_REG_TO_CONST(r4, KERNELBASE)
  1406. sub r4,r4,r3
  1407. addi r4,r4,0x4000
  1408. std r4,0(r9) /* set the value of naca          */
  1410. /* DRENG / PPPBBB Fix the following comment!!! -Peter */
  1411. /* The following copies the first 0x100 bytes of code from the    */
  1412. /* load addr to physical addr 0x0.  This code causes secondary    */
  1413. /* processors to spin until a flag in the PACA is set.  This      */
  1414. /* is done at this time rather than with the entire kernel        */
  1415. /* relocation which is done below because we need to cause the    */
  1416. /* processors to spin on code that is not going to move while OF  */
  1417. /* is still alive. Although the spin code is not actually run on  */
  1418. /* a uniprocessor, we always do this copy.                        */
  1419. SET_REG_TO_CONST(r4, KERNELBASE)/* Src addr                       */
  1420. sub r4,r4,r3   /* current address of __start     */
  1421.                 /*        the source addr         */
  1422. li r3,0                    /* Dest addr                      */
  1423. li r5,0x100  /* # bytes of memory to copy      */
  1424. li r6,0 /* Destination offset             */
  1425. bl .copy_and_flush /* copy the first 0x100 bytes     */
  1427. mr r3,r31
  1428. mr r4,r30
  1429. mr r5,r29
  1430. mr r6,r28
  1431. mr r7,r27
  1432. mr r8,r26
  1433. mr r9,r25
  1434. mr r10,r24
  1436. bl .prom_init
  1438. li r24,0 /* cpu # */
  1440. /*
  1441.  * At this point, r3 contains the physical address we are running at,
  1442.  * returned by prom_init()
  1443.  */
  1444. _STATIC(__after_prom_start)
  1446. /*
  1447.  * We need to run with __start at physical address 0.
  1448.  * This will leave some code in the first 256B of
  1449.  * real memory, which are reserved for software use.
  1450.  * The remainder of the first page is loaded with the fixed
  1451.  * interrupt vectors.  The next two pages are filled with
  1452.  * unknown exception placeholders.
  1453.  *
  1454.  * Note: This process overwrites the OF exception vectors.
  1455.  *       r26 == relocation offset
  1456.  *       r27 == KERNELBASE
  1457.  */
  1458. bl .reloc_offset
  1459. mr r26,r3
  1460. SET_REG_TO_CONST(r27,KERNELBASE)
  1462. li r3,0                    /* target addr */
  1464. sub r4,r27,r26  /* source addr */
  1465. /* current address of _start   */
  1466.                 /*   i.e. where we are running */
  1467.                 /*        the source addr      */
  1469. LOADADDR(r5,copy_to_here) /* # bytes of memory to copy      */
  1470. sub r5,r5,r27
  1472. li r6,0x100 /* Start offset, the first 0x100  */
  1473. /* bytes were copied earlier.   */
  1475. bl .copy_and_flush /* copy the first n bytes         */
  1476. /* this includes the code being   */
  1477. /* executed here.                 */
  1479.         LOADADDR(r0, 4f)                /* Jump to the copy of this code  */
  1480. mtctr r0 /* that we just made/relocated    */
  1481. bctr
  1483. 4: LOADADDR(r5,klimit)
  1484. sub r5,r5,r26
  1485. ld r5,0(r5) /* get the value of klimit */
  1486. sub r5,r5,r27
  1487. bl .copy_and_flush /* copy the rest */
  1488. b .start_here_pSeries
  1490. /*
  1491.  * Copy routine used to copy the kernel to start at physical address 0
  1492.  * and flush and invalidate the caches as needed.
  1493.  * r3 = dest addr, r4 = source addr, r5 = copy limit, r6 = start offset
  1494.  * on exit, r3, r4, r5 are unchanged, r6 is updated to be >= r5.
  1495.  *
  1496.  * Note: this routine *only* clobbers r0, r6 and lr
  1497.  */
  1498. _STATIC(copy_and_flush)
  1499. addi r5,r5,-8
  1500. addi r6,r6,-8
  1501. 4: li r0,16                   /* Use the least common      */
  1502. /* denominator cache line    */
  1503.                 /* size.  This results in    */
  1504. /* extra cache line flushes  */
  1505. /* but operation is correct. */
  1506. /* Can't get cache line size */
  1507. /* from NACA as it is being  */
  1508. /* moved too.                */
  1510. mtctr r0 /* put # words/line in ctr */
  1511. 3: addi r6,r6,8 /* copy a cache line */
  1512. ldx r0,r6,r4
  1513. stdx r0,r6,r3
  1514. bdnz 3b
  1515. dcbst r6,r3 /* write it to memory */
  1516. sync
  1517. icbi r6,r3 /* flush the icache line */
  1518. cmpld 0,r6,r5
  1519. blt 4b
  1520. sync
  1521. addi r5,r5,8
  1522. addi r6,r6,8
  1523. blr
  1525. .align 8
  1526. copy_to_here:
  1528. /*
  1529.  * Disable FP for the task which had the FPU previously,
  1530.  * and save its floating-point registers in its thread_struct.
  1531.  * Enables the FPU for use in the kernel on return.
  1532.  * On SMP we know the fpu is free, since we give it up every
  1533.  * switch.  -- Cort
  1534.  */
  1535. _STATIC(load_up_fpu)
  1536. mfmsr r5                      /* grab the current MSR */
  1537. ori r5,r5,MSR_FP
  1538. mtmsrd  r5 /* enable use of fpu now */
  1539. isync
  1540. /*
  1541.  * For SMP, we don't do lazy FPU switching because it just gets too
  1542.  * horrendously complex, especially when a task switches from one CPU
  1543.  * to another.  Instead we call giveup_fpu in switch_to.
  1544.  *
  1545.  */
  1546. #ifndef CONFIG_SMP
  1547. LOADBASE(r3,last_task_used_math)
  1548. ld r4,last_task_used_math@l(r3)
  1549. cmpi 0,r4,0
  1550. beq 1f
  1551. addi r4,r4,THREAD        /* want THREAD of last_task_used_math */
  1552. SAVE_32FPRS(0, r4)
  1553. mffs fr0
  1554. stfd fr0,THREAD_FPSCR-4(r4)
  1555. ld r5,PT_REGS(r4)
  1556. ld r4,_MSR-STACK_FRAME_OVERHEAD(r5)
  1557. li r20,MSR_FP|MSR_FE0|MSR_FE1
  1558. andc r4,r4,r20 /* disable FP for previous task */
  1559. std r4,_MSR-STACK_FRAME_OVERHEAD(r5)
  1560. 1:
  1561. #endif /* CONFIG_SMP */
  1562. /* enable use of FP after return */
  1563. ori r23,r23,MSR_FP|MSR_FE0|MSR_FE1
  1564. addi r5,r13,THREAD /* Get THREAD */
  1565. lfd fr0,THREAD_FPSCR-4(r5)
  1566. mtfsf 0xff,fr0
  1567. REST_32FPRS(0, r5)
  1568. #ifndef CONFIG_SMP
  1569. subi r4,r5,THREAD /* Back to 'current' */
  1570. std r4,last_task_used_math@l(r3)
  1571. #endif /* CONFIG_SMP */
  1572. /* restore registers and return */
  1573. b fast_exception_return
  1575. /*
  1576.  * FP unavailable trap from kernel - print a message, but let
  1577.  * the task use FP in the kernel until it returns to user mode.
  1578.  */
  1579. _GLOBAL(KernelFP)
  1580. ld r3,_MSR(r1)
  1581. ori r3,r3,MSR_FP
  1582. std r3,_MSR(r1) /* enable use of FP after return */
  1583. LOADADDR(r3,86f)
  1584. mfspr r4,SPRG3 /* Get PACA */
  1585. ld r4,PACACURRENT(r4) /* current */
  1586. ld r5,_NIP(r1)
  1587. b .ret_from_except
  1588. 86: .string "floating point used in kernel (task=%p, pc=%x)n"
  1589. .align 4
  1591. /*
  1592.  * giveup_fpu(tsk)
  1593.  * Disable FP for the task given as the argument,
  1594.  * and save the floating-point registers in its thread_struct.
  1595.  * Enables the FPU for use in the kernel on return.
  1596.  */
  1597. _GLOBAL(giveup_fpu)
  1598. mfmsr r5
  1599. ori r5,r5,MSR_FP
  1600. mtmsrd r5 /* enable use of fpu now */
  1601. isync
  1602. cmpi 0,r3,0
  1603. beqlr- /* if no previous owner, done */
  1604. addi r3,r3,THREAD /* want THREAD of task */
  1605. ld r5,PT_REGS(r3)
  1606. cmpi 0,r5,0
  1607. SAVE_32FPRS(0, r3)
  1608. mffs fr0
  1609. stfd fr0,THREAD_FPSCR-4(r3)
  1610. beq 1f
  1611. ld r4,_MSR-STACK_FRAME_OVERHEAD(r5)
  1612. li r3,MSR_FP|MSR_FE0|MSR_FE1
  1613. andc r4,r4,r3 /* disable FP for previous task */
  1614. std r4,_MSR-STACK_FRAME_OVERHEAD(r5)
  1615. 1:
  1616. #ifndef CONFIG_SMP
  1617. li r5,0
  1618. LOADBASE(r4,last_task_used_math)
  1619. std r5,last_task_used_math@l(r4)
  1620. #endif /* CONFIG_SMP */
  1621. blr
  1623. #ifdef CONFIG_SMP
  1624. /*
  1625.  * This function is called after the master CPU has released the
  1626.  * secondary processors.  The execution environment is relocation off.
  1627.  * The paca for this processor has the following fields initialized at
  1628.  * this point:
  1629.  *   1. Processor number
  1630.  *   2. Segment table pointer (virtual address)
  1631.  * On entry the following are set:
  1632.  *   r1    = stack pointer.  vaddr for iSeries, raddr (temp stack) for pSeries
  1633.  *   r24   = cpu# (in Linux terms)
  1634.  *   r25   = paca virtual address
  1635.  *   SPRG3 = paca virtual address
  1636.  */
  1637. _GLOBAL(__secondary_start)
  1639. HMT_MEDIUM /* Set thread priority to MEDIUM */
  1641. /* set up the TOC (virtual address) */
  1642. LOADADDR(r2,__toc_start)
  1643. addi    r2,r2,0x4000
  1644. addi    r2,r2,0x4000
  1646. std r2,PACATOC(r25)
  1647. li r6,0
  1648. std r6,PACAKSAVE(r25)
  1649. stb r6,PACAPROCENABLED(r25)
  1651. #ifndef CONFIG_PPC_ISERIES
  1652. /* Initialize the page table pointer register. */
  1653. LOADADDR(r6,_SDR1)
  1654. ld r6,0(r6) /* get the value of _SDR1 */
  1655. mtspr SDR1,r6 /* set the htab location  */
  1656. #endif
  1657. /* Initialize the first segment table (or SLB) entry                */
  1658. ld r3,PACASTABVIRT(r25)    /* get addr of segment table        */
  1659. bl .stab_initialize
  1661. /* Initialize the kernel stack.  Just a repeat for iSeries.         */
  1662. LOADADDR(r3,current_set)
  1663. sldi r28,r24,4 /* get current_set[cpu#] */
  1664. ldx r13,r3,r28
  1665. std r13,PACACURRENT(r25)
  1666. addi r1,r13,TASK_UNION_SIZE
  1667. subi r1,r1,STACK_FRAME_OVERHEAD
  1669. ld r3,PACASTABREAL(r25)    /* get raddr of segment table       */
  1670. ori r4,r3,1 /* turn on valid bit                */
  1672. #ifdef CONFIG_PPC_ISERIES
  1673. li r0,-1 /* hypervisor call */
  1674. li r3,1
  1675. sldi r3,r3,63 /* 0x8000000000000000 */
  1676. ori r3,r3,4 /* 0x8000000000000004 */
  1677. sc /* HvCall_setASR */
  1678. #else
  1679. /* set the ASR */
  1680. addi r3,0,0x4000     /* r3 = ptr to naca */
  1681. lhz    r3,PLATFORM(r3) /* r3 = platform flags */
  1682. cmpldi  r3,PLATFORM_PSERIES_LPAR
  1683. bne    98f
  1684. mfspr r3,PVR
  1685. srwi r3,r3,16
  1686. cmpwi r3,0x37         /* SStar */
  1687. bne 98f
  1688. li r3,H_SET_ASR    /* hcall = H_SET_ASR */
  1689. HSC      /* Invoking hcall */
  1690. b 99f
  1691. 98:                             /* !(rpa hypervisor) || !(sstar) */
  1692. mtasr r4         /* set the stab location         */
  1693. 99:
  1694. #endif
  1695. li r7,0
  1696. mtlr r7
  1698. /* enable MMU and jump to start_secondary */
  1699. LOADADDR(r3,.start_secondary_prolog)
  1700. SET_REG_TO_CONST(r4, MSR_KERNEL)
  1701. #ifdef DO_SOFT_DISABLE
  1702. ori r4,r4,MSR_EE
  1703. #endif
  1704. mtspr SRR0,r3
  1705. mtspr SRR1,r4
  1706. rfid
  1707. #endif /* CONFIG_SMP */
  1709. /* 
  1710.  * Running with relocation on at this point.  All we want to do is
  1711.  * zero the stack back-chain pointer before going into C code.
  1712.  */
  1713. _GLOBAL(start_secondary_prolog)
  1714. li r3,0
  1715. std r3,0(r1)                /* Zero the stack frame pointer     */
  1716. bl .start_secondary
  1718. /*
  1719.  * This subroutine clobbers r11, r12 and the LR
  1720.  */
  1721. _GLOBAL(enable_64b_mode)
  1722. mfmsr   r11                      /* grab the current MSR */
  1723. li      r12,1
  1724. rldicr  r12,r12,MSR_SF_LG,(63-MSR_SF_LG)
  1725. or      r11,r11,r12
  1726. li      r12,1
  1727. rldicr  r12,r12,MSR_ISF_LG,(63-MSR_ISF_LG)
  1728. or      r11,r11,r12
  1729. mtmsrd  r11
  1730. isync
  1731. blr
  1733. /*
  1734.  * This subroutine clobbers r11, r12 and the LR
  1735.  */
  1736. _GLOBAL(enable_32b_mode)
  1737. mfmsr   r11                      /* grab the current MSR */
  1738. li      r12,1
  1739. rldicr  r12,r12,MSR_SF_LG,(63-MSR_SF_LG)
  1740. andc r11,r11,r12
  1741. li      r12,1
  1742. rldicr  r12,r12,MSR_ISF_LG,(63-MSR_ISF_LG)
  1743. andc r11,r11,r12
  1744. mtmsrd  r11
  1745. isync
  1746. blr
  1748. /*
  1749.  * This is where the main kernel code starts.
  1750.  */
  1751. _STATIC(start_here_pSeries)
  1752. /* get a new offset, now that the kernel has moved. */
  1753. bl .reloc_offset
  1754. mr r26,r3
  1756. /* setup the naca pointer which is needed by *tab_initialize       */
  1757. LOADADDR(r6,naca)
  1758. sub r6,r6,r26                /* addr of the variable naca      */
  1759. li r27,0x4000
  1760. std r27,0(r6)    /* set the value of naca          */
  1762. #ifdef CONFIG_HMT
  1763. /* Start up the second thread on cpu 0 */
  1764. mfspr r3,PVR
  1765. srwi r3,r3,16
  1766. cmpwi r3,0x34                 /* Pulsar  */
  1767. beq 90f
  1768. cmpwi r3,0x36                 /* Icestar */
  1769. beq 90f
  1770. cmpwi r3,0x37                 /* SStar   */
  1771. beq 90f
  1772. b 91f                     /* HMT not supported */
  1773. 90: li      r3,0
  1774. bl .hmt_start_secondary
  1775. 91:
  1776. #endif
  1778. #ifdef CONFIG_SMP
  1779. /* All secondary cpus are now spinning on a common
  1780.  * spinloop, release them all now so they can start
  1781.  * to spin on their individual paca spinloops.
  1782.  * For non SMP kernels, the secondary cpus never
  1783.  * get out of the common spinloop.
  1784.  */
  1785. li r3,1
  1786. LOADADDR(r5,__secondary_hold_spinloop)
  1787. tophys(r4,r5)
  1788. std     r3,0(r4)
  1789. #endif
  1791. /* The following gets the stack and TOC set up with the regs */
  1792. /* pointing to the real addr of the kernel stack.  This is   */
  1793. /* all done to support the C function call below which sets  */
  1794. /* up the htab.  This is done because we have relocated the  */
  1795. /* kernel but are still running in real mode. */
  1797. /* real ptr to current */
  1798. LOADADDR(r3,init_task_union)
  1799. sub r3,r3,r26
  1801. /* set up a stack pointer (physical address) */
  1802. addi r1,r3,TASK_UNION_SIZE
  1803. li r0,0
  1804. stdu r0,-STACK_FRAME_OVERHEAD(r1)
  1806. /* set up the TOC (physical address) */
  1807. LOADADDR(r2,__toc_start)
  1808. addi    r2,r2,0x4000
  1809. addi    r2,r2,0x4000
  1810. sub r2,r2,r26
  1812. /* Get the pointer to the segment table which is used by           */
  1813. /* stab_initialize                                                 */
  1814. li r27,0x4000
  1815. ld r6,PACA(r27)            /* Get the base paca pointer       */
  1816. sub r6,r6,r26 /* convert to physical addr         */
  1817. mtspr SPRG3,r6 /* PPPBBB: Temp... -Peter */
  1818. ld r3,PACASTABREAL(r6)
  1819. ori r4,r3,1 /* turn on valid bit                */
  1821. /* set the ASR */
  1822. addi r3,0,0x4000     /* r3 = ptr to naca */
  1823. lhz    r3,PLATFORM(r3) /* r3 = platform flags */
  1824. cmpldi  r3,PLATFORM_PSERIES_LPAR
  1825. bne    98f
  1826. mfspr r3,PVR
  1827. srwi r3,r3,16
  1828. cmpwi r3,0x37         /* SStar */
  1829. bne 98f
  1830. li r3,H_SET_ASR    /* hcall = H_SET_ASR */
  1831. HSC              /* Invoking hcall */
  1832. b      99f
  1833. 98:                 /* This is not a hypervisor machine */
  1834. mtasr r4 /* set the stab location            */
  1835. 99:
  1836. mfspr r6,SPRG3
  1837. ld r3,PACASTABREAL(r6)     /* restore r3 for stab_initialize */
  1839. /* Initialize an initial memory mapping and turn on relocation.   */
  1840. bl .stab_initialize
  1841. bl .htab_initialize
  1843. addi  r3,0,0x4000     /* r3 = ptr to naca */
  1844. lhz   r3,PLATFORM(r3) /* r3 = platform flags */
  1845. cmpldi r3,PLATFORM_PSERIES
  1846. bne    98f
  1847. LOADADDR(r6,_SDR1) /* Only if NOT LPAR */
  1848. sub r6,r6,r26
  1849. ld r6,0(r6) /* get the value of _SDR1 */
  1850. mtspr SDR1,r6 /* set the htab location  */
  1851. 98: 
  1852. LOADADDR(r3,.start_here_common)
  1853. SET_REG_TO_CONST(r4, MSR_KERNEL)
  1854. mtspr SRR0,r3
  1855. mtspr SRR1,r4
  1856. rfid
  1858. /* This is where all platforms converge execution */
  1859. _STATIC(start_here_common)
  1860. /* relocation is on at this point */
  1862. /* Clear out the BSS */
  1863. LOADADDR(r11,_end)
  1865. LOADADDR(r8,__bss_start)
  1867. sub r11,r11,r8        /* bss size                        */
  1868. addi r11,r11,7         /* round up to an even double word */
  1869. rldicl. r11,r11,61,3      /* shift right by 3                */
  1870. beq 4f
  1871. addi r8,r8,-8
  1872. li r0,0
  1873. mtctr r11   /* zero this many doublewords      */
  1874. 3: stdu r0,8(r8)
  1875. bdnz 3b
  1876. 4:
  1878. /* The following code sets up the SP and TOC now that we are */
  1879. /* running with translation enabled. */
  1881. /* ptr to current */
  1882. LOADADDR(r3,init_task_union)
  1884. /* set up the stack */
  1885. addi r1,r3,TASK_UNION_SIZE
  1886. li r0,0
  1887. stdu r0,-STACK_FRAME_OVERHEAD(r1)
  1889. /* set up the TOC */
  1890. LOADADDR(r2,__toc_start)
  1891. addi    r2,r2,0x4000
  1892. addi    r2,r2,0x4000
  1894. /* setup the naca pointer                                         */
  1895. LOADADDR(r9,naca)
  1897. SET_REG_TO_CONST(r8, KERNELBASE)
  1898. addi r8,r8,0x4000
  1899. std r8,0(r9) /* set the value of the naca ptr  */
  1901. LOADADDR(r4,naca)               /* Get naca ptr address           */
  1902. ld r4,0(r4)                /* Get the location of the naca   */
  1903. ld r4,PACA(r4)             /* Get the base paca pointer      */
  1904. mtspr SPRG3,r4
  1906. /* ptr to current */
  1907. LOADADDR(r13,init_task_union)
  1908. std r13,PACACURRENT(r4)
  1910. std r2,PACATOC(r4)
  1911. li r5,0
  1912. std r0,PACAKSAVE(r4)
  1914. /* ptr to hardware interrupt stack for processor 0                */
  1915. LOADADDR(r3, hardware_int_paca0)
  1916. li      r5,0x1000
  1917. sldi    r5,r5,3
  1918. subi    r5,r5,STACK_FRAME_OVERHEAD
  1920. add     r3,r3,r5
  1921. std     r3,PACAHRDWINTSTACK(r4)
  1923. li      r3,0
  1924. stb     r3,PACAHRDWINTCOUNT(r4)
  1926. /* Restore the parms passed in from the bootloader. */
  1927. mr r3,r31
  1928. mr r4,r30
  1929. mr r5,r29
  1930. mr r6,r28
  1931. mr r7,r27
  1933. bl .setup_system
  1935. /* Load up the kernel context */
  1936. 5:
  1937. #ifdef DO_SOFT_DISABLE
  1938. mfspr r4,SPRG3
  1939. li r5,0
  1940. stb r5,PACAPROCENABLED(r4) /* Soft Disabled */
  1941. mfmsr r5
  1942. ori r5,r5,MSR_EE /* Hard Enabled */
  1943. mtmsrd r5
  1944. #endif
  1946. bl .start_kernel
  1948. _GLOBAL(hmt_init)
  1949. #ifdef CONFIG_HMT
  1950. LOADADDR(r5, hmt_thread_data)
  1951. mfspr r7,PVR
  1952. srwi r7,r7,16
  1953. cmpwi r7,0x34                 /* Pulsar  */
  1954. beq 90f
  1955. cmpwi r7,0x36                 /* Icestar */
  1956. beq 91f
  1957. cmpwi r7,0x37                 /* SStar   */
  1958. beq 91f
  1959. b 101f
  1960. 90: mfspr r6,PIR
  1961. andi. r6,r6,0x1f
  1962. b 92f
  1963. 91: mfspr r6,PIR
  1964. andi. r6,r6,0x3ff
  1965. 92: sldi r4,r24,3
  1966. stwx r6,r5,r4
  1967. bl .hmt_start_secondary
  1968. b 101f
  1970. __hmt_secondary_hold:
  1971. LOADADDR(r5, hmt_thread_data)
  1972. clrldi r5,r5,4
  1973. li r7,0
  1974. mfspr r6,PIR
  1975. mfspr r8,PVR
  1976. srwi r8,r8,16
  1977. cmpwi r8,0x34
  1978. bne 93f
  1979. andi. r6,r6,0x1f
  1980. b 103f
  1981. 93: andi. r6,r6,0x3f
  1983. 103: lwzx r8,r5,r7
  1984. cmpw r8,r6
  1985. beq 104f
  1986. addi r7,r7,8
  1987. b 103b
  1989. 104: addi r7,r7,4
  1990. lwzx r9,r5,r7
  1991. mr      r24,r9
  1992. 101:
  1993. #endif
  1994. mr      r3,r24
  1995. b       .pseries_secondary_smp_init
  1997. #ifdef CONFIG_HMT
  1998. _GLOBAL(hmt_start_secondary)
  1999. LOADADDR(r4,__hmt_secondary_hold)
  2000. clrldi r4,r4,4
  2001. mtspr   NIADORM, r4
  2002. mfspr   r4, MSRDORM
  2003. li      r5, -65
  2004. and     r4, r4, r5
  2005. mtspr   MSRDORM, r4
  2006. lis r4,0xffef
  2007. ori r4,r4,0x7403
  2008. mtspr TSC, r4
  2009. li r4,0x1f4
  2010. mtspr TST, r4
  2011. mfspr   r4, HID0
  2012. ori     r4, r4, 0x1
  2013. mtspr   HID0, r4
  2014. mfspr   r4, CTRLF
  2015. oris    r4, r4, 0x40
  2016. mtspr   CTRLT, r4
  2017. blr
  2018. #endif
  2020. /*
  2021.  * We put a few things here that have to be page-aligned.
  2022.  * This stuff goes at the beginning of the data segment,
  2023.  * which is page-aligned.
  2024.  */
  2025. .data
  2026. .align  12
  2027. .globl sdata
  2028. sdata:
  2029. .globl empty_zero_page
  2030. empty_zero_page:
  2031. .space 4096
  2033. .globl swapper_pg_dir
  2034. swapper_pg_dir:
  2035. .space 4096
  2037. .globl ioremap_dir
  2038. ioremap_dir:
  2039. .space 4096
  2041. .globl bolted_dir
  2042. bolted_dir:
  2043. .space 4096
  2045. .globl  hardware_int_paca0
  2046. hardware_int_paca0:
  2047. .space 8*4096
  2049. /* 1 page segment table per cpu (max 48, cpu0 allocated at 0x5000) */
  2050. .globl stab_array
  2051. stab_array:
  2052.         .space 4096 * (48 - 1)