head.S
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:17k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /*
  2.  * Here is where the ball gets rolling as far as the kernel is concerned.
  3.  * When control is transferred to _start, the bootload has already
  4.  * loaded us to the correct address.  All that's left to do here is
  5.  * to set up the kernel's global pointer and jump to the kernel
  6.  * entry point.
  7.  *
  8.  * Copyright (C) 1998-2001 Hewlett-Packard Co
  9.  * David Mosberger-Tang <davidm@hpl.hp.com>
  10.  * Stephane Eranian <eranian@hpl.hp.com>
  11.  * Copyright (C) 1999 VA Linux Systems
  12.  * Copyright (C) 1999 Walt Drummond <drummond@valinux.com>
  13.  * Copyright (C) 1999 Intel Corp.
  14.  * Copyright (C) 1999 Asit Mallick <Asit.K.Mallick@intel.com>
  15.  * Copyright (C) 1999 Don Dugger <Don.Dugger@intel.com>
  16.  */
  17. #include <linux/config.h>
  18. #include <asm/asmmacro.h>
  19. #include <asm/fpu.h>
  20. #include <asm/kregs.h>
  21. #include <asm/mmu_context.h>
  22. #include <asm/offsets.h>
  23. #include <asm/pal.h>
  24. #include <asm/pgtable.h>
  25. #include <asm/processor.h>
  26. #include <asm/ptrace.h>
  27. #include <asm/system.h>
  28. .section __special_page_section,"ax"
  29. .global empty_zero_page
  30. empty_zero_page:
  31. .skip PAGE_SIZE
  32. .global swapper_pg_dir
  33. swapper_pg_dir:
  34. .skip PAGE_SIZE
  35. .rodata
  36. halt_msg:
  37. stringz "Halting kerneln"
  38. .text
  39. .global start_ap
  40. /*
  41.  * Start the kernel.  When the bootloader passes control to _start(), r28
  42.  * points to the address of the boot parameter area.  Execution reaches
  43.  * here in physical mode.
  44.  */
  45. GLOBAL_ENTRY(_start)
  46. start_ap:
  47. .prologue
  48. .save rp, r4 // terminate unwind chain with a NULL rp
  49. mov r4=r0
  50. .body
  51. /*
  52.  * Initialize the region register for region 7 and install a translation register
  53.  * that maps the kernel's text and data:
  54.  */
  55. rsm psr.i | psr.ic
  56. mov r16=((ia64_rid(IA64_REGION_ID_KERNEL, PAGE_OFFSET) << 8) | (IA64_GRANULE_SHIFT << 2))
  57. ;;
  58. srlz.i
  59. mov r18=KERNEL_TR_PAGE_SHIFT<<2
  60. movl r17=KERNEL_START
  61. ;;
  62. mov rr[r17]=r16
  63. mov cr.itir=r18
  64. mov cr.ifa=r17
  65. mov r16=IA64_TR_KERNEL
  66. movl r18=((1 << KERNEL_TR_PAGE_SHIFT) | PAGE_KERNEL)
  67. ;;
  68. srlz.i
  69. ;;
  70. itr.i itr[r16]=r18
  71. ;;
  72. itr.d dtr[r16]=r18
  73. ;;
  74. srlz.i
  75. /*
  76.  * Switch into virtual mode:
  77.  */
  78. movl r16=(IA64_PSR_IT|IA64_PSR_IC|IA64_PSR_DT|IA64_PSR_RT|IA64_PSR_DFH|IA64_PSR_BN 
  79.   |IA64_PSR_DI)
  80. ;;
  81. mov cr.ipsr=r16
  82. movl r17=1f
  83. ;;
  84. mov cr.iip=r17
  85. mov cr.ifs=r0
  86. ;;
  87. rfi
  88. ;;
  89. 1: // now we are in virtual mode
  90. // set IVT entry point---can't access I/O ports without it
  91. movl r3=ia64_ivt
  92. ;;
  93. mov cr.iva=r3
  94. movl r2=FPSR_DEFAULT
  95. ;;
  96. srlz.i
  97. movl gp=__gp
  98. mov ar.fpsr=r2
  99. ;;
  100. #ifdef CONFIG_IA64_EARLY_PRINTK
  101. mov r3=(6<<8) | (IA64_GRANULE_SHIFT<<2)
  102. movl r2=6<<61
  103. ;;
  104. mov rr[r2]=r3
  105. ;;
  106. srlz.i
  107. ;;
  108. #endif
  109. #define isAP p2 // are we an Application Processor?
  110. #define isBP p3 // are we the Bootstrap Processor?
  111. #ifdef CONFIG_SMP
  112. /*
  113.  * Find the init_task for the currently booting CPU.  At poweron, and in
  114.  * UP mode, cpucount is 0.
  115.  */
  116. movl r3=cpucount
  117.   ;;
  118. ld4 r3=[r3] // r3 <- smp_processor_id()
  119. movl r2=init_tasks
  120. ;;
  121. shladd r2=r3,3,r2
  122. ;;
  123. ld8 r2=[r2]
  124. #else
  125. mov r3=0
  126. movl r2=init_task_union
  127. ;;
  128. #endif
  129. cmp4.ne isAP,isBP=r3,r0
  130. ;; // RAW on r2
  131. extr r3=r2,0,61 // r3 == phys addr of task struct
  132. mov r16=KERNEL_TR_PAGE_NUM
  133. ;;
  134. // load the "current" pointer (r13) and ar.k6 with the current task
  135. mov r13=r2
  136. mov IA64_KR(CURRENT)=r3 // Physical address
  137. // initialize k4 to a safe value (64-128MB is mapped by TR_KERNEL)
  138. mov IA64_KR(CURRENT_STACK)=r16
  139. /*
  140.  * Reserve space at the top of the stack for "struct pt_regs".  Kernel threads
  141.  * don't store interesting values in that structure, but the space still needs
  142.  * to be there because time-critical stuff such as the context switching can
  143.  * be implemented more efficiently (for example, __switch_to()
  144.  * always sets the psr.dfh bit of the task it is switching to).
  145.  */
  146. addl r12=IA64_STK_OFFSET-IA64_PT_REGS_SIZE-16,r2
  147. addl r2=IA64_RBS_OFFSET,r2 // initialize the RSE
  148. mov ar.rsc=0 // place RSE in enforced lazy mode
  149. ;;
  150. loadrs // clear the dirty partition
  151. ;;
  152. mov ar.bspstore=r2 // establish the new RSE stack
  153. ;;
  154. mov ar.rsc=0x3 // place RSE in eager mode
  155. (isBP) dep r28=-1,r28,61,3 // make address virtual
  156. (isBP) movl r2=ia64_boot_param
  157. ;;
  158. (isBP) st8 [r2]=r28 // save the address of the boot param area passed by the bootloader
  159. #ifdef CONFIG_IA64_EARLY_PRINTK
  160. .rodata
  161. alive_msg:
  162. stringz "I'm alive and welln"
  163. .previous
  164. alloc r2=ar.pfs,0,0,2,0
  165. movl out0=alive_msg
  166. ;;
  167. br.call.sptk.many rp=early_printk
  168. 1: // force new bundle
  169. #endif /* CONFIG_IA64_EARLY_PRINTK */
  170. #ifdef CONFIG_SMP
  171. (isAP) br.call.sptk.many rp=start_secondary
  172. .ret0:
  173. (isAP) br.cond.sptk self
  174. #endif
  175. // This is executed by the bootstrap processor (bsp) only:
  176. #ifdef CONFIG_IA64_FW_EMU
  177. // initialize PAL & SAL emulator:
  178. br.call.sptk.many rp=sys_fw_init
  179. .ret1:
  180. #endif
  181. br.call.sptk.many rp=start_kernel
  182. .ret2: addl r3=@ltoff(halt_msg),gp
  183. ;;
  184. alloc r2=ar.pfs,8,0,2,0
  185. ;;
  186. ld8 out0=[r3]
  187. br.call.sptk.many b0=console_print
  188. self: br.sptk.many self // endless loop
  189. END(_start)
  190. GLOBAL_ENTRY(ia64_save_debug_regs)
  191. alloc r16=ar.pfs,1,0,0,0
  192. mov r20=ar.lc // preserve ar.lc
  193. mov ar.lc=IA64_NUM_DBG_REGS-1
  194. mov r18=0
  195. add r19=IA64_NUM_DBG_REGS*8,in0
  196. ;;
  197. 1: mov r16=dbr[r18]
  198. #ifdef CONFIG_ITANIUM
  199. ;;
  200. srlz.d
  201. #endif
  202. mov r17=ibr[r18]
  203. add r18=1,r18
  204. ;;
  205. st8.nta [in0]=r16,8
  206. st8.nta [r19]=r17,8
  207. br.cloop.sptk.many 1b
  208. ;;
  209. mov ar.lc=r20 // restore ar.lc
  210. br.ret.sptk.many rp
  211. END(ia64_save_debug_regs)
  212. GLOBAL_ENTRY(ia64_load_debug_regs)
  213. alloc r16=ar.pfs,1,0,0,0
  214. lfetch.nta [in0]
  215. mov r20=ar.lc // preserve ar.lc
  216. add r19=IA64_NUM_DBG_REGS*8,in0
  217. mov ar.lc=IA64_NUM_DBG_REGS-1
  218. mov r18=-1
  219. ;;
  220. 1: ld8.nta r16=[in0],8
  221. ld8.nta r17=[r19],8
  222. add r18=1,r18
  223. ;;
  224. mov dbr[r18]=r16
  225. #ifdef CONFIG_ITANIUM
  226. ;;
  227. srlz.d // Errata 132 (NoFix status)
  228. #endif
  229. mov ibr[r18]=r17
  230. br.cloop.sptk.many 1b
  231. ;;
  232. mov ar.lc=r20 // restore ar.lc
  233. br.ret.sptk.many rp
  234. END(ia64_load_debug_regs)
  235. GLOBAL_ENTRY(__ia64_save_fpu)
  236. alloc r2=ar.pfs,1,0,0,0
  237. adds r3=16,in0
  238. ;;
  239. stf.spill.nta [in0]=f32,32
  240. stf.spill.nta [ r3]=f33,32
  241. ;;
  242. stf.spill.nta [in0]=f34,32
  243. stf.spill.nta [ r3]=f35,32
  244. ;;
  245. stf.spill.nta [in0]=f36,32
  246. stf.spill.nta [ r3]=f37,32
  247. ;;
  248. stf.spill.nta [in0]=f38,32
  249. stf.spill.nta [ r3]=f39,32
  250. ;;
  251. stf.spill.nta [in0]=f40,32
  252. stf.spill.nta [ r3]=f41,32
  253. ;;
  254. stf.spill.nta [in0]=f42,32
  255. stf.spill.nta [ r3]=f43,32
  256. ;;
  257. stf.spill.nta [in0]=f44,32
  258. stf.spill.nta [ r3]=f45,32
  259. ;;
  260. stf.spill.nta [in0]=f46,32
  261. stf.spill.nta [ r3]=f47,32
  262. ;;
  263. stf.spill.nta [in0]=f48,32
  264. stf.spill.nta [ r3]=f49,32
  265. ;;
  266. stf.spill.nta [in0]=f50,32
  267. stf.spill.nta [ r3]=f51,32
  268. ;;
  269. stf.spill.nta [in0]=f52,32
  270. stf.spill.nta [ r3]=f53,32
  271. ;;
  272. stf.spill.nta [in0]=f54,32
  273. stf.spill.nta [ r3]=f55,32
  274. ;;
  275. stf.spill.nta [in0]=f56,32
  276. stf.spill.nta [ r3]=f57,32
  277. ;;
  278. stf.spill.nta [in0]=f58,32
  279. stf.spill.nta [ r3]=f59,32
  280. ;;
  281. stf.spill.nta [in0]=f60,32
  282. stf.spill.nta [ r3]=f61,32
  283. ;;
  284. stf.spill.nta [in0]=f62,32
  285. stf.spill.nta [ r3]=f63,32
  286. ;;
  287. stf.spill.nta [in0]=f64,32
  288. stf.spill.nta [ r3]=f65,32
  289. ;;
  290. stf.spill.nta [in0]=f66,32
  291. stf.spill.nta [ r3]=f67,32
  292. ;;
  293. stf.spill.nta [in0]=f68,32
  294. stf.spill.nta [ r3]=f69,32
  295. ;;
  296. stf.spill.nta [in0]=f70,32
  297. stf.spill.nta [ r3]=f71,32
  298. ;;
  299. stf.spill.nta [in0]=f72,32
  300. stf.spill.nta [ r3]=f73,32
  301. ;;
  302. stf.spill.nta [in0]=f74,32
  303. stf.spill.nta [ r3]=f75,32
  304. ;;
  305. stf.spill.nta [in0]=f76,32
  306. stf.spill.nta [ r3]=f77,32
  307. ;;
  308. stf.spill.nta [in0]=f78,32
  309. stf.spill.nta [ r3]=f79,32
  310. ;;
  311. stf.spill.nta [in0]=f80,32
  312. stf.spill.nta [ r3]=f81,32
  313. ;;
  314. stf.spill.nta [in0]=f82,32
  315. stf.spill.nta [ r3]=f83,32
  316. ;;
  317. stf.spill.nta [in0]=f84,32
  318. stf.spill.nta [ r3]=f85,32
  319. ;;
  320. stf.spill.nta [in0]=f86,32
  321. stf.spill.nta [ r3]=f87,32
  322. ;;
  323. stf.spill.nta [in0]=f88,32
  324. stf.spill.nta [ r3]=f89,32
  325. ;;
  326. stf.spill.nta [in0]=f90,32
  327. stf.spill.nta [ r3]=f91,32
  328. ;;
  329. stf.spill.nta [in0]=f92,32
  330. stf.spill.nta [ r3]=f93,32
  331. ;;
  332. stf.spill.nta [in0]=f94,32
  333. stf.spill.nta [ r3]=f95,32
  334. ;;
  335. stf.spill.nta [in0]=f96,32
  336. stf.spill.nta [ r3]=f97,32
  337. ;;
  338. stf.spill.nta [in0]=f98,32
  339. stf.spill.nta [ r3]=f99,32
  340. ;;
  341. stf.spill.nta [in0]=f100,32
  342. stf.spill.nta [ r3]=f101,32
  343. ;;
  344. stf.spill.nta [in0]=f102,32
  345. stf.spill.nta [ r3]=f103,32
  346. ;;
  347. stf.spill.nta [in0]=f104,32
  348. stf.spill.nta [ r3]=f105,32
  349. ;;
  350. stf.spill.nta [in0]=f106,32
  351. stf.spill.nta [ r3]=f107,32
  352. ;;
  353. stf.spill.nta [in0]=f108,32
  354. stf.spill.nta [ r3]=f109,32
  355. ;;
  356. stf.spill.nta [in0]=f110,32
  357. stf.spill.nta [ r3]=f111,32
  358. ;;
  359. stf.spill.nta [in0]=f112,32
  360. stf.spill.nta [ r3]=f113,32
  361. ;;
  362. stf.spill.nta [in0]=f114,32
  363. stf.spill.nta [ r3]=f115,32
  364. ;;
  365. stf.spill.nta [in0]=f116,32
  366. stf.spill.nta [ r3]=f117,32
  367. ;;
  368. stf.spill.nta [in0]=f118,32
  369. stf.spill.nta [ r3]=f119,32
  370. ;;
  371. stf.spill.nta [in0]=f120,32
  372. stf.spill.nta [ r3]=f121,32
  373. ;;
  374. stf.spill.nta [in0]=f122,32
  375. stf.spill.nta [ r3]=f123,32
  376. ;;
  377. stf.spill.nta [in0]=f124,32
  378. stf.spill.nta [ r3]=f125,32
  379. ;;
  380. stf.spill.nta [in0]=f126,32
  381. stf.spill.nta [ r3]=f127,32
  382. br.ret.sptk.many rp
  383. END(__ia64_save_fpu)
  384. GLOBAL_ENTRY(__ia64_load_fpu)
  385. alloc r2=ar.pfs,1,0,0,0
  386. adds r3=16,in0
  387. ;;
  388. ldf.fill.nta f32=[in0],32
  389. ldf.fill.nta f33=[ r3],32
  390. ;;
  391. ldf.fill.nta f34=[in0],32
  392. ldf.fill.nta f35=[ r3],32
  393. ;;
  394. ldf.fill.nta f36=[in0],32
  395. ldf.fill.nta f37=[ r3],32
  396. ;;
  397. ldf.fill.nta f38=[in0],32
  398. ldf.fill.nta f39=[ r3],32
  399. ;;
  400. ldf.fill.nta f40=[in0],32
  401. ldf.fill.nta f41=[ r3],32
  402. ;;
  403. ldf.fill.nta f42=[in0],32
  404. ldf.fill.nta f43=[ r3],32
  405. ;;
  406. ldf.fill.nta f44=[in0],32
  407. ldf.fill.nta f45=[ r3],32
  408. ;;
  409. ldf.fill.nta f46=[in0],32
  410. ldf.fill.nta f47=[ r3],32
  411. ;;
  412. ldf.fill.nta f48=[in0],32
  413. ldf.fill.nta f49=[ r3],32
  414. ;;
  415. ldf.fill.nta f50=[in0],32
  416. ldf.fill.nta f51=[ r3],32
  417. ;;
  418. ldf.fill.nta f52=[in0],32
  419. ldf.fill.nta f53=[ r3],32
  420. ;;
  421. ldf.fill.nta f54=[in0],32
  422. ldf.fill.nta f55=[ r3],32
  423. ;;
  424. ldf.fill.nta f56=[in0],32
  425. ldf.fill.nta f57=[ r3],32
  426. ;;
  427. ldf.fill.nta f58=[in0],32
  428. ldf.fill.nta f59=[ r3],32
  429. ;;
  430. ldf.fill.nta f60=[in0],32
  431. ldf.fill.nta f61=[ r3],32
  432. ;;
  433. ldf.fill.nta f62=[in0],32
  434. ldf.fill.nta f63=[ r3],32
  435. ;;
  436. ldf.fill.nta f64=[in0],32
  437. ldf.fill.nta f65=[ r3],32
  438. ;;
  439. ldf.fill.nta f66=[in0],32
  440. ldf.fill.nta f67=[ r3],32
  441. ;;
  442. ldf.fill.nta f68=[in0],32
  443. ldf.fill.nta f69=[ r3],32
  444. ;;
  445. ldf.fill.nta f70=[in0],32
  446. ldf.fill.nta f71=[ r3],32
  447. ;;
  448. ldf.fill.nta f72=[in0],32
  449. ldf.fill.nta f73=[ r3],32
  450. ;;
  451. ldf.fill.nta f74=[in0],32
  452. ldf.fill.nta f75=[ r3],32
  453. ;;
  454. ldf.fill.nta f76=[in0],32
  455. ldf.fill.nta f77=[ r3],32
  456. ;;
  457. ldf.fill.nta f78=[in0],32
  458. ldf.fill.nta f79=[ r3],32
  459. ;;
  460. ldf.fill.nta f80=[in0],32
  461. ldf.fill.nta f81=[ r3],32
  462. ;;
  463. ldf.fill.nta f82=[in0],32
  464. ldf.fill.nta f83=[ r3],32
  465. ;;
  466. ldf.fill.nta f84=[in0],32
  467. ldf.fill.nta f85=[ r3],32
  468. ;;
  469. ldf.fill.nta f86=[in0],32
  470. ldf.fill.nta f87=[ r3],32
  471. ;;
  472. ldf.fill.nta f88=[in0],32
  473. ldf.fill.nta f89=[ r3],32
  474. ;;
  475. ldf.fill.nta f90=[in0],32
  476. ldf.fill.nta f91=[ r3],32
  477. ;;
  478. ldf.fill.nta f92=[in0],32
  479. ldf.fill.nta f93=[ r3],32
  480. ;;
  481. ldf.fill.nta f94=[in0],32
  482. ldf.fill.nta f95=[ r3],32
  483. ;;
  484. ldf.fill.nta f96=[in0],32
  485. ldf.fill.nta f97=[ r3],32
  486. ;;
  487. ldf.fill.nta f98=[in0],32
  488. ldf.fill.nta f99=[ r3],32
  489. ;;
  490. ldf.fill.nta f100=[in0],32
  491. ldf.fill.nta f101=[ r3],32
  492. ;;
  493. ldf.fill.nta f102=[in0],32
  494. ldf.fill.nta f103=[ r3],32
  495. ;;
  496. ldf.fill.nta f104=[in0],32
  497. ldf.fill.nta f105=[ r3],32
  498. ;;
  499. ldf.fill.nta f106=[in0],32
  500. ldf.fill.nta f107=[ r3],32
  501. ;;
  502. ldf.fill.nta f108=[in0],32
  503. ldf.fill.nta f109=[ r3],32
  504. ;;
  505. ldf.fill.nta f110=[in0],32
  506. ldf.fill.nta f111=[ r3],32
  507. ;;
  508. ldf.fill.nta f112=[in0],32
  509. ldf.fill.nta f113=[ r3],32
  510. ;;
  511. ldf.fill.nta f114=[in0],32
  512. ldf.fill.nta f115=[ r3],32
  513. ;;
  514. ldf.fill.nta f116=[in0],32
  515. ldf.fill.nta f117=[ r3],32
  516. ;;
  517. ldf.fill.nta f118=[in0],32
  518. ldf.fill.nta f119=[ r3],32
  519. ;;
  520. ldf.fill.nta f120=[in0],32
  521. ldf.fill.nta f121=[ r3],32
  522. ;;
  523. ldf.fill.nta f122=[in0],32
  524. ldf.fill.nta f123=[ r3],32
  525. ;;
  526. ldf.fill.nta f124=[in0],32
  527. ldf.fill.nta f125=[ r3],32
  528. ;;
  529. ldf.fill.nta f126=[in0],32
  530. ldf.fill.nta f127=[ r3],32
  531. br.ret.sptk.many rp
  532. END(__ia64_load_fpu)
  533. GLOBAL_ENTRY(__ia64_init_fpu)
  534. alloc r2=ar.pfs,0,0,0,0
  535. stf.spill [sp]=f0
  536. mov      f32=f0
  537. ;;
  538. ldf.fill f33=[sp]
  539. ldf.fill f34=[sp]
  540. mov      f35=f0
  541. ;;
  542. ldf.fill f36=[sp]
  543. ldf.fill f37=[sp]
  544. mov      f38=f0
  545. ;;
  546. ldf.fill f39=[sp]
  547. ldf.fill f40=[sp]
  548. mov      f41=f0
  549. ;;
  550. ldf.fill f42=[sp]
  551. ldf.fill f43=[sp]
  552. mov      f44=f0
  553. ;;
  554. ldf.fill f45=[sp]
  555. ldf.fill f46=[sp]
  556. mov      f47=f0
  557. ;;
  558. ldf.fill f48=[sp]
  559. ldf.fill f49=[sp]
  560. mov      f50=f0
  561. ;;
  562. ldf.fill f51=[sp]
  563. ldf.fill f52=[sp]
  564. mov      f53=f0
  565. ;;
  566. ldf.fill f54=[sp]
  567. ldf.fill f55=[sp]
  568. mov      f56=f0
  569. ;;
  570. ldf.fill f57=[sp]
  571. ldf.fill f58=[sp]
  572. mov      f59=f0
  573. ;;
  574. ldf.fill f60=[sp]
  575. ldf.fill f61=[sp]
  576. mov      f62=f0
  577. ;;
  578. ldf.fill f63=[sp]
  579. ldf.fill f64=[sp]
  580. mov      f65=f0
  581. ;;
  582. ldf.fill f66=[sp]
  583. ldf.fill f67=[sp]
  584. mov      f68=f0
  585. ;;
  586. ldf.fill f69=[sp]
  587. ldf.fill f70=[sp]
  588. mov      f71=f0
  589. ;;
  590. ldf.fill f72=[sp]
  591. ldf.fill f73=[sp]
  592. mov      f74=f0
  593. ;;
  594. ldf.fill f75=[sp]
  595. ldf.fill f76=[sp]
  596. mov      f77=f0
  597. ;;
  598. ldf.fill f78=[sp]
  599. ldf.fill f79=[sp]
  600. mov      f80=f0
  601. ;;
  602. ldf.fill f81=[sp]
  603. ldf.fill f82=[sp]
  604. mov      f83=f0
  605. ;;
  606. ldf.fill f84=[sp]
  607. ldf.fill f85=[sp]
  608. mov      f86=f0
  609. ;;
  610. ldf.fill f87=[sp]
  611. ldf.fill f88=[sp]
  612. mov      f89=f0
  613. ;;
  614. ldf.fill f90=[sp]
  615. ldf.fill f91=[sp]
  616. mov      f92=f0
  617. ;;
  618. ldf.fill f93=[sp]
  619. ldf.fill f94=[sp]
  620. mov      f95=f0
  621. ;;
  622. ldf.fill f96=[sp]
  623. ldf.fill f97=[sp]
  624. mov      f98=f0
  625. ;;
  626. ldf.fill f99=[sp]
  627. ldf.fill f100=[sp]
  628. mov      f101=f0
  629. ;;
  630. ldf.fill f102=[sp]
  631. ldf.fill f103=[sp]
  632. mov      f104=f0
  633. ;;
  634. ldf.fill f105=[sp]
  635. ldf.fill f106=[sp]
  636. mov      f107=f0
  637. ;;
  638. ldf.fill f108=[sp]
  639. ldf.fill f109=[sp]
  640. mov      f110=f0
  641. ;;
  642. ldf.fill f111=[sp]
  643. ldf.fill f112=[sp]
  644. mov      f113=f0
  645. ;;
  646. ldf.fill f114=[sp]
  647. ldf.fill f115=[sp]
  648. mov      f116=f0
  649. ;;
  650. ldf.fill f117=[sp]
  651. ldf.fill f118=[sp]
  652. mov      f119=f0
  653. ;;
  654. ldf.fill f120=[sp]
  655. ldf.fill f121=[sp]
  656. mov      f122=f0
  657. ;;
  658. ldf.fill f123=[sp]
  659. ldf.fill f124=[sp]
  660. mov      f125=f0
  661. ;;
  662. ldf.fill f126=[sp]
  663. mov      f127=f0
  664. br.ret.sptk.many rp
  665. END(__ia64_init_fpu)
  666. /*
  667.  * Switch execution mode from virtual to physical or vice versa.
  668.  *
  669.  * Inputs:
  670.  * r16 = new psr to establish
  671.  *
  672.  * Note: RSE must already be in enforced lazy mode
  673.  */
  674. GLOBAL_ENTRY(ia64_switch_mode)
  675.  {
  676. alloc r2=ar.pfs,0,0,0,0
  677. rsm psr.i | psr.ic // disable interrupts and interrupt collection
  678. mov r15=ip
  679.  }
  680. ;;
  681.  {
  682. flushrs // must be first insn in group
  683. srlz.i
  684. shr.u r19=r15,61 // r19 <- top 3 bits of current IP
  685.  }
  686. ;;
  687. mov cr.ipsr=r16 // set new PSR
  688. add r3=1f-ia64_switch_mode,r15
  689. xor r15=0x7,r19 // flip the region bits
  690. mov r17=ar.bsp
  691. mov r14=rp // get return address into a general register
  692. // switch RSE backing store:
  693. ;;
  694. dep r17=r15,r17,61,3 // make ar.bsp physical or virtual
  695. mov r18=ar.rnat // save ar.rnat
  696. ;;
  697. mov ar.bspstore=r17 // this steps on ar.rnat
  698. dep r3=r15,r3,61,3 // make rfi return address physical or virtual
  699. ;;
  700. mov cr.iip=r3
  701. mov cr.ifs=r0
  702. dep sp=r15,sp,61,3 // make stack pointer physical or virtual
  703. ;;
  704. mov ar.rnat=r18 // restore ar.rnat
  705. dep r14=r15,r14,61,3 // make function return address physical or virtual
  706. rfi // must be last insn in group
  707. ;;
  708. 1: mov rp=r14
  709. br.ret.sptk.many rp
  710. END(ia64_switch_mode)
  711. #ifdef CONFIG_IA64_BRL_EMU
  712. /*
  713.  *  Assembly routines used by brl_emu.c to set preserved register state.
  714.  */
  715. #define SET_REG(reg)
  716.  GLOBAL_ENTRY(ia64_set_##reg);
  717. alloc r16=ar.pfs,1,0,0,0;
  718. mov reg=r32;
  719. ;;
  720. br.ret.sptk.many rp;
  721.  END(ia64_set_##reg)
  722. SET_REG(b1);
  723. SET_REG(b2);
  724. SET_REG(b3);
  725. SET_REG(b4);
  726. SET_REG(b5);
  727. #endif /* CONFIG_IA64_BRL_EMU */
  728. #ifdef CONFIG_SMP
  729. /*
  730.  * This routine handles spinlock contention.  It uses a simple exponential backoff
  731.  * algorithm to reduce unnecessary bus traffic.  The initial delay is selected from
  732.  * the low-order bits of the cycle counter (a cheap "randomizer").  I'm sure this
  733.  * could use additional tuning, especially on systems with a large number of CPUs.
  734.  * Also, I think the maximum delay should be made a function of the number of CPUs in
  735.  * the system. --davidm 00/08/05
  736.  *
  737.  * WARNING: This is not a normal procedure.  It gets called from C code without
  738.  * the compiler knowing about it.  Thus, we must not use any scratch registers
  739.  * beyond those that were declared "clobbered" at the call-site (see spin_lock()
  740.  * macro).  We may not even use the stacked registers, because that could overwrite
  741.  * output registers.  Similarly, we can't use the scratch stack area as it may be
  742.  * in use, too.
  743.  *
  744.  * Inputs:
  745.  * ar.ccv = 0 (and available for use)
  746.  * r28 = available for use
  747.  * r29 = available for use
  748.  * r30 = non-zero (and available for use)
  749.  * r31 = address of lock we're trying to acquire
  750.  * p15 = available for use
  751.  */
  752. # define delay r28
  753. # define timeout r29
  754. # define tmp r30
  755. GLOBAL_ENTRY(ia64_spinlock_contention)
  756. mov tmp=ar.itc
  757. ;;
  758. and delay=0x3f,tmp
  759. ;;
  760. .retry: add timeout=tmp,delay
  761. shl delay=delay,1
  762. ;;
  763. dep delay=delay,r0,0,13 // limit delay to 8192 cycles
  764. ;;
  765. // delay a little...
  766. .wait: sub tmp=tmp,timeout
  767. or delay=0xf,delay // make sure delay is non-zero (otherwise we get stuck with 0)
  768. ;;
  769. cmp.lt p15,p0=tmp,r0
  770. mov tmp=ar.itc
  771. (p15) br.cond.sptk .wait
  772. ;;
  773. ld4 tmp=[r31]
  774. ;;
  775. cmp.ne p15,p0=tmp,r0
  776. mov tmp=ar.itc
  777. (p15) br.cond.sptk .retry // lock is still busy
  778. ;;
  779. // try acquiring lock (we know ar.ccv is still zero!):
  780. mov tmp=1
  781. ;;
  782. cmpxchg4.acq tmp=[r31],tmp,ar.ccv
  783. ;;
  784. cmp.eq p15,p0=tmp,r0
  785. mov tmp=ar.itc
  786. (p15) br.ret.sptk.many b7 // got lock -> return
  787. br .retry // still no luck, retry
  788. END(ia64_spinlock_contention)
  789. #endif