开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Linux/Unix编程 > 查看源码
entry.S
资源名称：linux-2.4.20.tar.gz　[点击查看]
上传用户：jlfgdled
上传日期：2013-04-10
资源大小：33168k
文件大小：49k
源码类别：

Linux/Unix编程

开发平台：

Unix_Linux

entry.S：源码内容
  1. /* $Id: entry.S,v 1.141 2001/12/05 23:56:32 davem Exp $
  2.  * arch/sparc64/kernel/entry.S:  Sparc64 trap low-level entry points.
  3.  *
  4.  * Copyright (C) 1995,1997 David S. Miller (davem@caip.rutgers.edu)
  5.  * Copyright (C) 1996 Eddie C. Dost        (ecd@skynet.be)
  6.  * Copyright (C) 1996 Miguel de Icaza      (miguel@nuclecu.unam.mx)
  7.  * Copyright (C) 1996,98,99 Jakub Jelinek  (jj@sunsite.mff.cuni.cz)
  8.  */
  10. #include <linux/config.h>
  11. #include <linux/errno.h>
  13. #include <asm/head.h>
  14. #include <asm/asi.h>
  15. #include <asm/smp.h>
  16. #include <asm/ptrace.h>
  17. #include <asm/page.h>
  18. #include <asm/signal.h>
  19. #include <asm/pgtable.h>
  20. #include <asm/processor.h>
  21. #include <asm/visasm.h>
  22. #include <asm/estate.h>
  24. /* #define SYSCALL_TRACING 1 */
  26. #define curptr      g6
  28. #define NR_SYSCALLS 256      /* Each OS is different... */
  30. .text
  31. .align 32
  33. .globl sparc64_vpte_patchme1
  34. .globl sparc64_vpte_patchme2
  35. /*
  36.  * On a second level vpte miss, check whether the original fault is to the OBP 
  37.  * range (note that this is only possible for instruction miss, data misses to
  38.  * obp range do not use vpte). If so, go back directly to the faulting address.
  39.  * This is because we want to read the tpc, otherwise we have no way of knowing
  40.  * the 8k aligned faulting address if we are using >8k kernel pagesize. This also
  41.  * ensures no vpte range addresses are dropped into tlb while obp is executing
  42.  * (see inherit_locked_prom_mappings() rant).
  43.  */
  44. sparc64_vpte_nucleus:
  45. mov 0xf, %g5
  46. sllx %g5, 28, %g5 ! Load 0xf0000000
  47. cmp %g4, %g5 ! Is addr >= LOW_OBP_ADDRESS?
  48. blu,pn %xcc, sparc64_vpte_patchme1
  49.  mov 0x1, %g5
  50. sllx %g5, 32, %g5 ! Load 0x100000000
  51. cmp %g4, %g5 ! Is addr < HI_OBP_ADDRESS?
  52. blu,pn %xcc, obp_iaddr_patch
  53.  nop
  54. sparc64_vpte_patchme1:
  55. sethi %hi(0), %g5 ! This has to be patched
  56. sparc64_vpte_patchme2:
  57. or %g5, %lo(0), %g5 ! This is patched too
  58. ba,pt %xcc, sparc64_kpte_continue ! Part of dtlb_backend
  59.  add %g1, %g1, %g1 ! Finish PMD offset adjustment
  61. vpte_noent:
  62. mov TLB_SFSR, %g1 ! Restore %g1 value
  63. stxa %g4, [%g1 + %g1] ASI_DMMU ! Restore previous TAG_ACCESS
  64. done ! Slick trick
  66. .globl obp_iaddr_patch
  67. .globl obp_daddr_patch
  69. obp_iaddr_patch:
  70. sethi %hi(0), %g5 ! This and following is patched
  71. or %g5, %lo(0), %g5 ! g5 now holds obp pmd base physaddr
  72. wrpr %g0, 1, %tl ! Behave as if we are at TL0
  73. rdpr %tpc, %g4 ! Find original faulting iaddr
  74. srlx %g4, 13, %g4 ! Throw out context bits
  75. sllx %g4, 13, %g4 ! g4 has vpn + ctx0 now
  76. mov TLB_SFSR, %g1 ! Restore %g1 value
  77. stxa %g4, [%g1 + %g1] ASI_IMMU ! Restore previous TAG_ACCESS
  78. srlx %g4, 23, %g6 ! Find pmd number
  79. and %g6, 0x7ff, %g6 ! Find pmd number
  80. sllx %g6, 2, %g6 ! Find pmd offset
  81. lduwa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pmd, ie pagetable physaddr
  82. brz,pn %g5, longpath ! Kill the PROM ? :-)
  83.  sllx %g5, 11, %g5 ! Shift into place
  84. srlx %g4, 13, %g6 ! find pte number in pagetable
  85. and %g6, 0x3ff, %g6 ! find pte number in pagetable
  86. sllx %g6, 3, %g6 ! find pte offset in pagetable
  87. ldxa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pte
  88. brgez,pn %g5, longpath ! Kill the PROM ? :-)
  89.  nop
  90. stxa %g5, [%g0] ASI_ITLB_DATA_IN ! put into tlb
  91. retry ! go back to original fault
  93. obp_daddr_patch:
  94. sethi %hi(0), %g5 ! This and following is patched
  95. or %g5, %lo(0), %g5 ! g5 now holds obp pmd base physaddr
  96. srlx %g4, 23, %g6 ! Find pmd number
  97. and %g6, 0x7ff, %g6 ! Find pmd number
  98. sllx %g6, 2, %g6 ! Find pmd offset
  99. lduwa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pmd, ie pagetable physaddr
  100. brz,pn %g5, longpath
  101.  sllx %g5, 11, %g5 ! Shift into place
  102. srlx %g4, 13, %g6 ! find pte number in pagetable
  103. and %g6, 0x3ff, %g6 ! find pte number in pagetable
  104. sllx %g6, 3, %g6 ! find pte offset in pagetable
  105. ldxa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pte
  106. brgez,pn %g5, longpath
  107.  nop
  108. stxa %g5, [%g0] ASI_DTLB_DATA_IN ! put into tlb
  109. retry
  111. /*
  112.  * On a first level data miss, check whether this is to the OBP range (note that
  113.  * such accesses can be made by prom, as well as by kernel using prom_getproperty
  114.  * on "address"), and if so, do not use vpte access ... rather, use information
  115.  * saved during inherit_prom_mappings() using 8k pagesize.
  116.  */
  117. kvmap:
  118. mov 0xf, %g5
  119. sllx %g5, 28, %g5 ! Load 0xf0000000
  120. cmp %g4, %g5 ! Is addr >= LOW_OBP_ADDRESS?
  121. blu,pn %xcc, vmalloc_addr
  122.  mov 0x1, %g5
  123. sllx %g5, 32, %g5 ! Load 0x100000000
  124. cmp %g4, %g5 ! Is addr < HI_OBP_ADDRESS?
  125. blu,pn %xcc, obp_daddr_patch
  126.  nop
  127. vmalloc_addr: ! vmalloc addr accessed
  128. ldxa [%g3 + %g6] ASI_N, %g5 ! Yep, load k-vpte
  129. brgez,pn %g5, longpath ! Valid, load into TLB
  130.  nop
  131. stxa %g5, [%g0] ASI_DTLB_DATA_IN ! Reload TLB
  132. retry
  134. /* This is trivial with the new code... */
  135. .globl do_fpdis
  136. do_fpdis:
  137. sethi %hi(TSTATE_PEF), %g4 ! IEU0
  138. rdpr %tstate, %g5
  139. andcc %g5, %g4, %g0
  140. be,pt %xcc, 1f
  141.  nop
  142. rd %fprs, %g5
  143. andcc %g5, FPRS_FEF, %g0
  144. be,pt %xcc, 1f
  145.  nop
  147. /* Legal state when DCR_IFPOE is set in Cheetah %dcr. */
  148. sethi %hi(109f), %g7
  149. ba,pt %xcc, etrap
  150. 109:  or %g7, %lo(109b), %g7
  151. add %g0, %g0, %g0
  152. ba,a,pt %xcc, rtrap_clr_l6
  154. 1: ldub [%g6 + AOFF_task_thread + AOFF_thread_fpsaved], %g5 ! Load Group
  155. wr %g0, FPRS_FEF, %fprs ! LSU Group+4bubbles
  156. andcc %g5, FPRS_FEF, %g0 ! IEU1 Group
  157. be,a,pt %icc, 1f ! CTI
  158.  clr %g7 ! IEU0
  159. ldx [%g6 + AOFF_task_thread + AOFF_thread_gsr], %g7 ! Load Group
  160. 1: andcc %g5, FPRS_DL, %g0 ! IEU1
  161. bne,pn %icc, 2f ! CTI
  162.  fzero %f0 ! FPA
  163. andcc %g5, FPRS_DU, %g0 ! IEU1  Group
  164. bne,pn %icc, 1f ! CTI
  165.  fzero %f2 ! FPA
  166. faddd %f0, %f2, %f4
  167. fmuld %f0, %f2, %f6
  168. faddd %f0, %f2, %f8
  169. fmuld %f0, %f2, %f10
  170. faddd %f0, %f2, %f12
  171. fmuld %f0, %f2, %f14
  172. faddd %f0, %f2, %f16
  173. fmuld %f0, %f2, %f18
  174. faddd %f0, %f2, %f20
  175. fmuld %f0, %f2, %f22
  176. faddd %f0, %f2, %f24
  177. fmuld %f0, %f2, %f26
  178. faddd %f0, %f2, %f28
  179. fmuld %f0, %f2, %f30
  180. faddd %f0, %f2, %f32
  181. fmuld %f0, %f2, %f34
  182. faddd %f0, %f2, %f36
  183. fmuld %f0, %f2, %f38
  184. faddd %f0, %f2, %f40
  185. fmuld %f0, %f2, %f42
  186. faddd %f0, %f2, %f44
  187. fmuld %f0, %f2, %f46
  188. faddd %f0, %f2, %f48
  189. fmuld %f0, %f2, %f50
  190. faddd %f0, %f2, %f52
  191. fmuld %f0, %f2, %f54
  192. faddd %f0, %f2, %f56
  193. fmuld %f0, %f2, %f58
  194. b,pt %xcc, fpdis_exit2
  195.  faddd %f0, %f2, %f60
  196. 1: mov SECONDARY_CONTEXT, %g3
  197. add %g6, AOFF_task_fpregs + 0x80, %g1
  198. faddd %f0, %f2, %f4
  199. fmuld %f0, %f2, %f6
  200. ldxa [%g3] ASI_DMMU, %g5
  201. add %g6, AOFF_task_fpregs + 0xc0, %g2
  202. stxa %g0, [%g3] ASI_DMMU
  203. membar #Sync
  204. faddd %f0, %f2, %f8
  205. fmuld %f0, %f2, %f10
  206. ldda [%g1] ASI_BLK_S, %f32 ! grrr, where is ASI_BLK_NUCLEUS 8-(
  207. ldda [%g2] ASI_BLK_S, %f48
  208. faddd %f0, %f2, %f12
  209. fmuld %f0, %f2, %f14
  210. faddd %f0, %f2, %f16
  211. fmuld %f0, %f2, %f18
  212. faddd %f0, %f2, %f20
  213. fmuld %f0, %f2, %f22
  214. faddd %f0, %f2, %f24
  215. fmuld %f0, %f2, %f26
  216. faddd %f0, %f2, %f28
  217. fmuld %f0, %f2, %f30
  218. b,pt %xcc, fpdis_exit
  219.  membar #Sync
  220. 2: andcc %g5, FPRS_DU, %g0
  221. bne,pt %icc, 3f
  222.  fzero %f32
  223. mov SECONDARY_CONTEXT, %g3
  224. fzero %f34
  225. ldxa [%g3] ASI_DMMU, %g5
  226. add %g6, AOFF_task_fpregs, %g1
  227. stxa %g0, [%g3] ASI_DMMU
  228. membar #Sync
  229. add %g6, AOFF_task_fpregs + 0x40, %g2
  230. faddd %f32, %f34, %f36
  231. fmuld %f32, %f34, %f38
  232. ldda [%g1] ASI_BLK_S, %f0 ! grrr, where is ASI_BLK_NUCLEUS 8-(
  233. ldda [%g2] ASI_BLK_S, %f16
  234. faddd %f32, %f34, %f40
  235. fmuld %f32, %f34, %f42
  236. faddd %f32, %f34, %f44
  237. fmuld %f32, %f34, %f46
  238. faddd %f32, %f34, %f48
  239. fmuld %f32, %f34, %f50
  240. faddd %f32, %f34, %f52
  241. fmuld %f32, %f34, %f54
  242. faddd %f32, %f34, %f56
  243. fmuld %f32, %f34, %f58
  244. faddd %f32, %f34, %f60
  245. fmuld %f32, %f34, %f62
  246. ba,pt %xcc, fpdis_exit
  247.  membar #Sync
  248. 3: mov SECONDARY_CONTEXT, %g3
  249. add %g6, AOFF_task_fpregs, %g1
  250. ldxa [%g3] ASI_DMMU, %g5
  251. mov 0x40, %g2
  252. stxa %g0, [%g3] ASI_DMMU
  253. membar #Sync
  254. ldda [%g1] ASI_BLK_S, %f0 ! grrr, where is ASI_BLK_NUCLEUS 8-(
  255. ldda [%g1 + %g2] ASI_BLK_S, %f16
  256. add %g1, 0x80, %g1
  257. ldda [%g1] ASI_BLK_S, %f32
  258. ldda [%g1 + %g2] ASI_BLK_S, %f48
  259. membar #Sync
  260. fpdis_exit:
  261. stxa %g5, [%g3] ASI_DMMU
  262. membar #Sync
  263. fpdis_exit2:
  264. wr %g7, 0, %gsr
  265. ldx [%g6 + AOFF_task_thread + AOFF_thread_xfsr], %fsr
  266. rdpr %tstate, %g3
  267. or %g3, %g4, %g3 ! anal...
  268. wrpr %g3, %tstate
  269. wr %g0, FPRS_FEF, %fprs ! clean DU/DL bits
  270. retry
  272. .align 32
  273. fp_other_bounce:
  274. call do_fpother
  275.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  276. ba,pt %xcc, rtrap
  277.  clr %l6
  279. .globl do_fpother_check_fitos
  280. .align 32
  281. do_fpother_check_fitos:
  282. sethi %hi(fp_other_bounce - 4), %g7
  283. or %g7, %lo(fp_other_bounce - 4), %g7
  285. /* NOTE: Need to preserve %g7 until we fully commit
  286.  *       to the fitos fixup.
  287.  */
  288. stx %fsr, [%g6 + AOFF_task_thread + AOFF_thread_xfsr]
  289. rdpr %tstate, %g3
  290. andcc %g3, TSTATE_PRIV, %g0
  291. bne,pn %xcc, do_fptrap_after_fsr
  292.  nop
  293. ldx [%g6 + AOFF_task_thread + AOFF_thread_xfsr], %g3
  294. srlx %g3, 14, %g1
  295. and %g1, 7, %g1
  296. cmp %g1, 2 ! Unfinished FP-OP
  297. bne,pn %xcc, do_fptrap_after_fsr
  298.  sethi %hi(1 << 23), %g1 ! Inexact
  299. andcc %g3, %g1, %g0
  300. bne,pn %xcc, do_fptrap_after_fsr
  301.  rdpr %tpc, %g1
  302. lduwa [%g1] ASI_AIUP, %g3 ! This cannot ever fail
  303. #define FITOS_MASK 0xc1f83fe0
  304. #define FITOS_COMPARE 0x81a01880
  305. sethi %hi(FITOS_MASK), %g1
  306. or %g1, %lo(FITOS_MASK), %g1
  307. and %g3, %g1, %g1
  308. sethi %hi(FITOS_COMPARE), %g2
  309. or %g2, %lo(FITOS_COMPARE), %g2
  310. cmp %g1, %g2
  311. bne,pn %xcc, do_fptrap_after_fsr
  312.  nop
  313. std %f62, [%g6 + AOFF_task_fpregs + (62 * 4)]
  314. sethi %hi(fitos_table_1), %g1
  315. and %g3, 0x1f, %g2
  316. or %g1, %lo(fitos_table_1),  %g1
  317. sllx %g2, 2, %g2
  318. jmpl %g1 + %g2, %g0
  319.  ba,pt %xcc, fitos_emul_continue
  321. fitos_table_1:
  322. fitod %f0, %f62
  323. fitod %f1, %f62
  324. fitod %f2, %f62
  325. fitod %f3, %f62
  326. fitod %f4, %f62
  327. fitod %f5, %f62
  328. fitod %f6, %f62
  329. fitod %f7, %f62
  330. fitod %f8, %f62
  331. fitod %f9, %f62
  332. fitod %f10, %f62
  333. fitod %f11, %f62
  334. fitod %f12, %f62
  335. fitod %f13, %f62
  336. fitod %f14, %f62
  337. fitod %f15, %f62
  338. fitod %f16, %f62
  339. fitod %f17, %f62
  340. fitod %f18, %f62
  341. fitod %f19, %f62
  342. fitod %f20, %f62
  343. fitod %f21, %f62
  344. fitod %f22, %f62
  345. fitod %f23, %f62
  346. fitod %f24, %f62
  347. fitod %f25, %f62
  348. fitod %f26, %f62
  349. fitod %f27, %f62
  350. fitod %f28, %f62
  351. fitod %f29, %f62
  352. fitod %f30, %f62
  353. fitod %f31, %f62
  355. fitos_emul_continue:
  356. sethi %hi(fitos_table_2), %g1
  357. srl %g3, 25, %g2
  358. or %g1, %lo(fitos_table_2), %g1
  359. and %g2, 0x1f, %g2
  360. sllx %g2, 2, %g2
  361. jmpl %g1 + %g2, %g0
  362.  ba,pt %xcc, fitos_emul_fini
  364. fitos_table_2:
  365. fdtos %f62, %f0
  366. fdtos %f62, %f1
  367. fdtos %f62, %f2
  368. fdtos %f62, %f3
  369. fdtos %f62, %f4
  370. fdtos %f62, %f5
  371. fdtos %f62, %f6
  372. fdtos %f62, %f7
  373. fdtos %f62, %f8
  374. fdtos %f62, %f9
  375. fdtos %f62, %f10
  376. fdtos %f62, %f11
  377. fdtos %f62, %f12
  378. fdtos %f62, %f13
  379. fdtos %f62, %f14
  380. fdtos %f62, %f15
  381. fdtos %f62, %f16
  382. fdtos %f62, %f17
  383. fdtos %f62, %f18
  384. fdtos %f62, %f19
  385. fdtos %f62, %f20
  386. fdtos %f62, %f21
  387. fdtos %f62, %f22
  388. fdtos %f62, %f23
  389. fdtos %f62, %f24
  390. fdtos %f62, %f25
  391. fdtos %f62, %f26
  392. fdtos %f62, %f27
  393. fdtos %f62, %f28
  394. fdtos %f62, %f29
  395. fdtos %f62, %f30
  396. fdtos %f62, %f31
  398. fitos_emul_fini:
  399. ldd [%g6 + AOFF_task_fpregs + (62 * 4)], %f62
  400. done
  402. .globl do_fptrap
  403. .align 32
  404. do_fptrap:
  405. stx %fsr, [%g6 + AOFF_task_thread + AOFF_thread_xfsr]
  406. do_fptrap_after_fsr:
  407. ldub [%g6 + AOFF_task_thread + AOFF_thread_fpsaved], %g3
  408. rd %fprs, %g1
  409. or %g3, %g1, %g3
  410. stb %g3, [%g6 + AOFF_task_thread + AOFF_thread_fpsaved]
  411. rd %gsr, %g3
  412. stx %g3, [%g6 + AOFF_task_thread + AOFF_thread_gsr]
  413. mov SECONDARY_CONTEXT, %g3
  414. add %g6, AOFF_task_fpregs, %g2
  415. ldxa [%g3] ASI_DMMU, %g5
  416. stxa %g0, [%g3] ASI_DMMU
  417. membar #Sync
  418. andcc %g1, FPRS_DL, %g0
  419. be,pn %icc, 4f
  420.  mov 0x40, %g3
  421. stda %f0, [%g2] ASI_BLK_S
  422. stda %f16, [%g2 + %g3] ASI_BLK_S
  423. andcc %g1, FPRS_DU, %g0
  424. be,pn %icc, 5f
  425. 4:       add %g2, 128, %g2
  426. stda %f32, [%g2] ASI_BLK_S
  427. stda %f48, [%g2 + %g3] ASI_BLK_S
  428. 5: mov SECONDARY_CONTEXT, %g1
  429. membar #Sync
  430. stxa %g5, [%g1] ASI_DMMU
  431. membar #Sync
  432. ba,pt %xcc, etrap
  433.  wr %g0, 0, %fprs
  435. /* The registers for cross calls will be:
  436.  *
  437.  * DATA 0: [low 32-bits]  Address of function to call, jmp to this
  438.  *         [high 32-bits] MMU Context Argument 0, place in %g5
  439.  * DATA 1: Address Argument 1, place in %g6
  440.  * DATA 2: Address Argument 2, place in %g7
  441.  *
  442.  * With this method we can do most of the cross-call tlb/cache
  443.  * flushing very quickly.
  444.  *
  445.  * Current CPU's IRQ worklist table is locked into %g1,
  446.  * don't touch.
  447.  */
  448. .text
  449. .align 32
  450. .globl do_ivec
  451. do_ivec:
  452. mov 0x40, %g3
  453. ldxa [%g3 + %g0] ASI_INTR_R, %g3
  454. sethi %hi(KERNBASE), %g4
  455. cmp %g3, %g4
  456. bgeu,pn %xcc, do_ivec_xcall
  457.  srlx %g3, 32, %g5
  458. stxa %g0, [%g0] ASI_INTR_RECEIVE
  459. membar #Sync
  461. sethi %hi(ivector_table), %g2
  462. sllx %g3, 5, %g3
  463. or %g2, %lo(ivector_table), %g2
  464. add %g2, %g3, %g3
  465. ldx [%g3 + 0x08], %g2 /* irq_info */
  466. ldub [%g3 + 0x04], %g4 /* pil */
  467. brz,pn %g2, do_ivec_spurious
  468.  mov 1, %g2
  470. sllx %g2, %g4, %g2
  471. sllx %g4, 2, %g4
  472. lduw [%g6 + %g4], %g5 /* g5 = irq_work(cpu, pil) */
  473. stw %g5, [%g3 + 0x00] /* bucket->irq_chain = g5 */
  474. stw %g3, [%g6 + %g4] /* irq_work(cpu, pil) = bucket */
  475. wr %g2, 0x0, %set_softint
  476. retry
  477. do_ivec_xcall:
  478. mov 0x50, %g1
  480. ldxa [%g1 + %g0] ASI_INTR_R, %g1
  481. srl %g3, 0, %g3
  482. mov 0x60, %g7
  483. ldxa [%g7 + %g0] ASI_INTR_R, %g7
  484. stxa %g0, [%g0] ASI_INTR_RECEIVE
  485. membar #Sync
  486. ba,pt %xcc, 1f
  487.  nop
  489. .align 32
  490. 1: jmpl %g3, %g0
  491.  nop
  493. do_ivec_spurious:
  494. stw %g3, [%g6 + 0x00] /* irq_work(cpu, 0) = bucket */
  495. rdpr %pstate, %g5
  497. wrpr %g5, PSTATE_IG | PSTATE_AG, %pstate
  498. sethi %hi(109f), %g7
  499. ba,pt %xcc, etrap
  500. 109:  or %g7, %lo(109b), %g7
  501. call catch_disabled_ivec
  502.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  503. ba,pt %xcc, rtrap
  504.  clr %l6
  506. .globl save_alternate_globals
  507. save_alternate_globals: /* %o0 = save_area */
  508. rdpr %pstate, %o5
  509. andn %o5, PSTATE_IE, %o1
  510. wrpr %o1, PSTATE_AG, %pstate
  511. stx %g0, [%o0 + 0x00]
  512. stx %g1, [%o0 + 0x08]
  513. stx %g2, [%o0 + 0x10]
  514. stx %g3, [%o0 + 0x18]
  515. stx %g4, [%o0 + 0x20]
  516. stx %g5, [%o0 + 0x28]
  517. stx %g6, [%o0 + 0x30]
  518. stx %g7, [%o0 + 0x38]
  519. wrpr %o1, PSTATE_IG, %pstate
  520. stx %g0, [%o0 + 0x40]
  521. stx %g1, [%o0 + 0x48]
  522. stx %g2, [%o0 + 0x50]
  523. stx %g3, [%o0 + 0x58]
  524. stx %g4, [%o0 + 0x60]
  525. stx %g5, [%o0 + 0x68]
  526. stx %g6, [%o0 + 0x70]
  527. stx %g7, [%o0 + 0x78]
  528. wrpr %o1, PSTATE_MG, %pstate
  529. stx %g0, [%o0 + 0x80]
  530. stx %g1, [%o0 + 0x88]
  531. stx %g2, [%o0 + 0x90]
  532. stx %g3, [%o0 + 0x98]
  533. stx %g4, [%o0 + 0xa0]
  534. stx %g5, [%o0 + 0xa8]
  535. stx %g6, [%o0 + 0xb0]
  536. stx %g7, [%o0 + 0xb8]
  537. wrpr %o5, 0x0, %pstate
  538. retl
  539.  nop
  541. .globl restore_alternate_globals
  542. restore_alternate_globals: /* %o0 = save_area */
  543. rdpr %pstate, %o5
  544. andn %o5, PSTATE_IE, %o1
  545. wrpr %o1, PSTATE_AG, %pstate
  546. ldx [%o0 + 0x00], %g0
  547. ldx [%o0 + 0x08], %g1
  548. ldx [%o0 + 0x10], %g2
  549. ldx [%o0 + 0x18], %g3
  550. ldx [%o0 + 0x20], %g4
  551. ldx [%o0 + 0x28], %g5
  552. ldx [%o0 + 0x30], %g6
  553. ldx [%o0 + 0x38], %g7
  554. wrpr %o1, PSTATE_IG, %pstate
  555. ldx [%o0 + 0x40], %g0
  556. ldx [%o0 + 0x48], %g1
  557. ldx [%o0 + 0x50], %g2
  558. ldx [%o0 + 0x58], %g3
  559. ldx [%o0 + 0x60], %g4
  560. ldx [%o0 + 0x68], %g5
  561. ldx [%o0 + 0x70], %g6
  562. ldx [%o0 + 0x78], %g7
  563. wrpr %o1, PSTATE_MG, %pstate
  564. ldx [%o0 + 0x80], %g0
  565. ldx [%o0 + 0x88], %g1
  566. ldx [%o0 + 0x90], %g2
  567. ldx [%o0 + 0x98], %g3
  568. ldx [%o0 + 0xa0], %g4
  569. ldx [%o0 + 0xa8], %g5
  570. ldx [%o0 + 0xb0], %g6
  571. ldx [%o0 + 0xb8], %g7
  572. wrpr %o5, 0x0, %pstate
  573. retl
  574.  nop
  576. .globl getcc, setcc
  577. getcc:
  578. ldx [%o0 + PT_V9_TSTATE], %o1
  579. srlx %o1, 32, %o1
  580. and %o1, 0xf, %o1
  581. retl
  582.  stx %o1, [%o0 + PT_V9_G1]
  583. setcc:
  584. ldx [%o0 + PT_V9_TSTATE], %o1
  585. ldx [%o0 + PT_V9_G1], %o2
  586. or %g0, %ulo(TSTATE_ICC), %o3
  587. sllx %o3, 32, %o3
  588. andn %o1, %o3, %o1
  589. sllx %o2, 32, %o2
  590. and %o2, %o3, %o2
  591. or %o1, %o2, %o1
  592. retl
  593.  stx %o1, [%o0 + PT_V9_TSTATE]
  595. .globl utrap, utrap_ill
  596. utrap: brz,pn %g1, etrap
  597.  nop
  598. save %sp, -128, %sp
  599. rdpr %tstate, %l6
  600. rdpr %cwp, %l7
  601. andn %l6, TSTATE_CWP, %l6
  602. wrpr %l6, %l7, %tstate
  603. rdpr %tpc, %l6
  604. rdpr %tnpc, %l7
  605. wrpr %g1, 0, %tnpc
  606. done
  607. utrap_ill:
  608.         call bad_trap
  609.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  610. ba,pt %xcc, rtrap
  611.  clr %l6
  613. #ifdef CONFIG_BLK_DEV_FD
  614. .globl floppy_hardint
  615. floppy_hardint:
  616. wr %g0, (1 << 11), %clear_softint
  617. sethi %hi(doing_pdma), %g1
  618. ld [%g1 + %lo(doing_pdma)], %g2
  619. brz,pn %g2, floppy_dosoftint
  620.  sethi %hi(fdc_status), %g3
  621. ldx [%g3 + %lo(fdc_status)], %g3
  622. sethi %hi(pdma_vaddr), %g5
  623. ldx [%g5 + %lo(pdma_vaddr)], %g4
  624. sethi %hi(pdma_size), %g5
  625. ldx [%g5 + %lo(pdma_size)], %g5
  627. next_byte:
  628. lduba [%g3] ASI_PHYS_BYPASS_EC_E, %g7
  629. andcc %g7, 0x80, %g0
  630. be,pn %icc, floppy_fifo_emptied
  631.  andcc %g7, 0x20, %g0
  632. be,pn %icc, floppy_overrun
  633.  andcc %g7, 0x40, %g0
  634. be,pn %icc, floppy_write
  635.  sub %g5, 1, %g5
  637. inc %g3
  638. lduba [%g3] ASI_PHYS_BYPASS_EC_E, %g7
  639. dec %g3
  640. orcc %g0, %g5, %g0
  641. stb %g7, [%g4]
  642. bne,pn %xcc, next_byte
  643.  add %g4, 1, %g4
  645. b,pt %xcc, floppy_tdone
  646.  nop
  648. floppy_write:
  649. ldub [%g4], %g7
  650. orcc %g0, %g5, %g0
  651. inc %g3
  652. stba %g7, [%g3] ASI_PHYS_BYPASS_EC_E
  653. dec %g3
  654. bne,pn %xcc, next_byte
  655.  add %g4, 1, %g4
  657. floppy_tdone:
  658. sethi %hi(pdma_vaddr), %g1
  659. stx %g4, [%g1 + %lo(pdma_vaddr)]
  660. sethi %hi(pdma_size), %g1
  661. stx %g5, [%g1 + %lo(pdma_size)]
  662. sethi %hi(auxio_register), %g1
  663. ldx [%g1 + %lo(auxio_register)], %g7
  664. lduba [%g7] ASI_PHYS_BYPASS_EC_E, %g5
  665. or %g5, 0xc2, %g5
  666. stba %g5, [%g7] ASI_PHYS_BYPASS_EC_E
  667. andn %g5, 0x02, %g5
  669. nop; nop;  nop; nop;  nop; nop;
  670. nop; nop;  nop; nop;  nop; nop;
  672. stba %g5, [%g7] ASI_PHYS_BYPASS_EC_E
  673. sethi %hi(doing_pdma), %g1
  674. b,pt %xcc, floppy_dosoftint
  675.  st %g0, [%g1 + %lo(doing_pdma)]
  677. floppy_fifo_emptied:
  678. sethi %hi(pdma_vaddr), %g1
  679. stx %g4, [%g1 + %lo(pdma_vaddr)]
  680. sethi %hi(pdma_size), %g1
  681. stx %g5, [%g1 + %lo(pdma_size)]
  682. sethi %hi(irq_action), %g1
  683. or %g1, %lo(irq_action), %g1
  684. ldx [%g1 + (11 << 3)], %g3 ! irqaction[floppy_irq]
  685. ldx [%g3 + 0x08], %g4 ! action->flags>>48==ino
  686. sethi %hi(ivector_table), %g3
  687. srlx %g4, 48, %g4
  688. or %g3, %lo(ivector_table), %g3
  689. sllx %g4, 5, %g4
  690. ldx [%g3 + %g4], %g4 ! &ivector_table[ino]
  691. ldx [%g4 + 0x10], %g4 ! bucket->iclr
  692. stwa %g0, [%g4] ASI_PHYS_BYPASS_EC_E ! ICLR_IDLE
  693. membar #Sync ! probably not needed...
  694. retry
  696. floppy_overrun:
  697. sethi %hi(pdma_vaddr), %g1
  698. stx %g4, [%g1 + %lo(pdma_vaddr)]
  699. sethi %hi(pdma_size), %g1
  700. stx %g5, [%g1 + %lo(pdma_size)]
  701. sethi %hi(doing_pdma), %g1
  702. st %g0, [%g1 + %lo(doing_pdma)]
  704. floppy_dosoftint:
  705. rdpr %pil, %g2
  706. wrpr %g0, 15, %pil
  707. sethi %hi(109f), %g7
  708. b,pt %xcc, etrap_irq
  709. 109:  or %g7, %lo(109b), %g7
  711. mov 11, %o0
  712. mov 0, %o1
  713. call sparc_floppy_irq
  714.  add %sp, STACK_BIAS + REGWIN_SZ, %o2
  716. b,pt %xcc, rtrap
  717.  clr %l6
  719. #endif /* CONFIG_BLK_DEV_FD */
  721. /* XXX Here is stuff we still need to write... -DaveM XXX */
  722. .globl netbsd_syscall
  723. netbsd_syscall:
  724. retl
  725.  nop
  727. /* These next few routines must be sure to clear the
  728.  * SFSR FaultValid bit so that the fast tlb data protection
  729.  * handler does not flush the wrong context and lock up the
  730.  * box.
  731.  */
  732. .globl __do_data_access_exception
  733. .globl __do_data_access_exception_tl1
  734. __do_data_access_exception_tl1:
  735. rdpr %pstate, %g4
  736. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  737. mov TLB_SFSR, %g3
  738. mov DMMU_SFAR, %g5
  739. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  740. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  741. stxa %g0, [%g3] ASI_DMMU ! Clear SFSR.FaultValid bit
  742. membar #Sync
  743. ba,pt %xcc, winfix_dax
  744.  rdpr %tpc, %g3
  745. __do_data_access_exception:
  746. rdpr %pstate, %g4
  747. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  748. mov TLB_SFSR, %g3
  749. mov DMMU_SFAR, %g5
  750. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  751. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  752. stxa %g0, [%g3] ASI_DMMU ! Clear SFSR.FaultValid bit
  753. membar #Sync
  754. sethi %hi(109f), %g7
  755. ba,pt %xcc, etrap
  756. 109:  or %g7, %lo(109b), %g7
  757. mov %l4, %o1
  758. mov %l5, %o2
  759. call data_access_exception
  760.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  761. ba,pt %xcc, rtrap
  762.  clr %l6
  764. .globl __do_instruction_access_exception
  765. .globl __do_instruction_access_exception_tl1
  766. __do_instruction_access_exception_tl1:
  767. rdpr %pstate, %g4
  768. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  769. mov TLB_SFSR, %g3
  770. mov DMMU_SFAR, %g5
  771. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  772. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  773. stxa %g0, [%g3] ASI_IMMU ! Clear FaultValid bit
  774. membar #Sync
  775. sethi %hi(109f), %g7
  776. ba,pt %xcc, etraptl1
  777. 109:  or %g7, %lo(109b), %g7
  778. mov %l4, %o1
  779. mov %l5, %o2
  780. call instruction_access_exception_tl1
  781.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  782. ba,pt %xcc, rtrap
  783.  clr %l6
  785. __do_instruction_access_exception:
  786. rdpr %pstate, %g4
  787. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  788. mov TLB_SFSR, %g3
  789. mov DMMU_SFAR, %g5
  790. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  791. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  792. stxa %g0, [%g3] ASI_IMMU ! Clear FaultValid bit
  793. membar #Sync
  794. sethi %hi(109f), %g7
  795. ba,pt %xcc, etrap
  796. 109:  or %g7, %lo(109b), %g7
  797. mov %l4, %o1
  798. mov %l5, %o2
  799. call instruction_access_exception
  800.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  801. ba,pt %xcc, rtrap
  802.  clr %l6
  804. /* This is the trap handler entry point for ECC correctable
  805.  * errors.  They are corrected, but we listen for the trap
  806.  * so that the event can be logged.
  807.  *
  808.  * Disrupting errors are either:
  809.  * 1) single-bit ECC errors during UDB reads to system
  810.  *    memory
  811.  * 2) data parity errors during write-back events
  812.  *
  813.  * As far as I can make out from the manual, the CEE trap
  814.  * is only for correctable errors during memory read
  815.  * accesses by the front-end of the processor.
  816.  *
  817.  * The code below is only for trap level 1 CEE events,
  818.  * as it is the only situation where we can safely record
  819.  * and log.  For trap level >1 we just clear the CE bit
  820.  * in the AFSR and return.
  821.  */
  823. /* Our trap handling infrastructure allows us to preserve
  824.  * two 64-bit values during etrap for arguments to
  825.  * subsequent C code.  Therefore we encode the information
  826.  * as follows:
  827.  *
  828.  * value 1) Full 64-bits of AFAR
  829.  * value 2) Low 33-bits of AFSR, then bits 33-->42
  830.  *          are UDBL error status and bits 43-->52
  831.  *          are UDBH error status
  832.  */
  833. .align 64
  834. .globl cee_trap
  835. cee_trap:
  836. ldxa [%g0] ASI_AFSR, %g1 ! Read AFSR
  837. ldxa [%g0] ASI_AFAR, %g2 ! Read AFAR
  838. sllx %g1, 31, %g1 ! Clear reserved bits
  839. srlx %g1, 31, %g1 ! in AFSR
  841. /* NOTE: UltraSparc-I/II have high and low UDB error
  842.  *       registers, corresponding to the two UDB units
  843.  *       present on those chips.  UltraSparc-IIi only
  844.  *       has a single UDB, called "SDB" in the manual.
  845.  *       For IIi the upper UDB register always reads
  846.  *       as zero so for our purposes things will just
  847.  *       work with the checks below.
  848.  */
  849. ldxa [%g0] ASI_UDBL_ERROR_R, %g3 ! Read UDB-Low error status
  850. andcc %g3, (1 << 8), %g4 ! Check CE bit
  851. sllx %g3, (64 - 10), %g3 ! Clear reserved bits
  852. srlx %g3, (64 - 10), %g3 ! in UDB-Low error status
  854. sllx %g3, (33 + 0), %g3 ! Shift up to encoding area
  855. or %g1, %g3, %g1 ! Or it in
  856. be,pn %xcc, 1f ! Branch if CE bit was clear
  857.  nop
  858. stxa %g4, [%g0] ASI_UDB_ERROR_W ! Clear CE sticky bit in UDBL
  859. membar #Sync ! Synchronize ASI stores
  860. 1: mov 0x18, %g5 ! Addr of UDB-High error status
  861. ldxa [%g5] ASI_UDBH_ERROR_R, %g3 ! Read it
  863. andcc %g3, (1 << 8), %g4 ! Check CE bit
  864. sllx %g3, (64 - 10), %g3 ! Clear reserved bits
  865. srlx %g3, (64 - 10), %g3 ! in UDB-High error status
  866. sllx %g3, (33 + 10), %g3 ! Shift up to encoding area
  867. or %g1, %g3, %g1 ! Or it in
  868. be,pn %xcc, 1f ! Branch if CE bit was clear
  869.  nop
  870. nop
  872. stxa %g4, [%g5] ASI_UDB_ERROR_W ! Clear CE sticky bit in UDBH
  873. membar #Sync ! Synchronize ASI stores
  874. 1: mov 1, %g5 ! AFSR CE bit is
  875. sllx %g5, 20, %g5 ! bit 20
  876. stxa %g5, [%g0] ASI_AFSR ! Clear CE sticky bit in AFSR
  877. membar #Sync ! Synchronize ASI stores
  878. sllx %g2, (64 - 41), %g2 ! Clear reserved bits
  879. srlx %g2, (64 - 41), %g2 ! in latched AFAR
  881. andn %g2, 0x0f, %g2 ! Finish resv bit clearing
  882. mov %g1, %g4 ! Move AFSR+UDB* into save reg
  883. mov %g2, %g5 ! Move AFAR into save reg
  884. rdpr %pil, %g2
  885. wrpr %g0, 15, %pil
  886. ba,pt %xcc, etrap_irq
  887.  rd %pc, %g7
  888. mov %l4, %o0
  890. mov %l5, %o1
  891. call cee_log
  892.  add %sp, STACK_BIAS + REGWIN_SZ, %o2
  893. ba,a,pt %xcc, rtrap_clr_l6
  895. /* Capture I/D/E-cache state into per-cpu error scoreboard.
  896.  *
  897.  * %g1: (TL>=0) ? 1 : 0
  898.  * %g2: scratch
  899.  * %g3: scratch
  900.  * %g4: AFSR
  901.  * %g5: AFAR
  902.  * %g6: current thread ptr
  903.  * %g7: scratch
  904.  */
  905. #define CHEETAH_LOG_ERROR
  906. /* Put "TL1" software bit into AFSR. */
  907. and %g1, 0x1, %g1;
  908. sllx %g1, 63, %g2;
  909. or %g4, %g2, %g4;
  910. /* Get log entry pointer for this cpu at this trap level. */
  911. ldxa [%g0] ASI_SAFARI_CONFIG, %g2;
  912. srlx %g2, 17, %g2;
  913. and %g2, 0x3ff, %g2;
  914. sllx %g2, 9, %g2;
  915. sethi %hi(cheetah_error_log), %g3;
  916. ldx [%g3 + %lo(cheetah_error_log)], %g3;
  917. brz,pn %g3, 80f;
  918.  nop;
  919. add %g3, %g2, %g3;
  920. sllx %g1, 8, %g1;
  921. add %g3, %g1, %g1;
  922. /* %g1 holds pointer to the top of the logging scoreboard */
  923. ldx [%g1 + 0x0], %g7;
  924. cmp %g7, -1;
  925. bne,pn %xcc, 80f;
  926.  nop;
  927. stx %g4, [%g1 + 0x0];
  928. stx %g5, [%g1 + 0x8];
  929. add %g1, 0x10, %g1;
  930. /* %g1 now points to D-cache logging area */
  931. set 0x3ff8, %g2; /* DC_addr mask */
  932. and %g5, %g2, %g2; /* DC_addr bits of AFAR */
  933. srlx %g5, 12, %g3;
  934. or %g3, 1, %g3; /* PHYS tag + valid */
  935. 10: ldxa [%g2] ASI_DCACHE_TAG, %g7;
  936. cmp %g3, %g7; /* TAG match? */
  937. bne,pt %xcc, 13f;
  938.  nop;
  939. /* Yep, what we want, capture state. */
  940. stx %g2, [%g1 + 0x20];
  941. stx %g7, [%g1 + 0x28];
  942. /* A membar Sync is required before and after utag access. */
  943. membar #Sync;
  944. ldxa [%g2] ASI_DCACHE_UTAG, %g7;
  945. membar #Sync;
  946. stx %g7, [%g1 + 0x30];
  947. ldxa [%g2] ASI_DCACHE_SNOOP_TAG, %g7;
  948. stx %g7, [%g1 + 0x38];
  949. clr %g3;
  950. 12: ldxa [%g2 + %g3] ASI_DCACHE_DATA, %g7;
  951. stx %g7, [%g1];
  952. add %g3, (1 << 5), %g3;
  953. cmp %g3, (4 << 5);
  954. bl,pt %xcc, 12b;
  955.  add %g1, 0x8, %g1;
  956. ba,pt %xcc, 20f;
  957.  add %g1, 0x20, %g1;
  958. 13: sethi %hi(1 << 14), %g7;
  959. add %g2, %g7, %g2;
  960. srlx %g2, 14, %g7;
  961. cmp %g7, 4;
  962. bl,pt %xcc, 10b;
  963.  nop;
  964. add %g1, 0x40, %g1;
  965. 20: /* %g1 now points to I-cache logging area */
  966. set 0x1fe0, %g2; /* IC_addr mask */
  967. and %g5, %g2, %g2; /* IC_addr bits of AFAR */
  968. sllx %g2, 1, %g2; /* IC_addr[13:6]==VA[12:5] */
  969. srlx %g5, (13 - 8), %g3; /* Make PTAG */
  970. andn %g3, 0xff, %g3; /* Mask off undefined bits */
  971. 21: ldxa [%g2] ASI_IC_TAG, %g7;
  972. andn %g7, 0xff, %g7;
  973. cmp %g3, %g7;
  974. bne,pt %xcc, 23f;
  975.  nop;
  976. /* Yep, what we want, capture state. */
  977. stx %g2, [%g1 + 0x40];
  978. stx %g7, [%g1 + 0x48];
  979. add %g2, (1 << 3), %g2;
  980. ldxa [%g2] ASI_IC_TAG, %g7;
  981. add %g2, (1 << 3), %g2;
  982. stx %g7, [%g1 + 0x50];
  983. ldxa [%g2] ASI_IC_TAG, %g7;
  984. add %g2, (1 << 3), %g2;
  985. stx %g7, [%g1 + 0x60];
  986. ldxa [%g2] ASI_IC_TAG, %g7;
  987. stx %g7, [%g1 + 0x68];
  988. sub %g2, (3 << 3), %g2;
  989. ldxa [%g2] ASI_IC_STAG, %g7;
  990. stx %g7, [%g1 + 0x58];
  991. clr %g3;
  992. srlx %g2, 2, %g2;
  993. 22: ldxa [%g2 + %g3] ASI_IC_INSTR, %g7;
  994. stx %g7, [%g1];
  995. add %g3, (1 << 3), %g3;
  996. cmp %g3, (8 << 3);
  997. bl,pt %xcc, 22b;
  998.  add %g1, 0x8, %g1;
  999. ba,pt %xcc, 30f;
  1000.  add %g1, 0x30, %g1;
  1001. 23: sethi %hi(1 << 14), %g7;
  1002. add %g2, %g7, %g2;
  1003. srlx %g2, 14, %g7;
  1004. cmp %g7, 4;
  1005. bl,pt %xcc, 21b;
  1006.  nop;
  1007. add %g1, 0x70, %g1;
  1008. 30: /* %g1 now points to E-cache logging area */
  1009. andn %g5, (32 - 1), %g2; /* E-cache subblock */
  1010. stx %g2, [%g1 + 0x20];
  1011. ldxa [%g2] ASI_EC_TAG_DATA, %g7;
  1012. stx %g7, [%g1 + 0x28];
  1013. ldxa [%g2] ASI_EC_R, %g0;
  1014. clr %g3;
  1015. 31: ldxa [%g3] ASI_EC_DATA, %g7;
  1016. stx %g7, [%g1 + %g3];
  1017. add %g3, 0x8, %g3;
  1018. cmp %g3, 0x20;
  1019. bl,pt %xcc, 31b;
  1020.  nop;
  1021. 80: /* DONE */
  1023. /* These get patched into the trap table at boot time
  1024.  * once we know we have a cheetah processor.
  1025.  */
  1026. .globl cheetah_fecc_trap_vector, cheetah_fecc_trap_vector_tl1
  1027. cheetah_fecc_trap_vector:
  1028. membar #Sync
  1029. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1030. andn %g1, DCU_DC | DCU_IC, %g1
  1031. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1032. membar #Sync
  1033. sethi %hi(cheetah_fast_ecc), %g2
  1034. jmpl %g2 + %lo(cheetah_fast_ecc), %g0
  1035.  mov 0, %g1
  1036. cheetah_fecc_trap_vector_tl1:
  1037. membar #Sync
  1038. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1039. andn %g1, DCU_DC | DCU_IC, %g1
  1040. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1041. membar #Sync
  1042. sethi %hi(cheetah_fast_ecc), %g2
  1043. jmpl %g2 + %lo(cheetah_fast_ecc), %g0
  1044.  mov 1, %g1
  1045. .globl cheetah_cee_trap_vector, cheetah_cee_trap_vector_tl1
  1046. cheetah_cee_trap_vector:
  1047. membar #Sync
  1048. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1049. andn %g1, DCU_IC, %g1
  1050. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1051. membar #Sync
  1052. sethi %hi(cheetah_cee), %g2
  1053. jmpl %g2 + %lo(cheetah_cee), %g0
  1054.  mov 0, %g1
  1055. cheetah_cee_trap_vector_tl1:
  1056. membar #Sync
  1057. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1058. andn %g1, DCU_IC, %g1
  1059. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1060. membar #Sync
  1061. sethi %hi(cheetah_cee), %g2
  1062. jmpl %g2 + %lo(cheetah_cee), %g0
  1063.  mov 1, %g1
  1064. .globl cheetah_deferred_trap_vector, cheetah_deferred_trap_vector_tl1
  1065. cheetah_deferred_trap_vector:
  1066. membar #Sync
  1067. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1;
  1068. andn %g1, DCU_DC | DCU_IC, %g1;
  1069. stxa %g1, [%g0] ASI_DCU_CONTROL_REG;
  1070. membar #Sync;
  1071. sethi %hi(cheetah_deferred_trap), %g2
  1072. jmpl %g2 + %lo(cheetah_deferred_trap), %g0
  1073.  mov 0, %g1
  1074. cheetah_deferred_trap_vector_tl1:
  1075. membar #Sync;
  1076. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1;
  1077. andn %g1, DCU_DC | DCU_IC, %g1;
  1078. stxa %g1, [%g0] ASI_DCU_CONTROL_REG;
  1079. membar #Sync;
  1080. sethi %hi(cheetah_deferred_trap), %g2
  1081. jmpl %g2 + %lo(cheetah_deferred_trap), %g0
  1082.  mov 1, %g1
  1084. /* Cheetah+ specific traps. These are for the new I/D cache parity
  1085.  * error traps.  The first argument to cheetah_plus_parity_handler
  1086.  * is encoded as follows:
  1087.  *
  1088.  * Bit0: 0=dcache,1=icache
  1089.  * Bit1: 0=recoverable,1=unrecoverable
  1090.  */
  1091. .globl cheetah_plus_dcpe_trap_vector, cheetah_plus_dcpe_trap_vector_tl1
  1092. cheetah_plus_dcpe_trap_vector:
  1093. membar #Sync
  1094. sethi %hi(do_cheetah_plus_data_parity), %g7
  1095. jmpl %g7 + %lo(do_cheetah_plus_data_parity), %g0
  1096.  nop
  1097. nop
  1098. nop
  1099. nop
  1100. nop
  1102. do_cheetah_plus_data_parity:
  1103. ba,pt %xcc, etrap
  1104.  rd %pc, %g7
  1105. mov 0x0, %o0
  1106. call cheetah_plus_parity_error
  1107.  add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1108. ba,pt %xcc, rtrap
  1109.  clr %l6
  1111. cheetah_plus_dcpe_trap_vector_tl1:
  1112. membar #Sync
  1113. wrpr PSTATE_IG | PSTATE_PEF | PSTATE_PRIV, %pstate
  1114. sethi %hi(do_dcpe_tl1), %g3
  1115. jmpl %g3 + %lo(do_dcpe_tl1), %g0
  1116.  nop
  1117. nop
  1118. nop
  1119. nop
  1121. .globl cheetah_plus_icpe_trap_vector, cheetah_plus_icpe_trap_vector_tl1
  1122. cheetah_plus_icpe_trap_vector:
  1123. membar #Sync
  1124. sethi %hi(do_cheetah_plus_insn_parity), %g7
  1125. jmpl %g7 + %lo(do_cheetah_plus_insn_parity), %g0
  1126.  nop
  1127. nop
  1128. nop
  1129. nop
  1130. nop
  1132. do_cheetah_plus_insn_parity:
  1133. ba,pt %xcc, etrap
  1134.  rd %pc, %g7
  1135. mov 0x1, %o0
  1136. call cheetah_plus_parity_error
  1137.  add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1138. ba,pt %xcc, rtrap
  1139.  clr %l6
  1141. cheetah_plus_icpe_trap_vector_tl1:
  1142. membar #Sync
  1143. wrpr PSTATE_IG | PSTATE_PEF | PSTATE_PRIV, %pstate
  1144. sethi %hi(do_icpe_tl1), %g3
  1145. jmpl %g3 + %lo(do_icpe_tl1), %g0
  1146.  nop
  1147. nop
  1148. nop
  1149. nop
  1151. /* If we take one of these traps when tl >= 1, then we
  1152.  * jump to interrupt globals.  If some trap level above us
  1153.  * was also using interrupt globals, we cannot recover.
  1154.  * We may use all interrupt global registers except %g6.
  1155.  */
  1156. .globl do_dcpe_tl1, do_icpe_tl1
  1157. do_dcpe_tl1:
  1158. rdpr %tl, %g1 ! Save original trap level
  1159. mov 1, %g2 ! Setup TSTATE checking loop
  1160. sethi %hi(TSTATE_IG), %g3 ! TSTATE mask bit
  1161. 1: wrpr %g2, %tl ! Set trap level to check
  1162. rdpr %tstate, %g4 ! Read TSTATE for this level
  1163. andcc %g4, %g3, %g0 ! Interrupt globals in use?
  1164. bne,a,pn %xcc, do_dcpe_tl1_fatal ! Yep, irrecoverable
  1165.  wrpr %g1, %tl ! Restore original trap level
  1166. add %g2, 1, %g2 ! Next trap level
  1167. cmp %g2, %g1 ! Hit them all yet?
  1168. ble,pt %icc, 1b ! Not yet
  1169.  nop
  1170. wrpr %g1, %tl ! Restore original trap level
  1171. do_dcpe_tl1_nonfatal: /* Ok we may use interrupt globals safely. */
  1172. /* Reset D-cache parity */
  1173. sethi %hi(1 << 16), %g1 ! D-cache size
  1174. mov (1 << 5), %g2 ! D-cache line size
  1175. sub %g1, %g2, %g1 ! Move down 1 cacheline
  1176. 1: srl %g1, 14, %g3 ! Compute UTAG
  1177. membar #Sync
  1178. stxa %g3, [%g1] ASI_DCACHE_UTAG
  1179. membar #Sync
  1180. sub %g2, 8, %g3 ! 64-bit data word within line
  1181. 2: membar #Sync
  1182. stxa %g0, [%g1 + %g3] ASI_DCACHE_DATA
  1183. membar #Sync
  1184. subcc %g3, 8, %g3 ! Next 64-bit data word
  1185. bge,pt %icc, 2b
  1186.  nop
  1187. subcc %g1, %g2, %g1 ! Next cacheline
  1188. bge,pt %icc, 1b
  1189.  nop
  1190. ba,pt %xcc, dcpe_icpe_tl1_common
  1191.  nop
  1193. do_dcpe_tl1_fatal:
  1194. sethi %hi(1f), %g7
  1195. ba,pt %xcc, etraptl1
  1196. 1: or %g7, %lo(1b), %g7
  1197. mov 0x2, %o0
  1198. call cheetah_plus_parity_error
  1199.  add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1200. ba,pt %xcc, rtrap
  1201.  clr %l6
  1203. do_icpe_tl1:
  1204. rdpr %tl, %g1 ! Save original trap level
  1205. mov 1, %g2 ! Setup TSTATE checking loop
  1206. sethi %hi(TSTATE_IG), %g3 ! TSTATE mask bit
  1207. 1: wrpr %g2, %tl ! Set trap level to check
  1208. rdpr %tstate, %g4 ! Read TSTATE for this level
  1209. andcc %g4, %g3, %g0 ! Interrupt globals in use?
  1210. bne,a,pn %xcc, do_icpe_tl1_fatal ! Yep, irrecoverable
  1211.  wrpr %g1, %tl ! Restore original trap level
  1212. add %g2, 1, %g2 ! Next trap level
  1213. cmp %g2, %g1 ! Hit them all yet?
  1214. ble,pt %icc, 1b ! Not yet
  1215.  nop
  1216. wrpr %g1, %tl ! Restore original trap level
  1217. do_icpe_tl1_nonfatal: /* Ok we may use interrupt globals safely. */
  1218. /* Flush I-cache */
  1219. sethi %hi(1 << 15), %g1 ! I-cache size
  1220. mov (1 << 5), %g2 ! I-cache line size
  1221. sub %g1, %g2, %g1
  1222. 1: or %g1, (2 << 3), %g3
  1223. stxa %g0, [%g3] ASI_IC_TAG
  1224. membar #Sync
  1225. subcc %g1, %g2, %g1
  1226. bge,pt %icc, 1b
  1227.  nop
  1228. ba,pt %xcc, dcpe_icpe_tl1_common
  1229.  nop
  1231. do_icpe_tl1_fatal:
  1232. sethi %hi(1f), %g7
  1233. ba,pt %xcc, etraptl1
  1234. 1: or %g7, %lo(1b), %g7
  1235. mov 0x3, %o0
  1236. call cheetah_plus_parity_error
  1237.  add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1238. ba,pt %xcc, rtrap
  1239.  clr %l6
  1241. dcpe_icpe_tl1_common:
  1242. /* Flush D-cache, re-enable D/I caches in DCU and finally
  1243.  * retry the trapping instruction.
  1244.  */
  1245. sethi %hi(1 << 16), %g1 ! D-cache size
  1246. mov (1 << 5), %g2 ! D-cache line size
  1247. sub %g1, %g2, %g1
  1248. 1: stxa %g0, [%g1] ASI_DCACHE_TAG
  1249. membar #Sync
  1250. subcc %g1, %g2, %g1
  1251. bge,pt %icc, 1b
  1252.  nop
  1253. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1254. or %g1, (DCU_DC | DCU_IC), %g1
  1255. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1256. membar #Sync
  1257. retry
  1259. /* Cheetah FECC trap handling, we get here from tl{0,1}_fecc
  1260.  * in the trap table.  That code has done a memory barrier
  1261.  * and has disabled both the I-cache and D-cache in the DCU
  1262.  * control register.  The I-cache is disabled so that we may
  1263.  * capture the corrupted cache line, and the D-cache is disabled
  1264.  * because corrupt data may have been placed there and we don't
  1265.  * want to reference it.
  1266.  *
  1267.  * %g1 is one if this trap occured at %tl >= 1.
  1268.  *
  1269.  * Next, we turn off error reporting so that we don't recurse.
  1270.  */
  1271. .globl cheetah_fast_ecc
  1272. cheetah_fast_ecc:
  1273. ldxa [%g0] ASI_ESTATE_ERROR_EN, %g2
  1274. andn %g2, ESTATE_ERROR_NCEEN | ESTATE_ERROR_CEEN, %g2
  1275. stxa %g2, [%g0] ASI_ESTATE_ERROR_EN
  1276. membar #Sync
  1278. /* Fetch and clear AFSR/AFAR */
  1279. ldxa [%g0] ASI_AFSR, %g4
  1280. ldxa [%g0] ASI_AFAR, %g5
  1281. stxa %g4, [%g0] ASI_AFSR
  1282. membar #Sync
  1284. CHEETAH_LOG_ERROR
  1286. rdpr %pil, %g2
  1287. wrpr %g0, 15, %pil
  1288. ba,pt %xcc, etrap_irq
  1289.  rd %pc, %g7
  1290. mov %l4, %o1
  1291. mov %l5, %o2
  1292. call cheetah_fecc_handler
  1293.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1294. ba,a,pt %xcc, rtrap_clr_l6
  1296. /* Our caller has disabled I-cache and performed membar Sync. */
  1297. .globl cheetah_cee
  1298. cheetah_cee:
  1299. ldxa [%g0] ASI_ESTATE_ERROR_EN, %g2
  1300. andn %g2, ESTATE_ERROR_CEEN, %g2
  1301. stxa %g2, [%g0] ASI_ESTATE_ERROR_EN
  1302. membar #Sync
  1304. /* Fetch and clear AFSR/AFAR */
  1305. ldxa [%g0] ASI_AFSR, %g4
  1306. ldxa [%g0] ASI_AFAR, %g5
  1307. stxa %g4, [%g0] ASI_AFSR
  1308. membar #Sync
  1310. CHEETAH_LOG_ERROR
  1312. rdpr %pil, %g2
  1313. wrpr %g0, 15, %pil
  1314. ba,pt %xcc, etrap_irq
  1315.  rd %pc, %g7
  1316. mov %l4, %o1
  1317. mov %l5, %o2
  1318. call cheetah_cee_handler
  1319.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1320. ba,a,pt %xcc, rtrap_clr_l6
  1322. /* Our caller has disabled I-cache+D-cache and performed membar Sync. */
  1323. .globl cheetah_deferred_trap
  1324. cheetah_deferred_trap:
  1325. ldxa [%g0] ASI_ESTATE_ERROR_EN, %g2
  1326. andn %g2, ESTATE_ERROR_NCEEN | ESTATE_ERROR_CEEN, %g2
  1327. stxa %g2, [%g0] ASI_ESTATE_ERROR_EN
  1328. membar #Sync
  1330. /* Fetch and clear AFSR/AFAR */
  1331. ldxa [%g0] ASI_AFSR, %g4
  1332. ldxa [%g0] ASI_AFAR, %g5
  1333. stxa %g4, [%g0] ASI_AFSR
  1334. membar #Sync
  1336. CHEETAH_LOG_ERROR
  1338. rdpr %pil, %g2
  1339. wrpr %g0, 15, %pil
  1340. ba,pt %xcc, etrap_irq
  1341.  rd %pc, %g7
  1342. mov %l4, %o1
  1343. mov %l5, %o2
  1344. call cheetah_deferred_handler
  1345.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1346. ba,a,pt %xcc, rtrap_clr_l6
  1348. .globl __do_privact
  1349. __do_privact:
  1350. mov TLB_SFSR, %g3
  1351. stxa %g0, [%g3] ASI_DMMU ! Clear FaultValid bit
  1352. membar #Sync
  1353. sethi %hi(109f), %g7
  1354. ba,pt %xcc, etrap
  1355. 109: or %g7, %lo(109b), %g7
  1356. call do_privact
  1357.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1358. ba,pt %xcc, rtrap
  1359.  clr %l6
  1361. .globl do_mna
  1362. do_mna:
  1363. rdpr %tl, %g3
  1364. cmp %g3, 1
  1366. /* Setup %g4/%g5 now as they are used in the
  1367.  * winfixup code.
  1368.  */
  1369. mov TLB_SFSR, %g3
  1370. mov DMMU_SFAR, %g4
  1371. ldxa [%g4] ASI_DMMU, %g4
  1372. ldxa [%g3] ASI_DMMU, %g5
  1373. stxa %g0, [%g3] ASI_DMMU ! Clear FaultValid bit
  1374. membar #Sync
  1375. bgu,pn %icc, winfix_mna
  1376.  rdpr %tpc, %g3
  1378. 1: sethi %hi(109f), %g7
  1379. ba,pt %xcc, etrap
  1380. 109:  or %g7, %lo(109b), %g7
  1381. mov %l4, %o1
  1382. mov %l5, %o2
  1383. call mem_address_unaligned
  1384.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1385. ba,pt %xcc, rtrap
  1386.  clr %l6
  1388. .globl do_lddfmna
  1389. do_lddfmna:
  1390. sethi %hi(109f), %g7
  1391. mov TLB_SFSR, %g4
  1392. ldxa [%g4] ASI_DMMU, %g5
  1393. stxa %g0, [%g4] ASI_DMMU ! Clear FaultValid bit
  1394. membar #Sync
  1395. mov DMMU_SFAR, %g4
  1396. ldxa [%g4] ASI_DMMU, %g4
  1397. ba,pt %xcc, etrap
  1398. 109:  or %g7, %lo(109b), %g7
  1399. mov %l4, %o1
  1400. mov %l5, %o2
  1401. call handle_lddfmna
  1402.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1403. ba,pt %xcc, rtrap
  1404.  clr %l6
  1406. .globl do_stdfmna
  1407. do_stdfmna:
  1408. sethi %hi(109f), %g7
  1409. mov TLB_SFSR, %g4
  1410. ldxa [%g4] ASI_DMMU, %g5
  1411. stxa %g0, [%g4] ASI_DMMU ! Clear FaultValid bit
  1412. membar #Sync
  1413. mov DMMU_SFAR, %g4
  1414. ldxa [%g4] ASI_DMMU, %g4
  1415. ba,pt %xcc, etrap
  1416. 109:  or %g7, %lo(109b), %g7
  1417. mov %l4, %o1
  1418. mov %l5, %o2
  1419. call handle_stdfmna
  1420.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1421. ba,pt %xcc, rtrap
  1422.  clr %l6
  1424. .globl breakpoint_trap
  1425. breakpoint_trap:
  1426. call sparc_breakpoint
  1427.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1428. ba,pt %xcc, rtrap
  1429.  nop
  1431. #if defined(CONFIG_SUNOS_EMUL) || defined(CONFIG_SOLARIS_EMUL) || 
  1432.     defined(CONFIG_SOLARIS_EMUL_MODULE)
  1433. /* SunOS uses syscall zero as the 'indirect syscall' it looks
  1434.  * like indir_syscall(scall_num, arg0, arg1, arg2...);  etc.
  1435.  * This is complete brain damage.
  1436.  */
  1437. .globl sunos_indir
  1438. sunos_indir:
  1439. srl %o0, 0, %o0
  1440. mov %o7, %l4
  1441. cmp %o0, NR_SYSCALLS
  1442. blu,a,pt %icc, 1f
  1443.  sll %o0, 0x2, %o0
  1444. sethi %hi(sunos_nosys), %l6
  1445. b,pt %xcc, 2f
  1446.  or %l6, %lo(sunos_nosys), %l6
  1447. 1: sethi %hi(sunos_sys_table), %l7
  1448. or %l7, %lo(sunos_sys_table), %l7
  1449. lduw [%l7 + %o0], %l6
  1450. 2: mov %o1, %o0
  1451. mov %o2, %o1
  1452. mov %o3, %o2
  1453. mov %o4, %o3
  1454. mov %o5, %o4
  1455. call %l6
  1456.  mov %l4, %o7
  1458. .globl sunos_getpid
  1459. sunos_getpid:
  1460. call sys_getppid
  1461.  nop
  1462. call sys_getpid
  1463.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I1]
  1464. b,pt %xcc, ret_sys_call
  1465.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1467. /* SunOS getuid() returns uid in %o0 and euid in %o1 */
  1468. .globl sunos_getuid
  1469. sunos_getuid:
  1470. call sys32_geteuid16
  1471.  nop
  1472. call sys32_getuid16
  1473.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I1]
  1474. b,pt %xcc, ret_sys_call
  1475.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1477. /* SunOS getgid() returns gid in %o0 and egid in %o1 */
  1478. .globl sunos_getgid
  1479. sunos_getgid:
  1480. call sys32_getegid16
  1481.  nop
  1482. call sys32_getgid16
  1483.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I1]
  1484. b,pt %xcc, ret_sys_call
  1485.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1486. #endif
  1488. /* SunOS's execv() call only specifies the argv argument, the
  1489.  * environment settings are the same as the calling processes.
  1490.  */
  1491. .globl sunos_execv, sys_execve, sys32_execve
  1492. sys_execve:
  1493. sethi %hi(sparc_execve), %g1
  1494. ba,pt %xcc, execve_merge
  1495.  or %g1, %lo(sparc_execve), %g1
  1496. sunos_execv:
  1497. stx %g0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I2]
  1498. sys32_execve:
  1499. sethi %hi(sparc32_execve), %g1
  1500. or %g1, %lo(sparc32_execve), %g1
  1501. execve_merge:
  1502. flushw
  1503. jmpl %g1, %g0
  1504.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1506. .globl sys_pipe, sys_sigpause, sys_nis_syscall
  1507. .globl sys_sigsuspend, sys_rt_sigsuspend, sys32_rt_sigsuspend
  1508. .globl sys_rt_sigreturn
  1509. .globl sys32_sigreturn, sys32_rt_sigreturn
  1510. .globl sys32_execve, sys_ptrace
  1511. .globl sys_sigaltstack, sys32_sigaltstack
  1512. .globl sys32_sigstack
  1513. .align 32
  1514. sys_pipe: ba,pt %xcc, sparc_pipe
  1515.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1516. sys_nis_syscall:ba,pt %xcc, c_sys_nis_syscall
  1517.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1518. sys_memory_ordering:
  1519. ba,pt %xcc, sparc_memory_ordering
  1520.  add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1521. sys_sigaltstack:ba,pt %xcc, do_sigaltstack
  1522.  add %i6, STACK_BIAS, %o2
  1523. sys32_sigstack: ba,pt %xcc, do_sys32_sigstack
  1524.  mov %i6, %o2
  1525. sys32_sigaltstack:
  1526. ba,pt %xcc, do_sys32_sigaltstack
  1527.  mov %i6, %o2
  1529. .align 32
  1530. sys_sigsuspend: add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1531. call do_sigsuspend
  1532.  add %o7, 1f-.-4, %o7
  1533. nop
  1534. sys_rt_sigsuspend: /* NOTE: %o0,%o1 have a correct value already */
  1535. add %sp, STACK_BIAS + REGWIN_SZ, %o2
  1536. call do_rt_sigsuspend
  1537.  add %o7, 1f-.-4, %o7
  1538. nop
  1539. sys32_rt_sigsuspend: /* NOTE: %o0,%o1 have a correct value already */
  1540. srl %o0, 0, %o0
  1541. add %sp, STACK_BIAS + REGWIN_SZ, %o2
  1542. call do_rt_sigsuspend32
  1543.  add %o7, 1f-.-4, %o7
  1544. /* NOTE: %o0 has a correct value already */
  1545. sys_sigpause: add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1546. call do_sigpause
  1547.  add %o7, 1f-.-4, %o7
  1548. nop
  1549. sys32_sigreturn:
  1550. add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1551. call do_sigreturn32
  1552.  add %o7, 1f-.-4, %o7
  1553. nop
  1554. sys_rt_sigreturn:
  1555. add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1556. call do_rt_sigreturn
  1557.  add %o7, 1f-.-4, %o7
  1558. nop
  1559. sys32_rt_sigreturn:
  1560. add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1561. call do_rt_sigreturn32
  1562.  add %o7, 1f-.-4, %o7
  1563. nop
  1564. sys_ptrace: add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1565. call do_ptrace
  1566.  add %o7, 1f-.-4, %o7
  1567. nop
  1568. .align 32
  1569. 1: ldx [%curptr + AOFF_task_ptrace], %l5
  1570. andcc %l5, 0x02, %g0
  1571. be,pt %icc, rtrap
  1572.  clr %l6
  1573. call syscall_trace
  1574.  nop
  1576. ba,pt %xcc, rtrap
  1577.  clr %l6
  1579. /* This is how fork() was meant to be done, 8 instruction entry.
  1580.  *
  1581.  * I questioned the following code briefly, let me clear things
  1582.  * up so you must not reason on it like I did.
  1583.  *
  1584.  * Know the fork_kpsr etc. we use in the sparc32 port?  We don't
  1585.  * need it here because the only piece of window state we copy to
  1586.  * the child is the CWP register.  Even if the parent sleeps,
  1587.  * we are safe because we stuck it into pt_regs of the parent
  1588.  * so it will not change.
  1589.  *
  1590.  * XXX This raises the question, whether we can do the same on
  1591.  * XXX sparc32 to get rid of fork_kpsr _and_ fork_kwim.  The
  1592.  * XXX answer is yes.  We stick fork_kpsr in UREG_G0 and
  1593.  * XXX fork_kwim in UREG_G1 (global registers are considered
  1594.  * XXX volatile across a system call in the sparc ABI I think
  1595.  * XXX if it isn't we can use regs->y instead, anyone who depends
  1596.  * XXX upon the Y register being preserved across a fork deserves
  1597.  * XXX to lose).
  1598.  *
  1599.  * In fact we should take advantage of that fact for other things
  1600.  * during system calls...
  1601.  */
  1602. .globl sys_fork, sys_vfork, sys_clone, sparc_exit
  1603. .globl ret_from_syscall
  1604. .align 32
  1605. sys_vfork: /* Under Linux, vfork and fork are just special cases of clone. */
  1606. sethi %hi(0x4000 | 0x0100 | SIGCHLD), %o0
  1607. or %o0, %lo(0x4000 | 0x0100 | SIGCHLD), %o0
  1608. ba,pt %xcc, sys_clone
  1609. sys_fork:  clr %o1
  1610. mov SIGCHLD, %o0
  1611. sys_clone: flushw
  1612. movrz %o1, %fp, %o1
  1613. mov 0, %o3
  1614. ba,pt %xcc, do_fork
  1615.  add %sp, STACK_BIAS + REGWIN_SZ, %o2
  1616. ret_from_syscall:
  1617. /* Clear SPARC_FLAG_NEWCHILD, switch_to leaves thread.flags in
  1618.  * %o7 for us.  Check performance counter stuff too.
  1619.  */
  1620. andn %o7, SPARC_FLAG_NEWCHILD, %l0
  1621. mov %g5, %o0 /* 'prev' */
  1622. call schedule_tail
  1623.  stb %l0, [%g6 + AOFF_task_thread + AOFF_thread_flags]
  1624. andcc %l0, SPARC_FLAG_PERFCTR, %g0
  1625. be,pt %icc, 1f
  1626.  nop
  1627. ldx [%g6 + AOFF_task_thread + AOFF_thread_pcr_reg], %o7
  1628. wr %g0, %o7, %pcr
  1630. /* Blackbird errata workaround.  See commentary in
  1631.  * smp.c:smp_percpu_timer_interrupt() for more
  1632.  * information.
  1633.  */
  1634. ba,pt %xcc, 99f
  1635.  nop
  1636. .align 64
  1637. 99: wr %g0, %g0, %pic
  1638. rd %pic, %g0
  1640. 1: b,pt %xcc, ret_sys_call
  1641.  ldx [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0], %o0
  1642. sparc_exit: wrpr %g0, (PSTATE_RMO | PSTATE_PEF | PSTATE_PRIV), %pstate
  1643. rdpr %otherwin, %g1
  1644. rdpr %cansave, %g3
  1645. add %g3, %g1, %g3
  1646. wrpr %g3, 0x0, %cansave
  1647. wrpr %g0, 0x0, %otherwin
  1648. wrpr %g0, (PSTATE_RMO | PSTATE_PEF | PSTATE_PRIV | PSTATE_IE), %pstate
  1649. ba,pt %xcc, sys_exit
  1650.  stb %g0, [%g6 + AOFF_task_thread + AOFF_thread_w_saved]
  1652. linux_sparc_ni_syscall:
  1653. sethi %hi(sys_ni_syscall), %l7
  1654. b,pt %xcc, 4f
  1655.  or %l7, %lo(sys_ni_syscall), %l7
  1657. linux_syscall_trace32:
  1658. call syscall_trace
  1659.  nop
  1660. srl %i0, 0, %o0
  1661. mov %i4, %o4
  1662. srl %i1, 0, %o1
  1663. srl %i2, 0, %o2
  1664. b,pt %xcc, 2f
  1665.  srl %i3, 0, %o3
  1667. linux_syscall_trace:
  1668. call syscall_trace
  1669.  nop
  1670. mov %i0, %o0
  1671. mov %i1, %o1
  1672. mov %i2, %o2
  1673. mov %i3, %o3
  1674. b,pt %xcc, 2f
  1675.  mov %i4, %o4
  1678. /* Linux 32-bit and SunOS system calls enter here... */
  1679. .align 32
  1680. .globl linux_sparc_syscall32
  1681. linux_sparc_syscall32:
  1682. /* Direct access to user regs, much faster. */
  1683. cmp %g1, NR_SYSCALLS ! IEU1 Group
  1684. bgeu,pn %xcc, linux_sparc_ni_syscall ! CTI
  1685.  srl %i0, 0, %o0 ! IEU0
  1686. sll %g1, 2, %l4 ! IEU0 Group
  1687. #ifdef SYSCALL_TRACING
  1688. call syscall_trace_entry
  1689.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1690. srl %i0, 0, %o0
  1691. #endif
  1692. mov %i4, %o4 ! IEU1
  1693. lduw [%l7 + %l4], %l7 ! Load
  1694. srl %i1, 0, %o1 ! IEU0 Group
  1695. ldx [%curptr + AOFF_task_ptrace], %l0 ! Load
  1697. mov %i5, %o5 ! IEU1
  1698. srl %i2, 0, %o2 ! IEU0 Group
  1699. andcc %l0, 0x02, %g0 ! IEU0 Group
  1700. bne,pn %icc, linux_syscall_trace32 ! CTI
  1701.  mov %i0, %l5 ! IEU1
  1702. call %l7 ! CTI Group brk forced
  1703.  srl %i3, 0, %o3 ! IEU0
  1704. ba,a,pt %xcc, 3f
  1706. /* Linux native and SunOS system calls enter here... */
  1707. .align 32
  1708. .globl linux_sparc_syscall, ret_sys_call
  1709. linux_sparc_syscall:
  1710. /* Direct access to user regs, much faster. */
  1711. cmp %g1, NR_SYSCALLS ! IEU1 Group
  1712. bgeu,pn %xcc, linux_sparc_ni_syscall ! CTI
  1713.  mov %i0, %o0 ! IEU0
  1714. sll %g1, 2, %l4 ! IEU0 Group
  1715. #ifdef SYSCALL_TRACING
  1716. call syscall_trace_entry
  1717.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1718. mov %i0, %o0
  1719. #endif
  1720. mov %i1, %o1 ! IEU1
  1721. lduw [%l7 + %l4], %l7 ! Load
  1722. 4: mov %i2, %o2 ! IEU0 Group
  1723. ldx [%curptr + AOFF_task_ptrace], %l0 ! Load
  1725. mov %i3, %o3 ! IEU1
  1726. mov %i4, %o4 ! IEU0 Group
  1727. andcc %l0, 0x02, %g0 ! IEU1 Group+1 bubble
  1728. bne,pn %icc, linux_syscall_trace ! CTI Group
  1729.  mov %i0, %l5 ! IEU0
  1730. 2: call %l7 ! CTI Group brk forced
  1731.  mov %i5, %o5 ! IEU0
  1732. nop
  1734. 3: stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1735. ret_sys_call:
  1736. #ifdef SYSCALL_TRACING
  1737. mov %o0, %o1
  1738. call syscall_trace_exit
  1739.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1740. mov %o1, %o0
  1741. #endif
  1742. ldx [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TSTATE], %g3
  1743. ldx [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC], %l1 ! pc = npc
  1744. sra %o0, 0, %o0
  1745. mov %ulo(TSTATE_XCARRY | TSTATE_ICARRY), %g2
  1746. cmp %o0, -ENOIOCTLCMD
  1747. sllx %g2, 32, %g2
  1748. bgeu,pn %xcc, 1f
  1750.  andcc %l0, 0x02, %l6
  1751. andn %g3, %g2, %g3 /* System call success, clear Carry condition code. */
  1752. stx %g3, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TSTATE]
  1753. bne,pn %icc, linux_syscall_trace2
  1754.  add %l1, 0x4, %l2          ! npc = npc+4
  1755. stx %l1, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TPC]
  1756. ba,pt %xcc, rtrap_clr_l6
  1757.  stx %l2, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC]
  1759. 1:
  1760. /* System call failure, set Carry condition code.
  1761.  * Also, get abs(errno) to return to the process.
  1762.  */
  1763. sub %g0, %o0, %o0
  1764. or %g3, %g2, %g3
  1765. stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1766. mov 1, %l6
  1767. stx %g3, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TSTATE]
  1768. bne,pn %icc, linux_syscall_trace2
  1769.  add %l1, 0x4, %l2          !npc = npc+4
  1770. stx %l1, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TPC]
  1772. b,pt %xcc, rtrap
  1773.  stx %l2, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC]
  1774. linux_syscall_trace2:
  1775. call syscall_trace
  1776.  nop
  1777. stx %l1, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TPC]
  1778. ba,pt %xcc, rtrap
  1779.  stx %l2, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC]
  1781. .align 32
  1782. .globl __flushw_user
  1783. __flushw_user:
  1784. rdpr %otherwin, %g1
  1785. brz,pn %g1, 2f
  1786.  clr %g2
  1787. 1: save %sp, -128, %sp
  1788. rdpr %otherwin, %g1
  1789. brnz,pt %g1, 1b
  1790.  add %g2, 1, %g2
  1791. 1: sub %g2, 1, %g2
  1792. brnz,pt %g2, 1b
  1793.  restore %g0, %g0, %g0
  1794. 2: retl
  1795.  nop
  1797. /* This need not obtain the xtime_lock as it is coded in
  1798.  * an implicitly SMP safe way already.
  1799.  */
  1800. .align 64
  1801. .globl do_gettimeofday
  1802. do_gettimeofday: /* %o0 = timevalp */
  1803. /* Load doubles must be used on xtime so that what we get
  1804.  * is guarenteed to be atomic, this is why we can run this
  1805.  * with interrupts on full blast.  Don't touch this... -DaveM
  1806.  *
  1807.  * Note with time_t changes to the timeval type, I must now use
  1808.  * nucleus atomic quad 128-bit loads.
  1809.  *
  1810.  * If xtime was stored recently, I've seen crap from the
  1811.  * quad load on Cheetah.  Putting a membar SYNC before
  1812.  * the quad load seems to make the problem go away. -DaveM
  1813.  * (we should nop out workarounds like this on spitfire)
  1814.  */
  1815. sethi %hi(timer_tick_offset), %g3
  1816. sethi %hi(xtime), %g2
  1817. sethi %hi(timer_tick_compare), %g1
  1818. ldx [%g3 + %lo(timer_tick_offset)], %g3
  1819. or %g2, %lo(xtime), %g2
  1820. or %g1, %lo(timer_tick_compare), %g1
  1821. 1: membar #Sync
  1822. ldda [%g2] ASI_NUCLEUS_QUAD_LDD, %o4
  1823. BRANCH_IF_ANY_CHEETAH(o2,o1,2f)
  1824. ba,pt %xcc, 3f
  1825.  rd %tick, %o1
  1826. 2: ba,pt %xcc, 3f
  1827.  rd %asr24, %o1
  1828. 3: ldx [%g1], %g7
  1829. membar #Sync
  1830. ldda [%g2] ASI_NUCLEUS_QUAD_LDD, %o2
  1831. xor %o4, %o2, %o2
  1832. xor %o5, %o3, %o3
  1833. orcc %o2, %o3, %g0
  1834. bne,pn %xcc, 1b
  1835.  sethi %hi(wall_jiffies), %o2
  1836. sethi %hi(jiffies), %o3
  1837. ldx [%o2 + %lo(wall_jiffies)], %o2
  1838. ldx [%o3 + %lo(jiffies)], %o3
  1839. sub %o3, %o2, %o2
  1840. sethi %hi(timer_ticks_per_usec_quotient), %o3
  1841. add %g3, %o1, %o1
  1842. ldx [%o3 + %lo(timer_ticks_per_usec_quotient)], %o3
  1843. sub %o1, %g7, %o1
  1844. mulx %o3, %o1, %o1
  1845. brz,pt %o2, 1f
  1846.  srlx %o1, 32, %o1
  1847. sethi %hi(10000), %g2
  1848. or %g2, %lo(10000), %g2
  1849. add %o1, %g2, %o1
  1850. 1: sethi %hi(1000000), %o2
  1851. srlx %o5, 32, %o5
  1852. or %o2, %lo(1000000), %o2
  1853. add %o5, %o1, %o5
  1854. cmp %o5, %o2
  1855. bl,a,pn %xcc, 1f
  1856.  stx %o4, [%o0 + 0x0]
  1857. add %o4, 0x1, %o4
  1858. sub %o5, %o2, %o5
  1859. stx %o4, [%o0 + 0x0]
  1860. 1: retl
  1861.  st %o5, [%o0 + 0x8]