开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 嵌入式/单片机编程 > 嵌入式Linux > 查看源码
entry.S
资源名称：SBC-2410X_kernel.tar.gz　[点击查看]
上传用户：lgb322
上传日期：2013-02-24
资源大小：30529k
文件大小：45k
源码类别：

嵌入式Linux

开发平台：

Unix_Linux

entry.S：源码内容
  1. /* $Id: entry.S,v 1.141 2001/12/05 23:56:32 davem Exp $
  2.  * arch/sparc64/kernel/entry.S:  Sparc64 trap low-level entry points.
  3.  *
  4.  * Copyright (C) 1995,1997 David S. Miller (davem@caip.rutgers.edu)
  5.  * Copyright (C) 1996 Eddie C. Dost        (ecd@skynet.be)
  6.  * Copyright (C) 1996 Miguel de Icaza      (miguel@nuclecu.unam.mx)
  7.  * Copyright (C) 1996,98,99 Jakub Jelinek  (jj@sunsite.mff.cuni.cz)
  8.  */
  10. #include <linux/config.h>
  11. #include <linux/errno.h>
  13. #include <asm/head.h>
  14. #include <asm/asi.h>
  15. #include <asm/smp.h>
  16. #include <asm/ptrace.h>
  17. #include <asm/page.h>
  18. #include <asm/signal.h>
  19. #include <asm/pgtable.h>
  20. #include <asm/processor.h>
  21. #include <asm/visasm.h>
  22. #include <asm/estate.h>
  24. /* #define SYSCALL_TRACING 1 */
  26. #define curptr      g6
  28. #define NR_SYSCALLS 256      /* Each OS is different... */
  30. .text
  31. .align 32
  33. .globl sparc64_vpte_patchme1
  34. .globl sparc64_vpte_patchme2
  35. /*
  36.  * On a second level vpte miss, check whether the original fault is to the OBP 
  37.  * range (note that this is only possible for instruction miss, data misses to
  38.  * obp range do not use vpte). If so, go back directly to the faulting address.
  39.  * This is because we want to read the tpc, otherwise we have no way of knowing
  40.  * the 8k aligned faulting address if we are using >8k kernel pagesize. This also
  41.  * ensures no vpte range addresses are dropped into tlb while obp is executing
  42.  * (see inherit_locked_prom_mappings() rant).
  43.  */
  44. sparc64_vpte_nucleus:
  45. mov 0xf, %g5
  46. sllx %g5, 28, %g5 ! Load 0xf0000000
  47. cmp %g4, %g5 ! Is addr >= LOW_OBP_ADDRESS?
  48. blu,pn %xcc, sparc64_vpte_patchme1
  49.  mov 0x1, %g5
  50. sllx %g5, 32, %g5 ! Load 0x100000000
  51. cmp %g4, %g5 ! Is addr < HI_OBP_ADDRESS?
  52. blu,pn %xcc, obp_iaddr_patch
  53.  nop
  54. sparc64_vpte_patchme1:
  55. sethi %hi(0), %g5 ! This has to be patched
  56. sparc64_vpte_patchme2:
  57. or %g5, %lo(0), %g5 ! This is patched too
  58. ba,pt %xcc, sparc64_kpte_continue ! Part of dtlb_backend
  59.  add %g1, %g1, %g1 ! Finish PMD offset adjustment
  61. vpte_noent:
  62. mov TLB_SFSR, %g1 ! Restore %g1 value
  63. stxa %g4, [%g1 + %g1] ASI_DMMU ! Restore previous TAG_ACCESS
  64. done ! Slick trick
  66. .globl obp_iaddr_patch
  67. .globl obp_daddr_patch
  69. obp_iaddr_patch:
  70. sethi %hi(0), %g5 ! This and following is patched
  71. or %g5, %lo(0), %g5 ! g5 now holds obp pmd base physaddr
  72. wrpr %g0, 1, %tl ! Behave as if we are at TL0
  73. rdpr %tpc, %g4 ! Find original faulting iaddr
  74. srlx %g4, 13, %g4 ! Throw out context bits
  75. sllx %g4, 13, %g4 ! g4 has vpn + ctx0 now
  76. mov TLB_SFSR, %g1 ! Restore %g1 value
  77. stxa %g4, [%g1 + %g1] ASI_IMMU ! Restore previous TAG_ACCESS
  78. srlx %g4, 23, %g6 ! Find pmd number
  79. and %g6, 0x7ff, %g6 ! Find pmd number
  80. sllx %g6, 2, %g6 ! Find pmd offset
  81. lduwa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pmd, ie pagetable physaddr
  82. brz,pn %g5, longpath ! Kill the PROM ? :-)
  83.  sllx %g5, 11, %g5 ! Shift into place
  84. srlx %g4, 13, %g6 ! find pte number in pagetable
  85. and %g6, 0x3ff, %g6 ! find pte number in pagetable
  86. sllx %g6, 3, %g6 ! find pte offset in pagetable
  87. ldxa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pte
  88. brgez,pn %g5, longpath ! Kill the PROM ? :-)
  89.  nop
  90. stxa %g5, [%g0] ASI_ITLB_DATA_IN ! put into tlb
  91. retry ! go back to original fault
  93. obp_daddr_patch:
  94. sethi %hi(0), %g5 ! This and following is patched
  95. or %g5, %lo(0), %g5 ! g5 now holds obp pmd base physaddr
  96. srlx %g4, 23, %g6 ! Find pmd number
  97. and %g6, 0x7ff, %g6 ! Find pmd number
  98. sllx %g6, 2, %g6 ! Find pmd offset
  99. lduwa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pmd, ie pagetable physaddr
  100. brz,pn %g5, longpath
  101.  sllx %g5, 11, %g5 ! Shift into place
  102. srlx %g4, 13, %g6 ! find pte number in pagetable
  103. and %g6, 0x3ff, %g6 ! find pte number in pagetable
  104. sllx %g6, 3, %g6 ! find pte offset in pagetable
  105. ldxa [%g5 + %g6] ASI_PHYS_USE_EC, %g5! Load pte
  106. brgez,pn %g5, longpath
  107.  nop
  108. stxa %g5, [%g0] ASI_DTLB_DATA_IN ! put into tlb
  109. retry
  111. /*
  112.  * On a first level data miss, check whether this is to the OBP range (note that
  113.  * such accesses can be made by prom, as well as by kernel using prom_getproperty
  114.  * on "address"), and if so, do not use vpte access ... rather, use information
  115.  * saved during inherit_prom_mappings() using 8k pagesize.
  116.  */
  117. kvmap:
  118. mov 0xf, %g5
  119. sllx %g5, 28, %g5 ! Load 0xf0000000
  120. cmp %g4, %g5 ! Is addr >= LOW_OBP_ADDRESS?
  121. blu,pn %xcc, vmalloc_addr
  122.  mov 0x1, %g5
  123. sllx %g5, 32, %g5 ! Load 0x100000000
  124. cmp %g4, %g5 ! Is addr < HI_OBP_ADDRESS?
  125. blu,pn %xcc, obp_daddr_patch
  126.  nop
  127. vmalloc_addr: ! vmalloc addr accessed
  128. ldxa [%g3 + %g6] ASI_N, %g5 ! Yep, load k-vpte
  129. brgez,pn %g5, longpath ! Valid, load into TLB
  130.  nop
  131. stxa %g5, [%g0] ASI_DTLB_DATA_IN ! Reload TLB
  132. retry
  134. /* This is trivial with the new code... */
  135. .globl do_fpdis
  136. do_fpdis:
  137. sethi %hi(TSTATE_PEF), %g4 ! IEU0
  138. rdpr %tstate, %g5
  139. andcc %g5, %g4, %g0
  140. be,pt %xcc, 1f
  141.  nop
  142. rd %fprs, %g5
  143. andcc %g5, FPRS_FEF, %g0
  144. be,pt %xcc, 1f
  145.  nop
  147. /* Legal state when DCR_IFPOE is set in Cheetah %dcr. */
  148. sethi %hi(109f), %g7
  149. ba,pt %xcc, etrap
  150. 109:  or %g7, %lo(109b), %g7
  151. add %g0, %g0, %g0
  152. ba,a,pt %xcc, rtrap_clr_l6
  154. 1: ldub [%g6 + AOFF_task_thread + AOFF_thread_fpsaved], %g5 ! Load Group
  155. wr %g0, FPRS_FEF, %fprs ! LSU Group+4bubbles
  156. andcc %g5, FPRS_FEF, %g0 ! IEU1 Group
  157. be,a,pt %icc, 1f ! CTI
  158.  clr %g7 ! IEU0
  159. ldx [%g6 + AOFF_task_thread + AOFF_thread_gsr], %g7 ! Load Group
  160. 1: andcc %g5, FPRS_DL, %g0 ! IEU1
  161. bne,pn %icc, 2f ! CTI
  162.  fzero %f0 ! FPA
  163. andcc %g5, FPRS_DU, %g0 ! IEU1  Group
  164. bne,pn %icc, 1f ! CTI
  165.  fzero %f2 ! FPA
  166. faddd %f0, %f2, %f4
  167. fmuld %f0, %f2, %f6
  168. faddd %f0, %f2, %f8
  169. fmuld %f0, %f2, %f10
  170. faddd %f0, %f2, %f12
  171. fmuld %f0, %f2, %f14
  172. faddd %f0, %f2, %f16
  173. fmuld %f0, %f2, %f18
  174. faddd %f0, %f2, %f20
  175. fmuld %f0, %f2, %f22
  176. faddd %f0, %f2, %f24
  177. fmuld %f0, %f2, %f26
  178. faddd %f0, %f2, %f28
  179. fmuld %f0, %f2, %f30
  180. faddd %f0, %f2, %f32
  181. fmuld %f0, %f2, %f34
  182. faddd %f0, %f2, %f36
  183. fmuld %f0, %f2, %f38
  184. faddd %f0, %f2, %f40
  185. fmuld %f0, %f2, %f42
  186. faddd %f0, %f2, %f44
  187. fmuld %f0, %f2, %f46
  188. faddd %f0, %f2, %f48
  189. fmuld %f0, %f2, %f50
  190. faddd %f0, %f2, %f52
  191. fmuld %f0, %f2, %f54
  192. faddd %f0, %f2, %f56
  193. fmuld %f0, %f2, %f58
  194. b,pt %xcc, fpdis_exit2
  195.  faddd %f0, %f2, %f60
  196. 1: mov SECONDARY_CONTEXT, %g3
  197. add %g6, AOFF_task_fpregs + 0x80, %g1
  198. faddd %f0, %f2, %f4
  199. fmuld %f0, %f2, %f6
  200. ldxa [%g3] ASI_DMMU, %g5
  201. add %g6, AOFF_task_fpregs + 0xc0, %g2
  202. stxa %g0, [%g3] ASI_DMMU
  203. membar #Sync
  204. faddd %f0, %f2, %f8
  205. fmuld %f0, %f2, %f10
  206. ldda [%g1] ASI_BLK_S, %f32 ! grrr, where is ASI_BLK_NUCLEUS 8-(
  207. ldda [%g2] ASI_BLK_S, %f48
  208. faddd %f0, %f2, %f12
  209. fmuld %f0, %f2, %f14
  210. faddd %f0, %f2, %f16
  211. fmuld %f0, %f2, %f18
  212. faddd %f0, %f2, %f20
  213. fmuld %f0, %f2, %f22
  214. faddd %f0, %f2, %f24
  215. fmuld %f0, %f2, %f26
  216. faddd %f0, %f2, %f28
  217. fmuld %f0, %f2, %f30
  218. b,pt %xcc, fpdis_exit
  219.  membar #Sync
  220. 2: andcc %g5, FPRS_DU, %g0
  221. bne,pt %icc, 3f
  222.  fzero %f32
  223. mov SECONDARY_CONTEXT, %g3
  224. fzero %f34
  225. ldxa [%g3] ASI_DMMU, %g5
  226. add %g6, AOFF_task_fpregs, %g1
  227. stxa %g0, [%g3] ASI_DMMU
  228. membar #Sync
  229. add %g6, AOFF_task_fpregs + 0x40, %g2
  230. faddd %f32, %f34, %f36
  231. fmuld %f32, %f34, %f38
  232. ldda [%g1] ASI_BLK_S, %f0 ! grrr, where is ASI_BLK_NUCLEUS 8-(
  233. ldda [%g2] ASI_BLK_S, %f16
  234. faddd %f32, %f34, %f40
  235. fmuld %f32, %f34, %f42
  236. faddd %f32, %f34, %f44
  237. fmuld %f32, %f34, %f46
  238. faddd %f32, %f34, %f48
  239. fmuld %f32, %f34, %f50
  240. faddd %f32, %f34, %f52
  241. fmuld %f32, %f34, %f54
  242. faddd %f32, %f34, %f56
  243. fmuld %f32, %f34, %f58
  244. faddd %f32, %f34, %f60
  245. fmuld %f32, %f34, %f62
  246. ba,pt %xcc, fpdis_exit
  247.  membar #Sync
  248. 3: mov SECONDARY_CONTEXT, %g3
  249. add %g6, AOFF_task_fpregs, %g1
  250. ldxa [%g3] ASI_DMMU, %g5
  251. mov 0x40, %g2
  252. stxa %g0, [%g3] ASI_DMMU
  253. membar #Sync
  254. ldda [%g1] ASI_BLK_S, %f0 ! grrr, where is ASI_BLK_NUCLEUS 8-(
  255. ldda [%g1 + %g2] ASI_BLK_S, %f16
  256. add %g1, 0x80, %g1
  257. ldda [%g1] ASI_BLK_S, %f32
  258. ldda [%g1 + %g2] ASI_BLK_S, %f48
  259. membar #Sync
  260. fpdis_exit:
  261. stxa %g5, [%g3] ASI_DMMU
  262. membar #Sync
  263. fpdis_exit2:
  264. wr %g7, 0, %gsr
  265. ldx [%g6 + AOFF_task_thread + AOFF_thread_xfsr], %fsr
  266. rdpr %tstate, %g3
  267. or %g3, %g4, %g3 ! anal...
  268. wrpr %g3, %tstate
  269. wr %g0, FPRS_FEF, %fprs ! clean DU/DL bits
  270. retry
  272. .align 32
  273. fp_other_bounce:
  274. call do_fpother
  275.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  276. ba,pt %xcc, rtrap
  277.  clr %l6
  279. .globl do_fpother_check_fitos
  280. .align 32
  281. do_fpother_check_fitos:
  282. sethi %hi(fp_other_bounce - 4), %g7
  283. or %g7, %lo(fp_other_bounce - 4), %g7
  285. /* NOTE: Need to preserve %g7 until we fully commit
  286.  *       to the fitos fixup.
  287.  */
  288. stx %fsr, [%g6 + AOFF_task_thread + AOFF_thread_xfsr]
  289. rdpr %tstate, %g3
  290. andcc %g3, TSTATE_PRIV, %g0
  291. bne,pn %xcc, do_fptrap_after_fsr
  292.  nop
  293. ldx [%g6 + AOFF_task_thread + AOFF_thread_xfsr], %g3
  294. srlx %g3, 14, %g1
  295. and %g1, 7, %g1
  296. cmp %g1, 2 ! Unfinished FP-OP
  297. bne,pn %xcc, do_fptrap_after_fsr
  298.  sethi %hi(1 << 23), %g1 ! Inexact
  299. andcc %g3, %g1, %g0
  300. bne,pn %xcc, do_fptrap_after_fsr
  301.  rdpr %tpc, %g1
  302. lduwa [%g1] ASI_AIUP, %g3 ! This cannot ever fail
  303. #define FITOS_MASK 0xc1f83fe0
  304. #define FITOS_COMPARE 0x81a01880
  305. sethi %hi(FITOS_MASK), %g1
  306. or %g1, %lo(FITOS_MASK), %g1
  307. and %g3, %g1, %g1
  308. sethi %hi(FITOS_COMPARE), %g2
  309. or %g2, %lo(FITOS_COMPARE), %g2
  310. cmp %g1, %g2
  311. bne,pn %xcc, do_fptrap_after_fsr
  312.  nop
  313. std %f62, [%g6 + AOFF_task_fpregs + (62 * 4)]
  314. sethi %hi(fitos_table_1), %g1
  315. and %g3, 0x1f, %g2
  316. or %g1, %lo(fitos_table_1),  %g1
  317. sllx %g2, 2, %g2
  318. jmpl %g1 + %g2, %g0
  319.  ba,pt %xcc, fitos_emul_continue
  321. fitos_table_1:
  322. fitod %f0, %f62
  323. fitod %f1, %f62
  324. fitod %f2, %f62
  325. fitod %f3, %f62
  326. fitod %f4, %f62
  327. fitod %f5, %f62
  328. fitod %f6, %f62
  329. fitod %f7, %f62
  330. fitod %f8, %f62
  331. fitod %f9, %f62
  332. fitod %f10, %f62
  333. fitod %f11, %f62
  334. fitod %f12, %f62
  335. fitod %f13, %f62
  336. fitod %f14, %f62
  337. fitod %f15, %f62
  338. fitod %f16, %f62
  339. fitod %f17, %f62
  340. fitod %f18, %f62
  341. fitod %f19, %f62
  342. fitod %f20, %f62
  343. fitod %f21, %f62
  344. fitod %f22, %f62
  345. fitod %f23, %f62
  346. fitod %f24, %f62
  347. fitod %f25, %f62
  348. fitod %f26, %f62
  349. fitod %f27, %f62
  350. fitod %f28, %f62
  351. fitod %f29, %f62
  352. fitod %f30, %f62
  353. fitod %f31, %f62
  355. fitos_emul_continue:
  356. sethi %hi(fitos_table_2), %g1
  357. srl %g3, 25, %g2
  358. or %g1, %lo(fitos_table_2), %g1
  359. and %g2, 0x1f, %g2
  360. sllx %g2, 2, %g2
  361. jmpl %g1 + %g2, %g0
  362.  ba,pt %xcc, fitos_emul_fini
  364. fitos_table_2:
  365. fdtos %f62, %f0
  366. fdtos %f62, %f1
  367. fdtos %f62, %f2
  368. fdtos %f62, %f3
  369. fdtos %f62, %f4
  370. fdtos %f62, %f5
  371. fdtos %f62, %f6
  372. fdtos %f62, %f7
  373. fdtos %f62, %f8
  374. fdtos %f62, %f9
  375. fdtos %f62, %f10
  376. fdtos %f62, %f11
  377. fdtos %f62, %f12
  378. fdtos %f62, %f13
  379. fdtos %f62, %f14
  380. fdtos %f62, %f15
  381. fdtos %f62, %f16
  382. fdtos %f62, %f17
  383. fdtos %f62, %f18
  384. fdtos %f62, %f19
  385. fdtos %f62, %f20
  386. fdtos %f62, %f21
  387. fdtos %f62, %f22
  388. fdtos %f62, %f23
  389. fdtos %f62, %f24
  390. fdtos %f62, %f25
  391. fdtos %f62, %f26
  392. fdtos %f62, %f27
  393. fdtos %f62, %f28
  394. fdtos %f62, %f29
  395. fdtos %f62, %f30
  396. fdtos %f62, %f31
  398. fitos_emul_fini:
  399. ldd [%g6 + AOFF_task_fpregs + (62 * 4)], %f62
  400. done
  402. .globl do_fptrap
  403. .align 32
  404. do_fptrap:
  405. stx %fsr, [%g6 + AOFF_task_thread + AOFF_thread_xfsr]
  406. do_fptrap_after_fsr:
  407. ldub [%g6 + AOFF_task_thread + AOFF_thread_fpsaved], %g3
  408. rd %fprs, %g1
  409. or %g3, %g1, %g3
  410. stb %g3, [%g6 + AOFF_task_thread + AOFF_thread_fpsaved]
  411. rd %gsr, %g3
  412. stx %g3, [%g6 + AOFF_task_thread + AOFF_thread_gsr]
  413. mov SECONDARY_CONTEXT, %g3
  414. add %g6, AOFF_task_fpregs, %g2
  415. ldxa [%g3] ASI_DMMU, %g5
  416. stxa %g0, [%g3] ASI_DMMU
  417. membar #Sync
  418. andcc %g1, FPRS_DL, %g0
  419. be,pn %icc, 4f
  420.  mov 0x40, %g3
  421. stda %f0, [%g2] ASI_BLK_S
  422. stda %f16, [%g2 + %g3] ASI_BLK_S
  423. andcc %g1, FPRS_DU, %g0
  424. be,pn %icc, 5f
  425. 4:       add %g2, 128, %g2
  426. stda %f32, [%g2] ASI_BLK_S
  427. stda %f48, [%g2 + %g3] ASI_BLK_S
  428. 5: mov SECONDARY_CONTEXT, %g1
  429. membar #Sync
  430. stxa %g5, [%g1] ASI_DMMU
  431. membar #Sync
  432. ba,pt %xcc, etrap
  433.  wr %g0, 0, %fprs
  435. /* The registers for cross calls will be:
  436.  *
  437.  * DATA 0: [low 32-bits]  Address of function to call, jmp to this
  438.  *         [high 32-bits] MMU Context Argument 0, place in %g5
  439.  * DATA 1: Address Argument 1, place in %g6
  440.  * DATA 2: Address Argument 2, place in %g7
  441.  *
  442.  * With this method we can do most of the cross-call tlb/cache
  443.  * flushing very quickly.
  444.  *
  445.  * Current CPU's IRQ worklist table is locked into %g1,
  446.  * don't touch.
  447.  */
  448. .text
  449. .align 32
  450. .globl do_ivec
  451. do_ivec:
  452. mov 0x40, %g3
  453. ldxa [%g3 + %g0] ASI_INTR_R, %g3
  454. sethi %hi(KERNBASE), %g4
  455. cmp %g3, %g4
  456. bgeu,pn %xcc, do_ivec_xcall
  457.  srlx %g3, 32, %g5
  458. stxa %g0, [%g0] ASI_INTR_RECEIVE
  459. membar #Sync
  461. sethi %hi(ivector_table), %g2
  462. sllx %g3, 5, %g3
  463. or %g2, %lo(ivector_table), %g2
  464. add %g2, %g3, %g3
  465. ldx [%g3 + 0x08], %g2 /* irq_info */
  466. ldub [%g3 + 0x04], %g4 /* pil */
  467. brz,pn %g2, do_ivec_spurious
  468.  mov 1, %g2
  470. sllx %g2, %g4, %g2
  471. sllx %g4, 2, %g4
  472. lduw [%g6 + %g4], %g5 /* g5 = irq_work(cpu, pil) */
  473. stw %g5, [%g3 + 0x00] /* bucket->irq_chain = g5 */
  474. stw %g3, [%g6 + %g4] /* irq_work(cpu, pil) = bucket */
  475. wr %g2, 0x0, %set_softint
  476. retry
  477. do_ivec_xcall:
  478. mov 0x50, %g1
  480. ldxa [%g1 + %g0] ASI_INTR_R, %g1
  481. srl %g3, 0, %g3
  482. mov 0x60, %g7
  483. ldxa [%g7 + %g0] ASI_INTR_R, %g7
  484. stxa %g0, [%g0] ASI_INTR_RECEIVE
  485. membar #Sync
  486. ba,pt %xcc, 1f
  487.  nop
  489. .align 32
  490. 1: jmpl %g3, %g0
  491.  nop
  493. do_ivec_spurious:
  494. stw %g3, [%g6 + 0x00] /* irq_work(cpu, 0) = bucket */
  495. rdpr %pstate, %g5
  497. wrpr %g5, PSTATE_IG | PSTATE_AG, %pstate
  498. sethi %hi(109f), %g7
  499. ba,pt %xcc, etrap
  500. 109:  or %g7, %lo(109b), %g7
  501. call catch_disabled_ivec
  502.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  503. ba,pt %xcc, rtrap
  504.  clr %l6
  506. .globl save_alternate_globals
  507. save_alternate_globals: /* %o0 = save_area */
  508. rdpr %pstate, %o5
  509. andn %o5, PSTATE_IE, %o1
  510. wrpr %o1, PSTATE_AG, %pstate
  511. stx %g0, [%o0 + 0x00]
  512. stx %g1, [%o0 + 0x08]
  513. stx %g2, [%o0 + 0x10]
  514. stx %g3, [%o0 + 0x18]
  515. stx %g4, [%o0 + 0x20]
  516. stx %g5, [%o0 + 0x28]
  517. stx %g6, [%o0 + 0x30]
  518. stx %g7, [%o0 + 0x38]
  519. wrpr %o1, PSTATE_IG, %pstate
  520. stx %g0, [%o0 + 0x40]
  521. stx %g1, [%o0 + 0x48]
  522. stx %g2, [%o0 + 0x50]
  523. stx %g3, [%o0 + 0x58]
  524. stx %g4, [%o0 + 0x60]
  525. stx %g5, [%o0 + 0x68]
  526. stx %g6, [%o0 + 0x70]
  527. stx %g7, [%o0 + 0x78]
  528. wrpr %o1, PSTATE_MG, %pstate
  529. stx %g0, [%o0 + 0x80]
  530. stx %g1, [%o0 + 0x88]
  531. stx %g2, [%o0 + 0x90]
  532. stx %g3, [%o0 + 0x98]
  533. stx %g4, [%o0 + 0xa0]
  534. stx %g5, [%o0 + 0xa8]
  535. stx %g6, [%o0 + 0xb0]
  536. stx %g7, [%o0 + 0xb8]
  537. wrpr %o5, 0x0, %pstate
  538. retl
  539.  nop
  541. .globl restore_alternate_globals
  542. restore_alternate_globals: /* %o0 = save_area */
  543. rdpr %pstate, %o5
  544. andn %o5, PSTATE_IE, %o1
  545. wrpr %o1, PSTATE_AG, %pstate
  546. ldx [%o0 + 0x00], %g0
  547. ldx [%o0 + 0x08], %g1
  548. ldx [%o0 + 0x10], %g2
  549. ldx [%o0 + 0x18], %g3
  550. ldx [%o0 + 0x20], %g4
  551. ldx [%o0 + 0x28], %g5
  552. ldx [%o0 + 0x30], %g6
  553. ldx [%o0 + 0x38], %g7
  554. wrpr %o1, PSTATE_IG, %pstate
  555. ldx [%o0 + 0x40], %g0
  556. ldx [%o0 + 0x48], %g1
  557. ldx [%o0 + 0x50], %g2
  558. ldx [%o0 + 0x58], %g3
  559. ldx [%o0 + 0x60], %g4
  560. ldx [%o0 + 0x68], %g5
  561. ldx [%o0 + 0x70], %g6
  562. ldx [%o0 + 0x78], %g7
  563. wrpr %o1, PSTATE_MG, %pstate
  564. ldx [%o0 + 0x80], %g0
  565. ldx [%o0 + 0x88], %g1
  566. ldx [%o0 + 0x90], %g2
  567. ldx [%o0 + 0x98], %g3
  568. ldx [%o0 + 0xa0], %g4
  569. ldx [%o0 + 0xa8], %g5
  570. ldx [%o0 + 0xb0], %g6
  571. ldx [%o0 + 0xb8], %g7
  572. wrpr %o5, 0x0, %pstate
  573. retl
  574.  nop
  576. .globl getcc, setcc
  577. getcc:
  578. ldx [%o0 + PT_V9_TSTATE], %o1
  579. srlx %o1, 32, %o1
  580. and %o1, 0xf, %o1
  581. retl
  582.  stx %o1, [%o0 + PT_V9_G1]
  583. setcc:
  584. ldx [%o0 + PT_V9_TSTATE], %o1
  585. ldx [%o0 + PT_V9_G1], %o2
  586. or %g0, %ulo(TSTATE_ICC), %o3
  587. sllx %o3, 32, %o3
  588. andn %o1, %o3, %o1
  589. sllx %o2, 32, %o2
  590. and %o2, %o3, %o2
  591. or %o1, %o2, %o1
  592. retl
  593.  stx %o1, [%o0 + PT_V9_TSTATE]
  595. .globl utrap, utrap_ill
  596. utrap: brz,pn %g1, etrap
  597.  nop
  598. save %sp, -128, %sp
  599. rdpr %tstate, %l6
  600. rdpr %cwp, %l7
  601. andn %l6, TSTATE_CWP, %l6
  602. wrpr %l6, %l7, %tstate
  603. rdpr %tpc, %l6
  604. rdpr %tnpc, %l7
  605. wrpr %g1, 0, %tnpc
  606. done
  607. utrap_ill:
  608.         call bad_trap
  609.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  610. ba,pt %xcc, rtrap
  611.  clr %l6
  613. #ifdef CONFIG_BLK_DEV_FD
  614. .globl floppy_hardint
  615. floppy_hardint:
  616. wr %g0, (1 << 11), %clear_softint
  617. sethi %hi(doing_pdma), %g1
  618. ld [%g1 + %lo(doing_pdma)], %g2
  619. brz,pn %g2, floppy_dosoftint
  620.  sethi %hi(fdc_status), %g3
  621. ldx [%g3 + %lo(fdc_status)], %g3
  622. sethi %hi(pdma_vaddr), %g5
  623. ldx [%g5 + %lo(pdma_vaddr)], %g4
  624. sethi %hi(pdma_size), %g5
  625. ldx [%g5 + %lo(pdma_size)], %g5
  627. next_byte:
  628. lduba [%g3] ASI_PHYS_BYPASS_EC_E, %g7
  629. andcc %g7, 0x80, %g0
  630. be,pn %icc, floppy_fifo_emptied
  631.  andcc %g7, 0x20, %g0
  632. be,pn %icc, floppy_overrun
  633.  andcc %g7, 0x40, %g0
  634. be,pn %icc, floppy_write
  635.  sub %g5, 1, %g5
  637. inc %g3
  638. lduba [%g3] ASI_PHYS_BYPASS_EC_E, %g7
  639. dec %g3
  640. orcc %g0, %g5, %g0
  641. stb %g7, [%g4]
  642. bne,pn %xcc, next_byte
  643.  add %g4, 1, %g4
  645. b,pt %xcc, floppy_tdone
  646.  nop
  648. floppy_write:
  649. ldub [%g4], %g7
  650. orcc %g0, %g5, %g0
  651. inc %g3
  652. stba %g7, [%g3] ASI_PHYS_BYPASS_EC_E
  653. dec %g3
  654. bne,pn %xcc, next_byte
  655.  add %g4, 1, %g4
  657. floppy_tdone:
  658. sethi %hi(pdma_vaddr), %g1
  659. stx %g4, [%g1 + %lo(pdma_vaddr)]
  660. sethi %hi(pdma_size), %g1
  661. stx %g5, [%g1 + %lo(pdma_size)]
  662. sethi %hi(auxio_register), %g1
  663. ldx [%g1 + %lo(auxio_register)], %g7
  664. lduba [%g7] ASI_PHYS_BYPASS_EC_E, %g5
  665. or %g5, 0xc2, %g5
  666. stba %g5, [%g7] ASI_PHYS_BYPASS_EC_E
  667. andn %g5, 0x02, %g5
  669. nop; nop;  nop; nop;  nop; nop;
  670. nop; nop;  nop; nop;  nop; nop;
  672. stba %g5, [%g7] ASI_PHYS_BYPASS_EC_E
  673. sethi %hi(doing_pdma), %g1
  674. b,pt %xcc, floppy_dosoftint
  675.  st %g0, [%g1 + %lo(doing_pdma)]
  677. floppy_fifo_emptied:
  678. sethi %hi(pdma_vaddr), %g1
  679. stx %g4, [%g1 + %lo(pdma_vaddr)]
  680. sethi %hi(pdma_size), %g1
  681. stx %g5, [%g1 + %lo(pdma_size)]
  682. sethi %hi(irq_action), %g1
  683. or %g1, %lo(irq_action), %g1
  684. ldx [%g1 + (11 << 3)], %g3 ! irqaction[floppy_irq]
  685. ldx [%g3 + 0x08], %g4 ! action->flags>>48==ino
  686. sethi %hi(ivector_table), %g3
  687. srlx %g4, 48, %g4
  688. or %g3, %lo(ivector_table), %g3
  689. sllx %g4, 5, %g4
  690. ldx [%g3 + %g4], %g4 ! &ivector_table[ino]
  691. ldx [%g4 + 0x10], %g4 ! bucket->iclr
  692. stwa %g0, [%g4] ASI_PHYS_BYPASS_EC_E ! ICLR_IDLE
  693. membar #Sync ! probably not needed...
  694. retry
  696. floppy_overrun:
  697. sethi %hi(pdma_vaddr), %g1
  698. stx %g4, [%g1 + %lo(pdma_vaddr)]
  699. sethi %hi(pdma_size), %g1
  700. stx %g5, [%g1 + %lo(pdma_size)]
  701. sethi %hi(doing_pdma), %g1
  702. st %g0, [%g1 + %lo(doing_pdma)]
  704. floppy_dosoftint:
  705. rdpr %pil, %g2
  706. wrpr %g0, 15, %pil
  707. sethi %hi(109f), %g7
  708. b,pt %xcc, etrap_irq
  709. 109:  or %g7, %lo(109b), %g7
  711. mov 11, %o0
  712. mov 0, %o1
  713. call sparc_floppy_irq
  714.  add %sp, STACK_BIAS + REGWIN_SZ, %o2
  716. b,pt %xcc, rtrap
  717.  clr %l6
  719. #endif /* CONFIG_BLK_DEV_FD */
  721. /* XXX Here is stuff we still need to write... -DaveM XXX */
  722. .globl netbsd_syscall
  723. netbsd_syscall:
  724. retl
  725.  nop
  727. /* These next few routines must be sure to clear the
  728.  * SFSR FaultValid bit so that the fast tlb data protection
  729.  * handler does not flush the wrong context and lock up the
  730.  * box.
  731.  */
  732. .globl __do_data_access_exception
  733. .globl __do_data_access_exception_tl1
  734. __do_data_access_exception_tl1:
  735. rdpr %pstate, %g4
  736. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  737. mov TLB_SFSR, %g3
  738. mov DMMU_SFAR, %g5
  739. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  740. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  741. stxa %g0, [%g3] ASI_DMMU ! Clear SFSR.FaultValid bit
  742. membar #Sync
  743. ba,pt %xcc, winfix_dax
  744.  rdpr %tpc, %g3
  745. __do_data_access_exception:
  746. rdpr %pstate, %g4
  747. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  748. mov TLB_SFSR, %g3
  749. mov DMMU_SFAR, %g5
  750. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  751. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  752. stxa %g0, [%g3] ASI_DMMU ! Clear SFSR.FaultValid bit
  753. membar #Sync
  754. sethi %hi(109f), %g7
  755. ba,pt %xcc, etrap
  756. 109:  or %g7, %lo(109b), %g7
  757. mov %l4, %o1
  758. mov %l5, %o2
  759. call data_access_exception
  760.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  761. ba,pt %xcc, rtrap
  762.  clr %l6
  764. .globl __do_instruction_access_exception
  765. .globl __do_instruction_access_exception_tl1
  766. __do_instruction_access_exception_tl1:
  767. rdpr %pstate, %g4
  768. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  769. mov TLB_SFSR, %g3
  770. mov DMMU_SFAR, %g5
  771. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  772. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  773. stxa %g0, [%g3] ASI_IMMU ! Clear FaultValid bit
  774. membar #Sync
  775. sethi %hi(109f), %g7
  776. ba,pt %xcc, etraptl1
  777.  or %g7, %lo(109f), %g7 ! Merge in below
  778. __do_instruction_access_exception:
  779. rdpr %pstate, %g4
  780. wrpr %g4, PSTATE_MG|PSTATE_AG, %pstate
  781. mov TLB_SFSR, %g3
  782. mov DMMU_SFAR, %g5
  783. ldxa [%g3] ASI_DMMU, %g4 ! Get SFSR
  784. ldxa [%g5] ASI_DMMU, %g5 ! Get SFAR
  785. stxa %g0, [%g3] ASI_IMMU ! Clear FaultValid bit
  786. membar #Sync
  787. sethi %hi(109f), %g7
  788. ba,pt %xcc, etrap
  789. 109:  or %g7, %lo(109b), %g7
  790. mov %l4, %o1
  791. mov %l5, %o2
  792. call instruction_access_exception
  793.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  794. ba,pt %xcc, rtrap
  795.  clr %l6
  797. /* This is the trap handler entry point for ECC correctable
  798.  * errors.  They are corrected, but we listen for the trap
  799.  * so that the event can be logged.
  800.  *
  801.  * Disrupting errors are either:
  802.  * 1) single-bit ECC errors during UDB reads to system
  803.  *    memory
  804.  * 2) data parity errors during write-back events
  805.  *
  806.  * As far as I can make out from the manual, the CEE trap
  807.  * is only for correctable errors during memory read
  808.  * accesses by the front-end of the processor.
  809.  *
  810.  * The code below is only for trap level 1 CEE events,
  811.  * as it is the only situation where we can safely record
  812.  * and log.  For trap level >1 we just clear the CE bit
  813.  * in the AFSR and return.
  814.  */
  816. /* Our trap handling infrastructure allows us to preserve
  817.  * two 64-bit values during etrap for arguments to
  818.  * subsequent C code.  Therefore we encode the information
  819.  * as follows:
  820.  *
  821.  * value 1) Full 64-bits of AFAR
  822.  * value 2) Low 33-bits of AFSR, then bits 33-->42
  823.  *          are UDBL error status and bits 43-->52
  824.  *          are UDBH error status
  825.  */
  826. .align 64
  827. .globl cee_trap
  828. cee_trap:
  829. ldxa [%g0] ASI_AFSR, %g1 ! Read AFSR
  830. ldxa [%g0] ASI_AFAR, %g2 ! Read AFAR
  831. sllx %g1, 31, %g1 ! Clear reserved bits
  832. srlx %g1, 31, %g1 ! in AFSR
  834. /* NOTE: UltraSparc-I/II have high and low UDB error
  835.  *       registers, corresponding to the two UDB units
  836.  *       present on those chips.  UltraSparc-IIi only
  837.  *       has a single UDB, called "SDB" in the manual.
  838.  *       For IIi the upper UDB register always reads
  839.  *       as zero so for our purposes things will just
  840.  *       work with the checks below.
  841.  */
  842. ldxa [%g0] ASI_UDBL_ERROR_R, %g3 ! Read UDB-Low error status
  843. andcc %g3, (1 << 8), %g4 ! Check CE bit
  844. sllx %g3, (64 - 10), %g3 ! Clear reserved bits
  845. srlx %g3, (64 - 10), %g3 ! in UDB-Low error status
  847. sllx %g3, (33 + 0), %g3 ! Shift up to encoding area
  848. or %g1, %g3, %g1 ! Or it in
  849. be,pn %xcc, 1f ! Branch if CE bit was clear
  850.  nop
  851. stxa %g4, [%g0] ASI_UDB_ERROR_W ! Clear CE sticky bit in UDBL
  852. membar #Sync ! Synchronize ASI stores
  853. 1: mov 0x18, %g5 ! Addr of UDB-High error status
  854. ldxa [%g5] ASI_UDBH_ERROR_R, %g3 ! Read it
  856. andcc %g3, (1 << 8), %g4 ! Check CE bit
  857. sllx %g3, (64 - 10), %g3 ! Clear reserved bits
  858. srlx %g3, (64 - 10), %g3 ! in UDB-High error status
  859. sllx %g3, (33 + 10), %g3 ! Shift up to encoding area
  860. or %g1, %g3, %g1 ! Or it in
  861. be,pn %xcc, 1f ! Branch if CE bit was clear
  862.  nop
  863. nop
  865. stxa %g4, [%g5] ASI_UDB_ERROR_W ! Clear CE sticky bit in UDBH
  866. membar #Sync ! Synchronize ASI stores
  867. 1: mov 1, %g5 ! AFSR CE bit is
  868. sllx %g5, 20, %g5 ! bit 20
  869. stxa %g5, [%g0] ASI_AFSR ! Clear CE sticky bit in AFSR
  870. membar #Sync ! Synchronize ASI stores
  871. sllx %g2, (64 - 41), %g2 ! Clear reserved bits
  872. srlx %g2, (64 - 41), %g2 ! in latched AFAR
  874. andn %g2, 0x0f, %g2 ! Finish resv bit clearing
  875. mov %g1, %g4 ! Move AFSR+UDB* into save reg
  876. mov %g2, %g5 ! Move AFAR into save reg
  877. rdpr %pil, %g2
  878. wrpr %g0, 15, %pil
  879. ba,pt %xcc, etrap_irq
  880.  rd %pc, %g7
  881. mov %l4, %o0
  883. mov %l5, %o1
  884. call cee_log
  885.  add %sp, STACK_BIAS + REGWIN_SZ, %o2
  886. ba,a,pt %xcc, rtrap_clr_l6
  888. /* Capture I/D/E-cache state into per-cpu error scoreboard.
  889.  *
  890.  * %g1: (TL>=0) ? 1 : 0
  891.  * %g2: scratch
  892.  * %g3: scratch
  893.  * %g4: AFSR
  894.  * %g5: AFAR
  895.  * %g6: current thread ptr
  896.  * %g7: scratch
  897.  */
  898. #define CHEETAH_LOG_ERROR
  899. /* Put "TL1" software bit into AFSR. */
  900. and %g1, 0x1, %g1;
  901. sllx %g1, 63, %g2;
  902. or %g4, %g2, %g4;
  903. /* Get log entry pointer for this cpu at this trap level. */
  904. ldxa [%g0] ASI_SAFARI_CONFIG, %g2;
  905. srlx %g2, 17, %g2;
  906. and %g2, 0x3ff, %g2;
  907. sllx %g2, 9, %g2;
  908. sethi %hi(cheetah_error_log), %g3;
  909. ldx [%g3 + %lo(cheetah_error_log)], %g3;
  910. brz,pn %g3, 80f;
  911.  nop;
  912. add %g3, %g2, %g3;
  913. sllx %g1, 8, %g1;
  914. add %g3, %g1, %g1;
  915. /* %g1 holds pointer to the top of the logging scoreboard */
  916. ldx [%g1 + 0x0], %g7;
  917. cmp %g7, -1;
  918. bne,pn %xcc, 80f;
  919.  nop;
  920. stx %g4, [%g1 + 0x0];
  921. stx %g5, [%g1 + 0x8];
  922. add %g1, 0x10, %g1;
  923. /* %g1 now points to D-cache logging area */
  924. set 0x3ff8, %g2; /* DC_addr mask */
  925. and %g5, %g2, %g2; /* DC_addr bits of AFAR */
  926. srlx %g5, 12, %g3;
  927. or %g3, 1, %g3; /* PHYS tag + valid */
  928. 10: ldxa [%g2] ASI_DCACHE_TAG, %g7;
  929. cmp %g3, %g7; /* TAG match? */
  930. bne,pt %xcc, 13f;
  931.  nop;
  932. /* Yep, what we want, capture state. */
  933. stx %g2, [%g1 + 0x20];
  934. stx %g7, [%g1 + 0x28];
  935. /* A membar Sync is required before and after utag access. */
  936. membar #Sync;
  937. ldxa [%g2] ASI_DCACHE_UTAG, %g7;
  938. membar #Sync;
  939. stx %g7, [%g1 + 0x30];
  940. ldxa [%g2] ASI_DCACHE_SNOOP_TAG, %g7;
  941. stx %g7, [%g1 + 0x38];
  942. clr %g3;
  943. 12: ldxa [%g2 + %g3] ASI_DCACHE_DATA, %g7;
  944. stx %g7, [%g1];
  945. add %g3, (1 << 5), %g3;
  946. cmp %g3, (4 << 5);
  947. bl,pt %xcc, 12b;
  948.  add %g1, 0x8, %g1;
  949. ba,pt %xcc, 20f;
  950.  add %g1, 0x20, %g1;
  951. 13: sethi %hi(1 << 14), %g7;
  952. add %g2, %g7, %g2;
  953. srlx %g2, 14, %g7;
  954. cmp %g7, 4;
  955. bl,pt %xcc, 10b;
  956.  nop;
  957. add %g1, 0x40, %g1;
  958. 20: /* %g1 now points to I-cache logging area */
  959. set 0x1fe0, %g2; /* IC_addr mask */
  960. and %g5, %g2, %g2; /* IC_addr bits of AFAR */
  961. sllx %g2, 1, %g2; /* IC_addr[13:6]==VA[12:5] */
  962. srlx %g5, (13 - 8), %g3; /* Make PTAG */
  963. andn %g3, 0xff, %g3; /* Mask off undefined bits */
  964. 21: ldxa [%g2] ASI_IC_TAG, %g7;
  965. andn %g7, 0xff, %g7;
  966. cmp %g3, %g7;
  967. bne,pt %xcc, 23f;
  968.  nop;
  969. /* Yep, what we want, capture state. */
  970. stx %g2, [%g1 + 0x40];
  971. stx %g7, [%g1 + 0x48];
  972. add %g2, (1 << 3), %g2;
  973. ldxa [%g2] ASI_IC_TAG, %g7;
  974. add %g2, (1 << 3), %g2;
  975. stx %g7, [%g1 + 0x50];
  976. ldxa [%g2] ASI_IC_TAG, %g7;
  977. add %g2, (1 << 3), %g2;
  978. stx %g7, [%g1 + 0x60];
  979. ldxa [%g2] ASI_IC_TAG, %g7;
  980. stx %g7, [%g1 + 0x68];
  981. sub %g2, (3 << 3), %g2;
  982. ldxa [%g2] ASI_IC_STAG, %g7;
  983. stx %g7, [%g1 + 0x58];
  984. clr %g3;
  985. srlx %g2, 2, %g2;
  986. 22: ldxa [%g2 + %g3] ASI_IC_INSTR, %g7;
  987. stx %g7, [%g1];
  988. add %g3, (1 << 3), %g3;
  989. cmp %g3, (8 << 3);
  990. bl,pt %xcc, 22b;
  991.  add %g1, 0x8, %g1;
  992. ba,pt %xcc, 30f;
  993.  add %g1, 0x30, %g1;
  994. 23: sethi %hi(1 << 14), %g7;
  995. add %g2, %g7, %g2;
  996. srlx %g2, 14, %g7;
  997. cmp %g7, 4;
  998. bl,pt %xcc, 21b;
  999.  nop;
  1000. add %g1, 0x70, %g1;
  1001. 30: /* %g1 now points to E-cache logging area */
  1002. andn %g5, (32 - 1), %g2; /* E-cache subblock */
  1003. stx %g2, [%g1 + 0x20];
  1004. ldxa [%g2] ASI_EC_TAG_DATA, %g7;
  1005. stx %g7, [%g1 + 0x28];
  1006. ldxa [%g2] ASI_EC_R, %g0;
  1007. clr %g3;
  1008. 31: ldxa [%g3] ASI_EC_DATA, %g7;
  1009. stx %g7, [%g1 + %g3];
  1010. add %g3, 0x8, %g3;
  1011. cmp %g3, 0x20;
  1012. bl,pt %xcc, 31b;
  1013.  nop;
  1014. 80: /* DONE */
  1016. /* These get patched into the trap table at boot time
  1017.  * once we know we have a cheetah processor.
  1018.  */
  1019. .globl cheetah_fecc_trap_vector, cheetah_fecc_trap_vector_tl1
  1020. cheetah_fecc_trap_vector:
  1021. membar #Sync
  1022. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1023. andn %g1, DCU_DC | DCU_IC, %g1
  1024. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1025. membar #Sync
  1026. sethi %hi(cheetah_fast_ecc), %g2
  1027. jmpl %g2 + %lo(cheetah_fast_ecc), %g0
  1028.  mov 0, %g1
  1029. cheetah_fecc_trap_vector_tl1:
  1030. membar #Sync
  1031. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1032. andn %g1, DCU_DC | DCU_IC, %g1
  1033. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1034. membar #Sync
  1035. sethi %hi(cheetah_fast_ecc), %g2
  1036. jmpl %g2 + %lo(cheetah_fast_ecc), %g0
  1037.  mov 1, %g1
  1038. .globl cheetah_cee_trap_vector, cheetah_cee_trap_vector_tl1
  1039. cheetah_cee_trap_vector:
  1040. membar #Sync
  1041. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1042. andn %g1, DCU_IC, %g1
  1043. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1044. membar #Sync
  1045. sethi %hi(cheetah_cee), %g2
  1046. jmpl %g2 + %lo(cheetah_cee), %g0
  1047.  mov 0, %g1
  1048. cheetah_cee_trap_vector_tl1:
  1049. membar #Sync
  1050. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1
  1051. andn %g1, DCU_IC, %g1
  1052. stxa %g1, [%g0] ASI_DCU_CONTROL_REG
  1053. membar #Sync
  1054. sethi %hi(cheetah_cee), %g2
  1055. jmpl %g2 + %lo(cheetah_cee), %g0
  1056.  mov 1, %g1
  1057. .globl cheetah_deferred_trap_vector, cheetah_deferred_trap_vector_tl1
  1058. cheetah_deferred_trap_vector:
  1059. membar #Sync
  1060. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1;
  1061. andn %g1, DCU_DC | DCU_IC, %g1;
  1062. stxa %g1, [%g0] ASI_DCU_CONTROL_REG;
  1063. membar #Sync;
  1064. sethi %hi(cheetah_deferred_trap), %g2
  1065. jmpl %g2 + %lo(cheetah_deferred_trap), %g0
  1066.  mov 0, %g1
  1067. cheetah_deferred_trap_vector_tl1:
  1068. membar #Sync;
  1069. ldxa [%g0] ASI_DCU_CONTROL_REG, %g1;
  1070. andn %g1, DCU_DC | DCU_IC, %g1;
  1071. stxa %g1, [%g0] ASI_DCU_CONTROL_REG;
  1072. membar #Sync;
  1073. sethi %hi(cheetah_deferred_trap), %g2
  1074. jmpl %g2 + %lo(cheetah_deferred_trap), %g0
  1075.  mov 1, %g1
  1077. /* Cheetah FECC trap handling, we get here from tl{0,1}_fecc
  1078.  * in the trap table.  That code has done a memory barrier
  1079.  * and has disabled both the I-cache and D-cache in the DCU
  1080.  * control register.  The I-cache is disabled so that we may
  1081.  * capture the corrupted cache line, and the D-cache is disabled
  1082.  * because corrupt data may have been placed there and we don't
  1083.  * want to reference it.
  1084.  *
  1085.  * %g1 is one if this trap occured at %tl >= 1.
  1086.  *
  1087.  * Next, we turn off error reporting so that we don't recurse.
  1088.  */
  1089. .globl cheetah_fast_ecc
  1090. cheetah_fast_ecc:
  1091. ldxa [%g0] ASI_ESTATE_ERROR_EN, %g2
  1092. andn %g2, ESTATE_ERROR_NCEEN | ESTATE_ERROR_CEEN, %g2
  1093. stxa %g2, [%g0] ASI_ESTATE_ERROR_EN
  1094. membar #Sync
  1096. /* Fetch and clear AFSR/AFAR */
  1097. ldxa [%g0] ASI_AFSR, %g4
  1098. ldxa [%g0] ASI_AFAR, %g5
  1099. stxa %g4, [%g0] ASI_AFSR
  1100. membar #Sync
  1102. CHEETAH_LOG_ERROR
  1104. rdpr %pil, %g2
  1105. wrpr %g0, 15, %pil
  1106. ba,pt %xcc, etrap_irq
  1107.  rd %pc, %g7
  1108. mov %l4, %o1
  1109. mov %l5, %o2
  1110. call cheetah_fecc_handler
  1111.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1112. ba,a,pt %xcc, rtrap_clr_l6
  1114. /* Our caller has disabled I-cache and performed membar Sync. */
  1115. .globl cheetah_cee
  1116. cheetah_cee:
  1117. ldxa [%g0] ASI_ESTATE_ERROR_EN, %g2
  1118. andn %g2, ESTATE_ERROR_CEEN, %g2
  1119. stxa %g2, [%g0] ASI_ESTATE_ERROR_EN
  1120. membar #Sync
  1122. /* Fetch and clear AFSR/AFAR */
  1123. ldxa [%g0] ASI_AFSR, %g4
  1124. ldxa [%g0] ASI_AFAR, %g5
  1125. stxa %g4, [%g0] ASI_AFSR
  1126. membar #Sync
  1128. CHEETAH_LOG_ERROR
  1130. rdpr %pil, %g2
  1131. wrpr %g0, 15, %pil
  1132. ba,pt %xcc, etrap_irq
  1133.  rd %pc, %g7
  1134. mov %l4, %o1
  1135. mov %l5, %o2
  1136. call cheetah_cee_handler
  1137.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1138. ba,a,pt %xcc, rtrap_clr_l6
  1140. /* Our caller has disabled I-cache+D-cache and performed membar Sync. */
  1141. .globl cheetah_deferred_trap
  1142. cheetah_deferred_trap:
  1143. ldxa [%g0] ASI_ESTATE_ERROR_EN, %g2
  1144. andn %g2, ESTATE_ERROR_NCEEN | ESTATE_ERROR_CEEN, %g2
  1145. stxa %g2, [%g0] ASI_ESTATE_ERROR_EN
  1146. membar #Sync
  1148. /* Fetch and clear AFSR/AFAR */
  1149. ldxa [%g0] ASI_AFSR, %g4
  1150. ldxa [%g0] ASI_AFAR, %g5
  1151. stxa %g4, [%g0] ASI_AFSR
  1152. membar #Sync
  1154. CHEETAH_LOG_ERROR
  1156. rdpr %pil, %g2
  1157. wrpr %g0, 15, %pil
  1158. ba,pt %xcc, etrap_irq
  1159.  rd %pc, %g7
  1160. mov %l4, %o1
  1161. mov %l5, %o2
  1162. call cheetah_deferred_handler
  1163.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1164. ba,a,pt %xcc, rtrap_clr_l6
  1166. .globl __do_privact
  1167. __do_privact:
  1168. mov TLB_SFSR, %g3
  1169. stxa %g0, [%g3] ASI_DMMU ! Clear FaultValid bit
  1170. membar #Sync
  1171. sethi %hi(109f), %g7
  1172. ba,pt %xcc, etrap
  1173. 109: or %g7, %lo(109b), %g7
  1174. call do_privact
  1175.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1176. ba,pt %xcc, rtrap
  1177.  clr %l6
  1179. .globl do_mna
  1180. do_mna:
  1181. rdpr %tl, %g3
  1182. cmp %g3, 1
  1184. /* Setup %g4/%g5 now as they are used in the
  1185.  * winfixup code.
  1186.  */
  1187. mov TLB_SFSR, %g3
  1188. mov DMMU_SFAR, %g4
  1189. ldxa [%g4] ASI_DMMU, %g4
  1190. ldxa [%g3] ASI_DMMU, %g5
  1191. stxa %g0, [%g3] ASI_DMMU ! Clear FaultValid bit
  1192. membar #Sync
  1193. bgu,pn %icc, winfix_mna
  1194.  rdpr %tpc, %g3
  1196. 1: sethi %hi(109f), %g7
  1197. ba,pt %xcc, etrap
  1198. 109:  or %g7, %lo(109b), %g7
  1199. mov %l4, %o1
  1200. mov %l5, %o2
  1201. call mem_address_unaligned
  1202.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1203. ba,pt %xcc, rtrap
  1204.  clr %l6
  1206. .globl do_lddfmna
  1207. do_lddfmna:
  1208. sethi %hi(109f), %g7
  1209. mov TLB_SFSR, %g4
  1210. ldxa [%g4] ASI_DMMU, %g5
  1211. stxa %g0, [%g4] ASI_DMMU ! Clear FaultValid bit
  1212. membar #Sync
  1213. mov DMMU_SFAR, %g4
  1214. ldxa [%g4] ASI_DMMU, %g4
  1215. ba,pt %xcc, etrap
  1216. 109:  or %g7, %lo(109b), %g7
  1217. mov %l4, %o1
  1218. mov %l5, %o2
  1219. call handle_lddfmna
  1220.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1221. ba,pt %xcc, rtrap
  1222.  clr %l6
  1224. .globl do_stdfmna
  1225. do_stdfmna:
  1226. sethi %hi(109f), %g7
  1227. mov TLB_SFSR, %g4
  1228. ldxa [%g4] ASI_DMMU, %g5
  1229. stxa %g0, [%g4] ASI_DMMU ! Clear FaultValid bit
  1230. membar #Sync
  1231. mov DMMU_SFAR, %g4
  1232. ldxa [%g4] ASI_DMMU, %g4
  1233. ba,pt %xcc, etrap
  1234. 109:  or %g7, %lo(109b), %g7
  1235. mov %l4, %o1
  1236. mov %l5, %o2
  1237. call handle_stdfmna
  1238.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1239. ba,pt %xcc, rtrap
  1240.  clr %l6
  1242. .globl breakpoint_trap
  1243. breakpoint_trap:
  1244. call sparc_breakpoint
  1245.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1246. ba,pt %xcc, rtrap
  1247.  nop
  1249. #if defined(CONFIG_SUNOS_EMUL) || defined(CONFIG_SOLARIS_EMUL) || 
  1250.     defined(CONFIG_SOLARIS_EMUL_MODULE)
  1251. /* SunOS uses syscall zero as the 'indirect syscall' it looks
  1252.  * like indir_syscall(scall_num, arg0, arg1, arg2...);  etc.
  1253.  * This is complete brain damage.
  1254.  */
  1255. .globl sunos_indir
  1256. sunos_indir:
  1257. srl %o0, 0, %o0
  1258. mov %o7, %l4
  1259. cmp %o0, NR_SYSCALLS
  1260. blu,a,pt %icc, 1f
  1261.  sll %o0, 0x2, %o0
  1262. sethi %hi(sunos_nosys), %l6
  1263. b,pt %xcc, 2f
  1264.  or %l6, %lo(sunos_nosys), %l6
  1265. 1: sethi %hi(sunos_sys_table), %l7
  1266. or %l7, %lo(sunos_sys_table), %l7
  1267. lduw [%l7 + %o0], %l6
  1268. 2: mov %o1, %o0
  1269. mov %o2, %o1
  1270. mov %o3, %o2
  1271. mov %o4, %o3
  1272. mov %o5, %o4
  1273. call %l6
  1274.  mov %l4, %o7
  1276. .globl sunos_getpid
  1277. sunos_getpid:
  1278. call sys_getppid
  1279.  nop
  1280. call sys_getpid
  1281.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I1]
  1282. b,pt %xcc, ret_sys_call
  1283.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1285. /* SunOS getuid() returns uid in %o0 and euid in %o1 */
  1286. .globl sunos_getuid
  1287. sunos_getuid:
  1288. call sys32_geteuid16
  1289.  nop
  1290. call sys32_getuid16
  1291.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I1]
  1292. b,pt %xcc, ret_sys_call
  1293.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1295. /* SunOS getgid() returns gid in %o0 and egid in %o1 */
  1296. .globl sunos_getgid
  1297. sunos_getgid:
  1298. call sys32_getegid16
  1299.  nop
  1300. call sys32_getgid16
  1301.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I1]
  1302. b,pt %xcc, ret_sys_call
  1303.  stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1304. #endif
  1306. /* SunOS's execv() call only specifies the argv argument, the
  1307.  * environment settings are the same as the calling processes.
  1308.  */
  1309. .globl sunos_execv, sys_execve, sys32_execve
  1310. sys_execve:
  1311. sethi %hi(sparc_execve), %g1
  1312. ba,pt %xcc, execve_merge
  1313.  or %g1, %lo(sparc_execve), %g1
  1314. sunos_execv:
  1315. stx %g0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I2]
  1316. sys32_execve:
  1317. sethi %hi(sparc32_execve), %g1
  1318. or %g1, %lo(sparc32_execve), %g1
  1319. execve_merge:
  1320. flushw
  1321. jmpl %g1, %g0
  1322.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1324. .globl sys_pipe, sys_sigpause, sys_nis_syscall
  1325. .globl sys_sigsuspend, sys_rt_sigsuspend, sys32_rt_sigsuspend
  1326. .globl sys_rt_sigreturn
  1327. .globl sys32_sigreturn, sys32_rt_sigreturn
  1328. .globl sys32_execve, sys_ptrace
  1329. .globl sys_sigaltstack, sys32_sigaltstack
  1330. .globl sys32_sigstack
  1331. .align 32
  1332. sys_pipe: ba,pt %xcc, sparc_pipe
  1333.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1334. sys_nis_syscall:ba,pt %xcc, c_sys_nis_syscall
  1335.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1336. sys_memory_ordering:
  1337. ba,pt %xcc, sparc_memory_ordering
  1338.  add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1339. sys_sigaltstack:ba,pt %xcc, do_sigaltstack
  1340.  add %i6, STACK_BIAS, %o2
  1341. sys32_sigstack: ba,pt %xcc, do_sys32_sigstack
  1342.  mov %i6, %o2
  1343. sys32_sigaltstack:
  1344. ba,pt %xcc, do_sys32_sigaltstack
  1345.  mov %i6, %o2
  1347. .align 32
  1348. sys_sigsuspend: add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1349. call do_sigsuspend
  1350.  add %o7, 1f-.-4, %o7
  1351. nop
  1352. sys_rt_sigsuspend: /* NOTE: %o0,%o1 have a correct value already */
  1353. add %sp, STACK_BIAS + REGWIN_SZ, %o2
  1354. call do_rt_sigsuspend
  1355.  add %o7, 1f-.-4, %o7
  1356. nop
  1357. sys32_rt_sigsuspend: /* NOTE: %o0,%o1 have a correct value already */
  1358. srl %o0, 0, %o0
  1359. add %sp, STACK_BIAS + REGWIN_SZ, %o2
  1360. call do_rt_sigsuspend32
  1361.  add %o7, 1f-.-4, %o7
  1362. /* NOTE: %o0 has a correct value already */
  1363. sys_sigpause: add %sp, STACK_BIAS + REGWIN_SZ, %o1
  1364. call do_sigpause
  1365.  add %o7, 1f-.-4, %o7
  1366. nop
  1367. sys32_sigreturn:
  1368. add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1369. call do_sigreturn32
  1370.  add %o7, 1f-.-4, %o7
  1371. nop
  1372. sys_rt_sigreturn:
  1373. add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1374. call do_rt_sigreturn
  1375.  add %o7, 1f-.-4, %o7
  1376. nop
  1377. sys32_rt_sigreturn:
  1378. add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1379. call do_rt_sigreturn32
  1380.  add %o7, 1f-.-4, %o7
  1381. nop
  1382. sys_ptrace: add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1383. call do_ptrace
  1384.  add %o7, 1f-.-4, %o7
  1385. nop
  1386. .align 32
  1387. 1: ldx [%curptr + AOFF_task_ptrace], %l5
  1388. andcc %l5, 0x02, %g0
  1389. be,pt %icc, rtrap
  1390.  clr %l6
  1391. call syscall_trace
  1392.  nop
  1394. ba,pt %xcc, rtrap
  1395.  clr %l6
  1397. /* This is how fork() was meant to be done, 8 instruction entry.
  1398.  *
  1399.  * I questioned the following code briefly, let me clear things
  1400.  * up so you must not reason on it like I did.
  1401.  *
  1402.  * Know the fork_kpsr etc. we use in the sparc32 port?  We don't
  1403.  * need it here because the only piece of window state we copy to
  1404.  * the child is the CWP register.  Even if the parent sleeps,
  1405.  * we are safe because we stuck it into pt_regs of the parent
  1406.  * so it will not change.
  1407.  *
  1408.  * XXX This raises the question, whether we can do the same on
  1409.  * XXX sparc32 to get rid of fork_kpsr _and_ fork_kwim.  The
  1410.  * XXX answer is yes.  We stick fork_kpsr in UREG_G0 and
  1411.  * XXX fork_kwim in UREG_G1 (global registers are considered
  1412.  * XXX volatile across a system call in the sparc ABI I think
  1413.  * XXX if it isn't we can use regs->y instead, anyone who depends
  1414.  * XXX upon the Y register being preserved across a fork deserves
  1415.  * XXX to lose).
  1416.  *
  1417.  * In fact we should take advantage of that fact for other things
  1418.  * during system calls...
  1419.  */
  1420. .globl sys_fork, sys_vfork, sys_clone, sparc_exit
  1421. .globl ret_from_syscall
  1422. .align 32
  1423. sys_vfork: /* Under Linux, vfork and fork are just special cases of clone. */
  1424. sethi %hi(0x4000 | 0x0100 | SIGCHLD), %o0
  1425. or %o0, %lo(0x4000 | 0x0100 | SIGCHLD), %o0
  1426. ba,pt %xcc, sys_clone
  1427. sys_fork:  clr %o1
  1428. mov SIGCHLD, %o0
  1429. sys_clone: flushw
  1430. movrz %o1, %fp, %o1
  1431. mov 0, %o3
  1432. ba,pt %xcc, do_fork
  1433.  add %sp, STACK_BIAS + REGWIN_SZ, %o2
  1434. ret_from_syscall:
  1435. /* Clear SPARC_FLAG_NEWCHILD, switch_to leaves thread.flags in
  1436.  * %o7 for us.  Check performance counter stuff too.
  1437.  */
  1438. andn %o7, SPARC_FLAG_NEWCHILD, %l0
  1439. mov %g5, %o0 /* 'prev' */
  1440. call schedule_tail
  1441.  stb %l0, [%g6 + AOFF_task_thread + AOFF_thread_flags]
  1442. andcc %l0, SPARC_FLAG_PERFCTR, %g0
  1443. be,pt %icc, 1f
  1444.  nop
  1445. ldx [%g6 + AOFF_task_thread + AOFF_thread_pcr_reg], %o7
  1446. wr %g0, %o7, %pcr
  1448. /* Blackbird errata workaround.  See commentary in
  1449.  * smp.c:smp_percpu_timer_interrupt() for more
  1450.  * information.
  1451.  */
  1452. ba,pt %xcc, 99f
  1453.  nop
  1454. .align 64
  1455. 99: wr %g0, %g0, %pic
  1456. rd %pic, %g0
  1458. 1: b,pt %xcc, ret_sys_call
  1459.  ldx [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0], %o0
  1460. sparc_exit: wrpr %g0, (PSTATE_RMO | PSTATE_PEF | PSTATE_PRIV), %pstate
  1461. rdpr %otherwin, %g1
  1462. rdpr %cansave, %g3
  1463. add %g3, %g1, %g3
  1464. wrpr %g3, 0x0, %cansave
  1465. wrpr %g0, 0x0, %otherwin
  1466. wrpr %g0, (PSTATE_RMO | PSTATE_PEF | PSTATE_PRIV | PSTATE_IE), %pstate
  1467. ba,pt %xcc, sys_exit
  1468.  stb %g0, [%g6 + AOFF_task_thread + AOFF_thread_w_saved]
  1470. linux_sparc_ni_syscall:
  1471. sethi %hi(sys_ni_syscall), %l7
  1472. b,pt %xcc, 4f
  1473.  or %l7, %lo(sys_ni_syscall), %l7
  1475. linux_syscall_trace32:
  1476. call syscall_trace
  1477.  nop
  1478. srl %i0, 0, %o0
  1479. mov %i4, %o4
  1480. srl %i1, 0, %o1
  1481. srl %i2, 0, %o2
  1482. b,pt %xcc, 2f
  1483.  srl %i3, 0, %o3
  1485. linux_syscall_trace:
  1486. call syscall_trace
  1487.  nop
  1488. mov %i0, %o0
  1489. mov %i1, %o1
  1490. mov %i2, %o2
  1491. mov %i3, %o3
  1492. b,pt %xcc, 2f
  1493.  mov %i4, %o4
  1496. /* Linux 32-bit and SunOS system calls enter here... */
  1497. .align 32
  1498. .globl linux_sparc_syscall32
  1499. linux_sparc_syscall32:
  1500. /* Direct access to user regs, much faster. */
  1501. cmp %g1, NR_SYSCALLS ! IEU1 Group
  1502. bgeu,pn %xcc, linux_sparc_ni_syscall ! CTI
  1503.  srl %i0, 0, %o0 ! IEU0
  1504. sll %g1, 2, %l4 ! IEU0 Group
  1505. #ifdef SYSCALL_TRACING
  1506. call syscall_trace_entry
  1507.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1508. srl %i0, 0, %o0
  1509. #endif
  1510. mov %i4, %o4 ! IEU1
  1511. lduw [%l7 + %l4], %l7 ! Load
  1512. srl %i1, 0, %o1 ! IEU0 Group
  1513. ldx [%curptr + AOFF_task_ptrace], %l0 ! Load
  1515. mov %i5, %o5 ! IEU1
  1516. srl %i2, 0, %o2 ! IEU0 Group
  1517. andcc %l0, 0x02, %g0 ! IEU0 Group
  1518. bne,pn %icc, linux_syscall_trace32 ! CTI
  1519.  mov %i0, %l5 ! IEU1
  1520. call %l7 ! CTI Group brk forced
  1521.  srl %i3, 0, %o3 ! IEU0
  1522. ba,a,pt %xcc, 3f
  1524. /* Linux native and SunOS system calls enter here... */
  1525. .align 32
  1526. .globl linux_sparc_syscall, ret_sys_call
  1527. linux_sparc_syscall:
  1528. /* Direct access to user regs, much faster. */
  1529. cmp %g1, NR_SYSCALLS ! IEU1 Group
  1530. bgeu,pn %xcc, linux_sparc_ni_syscall ! CTI
  1531.  mov %i0, %o0 ! IEU0
  1532. sll %g1, 2, %l4 ! IEU0 Group
  1533. #ifdef SYSCALL_TRACING
  1534. call syscall_trace_entry
  1535.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1536. mov %i0, %o0
  1537. #endif
  1538. mov %i1, %o1 ! IEU1
  1539. lduw [%l7 + %l4], %l7 ! Load
  1540. 4: mov %i2, %o2 ! IEU0 Group
  1541. ldx [%curptr + AOFF_task_ptrace], %l0 ! Load
  1543. mov %i3, %o3 ! IEU1
  1544. mov %i4, %o4 ! IEU0 Group
  1545. andcc %l0, 0x02, %g0 ! IEU1 Group+1 bubble
  1546. bne,pn %icc, linux_syscall_trace ! CTI Group
  1547.  mov %i0, %l5 ! IEU0
  1548. 2: call %l7 ! CTI Group brk forced
  1549.  mov %i5, %o5 ! IEU0
  1550. nop
  1552. 3: stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1553. ret_sys_call:
  1554. #ifdef SYSCALL_TRACING
  1555. mov %o0, %o1
  1556. call syscall_trace_exit
  1557.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  1558. mov %o1, %o0
  1559. #endif
  1560. ldx [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TSTATE], %g3
  1561. ldx [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC], %l1 ! pc = npc
  1562. sra %o0, 0, %o0
  1563. mov %ulo(TSTATE_XCARRY | TSTATE_ICARRY), %g2
  1564. cmp %o0, -ENOIOCTLCMD
  1565. sllx %g2, 32, %g2
  1566. bgeu,pn %xcc, 1f
  1568.  andcc %l0, 0x02, %l6
  1569. andn %g3, %g2, %g3 /* System call success, clear Carry condition code. */
  1570. stx %g3, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TSTATE]
  1571. bne,pn %icc, linux_syscall_trace2
  1572.  add %l1, 0x4, %l2          ! npc = npc+4
  1573. stx %l1, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TPC]
  1574. ba,pt %xcc, rtrap_clr_l6
  1575.  stx %l2, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC]
  1577. 1:
  1578. /* System call failure, set Carry condition code.
  1579.  * Also, get abs(errno) to return to the process.
  1580.  */
  1581. sub %g0, %o0, %o0
  1582. or %g3, %g2, %g3
  1583. stx %o0, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_I0]
  1584. mov 1, %l6
  1585. stx %g3, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TSTATE]
  1586. bne,pn %icc, linux_syscall_trace2
  1587.  add %l1, 0x4, %l2          !npc = npc+4
  1588. stx %l1, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TPC]
  1590. b,pt %xcc, rtrap
  1591.  stx %l2, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC]
  1592. linux_syscall_trace2:
  1593. call syscall_trace
  1594.  nop
  1595. stx %l1, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TPC]
  1596. ba,pt %xcc, rtrap
  1597.  stx %l2, [%sp + STACK_BIAS + REGWIN_SZ + PT_V9_TNPC]
  1599. .align 32
  1600. .globl __flushw_user
  1601. __flushw_user:
  1602. rdpr %otherwin, %g1
  1603. brz,pn %g1, 2f
  1604.  clr %g2
  1605. 1: save %sp, -128, %sp
  1606. rdpr %otherwin, %g1
  1607. brnz,pt %g1, 1b
  1608.  add %g2, 1, %g2
  1609. 1: sub %g2, 1, %g2
  1610. brnz,pt %g2, 1b
  1611.  restore %g0, %g0, %g0
  1612. 2: retl
  1613.  nop
  1615. /* This need not obtain the xtime_lock as it is coded in
  1616.  * an implicitly SMP safe way already.
  1617.  */
  1618. .align 64
  1619. .globl do_gettimeofday
  1620. do_gettimeofday: /* %o0 = timevalp */
  1621. /* Load doubles must be used on xtime so that what we get
  1622.  * is guarenteed to be atomic, this is why we can run this
  1623.  * with interrupts on full blast.  Don't touch this... -DaveM
  1624.  *
  1625.  * Note with time_t changes to the timeval type, I must now use
  1626.  * nucleus atomic quad 128-bit loads.
  1627.  *
  1628.  * If xtime was stored recently, I've seen crap from the
  1629.  * quad load on Cheetah.  Putting a membar SYNC before
  1630.  * the quad load seems to make the problem go away. -DaveM
  1631.  * (we should nop out workarounds like this on spitfire)
  1632.  */
  1633. sethi %hi(timer_tick_offset), %g3
  1634. sethi %hi(xtime), %g2
  1635. sethi %hi(timer_tick_compare), %g1
  1636. ldx [%g3 + %lo(timer_tick_offset)], %g3
  1637. or %g2, %lo(xtime), %g2
  1638. or %g1, %lo(timer_tick_compare), %g1
  1639. 1: rdpr %ver, %o2
  1640. sethi %hi(0x003e0014), %o1
  1641. srlx %o2, 32, %o2
  1642. or %o1, %lo(0x003e0014), %o1
  1643. membar #Sync
  1644. ldda [%g2] ASI_NUCLEUS_QUAD_LDD, %o4
  1645. cmp %o2, %o1
  1646. bne,pt %xcc, 2f
  1647.  nop
  1648. ba,pt %xcc, 3f
  1649.  rd %asr24, %o1
  1650. 2: rd %tick, %o1
  1651. 3: ldx [%g1], %g7
  1652. membar #Sync
  1653. ldda [%g2] ASI_NUCLEUS_QUAD_LDD, %o2
  1654. xor %o4, %o2, %o2
  1655. xor %o5, %o3, %o3
  1656. orcc %o2, %o3, %g0
  1657. bne,pn %xcc, 1b
  1658.  sethi %hi(wall_jiffies), %o2
  1659. sethi %hi(jiffies), %o3
  1660. ldx [%o2 + %lo(wall_jiffies)], %o2
  1661. ldx [%o3 + %lo(jiffies)], %o3
  1662. sub %o3, %o2, %o2
  1663. sethi %hi(timer_ticks_per_usec_quotient), %o3
  1664. add %g3, %o1, %o1
  1665. ldx [%o3 + %lo(timer_ticks_per_usec_quotient)], %o3
  1666. sub %o1, %g7, %o1
  1667. mulx %o3, %o1, %o1
  1668. brz,pt %o2, 1f
  1669.  srlx %o1, 32, %o1
  1670. sethi %hi(10000), %g2
  1671. or %g2, %lo(10000), %g2
  1672. add %o1, %g2, %o1
  1673. 1: sethi %hi(1000000), %o2
  1674. srlx %o5, 32, %o5
  1675. or %o2, %lo(1000000), %o2
  1676. add %o5, %o1, %o5
  1677. cmp %o5, %o2
  1678. bl,a,pn %xcc, 1f
  1679.  stx %o4, [%o0 + 0x0]
  1680. add %o4, 0x1, %o4
  1681. sub %o5, %o2, %o5
  1682. stx %o4, [%o0 + 0x0]
  1683. 1: retl
  1684.  st %o5, [%o0 + 0x8]