开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 嵌入式/单片机编程 > 嵌入式Linux > 查看源码
ultra.S
资源名称：SBC-2410X_kernel.tar.gz　[点击查看]
上传用户：lgb322
上传日期：2013-02-24
资源大小：30529k
文件大小：16k
源码类别：

嵌入式Linux

开发平台：

Unix_Linux

ultra.S：源码内容
  1. /* $Id: ultra.S,v 1.70 2001/11/29 16:42:10 kanoj Exp $
  2.  * ultra.S: Don't expand these all over the place...
  3.  *
  4.  * Copyright (C) 1997, 2000 David S. Miller (davem@redhat.com)
  5.  */
  7. #include <linux/config.h>
  8. #include <asm/asi.h>
  9. #include <asm/pgtable.h>
  10. #include <asm/page.h>
  11. #include <asm/spitfire.h>
  12. #include <asm/mmu_context.h>
  14. /* Basically, all this madness has to do with the
  15.  * fact that Cheetah does not support IMMU flushes
  16.  * out of the secondary context.  Someone needs to
  17.  * throw a south lake birthday party for the folks
  18.  * in Microelectronics who refused to fix this shit.
  19.  */
  20. #define BRANCH_IF_CHEETAH(tmp1, tmp2, label)
  21. rdpr %ver, %tmp1;
  22. sethi %hi(0x003e0014), %tmp2;
  23. srlx %tmp1, 32, %tmp1;
  24. or %tmp2, %lo(0x003e0014), %tmp2;
  25. cmp %tmp1, %tmp2;
  26. be,pn %icc, label;
  27.  nop;
  28. nop;
  30. /* This file is meant to be read efficiently by the CPU, not humans.
  31.  * Staraj sie tego nikomu nie pierdolnac...
  32.  */
  33. .text
  34. .align 32
  35. .globl __flush_tlb_page, __flush_tlb_mm, __flush_tlb_range
  36. __flush_tlb_page: /* %o0=(ctx & TAG_CONTEXT_BITS), %o1=page&PAGE_MASK, %o2=SECONDARY_CONTEXT */
  37. /*IC1*/ BRANCH_IF_CHEETAH(g2, g3, __cheetah_flush_tlb_page)
  38. __spitfire_flush_tlb_page:
  39. /*IC2*/ ldxa [%o2] ASI_DMMU, %g2
  40. cmp %g2, %o0
  41. bne,pn %icc, __spitfire_flush_tlb_page_slow
  42.  or %o1, 0x10, %g3
  43. stxa %g0, [%g3] ASI_DMMU_DEMAP
  44. stxa %g0, [%g3] ASI_IMMU_DEMAP
  45. retl
  46.  flush %g6
  47. __cheetah_flush_tlb_page:
  48. /*IC3*/ rdpr %pstate, %g5
  49. andn %g5, PSTATE_IE, %g2
  50. wrpr %g2, 0x0, %pstate
  51. wrpr %g0, 1, %tl
  52. mov PRIMARY_CONTEXT, %o2
  53. ldxa [%o2] ASI_DMMU, %g2
  54. stxa %o0, [%o2] ASI_DMMU
  55. stxa %g0, [%o1] ASI_DMMU_DEMAP
  56. /*IC4*/ stxa %g0, [%o1] ASI_IMMU_DEMAP
  57. stxa %g2, [%o2] ASI_DMMU
  58. flush %g6
  59. wrpr %g0, 0, %tl
  60. retl
  61.  wrpr %g5, 0x0, %pstate
  62. nop
  63. nop
  64. __flush_tlb_mm: /* %o0=(ctx & TAG_CONTEXT_BITS), %o1=SECONDARY_CONTEXT */
  65. /*IC5*/ BRANCH_IF_CHEETAH(g2, g3, __cheetah_flush_tlb_mm)
  66. __spitfire_flush_tlb_mm:
  67. /*IC6*/ ldxa [%o1] ASI_DMMU, %g2
  68. cmp %g2, %o0
  69. bne,pn %icc, __spitfire_flush_tlb_mm_slow
  70.  mov 0x50, %g3
  71. stxa %g0, [%g3] ASI_DMMU_DEMAP
  72. stxa %g0, [%g3] ASI_IMMU_DEMAP
  73. retl
  74.  flush %g6
  75. __cheetah_flush_tlb_mm:
  76. /*IC7*/ rdpr %pstate, %g5
  77. andn %g5, PSTATE_IE, %g2
  78. wrpr %g2, 0x0, %pstate
  79. wrpr %g0, 1, %tl
  80. mov PRIMARY_CONTEXT, %o2
  81. mov 0x40, %g3
  82. ldxa [%o2] ASI_DMMU, %g2
  83. stxa %o0, [%o2] ASI_DMMU
  84. /*IC8*/ stxa %g0, [%g3] ASI_DMMU_DEMAP
  85. stxa %g0, [%g3] ASI_IMMU_DEMAP
  86. stxa %g2, [%o2] ASI_DMMU
  87. flush %g6
  88. wrpr %g0, 0, %tl
  89. retl
  90.  wrpr %g5, 0x0, %pstate
  91. nop
  92. __flush_tlb_range: /* %o0=(ctx&TAG_CONTEXT_BITS), %o1=start&PAGE_MASK, %o2=SECONDARY_CONTEXT,
  93.     * %o3=end&PAGE_MASK, %o4=PAGE_SIZE, %o5=(end - start)
  94.     */
  95. /*IC9*/ BRANCH_IF_CHEETAH(g2, g3, __cheetah_flush_tlb_range)
  96. __spitfire_flush_tlb_range:
  97. #define TLB_MAGIC 207 /* Students, do you know how I calculated this?  -DaveM */
  98. /*IC10*/cmp %o5, %o4
  99. bleu,pt %xcc, __flush_tlb_page
  100.  srlx %o5, PAGE_SHIFT, %g5
  101. cmp %g5, TLB_MAGIC
  102. bgeu,pn %icc, __spitfire_flush_tlb_range_constant_time
  103.  or %o1, 0x10, %g5
  104. ldxa [%o2] ASI_DMMU, %g2
  105. cmp %g2, %o0
  106. __spitfire_flush_tlb_range_page_by_page:
  107. /*IC11*/bne,pn %icc, __spitfire_flush_tlb_range_pbp_slow
  108.  sub %o5, %o4, %o5
  109. 1: stxa %g0, [%g5 + %o5] ASI_DMMU_DEMAP
  110. stxa %g0, [%g5 + %o5] ASI_IMMU_DEMAP
  111. brnz,pt %o5, 1b
  112.  sub %o5, %o4, %o5
  113. retl
  114.  flush %g6
  115. __spitfire_flush_tlb_range_constant_time: /* %o0=ctx, %o1=start, %o3=end */
  116. /*IC12*/rdpr %pstate, %g1
  117. wrpr %g1, PSTATE_IE, %pstate
  118. mov TLB_TAG_ACCESS, %g3
  119. /* XXX Spitfire dependency... */
  120. mov ((SPITFIRE_HIGHEST_LOCKED_TLBENT-1) << 3), %g2
  122. /* Spitfire Errata #32 workaround. */
  123. mov 0x8, %o4
  124. stxa %g0, [%o4] ASI_DMMU
  125. flush %g6
  127. 1: ldxa [%g2] ASI_ITLB_TAG_READ, %o4
  128. and %o4, TAG_CONTEXT_BITS, %o5
  129. cmp %o5, %o0
  130. bne,pt %icc, 2f
  131. /*IC13*/ andn %o4, TAG_CONTEXT_BITS, %o4
  132. cmp %o4, %o1
  133. blu,pt %xcc, 2f
  134.  cmp %o4, %o3
  135. blu,pn %xcc, 4f
  136. 2:  ldxa [%g2] ASI_DTLB_TAG_READ, %o4
  137. and %o4, TAG_CONTEXT_BITS, %o5
  138. cmp %o5, %o0
  139. /*IC14*/andn %o4, TAG_CONTEXT_BITS, %o4
  140. bne,pt %icc, 3f
  141.  cmp %o4, %o1
  142. blu,pt %xcc, 3f
  143.  cmp %o4, %o3
  144. blu,pn %xcc, 5f
  145.  nop
  146. 3: brnz,pt %g2, 1b
  147. /*IC15*/ sub %g2, (1 << 3), %g2
  148. retl
  149.  wrpr %g1, 0x0, %pstate
  150. 4: stxa %g0, [%g3] ASI_IMMU
  151. stxa %g0, [%g2] ASI_ITLB_DATA_ACCESS
  152. flush %g6
  154. /* Spitfire Errata #32 workaround. */
  155. mov 0x8, %o4
  156. stxa %g0, [%o4] ASI_DMMU
  157. flush %g6
  159. ba,pt %xcc, 2b
  160.  nop
  162. 5: stxa %g0, [%g3] ASI_DMMU
  163. /*IC16*/stxa %g0, [%g2] ASI_DTLB_DATA_ACCESS
  164. flush %g6
  166. /* Spitfire Errata #32 workaround. */
  167. mov 0x8, %o4
  168. stxa %g0, [%o4] ASI_DMMU
  169. flush %g6
  171. ba,pt %xcc, 3b
  172.  nop
  174. .align 32
  175. __cheetah_flush_tlb_range:
  176. cmp %o5, %o4
  177. bleu,pt %xcc, __cheetah_flush_tlb_page
  178.  nop
  179. /*IC17*/rdpr %pstate, %g5
  180. andn %g5, PSTATE_IE, %g2
  181. wrpr %g2, 0x0, %pstate
  182. wrpr %g0, 1, %tl
  183. mov PRIMARY_CONTEXT, %o2
  184. sub %o5, %o4, %o5
  185. ldxa [%o2] ASI_DMMU, %g2
  186. stxa %o0, [%o2] ASI_DMMU
  188. /*IC18*/
  189. 1: stxa %g0, [%o1 + %o5] ASI_DMMU_DEMAP
  190. stxa %g0, [%o1 + %o5] ASI_IMMU_DEMAP
  191. membar #Sync
  192. brnz,pt %o5, 1b
  193.  sub %o5, %o4, %o5
  195. stxa %g2, [%o2] ASI_DMMU
  196. flush %g6
  197. wrpr %g0, 0, %tl
  198. retl
  199. /*IC19*/ wrpr %g5, 0x0, %pstate
  201. __spitfire_flush_tlb_mm_slow:
  202. rdpr %pstate, %g1
  203. wrpr %g1, PSTATE_IE, %pstate
  204. stxa %o0, [%o1] ASI_DMMU
  205. stxa %g0, [%g3] ASI_DMMU_DEMAP
  206. stxa %g0, [%g3] ASI_IMMU_DEMAP
  207. flush %g6
  208. stxa %g2, [%o1] ASI_DMMU
  209. /*IC18*/flush %g6
  210. retl
  211.  wrpr %g1, 0, %pstate
  213. __spitfire_flush_tlb_page_slow:
  214. rdpr %pstate, %g1
  215. wrpr %g1, PSTATE_IE, %pstate
  216. stxa %o0, [%o2] ASI_DMMU
  217. stxa %g0, [%g3] ASI_DMMU_DEMAP
  218. stxa %g0, [%g3] ASI_IMMU_DEMAP
  219. /*IC20*/flush %g6
  220. stxa %g2, [%o2] ASI_DMMU
  221. flush %g6
  222. retl
  223.  wrpr %g1, 0, %pstate
  225. __spitfire_flush_tlb_range_pbp_slow:
  226. rdpr %pstate, %g1
  227. wrpr %g1, PSTATE_IE, %pstate
  228. stxa %o0, [%o2] ASI_DMMU
  229. /*IC21*/
  230. 2: stxa %g0, [%g5 + %o5] ASI_DMMU_DEMAP
  231. stxa %g0, [%g5 + %o5] ASI_IMMU_DEMAP
  232. brnz,pt %o5, 2b
  233.  sub %o5, %o4, %o5
  234. flush %g6
  235. stxa %g2, [%o2] ASI_DMMU
  236. flush %g6
  237. retl
  238. /*IC22*/ wrpr %g1, 0x0, %pstate
  240. /*
  241.  * The following code flushes one page_size worth.
  242.  */
  243. #if (PAGE_SHIFT == 13)
  244. #define ITAG_MASK 0xfe
  245. #elif (PAGE_SHIFT == 16)
  246. #define ITAG_MASK 0x7fe
  247. #else
  248. #error unsupported PAGE_SIZE
  249. #endif
  250. .align 32
  251. .globl __flush_icache_page
  252. __flush_icache_page: /* %o0 = phys_page */
  253. sethi %hi(1 << 13), %o2 ! IC_set bit
  254. mov 1, %g1
  255. srlx %o0, 5, %o0
  256. clr %o1 ! IC_addr
  257. sllx %g1, 36, %g1
  258. ldda [%o1] ASI_IC_TAG, %o4
  259. sub %g1, 1, %g2
  260. or %o0, %g1, %o0 ! VALID+phys-addr comparitor
  262. sllx %g2, 1, %g2
  263. andn %g2, ITAG_MASK, %g2 ! IC_tag mask
  264. nop
  265. nop
  266. nop
  267. nop
  268. nop
  269. nop
  271. 1: addx %g0, %g0, %g0
  272. ldda [%o1 + %o2] ASI_IC_TAG, %g4
  273. addx %g0, %g0, %g0
  274. and %o5, %g2, %g3
  275. cmp %g3, %o0
  276. add %o1, 0x20, %o1
  277. ldda [%o1] ASI_IC_TAG, %o4
  278. be,pn %xcc, iflush1
  280. 2:  nop
  281. and %g5, %g2, %g5
  282. cmp %g5, %o0
  283. be,pn %xcc, iflush2
  284. 3:  cmp %o1, %o2
  285. bne,pt %xcc, 1b
  286.  addx %g0, %g0, %g0
  287. nop
  289. sethi %uhi(PAGE_OFFSET), %g4
  290. retl
  291.  sllx %g4, 32, %g4
  293. iflush1:sub %o1, 0x20, %g3
  294. stxa %g0, [%g3] ASI_IC_TAG
  295. flush %g6
  296. ba,a,pt %xcc, 2b
  297. iflush2:sub %o1, 0x20, %g3
  298. stxa %g0, [%o1 + %o2] ASI_IC_TAG
  299. flush %g6
  300. ba,a,pt %xcc, 3b
  302. .align 64
  303. .globl __flush_dcache_page
  304. __flush_dcache_page: /* %o0=kaddr, %o1=flush_icache */
  305. sub %o0, %g4, %o0
  307. rdpr %ver, %g1
  308. sethi %hi(0x003e0014), %g2
  309. srlx %g1, 32, %g1
  310. or %g2, %lo(0x003e0014), %g2
  311. cmp %g1, %g2
  312. bne,pt %icc, flush_dcpage_spitfire
  313.  nop
  315. flush_dcpage_cheetah:
  316. sethi %hi(PAGE_SIZE), %o4
  317. 1: subcc %o4, (1 << 5), %o4
  318. stxa %g0, [%o0 + %o4] ASI_DCACHE_INVALIDATE
  319. bne,pt %icc, 1b
  320.  nop
  321. membar #Sync
  322. /* I-cache flush never needed on Cheetah, see callers. */
  323. retl
  324.  nop
  326. #if (PAGE_SHIFT == 13)
  327. #define DTAG_MASK 0x3
  328. #elif (PAGE_SHIFT == 16)
  329. #define DTAG_MASK 0x1f
  330. #elif (PAGE_SHIFT == 19)
  331. #define DTAG_MASK 0xff
  332. #elif (PAGE_SHIFT == 22)
  333. #define DTAG_MASK 0x3ff
  334. #endif
  336. flush_dcpage_spitfire:
  337. clr %o4
  338. srlx %o0, 11, %o0
  339. sethi %hi(1 << 14), %o2
  340. 1: ldxa [%o4] ASI_DCACHE_TAG, %o3 ! LSU Group
  341. add %o4, (1 << 5), %o4 ! IEU0
  342. ldxa [%o4] ASI_DCACHE_TAG, %g1 ! LSU Group
  343. add %o4, (1 << 5), %o4 ! IEU0
  344. ldxa [%o4] ASI_DCACHE_TAG, %g2 ! LSU Group o3 available
  345. add %o4, (1 << 5), %o4 ! IEU0
  346. andn %o3, DTAG_MASK, %o3 ! IEU1
  347. ldxa [%o4] ASI_DCACHE_TAG, %g3 ! LSU Group
  348. add %o4, (1 << 5), %o4 ! IEU0
  349. andn %g1, DTAG_MASK, %g1 ! IEU1
  350. cmp %o0, %o3 ! IEU1 Group
  351. be,a,pn %xcc, dflush1 ! CTI
  352.  sub %o4, (4 << 5), %o4 ! IEU0 (Group)
  353. cmp %o0, %g1 ! IEU1 Group
  354. andn %g2, DTAG_MASK, %g2 ! IEU0
  355. be,a,pn %xcc, dflush2 ! CTI
  356.  sub %o4, (3 << 5), %o4 ! IEU0 (Group)
  357. cmp %o0, %g2 ! IEU1 Group
  358. andn %g3, DTAG_MASK, %g3 ! IEU0
  359. be,a,pn %xcc, dflush3 ! CTI
  360.  sub %o4, (2 << 5), %o4 ! IEU0 (Group)
  361. cmp %o0, %g3 ! IEU1 Group
  362. be,a,pn %xcc, dflush4 ! CTI
  363.  sub %o4, (1 << 5), %o4 ! IEU0
  364. 2: cmp %o4, %o2 ! IEU1 Group
  365. bne,pt %xcc, 1b ! CTI
  366.  nop ! IEU0
  368. /* The I-cache does not snoop local stores so we
  369.  * better flush that too when necessary.
  370.  */
  371. brnz,pt %o1, __flush_icache_page
  372.  sllx %o0, 11, %o0
  373. retl
  374.  nop
  376. dflush1:stxa %g0, [%o4] ASI_DCACHE_TAG
  377. add %o4, (1 << 5), %o4
  378. dflush2:stxa %g0, [%o4] ASI_DCACHE_TAG
  379. add %o4, (1 << 5), %o4
  380. dflush3:stxa %g0, [%o4] ASI_DCACHE_TAG
  381. add %o4, (1 << 5), %o4
  382. dflush4:stxa %g0, [%o4] ASI_DCACHE_TAG
  383. add %o4, (1 << 5), %o4
  384. membar #Sync
  385. ba,pt %xcc, 2b
  386.  nop
  388. .align 32
  389. __prefill_dtlb:
  390. rdpr %pstate, %g7
  391. wrpr %g7, PSTATE_IE, %pstate
  392. mov TLB_TAG_ACCESS, %g1
  393. stxa %o0, [%g1] ASI_DMMU
  394. stxa %o1, [%g0] ASI_DTLB_DATA_IN
  395. flush %g6
  396. retl
  397.  wrpr %g7, %pstate
  398. __prefill_itlb:
  399. rdpr %pstate, %g7
  400. wrpr %g7, PSTATE_IE, %pstate
  401. mov TLB_TAG_ACCESS, %g1
  402. stxa %o0, [%g1] ASI_IMMU
  403. stxa %o1, [%g0] ASI_ITLB_DATA_IN
  404. flush %g6
  405. retl
  406.  wrpr %g7, %pstate
  408. .globl __update_mmu_cache
  409. __update_mmu_cache: /* %o0=vma, %o1=address, %o2=pte */
  410. ldub [%g6 + AOFF_task_thread + AOFF_thread_fault_code], %o3
  411. srlx %o1, PAGE_SHIFT, %o1
  412. ldx [%o0 + 0x0], %o4 /* XXX vma->vm_mm */
  413. brz,pn %o3, 1f
  414.  sllx %o1, PAGE_SHIFT, %o0
  415. ldx [%o4 + AOFF_mm_context], %o5
  416. andcc %o3, FAULT_CODE_DTLB, %g0
  417. mov %o2, %o1
  418. and %o5, TAG_CONTEXT_BITS, %o5
  419. bne,pt %xcc, __prefill_dtlb
  420.  or %o0, %o5, %o0
  421. ba,a,pt %xcc, __prefill_itlb
  422. 1: retl
  423.  nop
  425. #ifdef CONFIG_SMP
  426. /* These are all called by the slaves of a cross call, at
  427.  * trap level 1, with interrupts fully disabled.
  428.  *
  429.  * Register usage:
  430.  *   %g5 mm->context (all tlb flushes)
  431.  *   %g1 address arg 1 (tlb page and range flushes)
  432.  *   %g7 address arg 2 (tlb range flush only)
  433.  *
  434.  *   %g6 ivector table, don't touch
  435.  *   %g2 scratch 1
  436.  *   %g3 scratch 2
  437.  *   %g4 scratch 3
  438.  *
  439.  * TODO: Make xcall TLB range flushes use the tricks above... -DaveM
  440.  */
  441. .align 32
  442. .globl xcall_flush_tlb_page, xcall_flush_tlb_mm, xcall_flush_tlb_range
  443. xcall_flush_tlb_page:
  444. mov PRIMARY_CONTEXT, %g2
  445. ldxa [%g2] ASI_DMMU, %g3
  446. stxa %g5, [%g2] ASI_DMMU
  447. stxa %g0, [%g1] ASI_DMMU_DEMAP
  448. stxa %g0, [%g1] ASI_IMMU_DEMAP
  449. stxa %g3, [%g2] ASI_DMMU
  450. retry
  451. nop
  453. xcall_flush_tlb_mm:
  454. mov PRIMARY_CONTEXT, %g2
  455. mov 0x40, %g4
  456. ldxa [%g2] ASI_DMMU, %g3
  457. stxa %g5, [%g2] ASI_DMMU
  458. stxa %g0, [%g4] ASI_DMMU_DEMAP
  459. stxa %g0, [%g4] ASI_IMMU_DEMAP
  460. stxa %g3, [%g2] ASI_DMMU
  461. retry
  463. xcall_flush_tlb_range:
  464. sethi %hi(PAGE_SIZE - 1), %g2
  465. or %g2, %lo(PAGE_SIZE - 1), %g2
  466. andn %g1, %g2, %g1
  467. andn %g7, %g2, %g7
  468. sub %g7, %g1, %g3
  469. add %g2, 1, %g2
  470. srlx %g3, PAGE_SHIFT, %g4
  471. cmp %g4, 96
  473. bgu,pn %icc, xcall_flush_tlb_mm
  474.  mov PRIMARY_CONTEXT, %g4
  475. ldxa [%g4] ASI_DMMU, %g7
  476. sub %g3, %g2, %g3
  477. stxa %g5, [%g4] ASI_DMMU
  478. nop
  479. nop
  480. nop
  482. 1: stxa %g0, [%g1 + %g3] ASI_DMMU_DEMAP
  483. stxa %g0, [%g1 + %g3] ASI_IMMU_DEMAP
  484. membar #Sync
  485. brnz,pt %g3, 1b
  486.  sub %g3, %g2, %g3
  487. stxa %g7, [%g4] ASI_DMMU
  488. retry
  489. nop
  490. nop
  492. .globl xcall_report_regs
  493. xcall_report_regs:
  494. rdpr %pstate, %g2
  495. wrpr %g2, PSTATE_IG | PSTATE_AG, %pstate
  496. rdpr %pil, %g2
  497. wrpr %g0, 15, %pil
  498. sethi %hi(109f), %g7
  499. b,pt %xcc, etrap_irq
  500. 109:  or %g7, %lo(109b), %g7
  501. call __show_regs
  502.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  503. b,pt %xcc, rtrap
  504.  clr %l6
  506. .align 32
  507. .globl xcall_flush_dcache_page_cheetah
  508. xcall_flush_dcache_page_cheetah: /* %g1 == physical page address */
  509. sethi %hi(PAGE_SIZE), %g3
  510. 1: subcc %g3, (1 << 5), %g3
  511. stxa %g0, [%g1 + %g3] ASI_DCACHE_INVALIDATE
  512. bne,pt %icc, 1b
  513.  nop
  514. membar #Sync
  515. retry
  516. nop
  518. .globl xcall_flush_dcache_page_spitfire
  519. xcall_flush_dcache_page_spitfire: /* %g1 == physical page address
  520.      %g7 == kernel page virtual address
  521.      %g5 == (page->mapping != NULL)  */
  522. #if (L1DCACHE_SIZE > PAGE_SIZE)
  523. srlx %g1, (13 - 2), %g1 ! Form tag comparitor
  524. sethi %hi(L1DCACHE_SIZE), %g3 ! D$ size == 16K
  525. sub %g3, (1 << 5), %g3 ! D$ linesize == 32
  526. 1: ldxa [%g3] ASI_DCACHE_TAG, %g2
  527. andcc %g2, 0x3, %g0
  528. be,pn %xcc, 2f
  529.  andn %g2, 0x3, %g2
  530. cmp %g2, %g1
  532. bne,pt %xcc, 2f
  533.  nop
  534. stxa %g0, [%g3] ASI_DCACHE_TAG
  535. membar #Sync
  536. 2: cmp %g3, 0
  537. bne,pt %xcc, 1b
  538.  sub %g3, (1 << 5), %g3
  540. brz,pn %g5, 2f
  541. #endif /* L1DCACHE_SIZE > PAGE_SIZE */
  542.  sethi %hi(PAGE_SIZE), %g3
  544. 1: flush %g7
  545. subcc %g3, (1 << 5), %g3
  546. bne,pt %icc, 1b
  547.  add %g7, (1 << 5), %g7
  549. 2: retry
  550. nop
  551. nop
  553. .globl xcall_capture
  554. xcall_capture:
  555. rdpr %pstate, %g2
  556. wrpr %g2, PSTATE_IG | PSTATE_AG, %pstate
  557. rdpr %pil, %g2
  558. wrpr %g0, 15, %pil
  559. sethi %hi(109f), %g7
  560. b,pt %xcc, etrap_irq
  561. 109:  or %g7, %lo(109b), %g7
  562. call smp_penguin_jailcell
  563.  nop
  564. b,pt %xcc, rtrap
  565.  clr %l6
  567. .globl xcall_promstop
  568. xcall_promstop:
  569. rdpr %pstate, %g2
  570. wrpr %g2, PSTATE_IG | PSTATE_AG, %pstate
  571. rdpr %pil, %g2
  572. wrpr %g0, 15, %pil
  573. sethi %hi(109f), %g7
  574. b,pt %xcc, etrap_irq
  575. 109:  or %g7, %lo(109b), %g7
  576. flushw
  577. call prom_stopself
  578.  nop
  579. /* We should not return, just spin if we do... */
  580. 1: b,a,pt %xcc, 1b
  581. nop
  583. .globl xcall_receive_signal
  584. xcall_receive_signal:
  585. rdpr %pstate, %g2
  586. wrpr %g2, PSTATE_IG | PSTATE_AG, %pstate
  587. rdpr %tstate, %g1
  588. andcc %g1, TSTATE_PRIV, %g0
  589. /* If we did not trap from user space, just ignore. */
  590. bne,pn %xcc, 99f
  591.  sethi %hi(109f), %g7
  592. b,pt %xcc, etrap
  593. 109:  or %g7, %lo(109b), %g7
  594. b,pt %xcc, rtrap
  595.  clr %l6
  596. 99: retry
  598. .data
  600. errata32_hwbug:
  601. .xword 0
  603. .text
  605. /* These two are not performance critical... */
  606. .globl xcall_flush_tlb_all
  607. xcall_flush_tlb_all:
  608. BRANCH_IF_CHEETAH(g2, g3, __cheetah_xcall_flush_tlb_all)
  609. __spitfire_xcall_flush_tlb_all:
  610. /* Spitfire Errata #32 workaround. */
  611. sethi %hi(errata32_hwbug), %g4
  612. stx %g0, [%g4 + %lo(errata32_hwbug)]
  614. clr %g2
  615. clr %g3
  616. 1: ldxa [%g3] ASI_DTLB_DATA_ACCESS, %g4
  617. and %g4, _PAGE_L, %g5
  618. brnz,pn %g5, 2f
  619.  mov TLB_TAG_ACCESS, %g7
  621. stxa %g0, [%g7] ASI_DMMU
  622. membar #Sync
  623. stxa %g0, [%g3] ASI_DTLB_DATA_ACCESS
  624. membar #Sync
  626. /* Spitfire Errata #32 workaround. */
  627. sethi %hi(errata32_hwbug), %g4
  628. stx %g0, [%g4 + %lo(errata32_hwbug)]
  630. 2: ldxa [%g3] ASI_ITLB_DATA_ACCESS, %g4
  631. and %g4, _PAGE_L, %g5
  632. brnz,pn %g5, 2f
  633.  mov TLB_TAG_ACCESS, %g7
  635. stxa %g0, [%g7] ASI_IMMU
  636. membar #Sync
  637. stxa %g0, [%g3] ASI_ITLB_DATA_ACCESS
  638. membar #Sync
  640. /* Spitfire Errata #32 workaround. */
  641. sethi %hi(errata32_hwbug), %g4
  642. stx %g0, [%g4 + %lo(errata32_hwbug)]
  644. 2: add %g2, 1, %g2
  645. cmp %g2, SPITFIRE_HIGHEST_LOCKED_TLBENT
  646. ble,pt %icc, 1b
  647.  sll %g2, 3, %g3
  648. flush %g6
  649. retry
  651. __cheetah_xcall_flush_tlb_all:
  652. mov 0x80, %g2
  653. stxa %g0, [%g2] ASI_DMMU_DEMAP
  654. stxa %g0, [%g2] ASI_IMMU_DEMAP
  655. retry
  657. .globl xcall_flush_cache_all
  658. xcall_flush_cache_all:
  659. BRANCH_IF_CHEETAH(g2, g3, __cheetah_xcall_flush_cache_all)
  660. __spitfire_xcall_flush_cache_all:
  661. sethi %hi(16383), %g2
  662. or %g2, %lo(16383), %g2
  663. clr %g3
  664. 1: stxa %g0, [%g3] ASI_IC_TAG
  665. membar #Sync
  666. add %g3, 32, %g3
  667. cmp %g3, %g2
  668. bleu,pt %xcc, 1b
  669.  nop
  670. flush %g6
  671. retry
  673. /* Cheetah's caches are fully coherent in the sense that
  674.  * caches are flushed here.  We need to verify this and
  675.  * really just not even send out the xcall at the top level.
  676.  */
  677. __cheetah_xcall_flush_cache_all:
  678. retry
  680. .globl xcall_call_function
  681. xcall_call_function:
  682. rdpr %pstate, %g2
  683. wrpr %g2, PSTATE_IG | PSTATE_AG, %pstate
  684. rdpr %pil, %g2
  685. wrpr %g0, 15, %pil
  686. sethi %hi(109f), %g7
  687. b,pt %xcc, etrap_irq
  688. 109:  or %g7, %lo(109b), %g7
  689. call smp_call_function_client
  690.  nop
  691. b,pt %xcc, rtrap
  692.  clr %l6
  694. #endif /* CONFIG_SMP */