开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Linux/Unix编程 > 查看源码
ultra.S
资源名称：linux-2.4.20.tar.gz　[点击查看]
上传用户：jlfgdled
上传日期：2013-04-10
资源大小：33168k
文件大小：16k
源码类别：

Linux/Unix编程

开发平台：

Unix_Linux

ultra.S：源码内容
  1. /* $Id: ultra.S,v 1.70.2.1 2002/03/03 10:31:56 davem Exp $
  2.  * ultra.S: Don't expand these all over the place...
  3.  *
  4.  * Copyright (C) 1997, 2000 David S. Miller (davem@redhat.com)
  5.  */
  7. #include <linux/config.h>
  8. #include <asm/asi.h>
  9. #include <asm/pgtable.h>
  10. #include <asm/page.h>
  11. #include <asm/spitfire.h>
  12. #include <asm/mmu_context.h>
  13. #include <asm/pil.h>
  14. #include <asm/head.h>
  16. /* Basically, most of the Spitfire vs. Cheetah madness
  17.  * has to do with the fact that Cheetah does not support
  18.  * IMMU flushes out of the secondary context.  Someone needs
  19.  * to throw a south lake birthday party for the folks
  20.  * in Microelectronics who refused to fix this shit.
  21.  */
  23. /* This file is meant to be read efficiently by the CPU, not humans.
  24.  * Staraj sie tego nikomu nie pierdolnac...
  25.  */
  26. .text
  27. .align 32
  28. .globl __flush_tlb_page, __flush_tlb_mm, __flush_tlb_range
  29. __flush_tlb_page: /* %o0=(ctx & TAG_CONTEXT_BITS), %o1=page&PAGE_MASK, %o2=SECONDARY_CONTEXT */
  30. ldxa [%o2] ASI_DMMU, %g2
  31. cmp %g2, %o0
  32. bne,pn %icc, __spitfire_flush_tlb_page_slow
  33.  or %o1, 0x10, %g3
  34. stxa %g0, [%g3] ASI_DMMU_DEMAP
  35. stxa %g0, [%g3] ASI_IMMU_DEMAP
  36. retl
  37.  flush %g6
  38. nop
  39. nop
  40. nop
  41. nop
  42. nop
  43. nop
  44. nop
  45. nop
  47. __flush_tlb_mm: /* %o0=(ctx & TAG_CONTEXT_BITS), %o1=SECONDARY_CONTEXT */
  48. ldxa [%o1] ASI_DMMU, %g2
  49. cmp %g2, %o0
  50. bne,pn %icc, __spitfire_flush_tlb_mm_slow
  51.  mov 0x50, %g3
  52. stxa %g0, [%g3] ASI_DMMU_DEMAP
  53. stxa %g0, [%g3] ASI_IMMU_DEMAP
  54. retl
  55.  flush %g6
  56. nop
  57. nop
  58. nop
  59. nop
  60. nop
  61. nop
  62. nop
  63. nop
  65. __flush_tlb_range: /* %o0=(ctx&TAG_CONTEXT_BITS), %o1=start&PAGE_MASK, %o2=SECONDARY_CONTEXT,
  66.     * %o3=end&PAGE_MASK, %o4=PAGE_SIZE, %o5=(end - start)
  67.     */
  68. #define TLB_MAGIC 207 /* Students, do you know how I calculated this?  -DaveM */
  69. cmp %o5, %o4
  70. bleu,pt %xcc, __flush_tlb_page
  71.  srlx %o5, PAGE_SHIFT, %g5
  72. cmp %g5, TLB_MAGIC
  73. bgeu,pn %icc, __spitfire_flush_tlb_range_constant_time
  74.  or %o1, 0x10, %g5
  75. ldxa [%o2] ASI_DMMU, %g2
  76. cmp %g2, %o0
  77. __spitfire_flush_tlb_range_page_by_page:
  78. bne,pn %icc, __spitfire_flush_tlb_range_pbp_slow
  79.  sub %o5, %o4, %o5
  80. 1: stxa %g0, [%g5 + %o5] ASI_DMMU_DEMAP
  81. stxa %g0, [%g5 + %o5] ASI_IMMU_DEMAP
  82. brnz,pt %o5, 1b
  83.  sub %o5, %o4, %o5
  84. retl
  85.  flush %g6
  86. __spitfire_flush_tlb_range_constant_time: /* %o0=ctx, %o1=start, %o3=end */
  87. rdpr %pstate, %g1
  88. wrpr %g1, PSTATE_IE, %pstate
  89. mov TLB_TAG_ACCESS, %g3
  90. mov ((SPITFIRE_HIGHEST_LOCKED_TLBENT-1) << 3), %g2
  92. /* Spitfire Errata #32 workaround. */
  93. mov 0x8, %o4
  94. stxa %g0, [%o4] ASI_DMMU
  95. flush %g6
  97. 1: ldxa [%g2] ASI_ITLB_TAG_READ, %o4
  98. and %o4, TAG_CONTEXT_BITS, %o5
  99. cmp %o5, %o0
  100. bne,pt %icc, 2f
  101.  andn %o4, TAG_CONTEXT_BITS, %o4
  102. cmp %o4, %o1
  103. blu,pt %xcc, 2f
  104.  cmp %o4, %o3
  105. blu,pn %xcc, 4f
  106. 2:  ldxa [%g2] ASI_DTLB_TAG_READ, %o4
  107. and %o4, TAG_CONTEXT_BITS, %o5
  108. cmp %o5, %o0
  109. andn %o4, TAG_CONTEXT_BITS, %o4
  110. bne,pt %icc, 3f
  111.  cmp %o4, %o1
  112. blu,pt %xcc, 3f
  113.  cmp %o4, %o3
  114. blu,pn %xcc, 5f
  115.  nop
  116. 3: brnz,pt %g2, 1b
  117.  sub %g2, (1 << 3), %g2
  118. retl
  119.  wrpr %g1, 0x0, %pstate
  120. 4: stxa %g0, [%g3] ASI_IMMU
  121. stxa %g0, [%g2] ASI_ITLB_DATA_ACCESS
  122. flush %g6
  124. /* Spitfire Errata #32 workaround. */
  125. mov 0x8, %o4
  126. stxa %g0, [%o4] ASI_DMMU
  127. flush %g6
  129. ba,pt %xcc, 2b
  130.  nop
  132. 5: stxa %g0, [%g3] ASI_DMMU
  133. stxa %g0, [%g2] ASI_DTLB_DATA_ACCESS
  134. flush %g6
  136. /* Spitfire Errata #32 workaround. */
  137. mov 0x8, %o4
  138. stxa %g0, [%o4] ASI_DMMU
  139. flush %g6
  141. ba,pt %xcc, 3b
  142.  nop
  144. __spitfire_flush_tlb_mm_slow:
  145. rdpr %pstate, %g1
  146. wrpr %g1, PSTATE_IE, %pstate
  147. stxa %o0, [%o1] ASI_DMMU
  148. stxa %g0, [%g3] ASI_DMMU_DEMAP
  149. stxa %g0, [%g3] ASI_IMMU_DEMAP
  150. flush %g6
  151. stxa %g2, [%o1] ASI_DMMU
  152. flush %g6
  153. retl
  154.  wrpr %g1, 0, %pstate
  156. __spitfire_flush_tlb_page_slow:
  157. rdpr %pstate, %g1
  158. wrpr %g1, PSTATE_IE, %pstate
  159. stxa %o0, [%o2] ASI_DMMU
  160. stxa %g0, [%g3] ASI_DMMU_DEMAP
  161. stxa %g0, [%g3] ASI_IMMU_DEMAP
  162. flush %g6
  163. stxa %g2, [%o2] ASI_DMMU
  164. flush %g6
  165. retl
  166.  wrpr %g1, 0, %pstate
  168. __spitfire_flush_tlb_range_pbp_slow:
  169. rdpr %pstate, %g1
  170. wrpr %g1, PSTATE_IE, %pstate
  171. stxa %o0, [%o2] ASI_DMMU
  173. 2: stxa %g0, [%g5 + %o5] ASI_DMMU_DEMAP
  174. stxa %g0, [%g5 + %o5] ASI_IMMU_DEMAP
  175. brnz,pt %o5, 2b
  176.  sub %o5, %o4, %o5
  177. flush %g6
  178. stxa %g2, [%o2] ASI_DMMU
  179. flush %g6
  180. retl
  181.  wrpr %g1, 0x0, %pstate
  183. /*
  184.  * The following code flushes one page_size worth.
  185.  */
  186. #if (PAGE_SHIFT == 13)
  187. #define ITAG_MASK 0xfe
  188. #elif (PAGE_SHIFT == 16)
  189. #define ITAG_MASK 0x7fe
  190. #else
  191. #error unsupported PAGE_SIZE
  192. #endif
  193. .align 32
  194. .globl __flush_icache_page
  195. __flush_icache_page: /* %o0 = phys_page */
  196. sethi %hi(1 << 13), %o2 ! IC_set bit
  197. mov 1, %g1
  198. srlx %o0, 5, %o0
  199. clr %o1 ! IC_addr
  200. sllx %g1, 36, %g1
  201. ldda [%o1] ASI_IC_TAG, %o4
  202. sub %g1, 1, %g2
  203. or %o0, %g1, %o0 ! VALID+phys-addr comparitor
  205. sllx %g2, 1, %g2
  206. andn %g2, ITAG_MASK, %g2 ! IC_tag mask
  207. nop
  208. nop
  209. nop
  210. nop
  211. nop
  212. nop
  214. 1: addx %g0, %g0, %g0
  215. ldda [%o1 + %o2] ASI_IC_TAG, %g4
  216. addx %g0, %g0, %g0
  217. and %o5, %g2, %g3
  218. cmp %g3, %o0
  219. add %o1, 0x20, %o1
  220. ldda [%o1] ASI_IC_TAG, %o4
  221. be,pn %xcc, iflush1
  223. 2:  nop
  224. and %g5, %g2, %g5
  225. cmp %g5, %o0
  226. be,pn %xcc, iflush2
  227. 3:  cmp %o1, %o2
  228. bne,pt %xcc, 1b
  229.  addx %g0, %g0, %g0
  230. nop
  232. sethi %uhi(PAGE_OFFSET), %g4
  233. retl
  234.  sllx %g4, 32, %g4
  236. iflush1:sub %o1, 0x20, %g3
  237. stxa %g0, [%g3] ASI_IC_TAG
  238. flush %g6
  239. ba,a,pt %xcc, 2b
  240. iflush2:sub %o1, 0x20, %g3
  241. stxa %g0, [%o1 + %o2] ASI_IC_TAG
  242. flush %g6
  243. ba,a,pt %xcc, 3b
  245. #if (PAGE_SHIFT == 13)
  246. #define DTAG_MASK 0x3
  247. #elif (PAGE_SHIFT == 16)
  248. #define DTAG_MASK 0x1f
  249. #elif (PAGE_SHIFT == 19)
  250. #define DTAG_MASK 0xff
  251. #elif (PAGE_SHIFT == 22)
  252. #define DTAG_MASK 0x3ff
  253. #endif
  255. .align 64
  256. .globl __flush_dcache_page
  257. __flush_dcache_page: /* %o0=kaddr, %o1=flush_icache */
  258. sub %o0, %g4, %o0
  259. clr %o4
  260. srlx %o0, 11, %o0
  261. sethi %hi(1 << 14), %o2
  262. 1: ldxa [%o4] ASI_DCACHE_TAG, %o3 ! LSU Group
  263. add %o4, (1 << 5), %o4 ! IEU0
  264. ldxa [%o4] ASI_DCACHE_TAG, %g1 ! LSU Group
  265. add %o4, (1 << 5), %o4 ! IEU0
  266. ldxa [%o4] ASI_DCACHE_TAG, %g2 ! LSU Group o3 available
  267. add %o4, (1 << 5), %o4 ! IEU0
  268. andn %o3, DTAG_MASK, %o3 ! IEU1
  269. ldxa [%o4] ASI_DCACHE_TAG, %g3 ! LSU Group
  270. add %o4, (1 << 5), %o4 ! IEU0
  271. andn %g1, DTAG_MASK, %g1 ! IEU1
  272. cmp %o0, %o3 ! IEU1 Group
  273. be,a,pn %xcc, dflush1 ! CTI
  274.  sub %o4, (4 << 5), %o4 ! IEU0 (Group)
  275. cmp %o0, %g1 ! IEU1 Group
  276. andn %g2, DTAG_MASK, %g2 ! IEU0
  277. be,a,pn %xcc, dflush2 ! CTI
  278.  sub %o4, (3 << 5), %o4 ! IEU0 (Group)
  279. cmp %o0, %g2 ! IEU1 Group
  280. andn %g3, DTAG_MASK, %g3 ! IEU0
  281. be,a,pn %xcc, dflush3 ! CTI
  282.  sub %o4, (2 << 5), %o4 ! IEU0 (Group)
  283. cmp %o0, %g3 ! IEU1 Group
  284. be,a,pn %xcc, dflush4 ! CTI
  285.  sub %o4, (1 << 5), %o4 ! IEU0
  286. 2: cmp %o4, %o2 ! IEU1 Group
  287. bne,pt %xcc, 1b ! CTI
  288.  nop ! IEU0
  290. /* The I-cache does not snoop local stores so we
  291.  * better flush that too when necessary.
  292.  */
  293. brnz,pt %o1, __flush_icache_page
  294.  sllx %o0, 11, %o0
  295. retl
  296.  nop
  298. dflush1:stxa %g0, [%o4] ASI_DCACHE_TAG
  299. add %o4, (1 << 5), %o4
  300. dflush2:stxa %g0, [%o4] ASI_DCACHE_TAG
  301. add %o4, (1 << 5), %o4
  302. dflush3:stxa %g0, [%o4] ASI_DCACHE_TAG
  303. add %o4, (1 << 5), %o4
  304. dflush4:stxa %g0, [%o4] ASI_DCACHE_TAG
  305. add %o4, (1 << 5), %o4
  306. membar #Sync
  307. ba,pt %xcc, 2b
  308.  nop
  310. .align 32
  311. __prefill_dtlb:
  312. rdpr %pstate, %g7
  313. wrpr %g7, PSTATE_IE, %pstate
  314. mov TLB_TAG_ACCESS, %g1
  315. stxa %o0, [%g1] ASI_DMMU
  316. stxa %o1, [%g0] ASI_DTLB_DATA_IN
  317. flush %g6
  318. retl
  319.  wrpr %g7, %pstate
  320. __prefill_itlb:
  321. rdpr %pstate, %g7
  322. wrpr %g7, PSTATE_IE, %pstate
  323. mov TLB_TAG_ACCESS, %g1
  324. stxa %o0, [%g1] ASI_IMMU
  325. stxa %o1, [%g0] ASI_ITLB_DATA_IN
  326. flush %g6
  327. retl
  328.  wrpr %g7, %pstate
  330. .globl __update_mmu_cache
  331. __update_mmu_cache: /* %o0=vma, %o1=address, %o2=pte */
  332. ldub [%g6 + AOFF_task_thread + AOFF_thread_fault_code], %o3
  333. srlx %o1, PAGE_SHIFT, %o1
  334. ldx [%o0 + 0x0], %o4 /* XXX vma->vm_mm */
  335. brz,pn %o3, 1f
  336.  sllx %o1, PAGE_SHIFT, %o0
  337. ldx [%o4 + AOFF_mm_context], %o5
  338. andcc %o3, FAULT_CODE_DTLB, %g0
  339. mov %o2, %o1
  340. and %o5, TAG_CONTEXT_BITS, %o5
  341. bne,pt %xcc, __prefill_dtlb
  342.  or %o0, %o5, %o0
  343. ba,a,pt %xcc, __prefill_itlb
  344. 1: retl
  345.  nop
  347. /* Cheetah specific versions, patched at boot time.  */
  348. __cheetah_flush_tlb_page: /* 14 insns */
  349. rdpr %pstate, %g5
  350. andn %g5, PSTATE_IE, %g2
  351. wrpr %g2, 0x0, %pstate
  352. wrpr %g0, 1, %tl
  353. mov PRIMARY_CONTEXT, %o2
  354. ldxa [%o2] ASI_DMMU, %g2
  355. stxa %o0, [%o2] ASI_DMMU
  356. stxa %g0, [%o1] ASI_DMMU_DEMAP
  357. stxa %g0, [%o1] ASI_IMMU_DEMAP
  358. stxa %g2, [%o2] ASI_DMMU
  359. flush %g6
  360. wrpr %g0, 0, %tl
  361. retl
  362.  wrpr %g5, 0x0, %pstate
  364. __cheetah_flush_tlb_mm: /* 15 insns */
  365. rdpr %pstate, %g5
  366. andn %g5, PSTATE_IE, %g2
  367. wrpr %g2, 0x0, %pstate
  368. wrpr %g0, 1, %tl
  369. mov PRIMARY_CONTEXT, %o2
  370. mov 0x40, %g3
  371. ldxa [%o2] ASI_DMMU, %g2
  372. stxa %o0, [%o2] ASI_DMMU
  373. stxa %g0, [%g3] ASI_DMMU_DEMAP
  374. stxa %g0, [%g3] ASI_IMMU_DEMAP
  375. stxa %g2, [%o2] ASI_DMMU
  376. flush %g6
  377. wrpr %g0, 0, %tl
  378. retl
  379.  wrpr %g5, 0x0, %pstate
  381. __cheetah_flush_tlb_range: /* 20 insns */
  382. cmp %o5, %o4
  383. blu,pt %xcc, 9f
  384.  rdpr %pstate, %g5
  385. andn %g5, PSTATE_IE, %g2
  386. wrpr %g2, 0x0, %pstate
  387. wrpr %g0, 1, %tl
  388. mov PRIMARY_CONTEXT, %o2
  389. sub %o5, %o4, %o5
  390. ldxa [%o2] ASI_DMMU, %g2
  391. stxa %o0, [%o2] ASI_DMMU
  392. 1: stxa %g0, [%o1 + %o5] ASI_DMMU_DEMAP
  393. stxa %g0, [%o1 + %o5] ASI_IMMU_DEMAP
  394. membar #Sync
  395. brnz,pt %o5, 1b
  396.  sub %o5, %o4, %o5
  397. stxa %g2, [%o2] ASI_DMMU
  398. flush %g6
  399. wrpr %g0, 0, %tl
  400. 9: retl
  401.  wrpr %g5, 0x0, %pstate
  403. flush_dcpage_cheetah: /* 9 insns */
  404. sub %o0, %g4, %o0
  405. sethi %hi(PAGE_SIZE), %o4
  406. 1: subcc %o4, (1 << 5), %o4
  407. stxa %g0, [%o0 + %o4] ASI_DCACHE_INVALIDATE
  408. membar #Sync
  409. bne,pt %icc, 1b
  410.  nop
  411. retl /* I-cache flush never needed on Cheetah, see callers. */
  412.  nop
  414. cheetah_patch_one:
  415. 1: lduw [%o1], %g1
  416. stw %g1, [%o0]
  417. flush %o0
  418. subcc %o2, 1, %o2
  419. add %o1, 4, %o1
  420. bne,pt %icc, 1b
  421.  add %o0, 4, %o0
  422. retl
  423.  nop
  425. .globl cheetah_patch_cachetlbops
  426. cheetah_patch_cachetlbops:
  427. save %sp, -128, %sp
  429. sethi %hi(__flush_tlb_page), %o0
  430. or %o0, %lo(__flush_tlb_page), %o0
  431. sethi %hi(__cheetah_flush_tlb_page), %o1
  432. or %o1, %lo(__cheetah_flush_tlb_page), %o1
  433. call cheetah_patch_one
  434.  mov 14, %o2
  436. sethi %hi(__flush_tlb_mm), %o0
  437. or %o0, %lo(__flush_tlb_mm), %o0
  438. sethi %hi(__cheetah_flush_tlb_mm), %o1
  439. or %o1, %lo(__cheetah_flush_tlb_mm), %o1
  440. call cheetah_patch_one
  441.  mov 15, %o2
  443. sethi %hi(__flush_tlb_range), %o0
  444. or %o0, %lo(__flush_tlb_range), %o0
  445. sethi %hi(__cheetah_flush_tlb_range), %o1
  446. or %o1, %lo(__cheetah_flush_tlb_range), %o1
  447. call cheetah_patch_one
  448.  mov 20, %o2
  450. sethi %hi(__flush_dcache_page), %o0
  451. or %o0, %lo(__flush_dcache_page), %o0
  452. sethi %hi(flush_dcpage_cheetah), %o1
  453. or %o1, %lo(flush_dcpage_cheetah), %o1
  454. call cheetah_patch_one
  455.  mov 9, %o2
  457. ret
  458.  restore
  460. #ifdef CONFIG_SMP
  461. /* These are all called by the slaves of a cross call, at
  462.  * trap level 1, with interrupts fully disabled.
  463.  *
  464.  * Register usage:
  465.  *   %g5 mm->context (all tlb flushes)
  466.  *   %g1 address arg 1 (tlb page and range flushes)
  467.  *   %g7 address arg 2 (tlb range flush only)
  468.  *
  469.  *   %g6 ivector table, don't touch
  470.  *   %g2 scratch 1
  471.  *   %g3 scratch 2
  472.  *   %g4 scratch 3
  473.  *
  474.  * TODO: Make xcall TLB range flushes use the tricks above... -DaveM
  475.  */
  476. .align 32
  477. .globl xcall_flush_tlb_page, xcall_flush_tlb_mm, xcall_flush_tlb_range
  478. xcall_flush_tlb_page:
  479. mov PRIMARY_CONTEXT, %g2
  480. ldxa [%g2] ASI_DMMU, %g3
  481. stxa %g5, [%g2] ASI_DMMU
  482. stxa %g0, [%g1] ASI_DMMU_DEMAP
  483. stxa %g0, [%g1] ASI_IMMU_DEMAP
  484. stxa %g3, [%g2] ASI_DMMU
  485. retry
  486. nop
  488. xcall_flush_tlb_mm:
  489. mov PRIMARY_CONTEXT, %g2
  490. mov 0x40, %g4
  491. ldxa [%g2] ASI_DMMU, %g3
  492. stxa %g5, [%g2] ASI_DMMU
  493. stxa %g0, [%g4] ASI_DMMU_DEMAP
  494. stxa %g0, [%g4] ASI_IMMU_DEMAP
  495. stxa %g3, [%g2] ASI_DMMU
  496. retry
  498. xcall_flush_tlb_range:
  499. sethi %hi(PAGE_SIZE - 1), %g2
  500. or %g2, %lo(PAGE_SIZE - 1), %g2
  501. andn %g1, %g2, %g1
  502. andn %g7, %g2, %g7
  503. sub %g7, %g1, %g3
  504. add %g2, 1, %g2
  505. srlx %g3, PAGE_SHIFT, %g4
  506. cmp %g4, 96
  508. bgu,pn %icc, xcall_flush_tlb_mm
  509.  mov PRIMARY_CONTEXT, %g4
  510. ldxa [%g4] ASI_DMMU, %g7
  511. sub %g3, %g2, %g3
  512. stxa %g5, [%g4] ASI_DMMU
  513. nop
  514. nop
  515. nop
  517. 1: stxa %g0, [%g1 + %g3] ASI_DMMU_DEMAP
  518. stxa %g0, [%g1 + %g3] ASI_IMMU_DEMAP
  519. membar #Sync
  520. brnz,pt %g3, 1b
  521.  sub %g3, %g2, %g3
  522. stxa %g7, [%g4] ASI_DMMU
  523. retry
  524. nop
  525. nop
  527. /* NOTE: This is SPECIAL!!  We do etrap/rtrap however
  528.  *       we choose to deal with the "BH's run with
  529.  *       %pil==15" problem (described in asm/pil.h)
  530.  *       by just invoking rtrap directly past where
  531.  *       BH's are checked for.
  532.  *
  533.  *       We do it like this because we do not want %pil==15
  534.  *       lockups to prevent regs being reported.
  535.  */
  536. .globl xcall_report_regs
  537. xcall_report_regs:
  538. rdpr %pstate, %g2
  539. wrpr %g2, PSTATE_IG | PSTATE_AG, %pstate
  540. rdpr %pil, %g2
  541. wrpr %g0, 15, %pil
  542. sethi %hi(109f), %g7
  543. b,pt %xcc, etrap_irq
  544. 109:  or %g7, %lo(109b), %g7
  545. call __show_regs
  546.  add %sp, STACK_BIAS + REGWIN_SZ, %o0
  547. clr %l6
  548. /* Has to be a non-v9 branch due to the large distance. */
  549. b rtrap_xcall
  550.  ldx [%sp + PTREGS_OFF + PT_V9_TSTATE], %l1
  552. .align 32
  553. .globl xcall_flush_dcache_page_cheetah
  554. xcall_flush_dcache_page_cheetah: /* %g1 == physical page address */
  555. sethi %hi(PAGE_SIZE), %g3
  556. 1: subcc %g3, (1 << 5), %g3
  557. stxa %g0, [%g1 + %g3] ASI_DCACHE_INVALIDATE
  558. membar #Sync
  559. bne,pt %icc, 1b
  560.  nop
  561. retry
  562. nop
  564. .globl xcall_flush_dcache_page_spitfire
  565. xcall_flush_dcache_page_spitfire: /* %g1 == physical page address
  566.      %g7 == kernel page virtual address
  567.      %g5 == (page->mapping != NULL)  */
  568. #if (L1DCACHE_SIZE > PAGE_SIZE)
  569. srlx %g1, (13 - 2), %g1 ! Form tag comparitor
  570. sethi %hi(L1DCACHE_SIZE), %g3 ! D$ size == 16K
  571. sub %g3, (1 << 5), %g3 ! D$ linesize == 32
  572. 1: ldxa [%g3] ASI_DCACHE_TAG, %g2
  573. andcc %g2, 0x3, %g0
  574. be,pn %xcc, 2f
  575.  andn %g2, 0x3, %g2
  576. cmp %g2, %g1
  578. bne,pt %xcc, 2f
  579.  nop
  580. stxa %g0, [%g3] ASI_DCACHE_TAG
  581. membar #Sync
  582. 2: cmp %g3, 0
  583. bne,pt %xcc, 1b
  584.  sub %g3, (1 << 5), %g3
  586. brz,pn %g5, 2f
  587. #endif /* L1DCACHE_SIZE > PAGE_SIZE */
  588.  sethi %hi(PAGE_SIZE), %g3
  590. 1: flush %g7
  591. subcc %g3, (1 << 5), %g3
  592. bne,pt %icc, 1b
  593.  add %g7, (1 << 5), %g7
  595. 2: retry
  596. nop
  597. nop
  599. .globl xcall_promstop
  600. xcall_promstop:
  601. rdpr %pstate, %g2
  602. wrpr %g2, PSTATE_IG | PSTATE_AG, %pstate
  603. rdpr %pil, %g2
  604. wrpr %g0, 15, %pil
  605. sethi %hi(109f), %g7
  606. b,pt %xcc, etrap_irq
  607. 109:  or %g7, %lo(109b), %g7
  608. flushw
  609. call prom_stopself
  610.  nop
  611. /* We should not return, just spin if we do... */
  612. 1: b,a,pt %xcc, 1b
  613. nop
  615. .data
  617. errata32_hwbug:
  618. .xword 0
  620. .text
  622. /* These two are not performance critical... */
  623. .globl xcall_flush_tlb_all_spitfire
  624. xcall_flush_tlb_all_spitfire:
  625. /* Spitfire Errata #32 workaround. */
  626. sethi %hi(errata32_hwbug), %g4
  627. stx %g0, [%g4 + %lo(errata32_hwbug)]
  629. clr %g2
  630. clr %g3
  631. 1: ldxa [%g3] ASI_DTLB_DATA_ACCESS, %g4
  632. and %g4, _PAGE_L, %g5
  633. brnz,pn %g5, 2f
  634.  mov TLB_TAG_ACCESS, %g7
  636. stxa %g0, [%g7] ASI_DMMU
  637. membar #Sync
  638. stxa %g0, [%g3] ASI_DTLB_DATA_ACCESS
  639. membar #Sync
  641. /* Spitfire Errata #32 workaround. */
  642. sethi %hi(errata32_hwbug), %g4
  643. stx %g0, [%g4 + %lo(errata32_hwbug)]
  645. 2: ldxa [%g3] ASI_ITLB_DATA_ACCESS, %g4
  646. and %g4, _PAGE_L, %g5
  647. brnz,pn %g5, 2f
  648.  mov TLB_TAG_ACCESS, %g7
  650. stxa %g0, [%g7] ASI_IMMU
  651. membar #Sync
  652. stxa %g0, [%g3] ASI_ITLB_DATA_ACCESS
  653. membar #Sync
  655. /* Spitfire Errata #32 workaround. */
  656. sethi %hi(errata32_hwbug), %g4
  657. stx %g0, [%g4 + %lo(errata32_hwbug)]
  659. 2: add %g2, 1, %g2
  660. cmp %g2, SPITFIRE_HIGHEST_LOCKED_TLBENT
  661. ble,pt %icc, 1b
  662.  sll %g2, 3, %g3
  663. flush %g6
  664. retry
  666. .globl xcall_flush_tlb_all_cheetah
  667. xcall_flush_tlb_all_cheetah:
  668. mov 0x80, %g2
  669. stxa %g0, [%g2] ASI_DMMU_DEMAP
  670. stxa %g0, [%g2] ASI_IMMU_DEMAP
  671. retry
  673. .globl xcall_flush_cache_all_spitfire
  674. xcall_flush_cache_all_spitfire:
  675. sethi %hi(16383), %g2
  676. or %g2, %lo(16383), %g2
  677. clr %g3
  678. 1: stxa %g0, [%g3] ASI_IC_TAG
  679. membar #Sync
  680. add %g3, 32, %g3
  681. cmp %g3, %g2
  682. bleu,pt %xcc, 1b
  683.  nop
  684. flush %g6
  685. retry
  687. /* These just get rescheduled to PIL vectors. */
  688. .globl xcall_call_function
  689. xcall_call_function:
  690. wr %g0, (1 << PIL_SMP_CALL_FUNC), %set_softint
  691. retry
  693. .globl xcall_receive_signal
  694. xcall_receive_signal:
  695. wr %g0, (1 << PIL_SMP_RECEIVE_SIGNAL), %set_softint
  696. retry
  698. .globl xcall_capture
  699. xcall_capture:
  700. wr %g0, (1 << PIL_SMP_CAPTURE), %set_softint
  701. retry
  703. #endif /* CONFIG_SMP */