pgalloc.h
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:9k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /* $Id: pgalloc.h,v 1.29 2001/10/20 12:38:51 davem Exp $ */
  2. #ifndef _SPARC64_PGALLOC_H
  3. #define _SPARC64_PGALLOC_H
  4. #include <linux/config.h>
  5. #include <linux/kernel.h>
  6. #include <linux/sched.h>
  7. #include <asm/page.h>
  8. #include <asm/spitfire.h>
  9. #include <asm/pgtable.h>
  10. /* Cache and TLB flush operations. */
  11. /* These are the same regardless of whether this is an SMP kernel or not. */
  12. #define flush_cache_mm(__mm) 
  13. do { if ((__mm) == current->mm) flushw_user(); } while(0)
  14. #define flush_cache_range(mm, start, end) 
  15. flush_cache_mm(mm)
  16. #define flush_cache_page(vma, page) 
  17. flush_cache_mm((vma)->vm_mm)
  18. /* This is unnecessary on the SpitFire since D-CACHE is write-through. */
  19. #define flush_page_to_ram(page) do { } while (0)
  20. /* 
  21.  * On spitfire, the icache doesn't snoop local stores and we don't
  22.  * use block commit stores (which invalidate icache lines) during
  23.  * module load, so we need this.
  24.  */
  25. extern void flush_icache_range(unsigned long start, unsigned long end);
  26. extern void __flush_dcache_page(void *addr, int flush_icache);
  27. extern void __flush_icache_page(unsigned long);
  28. extern void flush_dcache_page_impl(struct page *page);
  29. #ifdef CONFIG_SMP
  30. extern void smp_flush_dcache_page_impl(struct page *page, int cpu);
  31. extern void flush_dcache_page_all(struct mm_struct *mm, struct page *page);
  32. #else
  33. #define smp_flush_dcache_page_impl(page,cpu) flush_dcache_page_impl(page)
  34. #define flush_dcache_page_all(mm,page) flush_dcache_page_impl(page)
  35. #endif
  36. extern void flush_dcache_page(struct page *page);
  37. extern void __flush_dcache_range(unsigned long start, unsigned long end);
  38. extern void __flush_cache_all(void);
  39. extern void __flush_tlb_all(void);
  40. extern void __flush_tlb_mm(unsigned long context, unsigned long r);
  41. extern void __flush_tlb_range(unsigned long context, unsigned long start,
  42.       unsigned long r, unsigned long end,
  43.       unsigned long pgsz, unsigned long size);
  44. extern void __flush_tlb_page(unsigned long context, unsigned long page, unsigned long r);
  45. #ifndef CONFIG_SMP
  46. #define flush_cache_all() __flush_cache_all()
  47. #define flush_tlb_all() __flush_tlb_all()
  48. #define flush_tlb_mm(__mm) 
  49. do { if(CTX_VALID((__mm)->context)) 
  50. __flush_tlb_mm(CTX_HWBITS((__mm)->context), SECONDARY_CONTEXT); 
  51. } while(0)
  52. #define flush_tlb_range(__mm, start, end) 
  53. do { if(CTX_VALID((__mm)->context)) { 
  54. unsigned long __start = (start)&PAGE_MASK; 
  55. unsigned long __end = PAGE_ALIGN(end); 
  56. __flush_tlb_range(CTX_HWBITS((__mm)->context), __start, 
  57.   SECONDARY_CONTEXT, __end, PAGE_SIZE, 
  58.   (__end - __start)); 
  59.      } 
  60. } while(0)
  61. #define flush_tlb_page(vma, page) 
  62. do { struct mm_struct *__mm = (vma)->vm_mm; 
  63.      if(CTX_VALID(__mm->context)) 
  64. __flush_tlb_page(CTX_HWBITS(__mm->context), (page)&PAGE_MASK, 
  65.  SECONDARY_CONTEXT); 
  66. } while(0)
  67. #else /* CONFIG_SMP */
  68. extern void smp_flush_cache_all(void);
  69. extern void smp_flush_tlb_all(void);
  70. extern void smp_flush_tlb_mm(struct mm_struct *mm);
  71. extern void smp_flush_tlb_range(struct mm_struct *mm, unsigned long start,
  72. unsigned long end);
  73. extern void smp_flush_tlb_page(struct mm_struct *mm, unsigned long page);
  74. #define flush_cache_all() smp_flush_cache_all()
  75. #define flush_tlb_all() smp_flush_tlb_all()
  76. #define flush_tlb_mm(mm) smp_flush_tlb_mm(mm)
  77. #define flush_tlb_range(mm, start, end) 
  78. smp_flush_tlb_range(mm, start, end)
  79. #define flush_tlb_page(vma, page) 
  80. smp_flush_tlb_page((vma)->vm_mm, page)
  81. #endif /* ! CONFIG_SMP */
  82. #define VPTE_BASE_SPITFIRE 0xfffffffe00000000
  83. #if 1
  84. #define VPTE_BASE_CHEETAH VPTE_BASE_SPITFIRE
  85. #else
  86. #define VPTE_BASE_CHEETAH 0xffe0000000000000
  87. #endif
  88. extern __inline__ void flush_tlb_pgtables(struct mm_struct *mm, unsigned long start,
  89.   unsigned long end)
  90. {
  91. /* Note the signed type.  */
  92. long s = start, e = end, vpte_base;
  93. if (s > e)
  94. /* Nobody should call us with start below VM hole and end above.
  95.    See if it is really true.  */
  96. BUG();
  97. #if 0
  98. /* Currently free_pgtables guarantees this.  */
  99. s &= PMD_MASK;
  100. e = (e + PMD_SIZE - 1) & PMD_MASK;
  101. #endif
  102. vpte_base = (tlb_type == spitfire ?
  103.      VPTE_BASE_SPITFIRE :
  104.      VPTE_BASE_CHEETAH);
  105. flush_tlb_range(mm,
  106. vpte_base + (s >> (PAGE_SHIFT - 3)),
  107. vpte_base + (e >> (PAGE_SHIFT - 3)));
  108. }
  109. #undef VPTE_BASE_SPITFIRE
  110. #undef VPTE_BASE_CHEETAH
  111. /* Page table allocation/freeing. */
  112. #ifdef CONFIG_SMP
  113. /* Sliiiicck */
  114. #define pgt_quicklists cpu_data[smp_processor_id()]
  115. #else
  116. extern struct pgtable_cache_struct {
  117. unsigned long *pgd_cache;
  118. unsigned long *pte_cache[2];
  119. unsigned int pgcache_size;
  120. unsigned int pgdcache_size;
  121. } pgt_quicklists;
  122. #endif
  123. #define pgd_quicklist (pgt_quicklists.pgd_cache)
  124. #define pmd_quicklist ((unsigned long *)0)
  125. #define pte_quicklist (pgt_quicklists.pte_cache)
  126. #define pgtable_cache_size (pgt_quicklists.pgcache_size)
  127. #define pgd_cache_size (pgt_quicklists.pgdcache_size)
  128. #ifndef CONFIG_SMP
  129. extern __inline__ void free_pgd_fast(pgd_t *pgd)
  130. {
  131. struct page *page = virt_to_page(pgd);
  132. if (!page->pprev_hash) {
  133. (unsigned long *)page->next_hash = pgd_quicklist;
  134. pgd_quicklist = (unsigned long *)page;
  135. }
  136. (unsigned long)page->pprev_hash |=
  137. (((unsigned long)pgd & (PAGE_SIZE / 2)) ? 2 : 1);
  138. pgd_cache_size++;
  139. }
  140. extern __inline__ pgd_t *get_pgd_fast(void)
  141. {
  142.         struct page *ret;
  143.         if ((ret = (struct page *)pgd_quicklist) != NULL) {
  144.                 unsigned long mask = (unsigned long)ret->pprev_hash;
  145. unsigned long off = 0;
  146. if (mask & 1)
  147. mask &= ~1;
  148. else {
  149. off = PAGE_SIZE / 2;
  150. mask &= ~2;
  151. }
  152. (unsigned long)ret->pprev_hash = mask;
  153. if (!mask)
  154. pgd_quicklist = (unsigned long *)ret->next_hash;
  155.                 ret = (struct page *)(__page_address(ret) + off);
  156.                 pgd_cache_size--;
  157.         } else {
  158. struct page *page = alloc_page(GFP_KERNEL);
  159. if (page) {
  160. ret = (struct page *)page_address(page);
  161. clear_page(ret);
  162. (unsigned long)page->pprev_hash = 2;
  163. (unsigned long *)page->next_hash = pgd_quicklist;
  164. pgd_quicklist = (unsigned long *)page;
  165. pgd_cache_size++;
  166. }
  167.         }
  168.         return (pgd_t *)ret;
  169. }
  170. #else /* CONFIG_SMP */
  171. extern __inline__ void free_pgd_fast(pgd_t *pgd)
  172. {
  173. *(unsigned long *)pgd = (unsigned long) pgd_quicklist;
  174. pgd_quicklist = (unsigned long *) pgd;
  175. pgtable_cache_size++;
  176. }
  177. extern __inline__ pgd_t *get_pgd_fast(void)
  178. {
  179. unsigned long *ret;
  180. if((ret = pgd_quicklist) != NULL) {
  181. pgd_quicklist = (unsigned long *)(*ret);
  182. ret[0] = 0;
  183. pgtable_cache_size--;
  184. } else {
  185. ret = (unsigned long *) __get_free_page(GFP_KERNEL);
  186. if(ret)
  187. memset(ret, 0, PAGE_SIZE);
  188. }
  189. return (pgd_t *)ret;
  190. }
  191. extern __inline__ void free_pgd_slow(pgd_t *pgd)
  192. {
  193. free_page((unsigned long)pgd);
  194. }
  195. #endif /* CONFIG_SMP */
  196. #if (L1DCACHE_SIZE > PAGE_SIZE) /* is there D$ aliasing problem */
  197. #define VPTE_COLOR(address) (((address) >> (PAGE_SHIFT + 10)) & 1UL)
  198. #define DCACHE_COLOR(address) (((address) >> PAGE_SHIFT) & 1UL)
  199. #else
  200. #define VPTE_COLOR(address) 0
  201. #define DCACHE_COLOR(address) 0
  202. #endif
  203. #define pgd_populate(MM, PGD, PMD) pgd_set(PGD, PMD)
  204. extern __inline__ pmd_t *pmd_alloc_one(struct mm_struct *mm, unsigned long address)
  205. {
  206. pmd_t *pmd = (pmd_t *)__get_free_page(GFP_KERNEL);
  207. if (pmd)
  208. memset(pmd, 0, PAGE_SIZE);
  209. return pmd;
  210. }
  211. extern __inline__ pmd_t *pmd_alloc_one_fast(struct mm_struct *mm, unsigned long address)
  212. {
  213. unsigned long *ret;
  214. int color = 0;
  215. if (pte_quicklist[color] == NULL)
  216. color = 1;
  217. if((ret = (unsigned long *)pte_quicklist[color]) != NULL) {
  218. pte_quicklist[color] = (unsigned long *)(*ret);
  219. ret[0] = 0;
  220. pgtable_cache_size--;
  221. }
  222. return (pmd_t *)ret;
  223. }
  224. extern __inline__ void free_pmd_fast(pmd_t *pmd)
  225. {
  226. unsigned long color = DCACHE_COLOR((unsigned long)pmd);
  227. *(unsigned long *)pmd = (unsigned long) pte_quicklist[color];
  228. pte_quicklist[color] = (unsigned long *) pmd;
  229. pgtable_cache_size++;
  230. }
  231. extern __inline__ void free_pmd_slow(pmd_t *pmd)
  232. {
  233. free_page((unsigned long)pmd);
  234. }
  235. #define pmd_populate(MM, PMD, PTE) pmd_set(PMD, PTE)
  236. extern pte_t *pte_alloc_one(struct mm_struct *mm, unsigned long address);
  237. extern __inline__ pte_t *pte_alloc_one_fast(struct mm_struct *mm, unsigned long address)
  238. {
  239. unsigned long color = VPTE_COLOR(address);
  240. unsigned long *ret;
  241. if((ret = (unsigned long *)pte_quicklist[color]) != NULL) {
  242. pte_quicklist[color] = (unsigned long *)(*ret);
  243. ret[0] = 0;
  244. pgtable_cache_size--;
  245. }
  246. return (pte_t *)ret;
  247. }
  248. extern __inline__ void free_pte_fast(pte_t *pte)
  249. {
  250. unsigned long color = DCACHE_COLOR((unsigned long)pte);
  251. *(unsigned long *)pte = (unsigned long) pte_quicklist[color];
  252. pte_quicklist[color] = (unsigned long *) pte;
  253. pgtable_cache_size++;
  254. }
  255. extern __inline__ void free_pte_slow(pte_t *pte)
  256. {
  257. free_page((unsigned long)pte);
  258. }
  259. #define pte_free(pte) free_pte_fast(pte)
  260. #define pmd_free(pmd) free_pmd_fast(pmd)
  261. #define pgd_free(pgd) free_pgd_fast(pgd)
  262. #define pgd_alloc(mm) get_pgd_fast()
  263. extern int do_check_pgt_cache(int, int);
  264. #endif /* _SPARC64_PGALLOC_H */