pgalloc.h
上传用户:jlfgdled
上传日期:2013-04-10
资源大小:33168k
文件大小:7k
源码类别:

Linux/Unix编程

开发平台:

Unix_Linux

  1. #ifndef _ASM_IA64_PGALLOC_H
  2. #define _ASM_IA64_PGALLOC_H
  3. /*
  4.  * This file contains the functions and defines necessary to allocate
  5.  * page tables.
  6.  *
  7.  * This hopefully works with any (fixed) ia-64 page-size, as defined
  8.  * in <asm/page.h> (currently 8192).
  9.  *
  10.  * Copyright (C) 1998-2002 Hewlett-Packard Co
  11.  * David Mosberger-Tang <davidm@hpl.hp.com>
  12.  * Copyright (C) 2000, Goutham Rao <goutham.rao@intel.com>
  13.  */
  14. #include <linux/config.h>
  15. #include <linux/compiler.h>
  16. #include <linux/mm.h>
  17. #include <linux/threads.h>
  18. #include <asm/mmu_context.h>
  19. #include <asm/processor.h>
  20. /*
  21.  * Very stupidly, we used to get new pgd's and pmd's, init their contents
  22.  * to point to the NULL versions of the next level page table, later on
  23.  * completely re-init them the same way, then free them up.  This wasted
  24.  * a lot of work and caused unnecessary memory traffic.  How broken...
  25.  * We fix this by caching them.
  26.  */
  27. #define pgd_quicklist (local_cpu_data->pgd_quick)
  28. #define pmd_quicklist (local_cpu_data->pmd_quick)
  29. #define pte_quicklist (local_cpu_data->pte_quick)
  30. #define pgtable_cache_size (local_cpu_data->pgtable_cache_sz)
  31. static inline pgd_t*
  32. pgd_alloc_one_fast (struct mm_struct *mm)
  33. {
  34. unsigned long *ret = pgd_quicklist;
  35. if (__builtin_expect(ret != NULL, 1)) {
  36. pgd_quicklist = (unsigned long *)(*ret);
  37. ret[0] = 0;
  38. --pgtable_cache_size;
  39. } else
  40. ret = NULL;
  41. return (pgd_t *) ret;
  42. }
  43. static inline pgd_t*
  44. pgd_alloc (struct mm_struct *mm)
  45. {
  46. /* the VM system never calls pgd_alloc_one_fast(), so we do it here. */
  47. pgd_t *pgd = pgd_alloc_one_fast(mm);
  48. if (__builtin_expect(pgd == NULL, 0)) {
  49. pgd = (pgd_t *)__get_free_page(GFP_KERNEL);
  50. if (__builtin_expect(pgd != NULL, 1))
  51. clear_page(pgd);
  52. }
  53. return pgd;
  54. }
  55. static inline void
  56. pgd_free (pgd_t *pgd)
  57. {
  58. *(unsigned long *)pgd = (unsigned long) pgd_quicklist;
  59. pgd_quicklist = (unsigned long *) pgd;
  60. ++pgtable_cache_size;
  61. }
  62. static inline void
  63. pgd_populate (struct mm_struct *mm, pgd_t *pgd_entry, pmd_t *pmd)
  64. {
  65. pgd_val(*pgd_entry) = __pa(pmd);
  66. }
  67. static inline pmd_t*
  68. pmd_alloc_one_fast (struct mm_struct *mm, unsigned long addr)
  69. {
  70. unsigned long *ret = (unsigned long *)pmd_quicklist;
  71. if (__builtin_expect(ret != NULL, 1)) {
  72. pmd_quicklist = (unsigned long *)(*ret);
  73. ret[0] = 0;
  74. --pgtable_cache_size;
  75. }
  76. return (pmd_t *)ret;
  77. }
  78. static inline pmd_t*
  79. pmd_alloc_one (struct mm_struct *mm, unsigned long addr)
  80. {
  81. pmd_t *pmd = (pmd_t *) __get_free_page(GFP_KERNEL);
  82. if (__builtin_expect(pmd != NULL, 1))
  83. clear_page(pmd);
  84. return pmd;
  85. }
  86. static inline void
  87. pmd_free (pmd_t *pmd)
  88. {
  89. *(unsigned long *)pmd = (unsigned long) pmd_quicklist;
  90. pmd_quicklist = (unsigned long *) pmd;
  91. ++pgtable_cache_size;
  92. }
  93. static inline void
  94. pmd_populate (struct mm_struct *mm, pmd_t *pmd_entry, pte_t *pte)
  95. {
  96. pmd_val(*pmd_entry) = __pa(pte);
  97. }
  98. static inline pte_t*
  99. pte_alloc_one_fast (struct mm_struct *mm, unsigned long addr)
  100. {
  101. unsigned long *ret = (unsigned long *)pte_quicklist;
  102. if (__builtin_expect(ret != NULL, 1)) {
  103. pte_quicklist = (unsigned long *)(*ret);
  104. ret[0] = 0;
  105. --pgtable_cache_size;
  106. }
  107. return (pte_t *)ret;
  108. }
  109. static inline pte_t*
  110. pte_alloc_one (struct mm_struct *mm, unsigned long addr)
  111. {
  112. pte_t *pte = (pte_t *) __get_free_page(GFP_KERNEL);
  113. if (__builtin_expect(pte != NULL, 1))
  114. clear_page(pte);
  115. return pte;
  116. }
  117. static inline void
  118. pte_free (pte_t *pte)
  119. {
  120. *(unsigned long *)pte = (unsigned long) pte_quicklist;
  121. pte_quicklist = (unsigned long *) pte;
  122. ++pgtable_cache_size;
  123. }
  124. extern int do_check_pgt_cache (int, int);
  125. /*
  126.  * Now for some TLB flushing routines.  This is the kind of stuff that
  127.  * can be very expensive, so try to avoid them whenever possible.
  128.  */
  129. /*
  130.  * Flush everything (kernel mapping may also have changed due to
  131.  * vmalloc/vfree).
  132.  */
  133. extern void __flush_tlb_all (void);
  134. #ifdef CONFIG_SMP
  135.   extern void smp_flush_tlb_all (void);
  136. # define flush_tlb_all() smp_flush_tlb_all()
  137. #else
  138. # define flush_tlb_all() __flush_tlb_all()
  139. #endif
  140. /*
  141.  * Flush a specified user mapping
  142.  */
  143. static inline void
  144. flush_tlb_mm (struct mm_struct *mm)
  145. {
  146. if (mm) {
  147. mm->context = 0;
  148. if (mm == current->active_mm) {
  149. /* This is called, e.g., as a result of exec().  */
  150. get_new_mmu_context(mm);
  151. reload_context(mm);
  152. }
  153. }
  154. }
  155. extern void flush_tlb_range (struct mm_struct *mm, unsigned long start, unsigned long end);
  156. /*
  157.  * Page-granular tlb flush.
  158.  */
  159. static inline void
  160. flush_tlb_page (struct vm_area_struct *vma, unsigned long addr)
  161. {
  162. #ifdef CONFIG_SMP
  163. flush_tlb_range(vma->vm_mm, (addr & PAGE_MASK), (addr & PAGE_MASK) + PAGE_SIZE);
  164. #else
  165. if (vma->vm_mm == current->active_mm)
  166. asm volatile ("ptc.l %0,%1" :: "r"(addr), "r"(PAGE_SHIFT << 2) : "memory");
  167. else
  168. vma->vm_mm->context = 0;
  169. #endif
  170. }
  171. /*
  172.  * Flush the TLB entries mapping the virtually mapped linear page
  173.  * table corresponding to address range [START-END).
  174.  */
  175. static inline void
  176. flush_tlb_pgtables (struct mm_struct *mm, unsigned long start, unsigned long end)
  177. {
  178. if (unlikely(end - start >= 1024*1024*1024*1024UL
  179.      || rgn_index(start) != rgn_index(end - 1)))
  180. /*
  181.  * This condition is very rare and normal applications shouldn't get
  182.  * here. No attempt has been made to optimize for this case.
  183.  */
  184. flush_tlb_all();
  185. else
  186. flush_tlb_range(mm, ia64_thash(start), ia64_thash(end));
  187. }
  188. /*
  189.  * Cache flushing routines.  This is the kind of stuff that can be very expensive, so try
  190.  * to avoid them whenever possible.
  191.  */
  192. #define flush_cache_all() do { } while (0)
  193. #define flush_cache_mm(mm) do { } while (0)
  194. #define flush_cache_range(mm, start, end) do { } while (0)
  195. #define flush_cache_page(vma, vmaddr) do { } while (0)
  196. #define flush_page_to_ram(page) do { } while (0)
  197. #define flush_icache_page(vma,page) do { } while (0)
  198. #define flush_dcache_page(page)
  199. do {
  200. clear_bit(PG_arch_1, &(page)->flags);
  201. } while (0)
  202. extern void flush_icache_range (unsigned long start, unsigned long end);
  203. #define flush_icache_user_range(vma, page, user_addr, len)
  204. do {
  205. unsigned long _addr = (unsigned long) page_address(page) + ((user_addr) & ~PAGE_MASK);
  206. flush_icache_range(_addr, _addr + (len));
  207. } while (0)
  208. static inline void
  209. clear_user_page (void *addr, unsigned long vaddr, struct page *page)
  210. {
  211. clear_page(addr);
  212. flush_dcache_page(page);
  213. }
  214. static inline void
  215. copy_user_page (void *to, void *from, unsigned long vaddr, struct page *page)
  216. {
  217. copy_page(to, from);
  218. flush_dcache_page(page);
  219. }
  220. /*
  221.  * IA-64 doesn't have any external MMU info: the page tables contain all the necessary
  222.  * information.  However, we use this macro to take care of any (delayed) i-cache flushing
  223.  * that may be necessary.
  224.  */
  225. static inline void
  226. update_mmu_cache (struct vm_area_struct *vma, unsigned long vaddr, pte_t pte)
  227. {
  228. unsigned long addr;
  229. struct page *page;
  230. if (!pte_exec(pte))
  231. return; /* not an executable page... */
  232. page = pte_page(pte);
  233. /* don't use VADDR: it may not be mapped on this CPU (or may have just been flushed): */
  234. addr = (unsigned long) page_address(page);
  235. if (test_bit(PG_arch_1, &page->flags))
  236. return; /* i-cache is already coherent with d-cache */
  237. flush_icache_range(addr, addr + PAGE_SIZE);
  238. set_bit(PG_arch_1, &page->flags); /* mark page as clean */
  239. }
  240. #endif /* _ASM_IA64_PGALLOC_H */