fault.c
上传用户:jlfgdled
上传日期:2013-04-10
资源大小:33168k
文件大小:8k
源码类别:

Linux/Unix编程

开发平台:

Unix_Linux

  1. /*
  2.  *  linux/arch/x86-64/mm/fault.c
  3.  *
  4.  *  Copyright (C) 1995  Linus Torvalds
  5.  *  Copyright (C) 2001,2002 Andi Kleen, SuSE Labs.
  6.  */
  7. #include <linux/signal.h>
  8. #include <linux/sched.h>
  9. #include <linux/kernel.h>
  10. #include <linux/errno.h>
  11. #include <linux/string.h>
  12. #include <linux/types.h>
  13. #include <linux/ptrace.h>
  14. #include <linux/mman.h>
  15. #include <linux/mm.h>
  16. #include <linux/smp.h>
  17. #include <linux/smp_lock.h>
  18. #include <linux/interrupt.h>
  19. #include <linux/init.h>
  20. #include <linux/tty.h>
  21. #include <linux/vt_kern.h> /* For unblank_screen() */
  22. #include <linux/compiler.h>
  23. #include <asm/system.h>
  24. #include <asm/uaccess.h>
  25. #include <asm/pgalloc.h>
  26. #include <asm/hardirq.h>
  27. #include <asm/smp.h>
  28. #include <asm/proto.h>
  29. #include <asm/kdebug.h>
  30. spinlock_t pcrash_lock; 
  31. int crashing_cpu;
  32. extern spinlock_t console_lock, timerlist_lock;
  33. void bust_spinlocks(int yes)
  34. {
  35.   spin_lock_init(&timerlist_lock);
  36. if (yes) {
  37. oops_in_progress = 1;
  38. #ifdef CONFIG_SMP
  39. global_irq_lock = 0; /* Many serial drivers do __global_cli() */
  40. #endif
  41. } else {
  42. int loglevel_save = console_loglevel;
  43. #ifdef CONFIG_VT
  44. unblank_screen();
  45. #endif
  46. oops_in_progress = 0;
  47. /*
  48.  * OK, the message is on the console.  Now we call printk()
  49.  * without oops_in_progress set so that printk will give klogd
  50.  * a poke.  Hold onto your hats...
  51.  */
  52. console_loglevel = 15; /* NMI oopser may have shut the console up */
  53. printk(" ");
  54. console_loglevel = loglevel_save;
  55. }
  56. }
  57. void dump_pagetable(unsigned long address)
  58. {
  59. static char *name[] = { "PML4", "PGD", "PDE", "PTE" }; 
  60. int i, shift;
  61. unsigned long page;
  62. shift = 9+9+9+12;
  63. address &= ~0xFFFF000000000000UL;
  64. asm("movq %%cr3,%0" : "=r" (page)); 
  65. for (i = 0; i < 4; i++) { 
  66. unsigned long *padr = (unsigned long *) __va(page); 
  67. padr += (address >> shift) & 0x1FFU;
  68. if (__get_user(page, padr)) { 
  69. printk("%s: bad %pn", name[i], padr); 
  70. break;
  71. }
  72. printk("%s: %016lx ", name[i], page); 
  73. if ((page & (1 | (1<<7))) != 1) /* Not present or 2MB page */
  74. break;
  75. page &= ~0xFFFUL;
  76. shift -= (i == 0) ? 12 : 9;
  77. printk("n");
  78. }
  79. int page_fault_trace; 
  80. int exception_trace = 1;
  81. /*
  82.  * This routine handles page faults.  It determines the address,
  83.  * and the problem, and then passes it off to one of the appropriate
  84.  * routines.
  85.  *
  86.  * error_code:
  87.  * bit 0 == 0 means no page found, 1 means protection fault
  88.  * bit 1 == 0 means read, 1 means write
  89.  * bit 2 == 0 means kernel, 1 means user-mode
  90.  *      bit 3 == 1 means fault was an instruction fetch
  91.  */
  92. asmlinkage void do_page_fault(struct pt_regs *regs, unsigned long error_code)
  93. {
  94. struct task_struct *tsk;
  95. struct mm_struct *mm;
  96. struct vm_area_struct * vma;
  97. unsigned long address;
  98. unsigned long fixup;
  99. int write;
  100. siginfo_t info;
  101. /* get the address */
  102. __asm__("movq %%cr2,%0":"=r" (address));
  103. #ifdef CONFIG_CHECKING
  104. if (page_fault_trace) 
  105. printk("pfault %d rip:%lx rsp:%lx cs:%lu ss:%lu addr %lx error %lxn",
  106.        stack_smp_processor_id(), regs->rip,regs->rsp,regs->cs,
  107.    regs->ss,address,error_code); 
  108. unsigned long gs; 
  109. struct x8664_pda *pda = cpu_pda + stack_smp_processor_id(); 
  110. rdmsrl(MSR_GS_BASE, gs); 
  111. if (gs != (unsigned long)pda) { 
  112. wrmsrl(MSR_GS_BASE, pda); 
  113. printk("page_fault: wrong gs %lx expected %pn", gs, pda);
  114. }
  115. }
  116. #endif
  117. tsk = current;
  118. mm = tsk->mm;
  119. info.si_code = SEGV_MAPERR;
  120. /* 5 => page not present and from supervisor mode */
  121. if (unlikely(!(error_code & 5) &&
  122.      ((address >= VMALLOC_START && address <= VMALLOC_END) ||
  123.       (address >= MODULES_VADDR && address <= MODULES_END))))
  124. goto vmalloc_fault;
  125.   
  126. /*
  127.  * If we're in an interrupt or have no user
  128.  * context, we must not take the fault..
  129.  */
  130. if (in_interrupt() || !mm)
  131. goto no_context;
  132. again:
  133. down_read(&mm->mmap_sem);
  134. vma = find_vma(mm, address);
  135. if (!vma)
  136. goto bad_area;
  137. if (vma->vm_start <= address)
  138. goto good_area;
  139. if (!(vma->vm_flags & VM_GROWSDOWN))
  140. goto bad_area;
  141. if (error_code & 4) {
  142. // XXX: align red zone size with ABI 
  143. if (address + 128 < regs->rsp)
  144. goto bad_area;
  145. }
  146. if (expand_stack(vma, address))
  147. goto bad_area;
  148. /*
  149.  * Ok, we have a good vm_area for this memory access, so
  150.  * we can handle it..
  151.  */
  152. good_area:
  153. info.si_code = SEGV_ACCERR;
  154. write = 0;
  155. switch (error_code & 3) {
  156. default: /* 3: write, present */
  157. /* fall through */
  158. case 2: /* write, not present */
  159. if (!(vma->vm_flags & VM_WRITE))
  160. goto bad_area;
  161. write++;
  162. break;
  163. case 1: /* read, present */
  164. goto bad_area;
  165. case 0: /* read, not present */
  166. if (!(vma->vm_flags & (VM_READ | VM_EXEC)))
  167. goto bad_area;
  168. }
  169. /*
  170.  * If for any reason at all we couldn't handle the fault,
  171.  * make sure we exit gracefully rather than endlessly redo
  172.  * the fault.
  173.  */
  174. switch (handle_mm_fault(mm, vma, address, write)) {
  175. case 1:
  176. tsk->min_flt++;
  177. break;
  178. case 2:
  179. tsk->maj_flt++;
  180. break;
  181. case 0:
  182. goto do_sigbus;
  183. default:
  184. goto out_of_memory;
  185. }
  186. up_read(&mm->mmap_sem);
  187. return;
  188. /*
  189.  * Something tried to access memory that isn't in our memory map..
  190.  * Fix it, but check if it's kernel or user first..
  191.  */
  192. bad_area:
  193. up_read(&mm->mmap_sem);
  194. bad_area_nosemaphore:
  195. /* User mode accesses just cause a SIGSEGV */
  196. if (error_code & 4) {
  197. if (exception_trace) {
  198. #if 1
  199. dump_pagetable(address);
  200. #endif
  201. printk("%s[%d]: segfault at %016lx rip %016lx rsp %016lx error %lxn",
  202. current->comm, current->pid, address, regs->rip,
  203. regs->rsp, error_code);
  204. }
  205. tsk->thread.cr2 = address;
  206. tsk->thread.error_code = error_code;
  207. tsk->thread.trap_no = 14;
  208. info.si_signo = SIGSEGV;
  209. info.si_errno = 0;
  210. /* info.si_code has been set above */
  211. info.si_addr = (void *)address;
  212. force_sig_info(SIGSEGV, &info, tsk);
  213. return;
  214. }
  215. no_context:
  216. /* Are we prepared to handle this kernel fault?  */
  217. if ((fixup = search_exception_table(regs->rip)) != 0) {
  218. regs->rip = fixup;
  219. if (0 && exception_trace) 
  220. printk(KERN_ERR 
  221.        "%s: fixed kernel exception at %lx address %lx err:%ldn", 
  222.        current->comm, regs->rip, address, error_code);
  223. return;
  224. }
  225. /*
  226.  * Oops. The kernel tried to access some bad page. We'll have to
  227.  * terminate things with extreme prejudice.
  228.  */
  229. console_verbose();
  230. bust_spinlocks(1); 
  231. if (!in_interrupt()) { 
  232. if (!spin_trylock(&pcrash_lock)) { 
  233. if (crashing_cpu != smp_processor_id()) 
  234. spin_lock(&pcrash_lock);       
  235. crashing_cpu = smp_processor_id();
  236. if (address < PAGE_SIZE)
  237. printk(KERN_ALERT "Unable to handle kernel NULL pointer dereference");
  238. else
  239. printk(KERN_ALERT "Unable to handle kernel paging request");
  240. printk(" at virtual address %016lxn",address);
  241. printk(" printing rip:n");
  242. printk("%016lxn", regs->rip);
  243. dump_pagetable(address);
  244. die("Oops", regs, error_code);
  245. if (!in_interrupt()) { 
  246. crashing_cpu = -1;  /* small harmless window */ 
  247. spin_unlock(&pcrash_lock);
  248. }
  249. bust_spinlocks(0); 
  250. do_exit(SIGKILL);
  251. /*
  252.  * We ran out of memory, or some other thing happened to us that made
  253.  * us unable to handle the page fault gracefully.
  254.  */
  255. out_of_memory:
  256. up_read(&mm->mmap_sem);
  257. if (current->pid == 1) { 
  258. tsk->policy |= SCHED_YIELD;
  259. schedule();
  260. goto again;
  261. }
  262. printk("VM: killing process %sn", tsk->comm);
  263. if (error_code & 4)
  264. do_exit(SIGKILL);
  265. goto no_context;
  266. do_sigbus:
  267. up_read(&mm->mmap_sem);
  268. /*
  269.  * Send a sigbus, regardless of whether we were in kernel
  270.  * or user mode.
  271.  */
  272. tsk->thread.cr2 = address;
  273. tsk->thread.error_code = error_code;
  274. tsk->thread.trap_no = 14;
  275. info.si_signo = SIGBUS;
  276. info.si_errno = 0;
  277. info.si_code = BUS_ADRERR;
  278. info.si_addr = (void *)address;
  279. force_sig_info(SIGBUS, &info, tsk);
  280. /* Kernel mode? Handle exceptions or die */
  281. if (!(error_code & 4))
  282. goto no_context;
  283. return;
  284. vmalloc_fault:
  285. {
  286. pgd_t *pgd;
  287. pmd_t *pmd;
  288. pte_t *pte; 
  289. /* 
  290.  * x86-64 has the same kernel 3rd level pages for all CPUs.
  291.  * But for vmalloc/modules the TLB synchronization works lazily,
  292.  * so it can happen that we get a page fault for something
  293.  * that is really already in the page table. Just check if it
  294.  * is really there and when yes flush the local TLB. 
  295.  */
  296. #if 0
  297. printk("vmalloc fault %lx index %lun",address,pml4_index(address));
  298. dump_pagetable(address);
  299. #endif
  300. pgd = pgd_offset_k(address);
  301. if (pgd != current_pgd_offset_k(address)) 
  302. goto bad_area_nosemaphore;  
  303. if (!pgd_present(*pgd))
  304. goto bad_area_nosemaphore;
  305. pmd = pmd_offset(pgd, address);
  306. if (!pmd_present(*pmd))
  307. goto bad_area_nosemaphore;
  308. pte = pte_offset(pmd, address); 
  309. if (!pte_present(*pte))
  310. goto bad_area_nosemaphore; 
  311. __flush_tlb_all();
  312. return;
  313. }
  314. }