fault.c
上传用户:jlfgdled
上传日期:2013-04-10
资源大小:33168k
文件大小:16k
源码类别:

Linux/Unix编程

开发平台:

Unix_Linux

  1. /*
  2.  *  arch/s390/mm/fault.c
  3.  *
  4.  *  S390 version
  5.  *    Copyright (C) 1999 IBM Deutschland Entwicklung GmbH, IBM Corporation
  6.  *    Author(s): Hartmut Penner (hp@de.ibm.com)
  7.  *               Ulrich Weigand (uweigand@de.ibm.com)
  8.  *
  9.  *  Derived from "arch/i386/mm/fault.c"
  10.  *    Copyright (C) 1995  Linus Torvalds
  11.  */
  12. #include <linux/config.h>
  13. #include <linux/signal.h>
  14. #include <linux/sched.h>
  15. #include <linux/kernel.h>
  16. #include <linux/errno.h>
  17. #include <linux/string.h>
  18. #include <linux/types.h>
  19. #include <linux/ptrace.h>
  20. #include <linux/mman.h>
  21. #include <linux/mm.h>
  22. #include <linux/smp.h>
  23. #include <linux/smp_lock.h>
  24. #include <linux/compatmac.h>
  25. #include <linux/init.h>
  26. #include <linux/console.h>
  27. #include <asm/system.h>
  28. #include <asm/uaccess.h>
  29. #include <asm/pgtable.h>
  30. #include <asm/hardirq.h>
  31. #ifdef CONFIG_SYSCTL
  32. extern int sysctl_userprocess_debug;
  33. #endif
  34. extern void die(const char *,struct pt_regs *,long);
  35. extern spinlock_t timerlist_lock;
  36. /*
  37.  * Unlock any spinlocks which will prevent us from getting the
  38.  * message out (timerlist_lock is acquired through the
  39.  * console unblank code)
  40.  */
  41. void bust_spinlocks(int yes)
  42. {
  43. spin_lock_init(&timerlist_lock);
  44. if (yes) {
  45. oops_in_progress = 1;
  46. } else {
  47. int loglevel_save = console_loglevel;
  48. oops_in_progress = 0;
  49. console_unblank();
  50. /*
  51.  * OK, the message is on the console.  Now we call printk()
  52.  * without oops_in_progress set so that printk will give klogd
  53.  * a poke.  Hold onto your hats...
  54.  */
  55. console_loglevel = 15;
  56. printk(" ");
  57. console_loglevel = loglevel_save;
  58. }
  59. }
  60. /*
  61.  * Check which address space is addressed by the access
  62.  * register in S390_lowcore.exc_access_id.
  63.  * Returns 1 for user space and 0 for kernel space.
  64.  */
  65. static int __check_access_register(struct pt_regs *regs, int error_code)
  66. {
  67. int areg = S390_lowcore.exc_access_id;
  68. if (areg == 0)
  69. /* Access via access register 0 -> kernel address */
  70. return 0;
  71. if (regs && areg < NUM_ACRS && regs->acrs[areg] <= 1)
  72. /*
  73.  * access register contains 0 -> kernel address,
  74.  * access register contains 1 -> user space address
  75.  */
  76. return regs->acrs[areg];
  77. /* Something unhealthy was done with the access registers... */
  78. die("page fault via unknown access register", regs, error_code);
  79. do_exit(SIGKILL);
  80. return 0;
  81. }
  82. /*
  83.  * Check which address space the address belongs to.
  84.  * Returns 1 for user space and 0 for kernel space.
  85.  */
  86. static inline int check_user_space(struct pt_regs *regs, int error_code)
  87. {
  88. /*
  89.  * The lowest two bits of S390_lowcore.trans_exc_code indicate
  90.  * which paging table was used:
  91.  *   0: Primary Segment Table Descriptor
  92.  *   1: STD determined via access register
  93.  *   2: Secondary Segment Table Descriptor
  94.  *   3: Home Segment Table Descriptor
  95.  */
  96. int descriptor = S390_lowcore.trans_exc_code & 3;
  97. if (descriptor == 1)
  98. return __check_access_register(regs, error_code);
  99. return descriptor >> 1;
  100. }
  101. /*
  102.  * Send SIGSEGV to task.  This is an external routine
  103.  * to keep the stack usage of do_page_fault small.
  104.  */
  105. static void force_sigsegv(struct pt_regs *regs, unsigned long error_code,
  106.   int si_code, unsigned long address)
  107. {
  108. struct siginfo si;
  109. #if defined(CONFIG_SYSCTL) || defined(CONFIG_PROCESS_DEBUG)
  110. #if defined(CONFIG_SYSCTL)
  111. if (sysctl_userprocess_debug)
  112. #endif
  113. {
  114. printk("User process fault: interruption code 0x%lXn",
  115.        error_code);
  116. printk("failing address: %lXn", address);
  117. show_regs(regs);
  118. }
  119. #endif
  120. si.si_signo = SIGSEGV;
  121. si.si_code = si_code;
  122. si.si_addr = (void *) address;
  123. force_sig_info(SIGSEGV, &si, current);
  124. }
  125. /*
  126.  * This routine handles page faults.  It determines the address,
  127.  * and the problem, and then passes it off to one of the appropriate
  128.  * routines.
  129.  *
  130.  * error_code:
  131.  *   04       Protection           ->  Write-Protection  (suprression)
  132.  *   10       Segment translation  ->  Not present       (nullification)
  133.  *   11       Page translation     ->  Not present       (nullification)
  134.  */
  135. extern inline void do_exception(struct pt_regs *regs, unsigned long error_code)
  136. {
  137.         struct task_struct *tsk;
  138.         struct mm_struct *mm;
  139.         struct vm_area_struct * vma;
  140.         unsigned long address;
  141. int user_address;
  142.         unsigned long fixup;
  143. int si_code = SEGV_MAPERR;
  144.         tsk = current;
  145.         mm = tsk->mm;
  146. /* 
  147.          * Check for low-address protection.  This needs to be treated
  148.  * as a special case because the translation exception code 
  149.  * field is not guaranteed to contain valid data in this case.
  150.  */
  151. if (error_code == 4 && !(S390_lowcore.trans_exc_code & 4)) {
  152. /* Low-address protection hit in kernel mode means 
  153.    NULL pointer write access in kernel mode.  */
  154.   if (!(regs->psw.mask & PSW_PROBLEM_STATE)) {
  155. address = 0;
  156. user_address = 0;
  157. goto no_context;
  158. }
  159. /* Low-address protection hit in user mode 'cannot happen'.  */
  160. die ("Low-address protection", regs, error_code);
  161.          do_exit(SIGKILL);
  162. }
  163.         /* 
  164.          * get the failing address 
  165.          * more specific the segment and page table portion of 
  166.          * the address 
  167.          */
  168.         address = S390_lowcore.trans_exc_code&0x7ffff000;
  169. user_address = check_user_space(regs, error_code);
  170. /*
  171.  * Verify that the fault happened in user space, that
  172.  * we are not in an interrupt and that there is a 
  173.  * user context.
  174.  */
  175.         if (user_address == 0 || in_interrupt() || !mm)
  176.                 goto no_context;
  177. /*
  178.  * When we get here, the fault happened in the current
  179.  * task's user address space, so we can switch on the
  180.  * interrupts again and then search the VMAs
  181.  */
  182. __sti();
  183.         down_read(&mm->mmap_sem);
  184.         vma = find_vma(mm, address);
  185.         if (!vma)
  186.                 goto bad_area;
  187.         if (vma->vm_start <= address) 
  188.                 goto good_area;
  189.         if (!(vma->vm_flags & VM_GROWSDOWN))
  190.                 goto bad_area;
  191.         if (expand_stack(vma, address))
  192.                 goto bad_area;
  193. /*
  194.  * Ok, we have a good vm_area for this memory access, so
  195.  * we can handle it..
  196.  */
  197. good_area:
  198. si_code = SEGV_ACCERR;
  199. if (error_code != 4) {
  200. /* page not present, check vm flags */
  201. if (!(vma->vm_flags & (VM_READ | VM_EXEC | VM_WRITE)))
  202. goto bad_area;
  203. } else {
  204. if (!(vma->vm_flags & VM_WRITE))
  205. goto bad_area;
  206. }
  207. survive:
  208. /*
  209.  * If for any reason at all we couldn't handle the fault,
  210.  * make sure we exit gracefully rather than endlessly redo
  211.  * the fault.
  212.  */
  213. switch (handle_mm_fault(mm, vma, address, error_code == 4)) {
  214. case 1:
  215. tsk->min_flt++;
  216. break;
  217. case 2:
  218. tsk->maj_flt++;
  219. break;
  220. case 0:
  221. goto do_sigbus;
  222. default:
  223. goto out_of_memory;
  224. }
  225.         up_read(&mm->mmap_sem);
  226.         return;
  227. /*
  228.  * Something tried to access memory that isn't in our memory map..
  229.  * Fix it, but check if it's kernel or user first..
  230.  */
  231. bad_area:
  232.         up_read(&mm->mmap_sem);
  233.         /* User mode accesses just cause a SIGSEGV */
  234.         if (regs->psw.mask & PSW_PROBLEM_STATE) {
  235.                 tsk->thread.prot_addr = address;
  236.                 tsk->thread.trap_no = error_code;
  237. force_sigsegv(regs, error_code, si_code, address);
  238.                 return;
  239. }
  240. no_context:
  241.         /* Are we prepared to handle this kernel fault?  */
  242.         if ((fixup = search_exception_table(regs->psw.addr)) != 0) {
  243.                 regs->psw.addr = fixup;
  244.                 return;
  245.         }
  246. /*
  247.  * Oops. The kernel tried to access some bad page. We'll have to
  248.  * terminate things with extreme prejudice.
  249.  */
  250.         if (user_address == 0)
  251.                 printk(KERN_ALERT "Unable to handle kernel pointer dereference"
  252.                 " at virtual kernel address %08lxn", address);
  253.         else
  254.                 printk(KERN_ALERT "Unable to handle kernel paging request"
  255.        " at virtual user address %08lxn", address);
  256.         die("Oops", regs, error_code);
  257.         do_exit(SIGKILL);
  258. /*
  259.  * We ran out of memory, or some other thing happened to us that made
  260.  * us unable to handle the page fault gracefully.
  261. */
  262. out_of_memory:
  263. if (tsk->pid == 1) {
  264. yield();
  265. goto survive;
  266. }
  267. up_read(&mm->mmap_sem);
  268. printk("VM: killing process %sn", tsk->comm);
  269. if (regs->psw.mask & PSW_PROBLEM_STATE)
  270. do_exit(SIGKILL);
  271. goto no_context;
  272. do_sigbus:
  273. up_read(&mm->mmap_sem);
  274. /*
  275.  * Send a sigbus, regardless of whether we were in kernel
  276.  * or user mode.
  277.  */
  278.         tsk->thread.prot_addr = address;
  279.         tsk->thread.trap_no = error_code;
  280. force_sig(SIGBUS, tsk);
  281. /* Kernel mode? Handle exceptions or die */
  282. if (!(regs->psw.mask & PSW_PROBLEM_STATE))
  283. goto no_context;
  284. }
  285. void do_protection_exception(struct pt_regs *regs, unsigned long error_code)
  286. {
  287. regs->psw.addr -= (error_code >> 16);
  288. do_exception(regs, 4);
  289. }
  290. void do_segment_exception(struct pt_regs *regs, unsigned long error_code)
  291. {
  292. do_exception(regs, 0x10);
  293. }
  294. void do_page_exception(struct pt_regs *regs, unsigned long error_code)
  295. {
  296. do_exception(regs, 0x11);
  297. }
  298. typedef struct _pseudo_wait_t {
  299.        struct _pseudo_wait_t *next;
  300.        wait_queue_head_t queue;
  301.        unsigned long address;
  302.        int resolved;
  303. } pseudo_wait_t;
  304. static pseudo_wait_t *pseudo_lock_queue = NULL;
  305. static spinlock_t pseudo_wait_spinlock; /* spinlock to protect lock queue */
  306. /*
  307.  * This routine handles 'pagex' pseudo page faults.
  308.  */
  309. asmlinkage void
  310. do_pseudo_page_fault(struct pt_regs *regs, unsigned long error_code)
  311. {
  312.         pseudo_wait_t wait_struct;
  313.         pseudo_wait_t *ptr, *last, *next;
  314.         unsigned long address;
  315.         /*
  316.          * get the failing address
  317.          * more specific the segment and page table portion of
  318.          * the address
  319.          */
  320.         address = S390_lowcore.trans_exc_code & 0xfffff000;
  321.         if (address & 0x80000000) {
  322.                 /* high bit set -> a page has been swapped in by VM */
  323.                 address &= 0x7fffffff;
  324.                 spin_lock(&pseudo_wait_spinlock);
  325.                 last = NULL;
  326.                 ptr = pseudo_lock_queue;
  327.                 while (ptr != NULL) {
  328.                         next = ptr->next;
  329.                         if (address == ptr->address) {
  330.  /*
  331.                                  * This is one of the processes waiting
  332.                                  * for the page. Unchain from the queue.
  333.                                  * There can be more than one process
  334.                                  * waiting for the same page. VM presents
  335.                                  * an initial and a completion interrupt for
  336.                                  * every process that tries to access a 
  337.                                  * page swapped out by VM. 
  338.                                  */
  339.                                 if (last == NULL)
  340.                                         pseudo_lock_queue = next;
  341.                                 else
  342.                                         last->next = next;
  343.                                 /* now wake up the process */
  344.                                 ptr->resolved = 1;
  345.                                 wake_up(&ptr->queue);
  346.                         } else
  347.                                 last = ptr;
  348.                         ptr = next;
  349.                 }
  350.                 spin_unlock(&pseudo_wait_spinlock);
  351.         } else {
  352.                 /* Pseudo page faults in kernel mode is a bad idea */
  353.                 if (!(regs->psw.mask & PSW_PROBLEM_STATE)) {
  354.                         /*
  355.  * VM presents pseudo page faults if the interrupted
  356.  * state was not disabled for interrupts. So we can
  357.  * get pseudo page fault interrupts while running
  358.  * in kernel mode. We simply access the page here
  359.  * while we are running disabled. VM will then swap
  360.  * in the page synchronously.
  361.                          */
  362.                          if (check_user_space(regs, error_code) == 0)
  363.                                  /* dereference a virtual kernel address */
  364.                                  __asm__ __volatile__ (
  365.                                          "  ic 0,0(%0)"
  366.                                          : : "a" (address) : "0");
  367.                          else
  368.                                  /* dereference a virtual user address */
  369.                                  __asm__ __volatile__ (
  370.                                          "  la   2,0(%0)n"
  371.                                          "  sacf 512n"
  372.                                          "  ic   2,0(2)n"
  373.  "0:sacf 0n"
  374.  ".section __ex_table,"a"n"
  375.  "  .align 4n"
  376.  "  .long  0b,0bn"
  377.  ".previous"
  378.                                          : : "a" (address) : "2" );
  379.                         return;
  380.                 }
  381. /* initialize and add element to pseudo_lock_queue */
  382.                 init_waitqueue_head (&wait_struct.queue);
  383.                 wait_struct.address = address;
  384.                 wait_struct.resolved = 0;
  385.                 spin_lock(&pseudo_wait_spinlock);
  386.                 wait_struct.next = pseudo_lock_queue;
  387.                 pseudo_lock_queue = &wait_struct;
  388.                 spin_unlock(&pseudo_wait_spinlock);
  389.                 /* go to sleep */
  390.                 wait_event(wait_struct.queue, wait_struct.resolved);
  391.         }
  392. }
  393. #ifdef CONFIG_PFAULT 
  394. /*
  395.  * 'pfault' pseudo page faults routines.
  396.  */
  397. static int pfault_disable = 0;
  398. static int __init nopfault(char *str)
  399. {
  400. pfault_disable = 1;
  401. return 1;
  402. }
  403. __setup("nopfault", nopfault);
  404. typedef struct {
  405. __u16 refdiagc;
  406. __u16 reffcode;
  407. __u16 refdwlen;
  408. __u16 refversn;
  409. __u64 refgaddr;
  410. __u64 refselmk;
  411. __u64 refcmpmk;
  412. __u64 reserved;
  413. } __attribute__ ((packed)) pfault_refbk_t;
  414. int pfault_init(void)
  415. {
  416. pfault_refbk_t refbk =
  417. { 0x258, 0, 5, 2, __LC_KERNEL_STACK, 1ULL << 48, 1ULL << 48, 0ULL };
  418.         int rc;
  419. if (pfault_disable)
  420. return -1;
  421.         __asm__ __volatile__(
  422.                 "    diag  %1,%0,0x258n"
  423. "0:  j     2fn"
  424. "1:  la    %0,8n"
  425. "2:n"
  426. ".section __ex_table,"a"n"
  427. "   .align 4n"
  428. "   .long  0b,1bn"
  429. ".previous"
  430.                 : "=d" (rc) : "a" (&refbk) : "cc" );
  431.         __ctl_set_bit(0, 9);
  432.         return rc;
  433. }
  434. void pfault_fini(void)
  435. {
  436. pfault_refbk_t refbk =
  437. { 0x258, 1, 5, 2, 0ULL, 0ULL, 0ULL, 0ULL };
  438. if (pfault_disable)
  439. return;
  440. __ctl_clear_bit(0,9);
  441.         __asm__ __volatile__(
  442.                 "    diag  %0,0,0x258n"
  443. "0:n"
  444. ".section __ex_table,"a"n"
  445. "   .align 4n"
  446. "   .long  0b,0bn"
  447. ".previous"
  448. : : "a" (&refbk) : "cc" );
  449. }
  450. asmlinkage void
  451. pfault_interrupt(struct pt_regs *regs, __u16 error_code)
  452. {
  453. struct task_struct *tsk;
  454. wait_queue_head_t queue;
  455. wait_queue_head_t *qp;
  456. __u16 subcode;
  457. /*
  458.  * Get the external interruption subcode & pfault
  459.  * initial/completion signal bit. VM stores this 
  460.  * in the 'cpu address' field associated with the
  461.          * external interrupt. 
  462.  */
  463. subcode = S390_lowcore.cpu_addr;
  464. if ((subcode & 0xff00) != 0x0200)
  465. return;
  466. /*
  467.  * Get the token (= address of kernel stack of affected task).
  468.  */
  469. tsk = (struct task_struct *)
  470. (*((unsigned long *) __LC_PFAULT_INTPARM) - THREAD_SIZE);
  471. /*
  472.  * We got all needed information from the lowcore and can
  473.  * now safely switch on interrupts.
  474.  */
  475. if (regs->psw.mask & PSW_PROBLEM_STATE)
  476. __sti();
  477. if (subcode & 0x0080) {
  478. /* signal bit is set -> a page has been swapped in by VM */
  479. qp = (wait_queue_head_t *)
  480. xchg(&tsk->thread.pfault_wait, -1);
  481. if (qp != NULL) {
  482. /* Initial interrupt was faster than the completion
  483.  * interrupt. pfault_wait is valid. Set pfault_wait
  484.  * back to zero and wake up the process. This can
  485.  * safely be done because the task is still sleeping
  486.  * and can't procude new pfaults. */
  487. tsk->thread.pfault_wait = 0ULL;
  488. wake_up(qp);
  489. }
  490. } else {
  491. /* signal bit not set -> a real page is missing. */
  492.                 init_waitqueue_head (&queue);
  493. qp = (wait_queue_head_t *)
  494. xchg(&tsk->thread.pfault_wait, (addr_t) &queue);
  495. if (qp != NULL) {
  496. /* Completion interrupt was faster than the initial
  497.  * interrupt (swapped in a -1 for pfault_wait). Set
  498.  * pfault_wait back to zero and exit. This can be
  499.  * done safely because tsk is running in kernel 
  500.  * mode and can't produce new pfaults. */
  501. tsk->thread.pfault_wait = 0ULL;
  502. }
  503.                 /* go to sleep */
  504.                 wait_event(queue, tsk->thread.pfault_wait == 0ULL);
  505. }
  506. }
  507. #endif