fault.c
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:16k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /*
  2.  *  arch/s390/mm/fault.c
  3.  *
  4.  *  S390 version
  5.  *    Copyright (C) 1999 IBM Deutschland Entwicklung GmbH, IBM Corporation
  6.  *    Author(s): Hartmut Penner (hp@de.ibm.com)
  7.  *               Ulrich Weigand (uweigand@de.ibm.com)
  8.  *
  9.  *  Derived from "arch/i386/mm/fault.c"
  10.  *    Copyright (C) 1995  Linus Torvalds
  11.  */
  12. #include <linux/config.h>
  13. #include <linux/signal.h>
  14. #include <linux/sched.h>
  15. #include <linux/kernel.h>
  16. #include <linux/errno.h>
  17. #include <linux/string.h>
  18. #include <linux/types.h>
  19. #include <linux/ptrace.h>
  20. #include <linux/mman.h>
  21. #include <linux/mm.h>
  22. #include <linux/smp.h>
  23. #include <linux/smp_lock.h>
  24. #include <linux/compatmac.h>
  25. #include <linux/init.h>
  26. #include <linux/console.h>
  27. #include <asm/system.h>
  28. #include <asm/uaccess.h>
  29. #include <asm/pgtable.h>
  30. #include <asm/hardirq.h>
  31. #ifdef CONFIG_SYSCTL
  32. extern int sysctl_userprocess_debug;
  33. #endif
  34. extern void die(const char *,struct pt_regs *,long);
  35. static void force_sigsegv(struct task_struct *tsk, int code, void *address);
  36. extern spinlock_t timerlist_lock;
  37. /*
  38.  * Unlock any spinlocks which will prevent us from getting the
  39.  * message out (timerlist_lock is acquired through the
  40.  * console unblank code)
  41.  */
  42. void bust_spinlocks(int yes)
  43. {
  44. spin_lock_init(&timerlist_lock);
  45. if (yes) {
  46. oops_in_progress = 1;
  47. } else {
  48. int loglevel_save = console_loglevel;
  49. oops_in_progress = 0;
  50. console_unblank();
  51. /*
  52.  * OK, the message is on the console.  Now we call printk()
  53.  * without oops_in_progress set so that printk will give klogd
  54.  * a poke.  Hold onto your hats...
  55.  */
  56. console_loglevel = 15;
  57. printk(" ");
  58. console_loglevel = loglevel_save;
  59. }
  60. }
  61. /*
  62.  * This routine handles page faults.  It determines the address,
  63.  * and the problem, and then passes it off to one of the appropriate
  64.  * routines.
  65.  *
  66.  * error_code:
  67.  *             ****0004       Protection           ->  Write-Protection  (suprression)
  68.  *             ****0010       Segment translation  ->  Not present       (nullification)
  69.  *             ****0011       Page translation     ->  Not present       (nullification)
  70.  */
  71. asmlinkage void do_page_fault(struct pt_regs *regs, unsigned long error_code)
  72. {
  73.         struct task_struct *tsk;
  74.         struct mm_struct *mm;
  75.         struct vm_area_struct * vma;
  76.         unsigned long address;
  77.         unsigned long fixup;
  78.         int write;
  79. int si_code = SEGV_MAPERR;
  80. int kernel_address = 0;
  81.         tsk = current;
  82.         mm = tsk->mm;
  83. /* 
  84.          * Check for low-address protection.  This needs to be treated
  85.  * as a special case because the translation exception code 
  86.  * field is not guaranteed to contain valid data in this case.
  87.  */
  88. if ((error_code & 0xff) == 4 && !(S390_lowcore.trans_exc_code & 4)) {
  89. /* Low-address protection hit in kernel mode means 
  90.    NULL pointer write access in kernel mode.  */
  91.   if (!(regs->psw.mask & PSW_PROBLEM_STATE)) {
  92. address = 0;
  93. kernel_address = 1;
  94. goto no_context;
  95. }
  96. /* Low-address protection hit in user mode 'cannot happen'.  */
  97. die ("Low-address protection", regs, error_code);
  98.          do_exit(SIGKILL);
  99. }
  100.         /* 
  101.          * get the failing address 
  102.          * more specific the segment and page table portion of 
  103.          * the address 
  104.          */
  105.         address = S390_lowcore.trans_exc_code&0x7ffff000;
  106. /*
  107.  * Check which address space the address belongs to
  108.  */
  109. switch (S390_lowcore.trans_exc_code & 3)
  110. {
  111. case 0: /* Primary Segment Table Descriptor */
  112. kernel_address = 1;
  113. goto no_context;
  114. case 1: /* STD determined via access register */
  115. if (S390_lowcore.exc_access_id == 0)
  116. {
  117. kernel_address = 1;
  118. goto no_context;
  119. }
  120. if (regs && S390_lowcore.exc_access_id < NUM_ACRS)
  121. {
  122. if (regs->acrs[S390_lowcore.exc_access_id] == 0)
  123. {
  124. kernel_address = 1;
  125. goto no_context;
  126. }
  127. if (regs->acrs[S390_lowcore.exc_access_id] == 1)
  128. {
  129. /* user space address */
  130. break;
  131. }
  132. }
  133. die("page fault via unknown access register", regs, error_code);
  134.          do_exit(SIGKILL);
  135. break;
  136. case 2: /* Secondary Segment Table Descriptor */
  137. case 3: /* Home Segment Table Descriptor */
  138. /* user space address */
  139. break;
  140. }
  141. /*
  142.  * Check whether we have a user MM in the first place.
  143.  */
  144.         if (in_interrupt() || !mm || !(regs->psw.mask & _PSW_IO_MASK_BIT))
  145.                 goto no_context;
  146. /*
  147.  * When we get here, the fault happened in the current
  148.  * task's user address space, so we can switch on the
  149.  * interrupts again and then search the VMAs
  150.  */
  151. __sti();
  152.         down_read(&mm->mmap_sem);
  153.         vma = find_vma(mm, address);
  154.         if (!vma)
  155.                 goto bad_area;
  156.         if (vma->vm_start <= address) 
  157.                 goto good_area;
  158.         if (!(vma->vm_flags & VM_GROWSDOWN))
  159.                 goto bad_area;
  160.         if (expand_stack(vma, address))
  161.                 goto bad_area;
  162. /*
  163.  * Ok, we have a good vm_area for this memory access, so
  164.  * we can handle it..
  165.  */
  166. good_area:
  167.         write = 0;
  168. si_code = SEGV_ACCERR;
  169.         switch (error_code & 0xFF) {
  170.                 case 0x04:                                /* write, present*/
  171.                         write = 1;
  172.                         break;
  173.                 case 0x10:                                   /* not present*/
  174.                 case 0x11:                                   /* not present*/
  175.                         if (!(vma->vm_flags & (VM_READ | VM_EXEC | VM_WRITE)))
  176.                                 goto bad_area;
  177.                         break;
  178.                 default:
  179.                        printk("code should be 4, 10 or 11 (%lX) n",error_code&0xFF);  
  180.                        goto bad_area;
  181.         }
  182.  survive:
  183. /*
  184.  * If for any reason at all we couldn't handle the fault,
  185.  * make sure we exit gracefully rather than endlessly redo
  186.  * the fault.
  187.  */
  188. switch (handle_mm_fault(mm, vma, address, write)) {
  189. case 1:
  190. tsk->min_flt++;
  191. break;
  192. case 2:
  193. tsk->maj_flt++;
  194. break;
  195. case 0:
  196. goto do_sigbus;
  197. default:
  198. goto out_of_memory;
  199. }
  200.         up_read(&mm->mmap_sem);
  201.         return;
  202. /*
  203.  * Something tried to access memory that isn't in our memory map..
  204.  * Fix it, but check if it's kernel or user first..
  205.  */
  206. bad_area:
  207.         up_read(&mm->mmap_sem);
  208.         /* User mode accesses just cause a SIGSEGV */
  209.         if (regs->psw.mask & PSW_PROBLEM_STATE) {
  210.                 tsk->thread.prot_addr = address;
  211.                 tsk->thread.trap_no = error_code;
  212. #ifndef CONFIG_SYSCTL
  213. #ifdef CONFIG_PROCESS_DEBUG
  214.                 printk("User process fault: interruption code 0x%lXn",error_code);
  215.                 printk("failing address: %lXn",address);
  216. show_regs(regs);
  217. #endif
  218. #else
  219. if (sysctl_userprocess_debug) {
  220. printk("User process fault: interruption code 0x%lXn",
  221.        error_code);
  222. printk("failing address: %lXn", address);
  223. show_regs(regs);
  224. }
  225. #endif
  226. force_sigsegv(tsk, si_code, (void *)address);
  227.                 return;
  228. }
  229. no_context:
  230.         /* Are we prepared to handle this kernel fault?  */
  231.         if ((fixup = search_exception_table(regs->psw.addr)) != 0) {
  232.                 regs->psw.addr = fixup;
  233.                 return;
  234.         }
  235. /*
  236.  * Oops. The kernel tried to access some bad page. We'll have to
  237.  * terminate things with extreme prejudice.
  238.  */
  239.         if (kernel_address)
  240.                 printk(KERN_ALERT "Unable to handle kernel pointer dereference"
  241.                 " at virtual kernel address %08lxn", address);
  242.         else
  243.                 printk(KERN_ALERT "Unable to handle kernel paging request"
  244.        " at virtual user address %08lxn", address);
  245.         die("Oops", regs, error_code);
  246.         do_exit(SIGKILL);
  247. /*
  248.  * We ran out of memory, or some other thing happened to us that made
  249.  * us unable to handle the page fault gracefully.
  250. */
  251. out_of_memory:
  252. up_read(&mm->mmap_sem);
  253. if (tsk->pid == 1) {
  254. tsk->policy |= SCHED_YIELD;
  255. schedule();
  256. down_read(&mm->mmap_sem);
  257. goto survive;
  258. }
  259. printk("VM: killing process %sn", tsk->comm);
  260. if (regs->psw.mask & PSW_PROBLEM_STATE)
  261. do_exit(SIGKILL);
  262. goto no_context;
  263. do_sigbus:
  264. up_read(&mm->mmap_sem);
  265. /*
  266.  * Send a sigbus, regardless of whether we were in kernel
  267.  * or user mode.
  268.  */
  269.         tsk->thread.prot_addr = address;
  270.         tsk->thread.trap_no = error_code;
  271. force_sig(SIGBUS, tsk);
  272. /* Kernel mode? Handle exceptions or die */
  273. if (!(regs->psw.mask & PSW_PROBLEM_STATE))
  274. goto no_context;
  275. }
  276. /*
  277.  * Send SIGSEGV to task.  This is an external routine
  278.  * to keep the stack usage of do_page_fault small.
  279.  */
  280. static void force_sigsegv(struct task_struct *tsk, int code, void *address)
  281. {
  282. struct siginfo si;
  283. si.si_signo = SIGSEGV;
  284. si.si_code = code;
  285. si.si_addr = address;
  286. force_sig_info(SIGSEGV, &si, tsk);
  287. }
  288. typedef struct _pseudo_wait_t {
  289.        struct _pseudo_wait_t *next;
  290.        wait_queue_head_t queue;
  291.        unsigned long address;
  292.        int resolved;
  293. } pseudo_wait_t;
  294. static pseudo_wait_t *pseudo_lock_queue = NULL;
  295. static spinlock_t pseudo_wait_spinlock; /* spinlock to protect lock queue */
  296. /*
  297.  * This routine handles 'pagex' pseudo page faults.
  298.  */
  299. asmlinkage void
  300. do_pseudo_page_fault(struct pt_regs *regs, unsigned long error_code)
  301. {
  302.         pseudo_wait_t wait_struct;
  303.         pseudo_wait_t *ptr, *last, *next;
  304.         unsigned long address;
  305.         int kernel_address;
  306.         /*
  307.          * get the failing address
  308.          * more specific the segment and page table portion of
  309.          * the address
  310.          */
  311.         address = S390_lowcore.trans_exc_code & 0xfffff000;
  312.         if (address & 0x80000000) {
  313.                 /* high bit set -> a page has been swapped in by VM */
  314.                 address &= 0x7fffffff;
  315.                 spin_lock(&pseudo_wait_spinlock);
  316.                 last = NULL;
  317.                 ptr = pseudo_lock_queue;
  318.                 while (ptr != NULL) {
  319.                         next = ptr->next;
  320.                         if (address == ptr->address) {
  321.  /*
  322.                                  * This is one of the processes waiting
  323.                                  * for the page. Unchain from the queue.
  324.                                  * There can be more than one process
  325.                                  * waiting for the same page. VM presents
  326.                                  * an initial and a completion interrupt for
  327.                                  * every process that tries to access a 
  328.                                  * page swapped out by VM. 
  329.                                  */
  330.                                 if (last == NULL)
  331.                                         pseudo_lock_queue = next;
  332.                                 else
  333.                                         last->next = next;
  334.                                 /* now wake up the process */
  335.                                 ptr->resolved = 1;
  336.                                 wake_up(&ptr->queue);
  337.                         } else
  338.                                 last = ptr;
  339.                         ptr = next;
  340.                 }
  341.                 spin_unlock(&pseudo_wait_spinlock);
  342.         } else {
  343.                 /* Pseudo page faults in kernel mode is a bad idea */
  344.                 if (!(regs->psw.mask & PSW_PROBLEM_STATE)) {
  345.                         /*
  346.  * VM presents pseudo page faults if the interrupted
  347.  * state was not disabled for interrupts. So we can
  348.  * get pseudo page fault interrupts while running
  349.  * in kernel mode. We simply access the page here
  350.  * while we are running disabled. VM will then swap
  351.  * in the page synchronously.
  352.                          */
  353. kernel_address = 0;
  354.                          switch (S390_lowcore.trans_exc_code & 3) {
  355.                          case 0: /* Primary Segment Table Descriptor */
  356.                                  kernel_address = 1;
  357.                                  break;
  358.                          case 1: /* STD determined via access register */
  359.                                  if (S390_lowcore.exc_access_id == 0 ||
  360.                                      regs->acrs[S390_lowcore.exc_access_id]==0)
  361.                                          kernel_address = 1;
  362.                                  break;
  363.                          case 2: /* Secondary Segment Table Descriptor */
  364.                          case 3: /* Home Segment Table Descriptor */
  365.                                  break;
  366.                          }
  367.                          if (kernel_address)
  368.                                  /* dereference a virtual kernel address */
  369.                                  __asm__ __volatile__ (
  370.                                          "  ic 0,0(%0)"
  371.                                          : : "a" (address) : "0");
  372.                          else
  373.                                  /* dereference a virtual user address */
  374.                                  __asm__ __volatile__ (
  375.                                          "  la   2,0(%0)n"
  376.                                          "  sacf 512n"
  377.                                          "  ic   2,0(2)n"
  378.  "0:sacf 0n"
  379.  ".section __ex_table,"a"n"
  380.  "  .align 4n"
  381.  "  .long  0b,0bn"
  382.  ".previous"
  383.                                          : : "a" (address) : "2" );
  384.                         return;
  385.                 }
  386. /* initialize and add element to pseudo_lock_queue */
  387.                 init_waitqueue_head (&wait_struct.queue);
  388.                 wait_struct.address = address;
  389.                 wait_struct.resolved = 0;
  390.                 spin_lock(&pseudo_wait_spinlock);
  391.                 wait_struct.next = pseudo_lock_queue;
  392.                 pseudo_lock_queue = &wait_struct;
  393.                 spin_unlock(&pseudo_wait_spinlock);
  394.                 /* go to sleep */
  395.                 wait_event(wait_struct.queue, wait_struct.resolved);
  396.         }
  397. }
  398. #ifdef CONFIG_PFAULT 
  399. /*
  400.  * 'pfault' pseudo page faults routines.
  401.  */
  402. static int pfault_disable = 0;
  403. static int __init nopfault(char *str)
  404. {
  405. pfault_disable = 1;
  406. return 1;
  407. }
  408. __setup("nopfault", nopfault);
  409. typedef struct {
  410. __u16 refdiagc;
  411. __u16 reffcode;
  412. __u16 refdwlen;
  413. __u16 refversn;
  414. __u64 refgaddr;
  415. __u64 refselmk;
  416. __u64 refcmpmk;
  417. __u64 reserved;
  418. } __attribute__ ((packed)) pfault_refbk_t;
  419. int pfault_init(void)
  420. {
  421. pfault_refbk_t refbk =
  422. { 0x258, 0, 5, 2, __LC_KERNEL_STACK, 1ULL << 48, 1ULL << 48, 0ULL };
  423.         int rc;
  424. if (pfault_disable)
  425. return -1;
  426.         __asm__ __volatile__(
  427.                 "    diag  %1,%0,0x258n"
  428. "0:  j     2fn"
  429. "1:  la    %0,8n"
  430. "2:n"
  431. ".section __ex_table,"a"n"
  432. "   .align 4n"
  433. "   .long  0b,1bn"
  434. ".previous"
  435.                 : "=d" (rc) : "a" (&refbk) : "cc" );
  436.         __ctl_set_bit(0, 9);
  437.         return rc;
  438. }
  439. void pfault_fini(void)
  440. {
  441. pfault_refbk_t refbk =
  442. { 0x258, 1, 5, 2, 0ULL, 0ULL, 0ULL, 0ULL };
  443. if (pfault_disable)
  444. return;
  445. __ctl_clear_bit(0,9);
  446.         __asm__ __volatile__(
  447.                 "    diag  %0,0,0x258n"
  448. "0:n"
  449. ".section __ex_table,"a"n"
  450. "   .align 4n"
  451. "   .long  0b,0bn"
  452. ".previous"
  453. : : "a" (&refbk) : "cc" );
  454. }
  455. asmlinkage void
  456. pfault_interrupt(struct pt_regs *regs, __u16 error_code)
  457. {
  458. struct task_struct *tsk;
  459. wait_queue_head_t queue;
  460. wait_queue_head_t *qp;
  461. __u16 subcode;
  462. /*
  463.  * Get the external interruption subcode & pfault
  464.  * initial/completion signal bit. VM stores this 
  465.  * in the 'cpu address' field associated with the
  466.          * external interrupt. 
  467.  */
  468. subcode = S390_lowcore.cpu_addr;
  469. if ((subcode & 0xff00) != 0x0200)
  470. return;
  471. /*
  472.  * Get the token (= address of kernel stack of affected task).
  473.  */
  474. tsk = (struct task_struct *)
  475. (*((unsigned long *) __LC_PFAULT_INTPARM) - THREAD_SIZE);
  476. /*
  477.  * We got all needed information from the lowcore and can
  478.  * now safely switch on interrupts.
  479.  */
  480. if (regs->psw.mask & PSW_PROBLEM_STATE)
  481. __sti();
  482. if (subcode & 0x0080) {
  483. /* signal bit is set -> a page has been swapped in by VM */
  484. qp = (wait_queue_head_t *)
  485. xchg(&tsk->thread.pfault_wait, -1);
  486. if (qp != NULL) {
  487. /* Initial interrupt was faster than the completion
  488.  * interrupt. pfault_wait is valid. Set pfault_wait
  489.  * back to zero and wake up the process. This can
  490.  * safely be done because the task is still sleeping
  491.  * and can't procude new pfaults. */
  492. tsk->thread.pfault_wait = 0ULL;
  493. wake_up(qp);
  494. }
  495. } else {
  496. /* signal bit not set -> a real page is missing. */
  497.                 init_waitqueue_head (&queue);
  498. qp = (wait_queue_head_t *)
  499. xchg(&tsk->thread.pfault_wait, (addr_t) &queue);
  500. if (qp != NULL) {
  501. /* Completion interrupt was faster than the initial
  502.  * interrupt (swapped in a -1 for pfault_wait). Set
  503.  * pfault_wait back to zero and exit. This can be
  504.  * done safely because tsk is running in kernel 
  505.  * mode and can't produce new pfaults. */
  506. tsk->thread.pfault_wait = 0ULL;
  507. }
  508.                 /* go to sleep */
  509.                 wait_event(queue, tsk->thread.pfault_wait == 0ULL);
  510. }
  511. }
  512. #endif