stram.c
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:35k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /*
  2.  * arch/m68k/atari/stram.c: Functions for ST-RAM allocations
  3.  *
  4.  * Copyright 1994-97 Roman Hodek <Roman.Hodek@informatik.uni-erlangen.de>
  5.  *
  6.  * This file is subject to the terms and conditions of the GNU General Public
  7.  * License.  See the file COPYING in the main directory of this archive
  8.  * for more details.
  9.  */
  10. #include <linux/config.h>
  11. #include <linux/types.h>
  12. #include <linux/kernel.h>
  13. #include <linux/mm.h>
  14. #include <linux/kdev_t.h>
  15. #include <linux/major.h>
  16. #include <linux/init.h>
  17. #include <linux/swap.h>
  18. #include <linux/slab.h>
  19. #include <linux/vmalloc.h>
  20. #include <linux/pagemap.h>
  21. #include <linux/shm.h>
  22. #include <linux/bootmem.h>
  23. #include <asm/setup.h>
  24. #include <asm/machdep.h>
  25. #include <asm/page.h>
  26. #include <asm/pgtable.h>
  27. #include <asm/atarihw.h>
  28. #include <asm/atari_stram.h>
  29. #include <asm/io.h>
  30. #include <asm/semaphore.h>
  31. #ifdef CONFIG_STRAM_SWAP
  32. #define MAJOR_NR    Z2RAM_MAJOR
  33. #define do_z2_request do_stram_request
  34. #include <linux/blk.h>
  35. #undef DEVICE_NAME
  36. #define DEVICE_NAME "stram"
  37. #endif
  38. #undef DEBUG
  39. #ifdef DEBUG
  40. #define DPRINTK(fmt,args...) printk( fmt, ##args )
  41. #else
  42. #define DPRINTK(fmt,args...)
  43. #endif
  44. #if defined(CONFIG_PROC_FS) && defined(CONFIG_STRAM_PROC)
  45. /* abbrev for the && above... */
  46. #define DO_PROC
  47. #include <linux/proc_fs.h>
  48. #endif
  49. /* Pre-swapping comments:
  50.  *
  51.  * ++roman:
  52.  * 
  53.  * New version of ST-Ram buffer allocation. Instead of using the
  54.  * 1 MB - 4 KB that remain when the ST-Ram chunk starts at $1000
  55.  * (1 MB granularity!), such buffers are reserved like this:
  56.  *
  57.  *  - If the kernel resides in ST-Ram anyway, we can take the buffer
  58.  *    from behind the current kernel data space the normal way
  59.  *    (incrementing start_mem).
  60.  *    
  61.  *  - If the kernel is in TT-Ram, stram_init() initializes start and
  62.  *    end of the available region. Buffers are allocated from there
  63.  *    and mem_init() later marks the such used pages as reserved.
  64.  *    Since each TT-Ram chunk is at least 4 MB in size, I hope there
  65.  *    won't be an overrun of the ST-Ram region by normal kernel data
  66.  *    space.
  67.  *    
  68.  * For that, ST-Ram may only be allocated while kernel initialization
  69.  * is going on, or exactly: before mem_init() is called. There is also
  70.  * no provision now for freeing ST-Ram buffers. It seems that isn't
  71.  * really needed.
  72.  *
  73.  */
  74. /*
  75.  * New Nov 1997: Use ST-RAM as swap space!
  76.  *
  77.  * In the past, there were often problems with modules that require ST-RAM
  78.  * buffers. Such drivers have to use __get_dma_pages(), which unfortunately
  79.  * often isn't very successful in allocating more than 1 page :-( [1] The net
  80.  * result was that most of the time you couldn't insmod such modules (ataflop,
  81.  * ACSI, SCSI on Falcon, Atari internal framebuffer, not to speak of acsi_slm,
  82.  * which needs a 1 MB buffer... :-).
  83.  *
  84.  * To overcome this limitation, ST-RAM can now be turned into a very
  85.  * high-speed swap space. If a request for an ST-RAM buffer comes, the kernel
  86.  * now tries to unswap some pages on that swap device to make some free (and
  87.  * contiguous) space. This works much better in comparison to
  88.  * __get_dma_pages(), since used swap pages can be selectively freed by either
  89.  * moving them to somewhere else in swap space, or by reading them back into
  90.  * system memory. Ok, there operation of unswapping isn't really cheap (for
  91.  * each page, one has to go through the page tables of all processes), but it
  92.  * doesn't happen that often (only when allocation ST-RAM, i.e. when loading a
  93.  * module that needs ST-RAM). But it at least makes it possible to load such
  94.  * modules!
  95.  *
  96.  * It could also be that overall system performance increases a bit due to
  97.  * ST-RAM swapping, since slow ST-RAM isn't used anymore for holding data or
  98.  * executing code in. It's then just a (very fast, compared to disk) back
  99.  * storage for not-so-often needed data. (But this effect must be compared
  100.  * with the loss of total memory...) Don't know if the effect is already
  101.  * visible on a TT, where the speed difference between ST- and TT-RAM isn't
  102.  * that dramatic, but it should on machines where TT-RAM is really much faster
  103.  * (e.g. Afterburner).
  104.  * 
  105.  *   [1]: __get_free_pages() does a fine job if you only want one page, but if
  106.  * you want more (contiguous) pages, it can give you such a block only if
  107.  * there's already a free one. The algorithm can't try to free buffers or swap
  108.  * out something in order to make more free space, since all that page-freeing
  109.  * mechanisms work "target-less", i.e. they just free something, but not in a
  110.  * specific place. I.e., __get_free_pages() can't do anything to free
  111.  * *adjacent* pages :-( This situation becomes even worse for DMA memory,
  112.  * since the freeing algorithms are also blind to DMA capability of pages.
  113.  */
  114. /* 1998-10-20: ++andreas
  115.    unswap_by_move disabled because it does not handle swapped shm pages.
  116. */
  117. /* 2000-05-01: ++andreas
  118.    Integrated with bootmem.  Remove all traces of unswap_by_move.
  119. */
  120. #ifdef CONFIG_STRAM_SWAP
  121. #define ALIGN_IF_SWAP(x) PAGE_ALIGN(x)
  122. #else
  123. #define ALIGN_IF_SWAP(x) (x)
  124. #endif
  125. /* get index of swap page at address 'addr' */
  126. #define SWAP_NR(addr) (((addr) - swap_start) >> PAGE_SHIFT)
  127. /* get address of swap page #'nr' */
  128. #define SWAP_ADDR(nr) (swap_start + ((nr) << PAGE_SHIFT))
  129. /* get number of pages for 'n' bytes (already page-aligned) */
  130. #define N_PAGES(n) ((n) >> PAGE_SHIFT)
  131. /* The following two numbers define the maximum fraction of ST-RAM in total
  132.  * memory, below that the kernel would automatically use ST-RAM as swap
  133.  * space. This decision can be overriden with stram_swap= */
  134. #define MAX_STRAM_FRACTION_NOM 1
  135. #define MAX_STRAM_FRACTION_DENOM 3
  136. /* Start and end (virtual) of ST-RAM */
  137. static void *stram_start, *stram_end;
  138. /* set after memory_init() executed and allocations via start_mem aren't
  139.  * possible anymore */
  140. static int mem_init_done = 0;
  141. /* set if kernel is in ST-RAM */
  142. static int kernel_in_stram;
  143. typedef struct stram_block {
  144. struct stram_block *next;
  145. void *start;
  146. unsigned long size;
  147. unsigned flags;
  148. const char *owner;
  149. } BLOCK;
  150. /* values for flags field */
  151. #define BLOCK_FREE 0x01 /* free structure in the BLOCKs pool */
  152. #define BLOCK_KMALLOCED 0x02 /* structure allocated by kmalloc() */
  153. #define BLOCK_GFP 0x08 /* block allocated with __get_dma_pages() */
  154. #define BLOCK_INSWAP 0x10 /* block allocated in swap space */
  155. /* list of allocated blocks */
  156. static BLOCK *alloc_list = NULL;
  157. /* We can't always use kmalloc() to allocate BLOCK structures, since
  158.  * stram_alloc() can be called rather early. So we need some pool of
  159.  * statically allocated structures. 20 of them is more than enough, so in most
  160.  * cases we never should need to call kmalloc(). */
  161. #define N_STATIC_BLOCKS 20
  162. static BLOCK static_blocks[N_STATIC_BLOCKS];
  163. #ifdef CONFIG_STRAM_SWAP
  164. /* max. number of bytes to use for swapping
  165.  *  0 = no ST-RAM swapping
  166.  * -1 = do swapping (to whole ST-RAM) if it's less than MAX_STRAM_FRACTION of
  167.  *      total memory
  168.  */
  169. static int max_swap_size = -1;
  170. /* start and end of swapping area */
  171. static void *swap_start, *swap_end;
  172. /* The ST-RAM's swap info structure */
  173. static struct swap_info_struct *stram_swap_info;
  174. /* The ST-RAM's swap type */
  175. static int stram_swap_type;
  176. /* Semaphore for get_stram_region.  */
  177. static DECLARE_MUTEX(stram_swap_sem);
  178. /* major and minor device number of the ST-RAM device; for the major, we use
  179.  * the same as Amiga z2ram, which is really similar and impossible on Atari,
  180.  * and for the minor a relatively odd number to avoid the user creating and
  181.  * using that device. */
  182. #define STRAM_MAJOR Z2RAM_MAJOR
  183. #define STRAM_MINOR 13
  184. /* Some impossible pointer value */
  185. #define MAGIC_FILE_P (struct file *)0xffffdead
  186. #ifdef DO_PROC
  187. static unsigned stat_swap_read = 0;
  188. static unsigned stat_swap_write = 0;
  189. static unsigned stat_swap_force = 0;
  190. #endif /* DO_PROC */
  191. #endif /* CONFIG_STRAM_SWAP */
  192. /***************************** Prototypes *****************************/
  193. #ifdef CONFIG_STRAM_SWAP
  194. static int swap_init(void *start_mem, void *swap_data);
  195. static void *get_stram_region( unsigned long n_pages );
  196. static void free_stram_region( unsigned long offset, unsigned long n_pages
  197.        );
  198. static int in_some_region(void *addr);
  199. static unsigned long find_free_region( unsigned long n_pages, unsigned long
  200.        *total_free, unsigned long
  201.        *region_free );
  202. static void do_stram_request(request_queue_t *);
  203. static int stram_open( struct inode *inode, struct file *filp );
  204. static int stram_release( struct inode *inode, struct file *filp );
  205. #endif
  206. static void reserve_region(void *start, void *end);
  207. static BLOCK *add_region( void *addr, unsigned long size );
  208. static BLOCK *find_region( void *addr );
  209. static int remove_region( BLOCK *block );
  210. /************************* End of Prototypes **************************/
  211. /* ------------------------------------------------------------------------ */
  212. /*    Public Interface */
  213. /* ------------------------------------------------------------------------ */
  214. /*
  215.  * This init function is called very early by atari/config.c
  216.  * It initializes some internal variables needed for stram_alloc()
  217.  */
  218. void __init atari_stram_init(void)
  219. {
  220. int i;
  221. /* initialize static blocks */
  222. for( i = 0; i < N_STATIC_BLOCKS; ++i )
  223. static_blocks[i].flags = BLOCK_FREE;
  224. /* determine whether kernel code resides in ST-RAM (then ST-RAM is the
  225.  * first memory block at virtual 0x0) */
  226. stram_start = phys_to_virt(0);
  227. kernel_in_stram = (stram_start == 0);
  228. for( i = 0; i < m68k_num_memory; ++i ) {
  229. if (m68k_memory[i].addr == 0) {
  230. /* skip first 2kB or page (supervisor-only!) */
  231. stram_end = stram_start + m68k_memory[i].size;
  232. return;
  233. }
  234. }
  235. /* Should never come here! (There is always ST-Ram!) */
  236. panic( "atari_stram_init: no ST-RAM found!" );
  237. }
  238. /*
  239.  * This function is called from setup_arch() to reserve the pages needed for
  240.  * ST-RAM management.
  241.  */
  242. void __init atari_stram_reserve_pages(void *start_mem)
  243. {
  244. #ifdef CONFIG_STRAM_SWAP
  245. /* if max_swap_size is negative (i.e. no stram_swap= option given),
  246.  * determine at run time whether to use ST-RAM swapping */
  247. if (max_swap_size < 0)
  248. /* Use swapping if ST-RAM doesn't make up more than MAX_STRAM_FRACTION
  249.  * of total memory. In that case, the max. size is set to 16 MB,
  250.  * because ST-RAM can never be bigger than that.
  251.  * Also, never use swapping on a Hades, there's no separate ST-RAM in
  252.  * that machine. */
  253. max_swap_size =
  254. (!MACH_IS_HADES &&
  255.  (N_PAGES(stram_end-stram_start)*MAX_STRAM_FRACTION_DENOM <=
  256.   (high_memory>>PAGE_SHIFT)*MAX_STRAM_FRACTION_NOM)) ? 16*1024*1024 : 0;
  257. DPRINTK( "atari_stram_reserve_pages: max_swap_size = %dn", max_swap_size );
  258. #endif
  259. /* always reserve first page of ST-RAM, the first 2 kB are
  260.  * supervisor-only! */
  261. if (!kernel_in_stram)
  262. reserve_bootmem (0, PAGE_SIZE);
  263. #ifdef CONFIG_STRAM_SWAP
  264. {
  265. void *swap_data;
  266. start_mem = (void *) PAGE_ALIGN ((unsigned long) start_mem);
  267. /* determine first page to use as swap: if the kernel is
  268.    in TT-RAM, this is the first page of (usable) ST-RAM;
  269.    otherwise just use the end of kernel data (= start_mem) */
  270. swap_start = !kernel_in_stram ? stram_start + PAGE_SIZE : start_mem;
  271. /* decrement by one page, rest of kernel assumes that first swap page
  272.  * is always reserved and maybe doesn't handle SWP_ENTRY == 0
  273.  * correctly */
  274. swap_start -= PAGE_SIZE;
  275. swap_end = stram_end;
  276. if (swap_end-swap_start > max_swap_size)
  277. swap_end =  swap_start + max_swap_size;
  278. DPRINTK( "atari_stram_reserve_pages: swapping enabled; "
  279.  "swap=%p-%pn", swap_start, swap_end);
  280. /* reserve some amount of memory for maintainance of
  281.  * swapping itself: one page for each 2048 (PAGE_SIZE/2)
  282.  * swap pages. (2 bytes for each page) */
  283. swap_data = start_mem;
  284. start_mem += ((SWAP_NR(swap_end) + PAGE_SIZE/2 - 1)
  285.       >> (PAGE_SHIFT-1)) << PAGE_SHIFT;
  286. /* correct swap_start if necessary */
  287. if (swap_start + PAGE_SIZE == swap_data)
  288. swap_start = start_mem - PAGE_SIZE;
  289. if (!swap_init( start_mem, swap_data )) {
  290. printk( KERN_ERR "ST-RAM swap space initialization failedn" );
  291. max_swap_size = 0;
  292. return;
  293. }
  294. /* reserve region for swapping meta-data */
  295. reserve_region(swap_data, start_mem);
  296. /* reserve swapping area itself */
  297. reserve_region(swap_start + PAGE_SIZE, swap_end);
  298. /*
  299.  * If the whole ST-RAM is used for swapping, there are no allocatable
  300.  * dma pages left. But unfortunately, some shared parts of the kernel
  301.  * (particularily the SCSI mid-level) call __get_dma_pages()
  302.  * unconditionally :-( These calls then fail, and scsi.c even doesn't
  303.  * check for NULL return values and just crashes. The quick fix for
  304.  * this (instead of doing much clean up work in the SCSI code) is to
  305.  * pretend all pages are DMA-able by setting mach_max_dma_address to
  306.  * ULONG_MAX. This doesn't change any functionality so far, since
  307.  * get_dma_pages() shouldn't be used on Atari anyway anymore (better
  308.  * use atari_stram_alloc()), and the Atari SCSI drivers don't need DMA
  309.  * memory. But unfortunately there's now no kind of warning (even not
  310.  * a NULL return value) if you use get_dma_pages() nevertheless :-(
  311.  * You just will get non-DMA-able memory...
  312.  */
  313. mach_max_dma_address = 0xffffffff;
  314. }
  315. #endif
  316. }
  317. void atari_stram_mem_init_hook (void)
  318. {
  319. mem_init_done = 1;
  320. }
  321. /*
  322.  * This is main public interface: somehow allocate a ST-RAM block
  323.  * There are three strategies:
  324.  * 
  325.  *  - If we're before mem_init(), we have to make a static allocation. The
  326.  *    region is taken in the kernel data area (if the kernel is in ST-RAM) or
  327.  *    from the start of ST-RAM (if the kernel is in TT-RAM) and added to the
  328.  *    rsvd_stram_* region. The ST-RAM is somewhere in the middle of kernel
  329.  *    address space in the latter case.
  330.  * 
  331.  *  - If mem_init() already has been called and ST-RAM swapping is enabled,
  332.  *    try to get the memory from the (pseudo) swap-space, either free already
  333.  *    or by moving some other pages out of the swap.
  334.  *
  335.  *  - If mem_init() already has been called, and ST-RAM swapping is not
  336.  *    enabled, the only possibility is to try with __get_dma_pages(). This has
  337.  *    the disadvantage that it's very hard to get more than 1 page, and it is
  338.  *    likely to fail :-(
  339.  * 
  340.  */
  341. void *atari_stram_alloc(long size, const char *owner)
  342. {
  343. void *addr = NULL;
  344. BLOCK *block;
  345. int flags;
  346. DPRINTK("atari_stram_alloc(size=%08lx,owner=%s)n", size, owner);
  347. size = ALIGN_IF_SWAP(size);
  348. DPRINTK( "atari_stram_alloc: rounded size = %08lxn", size );
  349. #ifdef CONFIG_STRAM_SWAP
  350. if (max_swap_size) {
  351. /* If swapping is active: make some free space in the swap
  352.    "device". */
  353. DPRINTK( "atari_stram_alloc: after mem_init, swapping ok, "
  354.  "calling get_regionn" );
  355. addr = get_stram_region( N_PAGES(size) );
  356. flags = BLOCK_INSWAP;
  357. }
  358. else
  359. #endif
  360. if (!mem_init_done)
  361. return alloc_bootmem_low(size);
  362. else {
  363. /* After mem_init() and no swapping: can only resort to
  364.  * __get_dma_pages() */
  365. addr = (void *)__get_dma_pages(GFP_KERNEL, get_order(size));
  366. flags = BLOCK_GFP;
  367. DPRINTK( "atari_stram_alloc: after mem_init, swapping off, "
  368.  "get_pages=%pn", addr );
  369. }
  370. if (addr) {
  371. if (!(block = add_region( addr, size ))) {
  372. /* out of memory for BLOCK structure :-( */
  373. DPRINTK( "atari_stram_alloc: out of mem for BLOCK -- "
  374.  "freeing againn" );
  375. #ifdef CONFIG_STRAM_SWAP
  376. if (flags == BLOCK_INSWAP)
  377. free_stram_region( SWAP_NR(addr), N_PAGES(size) );
  378. else
  379. #endif
  380. free_pages((unsigned long)addr, get_order(size));
  381. return( NULL );
  382. }
  383. block->owner = owner;
  384. block->flags |= flags;
  385. }
  386. return( addr );
  387. }
  388. void atari_stram_free( void *addr )
  389. {
  390. BLOCK *block;
  391. DPRINTK( "atari_stram_free(addr=%p)n", addr );
  392. if (!(block = find_region( addr ))) {
  393. printk( KERN_ERR "Attempt to free non-allocated ST-RAM block at %p "
  394. "from %pn", addr, __builtin_return_address(0) );
  395. return;
  396. }
  397. DPRINTK( "atari_stram_free: found block (%p): size=%08lx, owner=%s, "
  398.  "flags=%02xn", block, block->size, block->owner, block->flags );
  399. #ifdef CONFIG_STRAM_SWAP
  400. if (!max_swap_size) {
  401. #endif
  402. if (block->flags & BLOCK_GFP) {
  403. DPRINTK("atari_stram_free: is kmalloced, order_size=%dn",
  404. get_order(block->size));
  405. free_pages((unsigned long)addr, get_order(block->size));
  406. }
  407. else
  408. goto fail;
  409. #ifdef CONFIG_STRAM_SWAP
  410. }
  411. else if (block->flags & BLOCK_INSWAP) {
  412. DPRINTK( "atari_stram_free: is swap-allocedn" );
  413. free_stram_region( SWAP_NR(block->start), N_PAGES(block->size) );
  414. }
  415. else
  416. goto fail;
  417. #endif
  418. remove_region( block );
  419. return;
  420.   fail:
  421. printk( KERN_ERR "atari_stram_free: cannot free block at %p "
  422. "(called from %p)n", addr, __builtin_return_address(0) );
  423. }
  424. #ifdef CONFIG_STRAM_SWAP
  425. /* ------------------------------------------------------------------------ */
  426. /*    Main Swapping Functions */
  427. /* ------------------------------------------------------------------------ */
  428. /*
  429.  * Initialize ST-RAM swap device
  430.  * (lots copied and modified from sys_swapon() in mm/swapfile.c)
  431.  */
  432. static int __init swap_init(void *start_mem, void *swap_data)
  433. {
  434. static struct dentry fake_dentry;
  435. static struct vfsmount fake_vfsmnt;
  436. struct swap_info_struct *p;
  437. struct inode swap_inode;
  438. unsigned int type;
  439. void *addr;
  440. int i, j, k, prev;
  441. DPRINTK("swap_init(start_mem=%p, swap_data=%p)n",
  442. start_mem, swap_data);
  443. /* need at least one page for swapping to (and this also isn't very
  444.  * much... :-) */
  445. if (swap_end - swap_start < 2*PAGE_SIZE) {
  446. printk( KERN_WARNING "stram_swap_init: swap space too smalln" );
  447. return( 0 );
  448. }
  449. /* find free slot in swap_info */
  450. for( p = swap_info, type = 0; type < nr_swapfiles; type++, p++ )
  451. if (!(p->flags & SWP_USED))
  452. break;
  453. if (type >= MAX_SWAPFILES) {
  454. printk( KERN_WARNING "stram_swap_init: max. number of "
  455. "swap devices exhaustedn" );
  456. return( 0 );
  457. }
  458. if (type >= nr_swapfiles)
  459. nr_swapfiles = type+1;
  460. stram_swap_info = p;
  461. stram_swap_type = type;
  462. /* fake some dir cache entries to give us some name in /dev/swaps */
  463. fake_dentry.d_parent = &fake_dentry;
  464. fake_dentry.d_name.name = "stram (internal)";
  465. fake_dentry.d_name.len = 16;
  466. fake_vfsmnt.mnt_parent = &fake_vfsmnt;
  467. p->flags        = SWP_USED;
  468. p->swap_file    = &fake_dentry;
  469. p->swap_vfsmnt  = &fake_vfsmnt;
  470. p->swap_device  = 0;
  471. p->swap_map = swap_data;
  472. p->cluster_nr   = 0;
  473. p->next         = -1;
  474. p->prio         = 0x7ff0; /* a rather high priority, but not the higest
  475.  * to give the user a chance to override */
  476. /* call stram_open() directly, avoids at least the overhead in
  477.  * constructing a dummy file structure... */
  478. p->swap_device = MKDEV( STRAM_MAJOR, STRAM_MINOR );
  479. swap_inode.i_rdev = p->swap_device;
  480. stram_open( &swap_inode, MAGIC_FILE_P );
  481. p->max = SWAP_NR(swap_end);
  482. /* initialize swap_map: set regions that are already allocated or belong
  483.  * to kernel data space to SWAP_MAP_BAD, otherwise to free */
  484. j = 0; /* # of free pages */
  485. k = 0; /* # of already allocated pages (from pre-mem_init stram_alloc()) */
  486. p->lowest_bit = 0;
  487. p->highest_bit = 0;
  488. for( i = 1, addr = SWAP_ADDR(1); i < p->max;
  489.  i++, addr += PAGE_SIZE ) {
  490. if (in_some_region( addr )) {
  491. p->swap_map[i] = SWAP_MAP_BAD;
  492. ++k;
  493. }
  494. else if (kernel_in_stram && addr < start_mem ) {
  495. p->swap_map[i] = SWAP_MAP_BAD;
  496. }
  497. else {
  498. p->swap_map[i] = 0;
  499. ++j;
  500. if (!p->lowest_bit) p->lowest_bit = i;
  501. p->highest_bit = i;
  502. }
  503. }
  504. /* first page always reserved (and doesn't really belong to swap space) */
  505. p->swap_map[0] = SWAP_MAP_BAD;
  506. /* now swapping to this device ok */
  507. p->pages = j + k;
  508. swap_list_lock();
  509. nr_swap_pages += j;
  510. p->flags = SWP_WRITEOK;
  511. /* insert swap space into swap_list */
  512. prev = -1;
  513. for (i = swap_list.head; i >= 0; i = swap_info[i].next) {
  514. if (p->prio >= swap_info[i].prio) {
  515. break;
  516. }
  517. prev = i;
  518. }
  519. p->next = i;
  520. if (prev < 0) {
  521. swap_list.head = swap_list.next = p - swap_info;
  522. } else {
  523. swap_info[prev].next = p - swap_info;
  524. }
  525. swap_list_unlock();
  526. printk( KERN_INFO "Using %dk (%d pages) of ST-RAM as swap space.n",
  527. p->pages << 2, p->pages );
  528. return( 1 );
  529. }
  530. /*
  531.  * The swap entry has been read in advance, and we return 1 to indicate
  532.  * that the page has been used or is no longer needed.
  533.  *
  534.  * Always set the resulting pte to be nowrite (the same as COW pages
  535.  * after one process has exited).  We don't know just how many PTEs will
  536.  * share this swap entry, so be cautious and let do_wp_page work out
  537.  * what to do if a write is requested later.
  538.  */
  539. static inline void unswap_pte(struct vm_area_struct * vma, unsigned long
  540.       address, pte_t *dir, swp_entry_t entry,
  541.       struct page *page)
  542. {
  543. pte_t pte = *dir;
  544. if (pte_none(pte))
  545. return;
  546. if (pte_present(pte)) {
  547. /* If this entry is swap-cached, then page must already
  548.                    hold the right address for any copies in physical
  549.                    memory */
  550. if (pte_page(pte) != page)
  551. return;
  552. /* We will be removing the swap cache in a moment, so... */
  553. set_pte(dir, pte_mkdirty(pte));
  554. return;
  555. }
  556. if (pte_val(pte) != entry.val)
  557. return;
  558. DPRINTK("unswap_pte: replacing entry %08lx by new page %p",
  559. entry.val, page);
  560. set_pte(dir, pte_mkdirty(mk_pte(page, vma->vm_page_prot)));
  561. swap_free(entry);
  562. get_page(page);
  563. ++vma->vm_mm->rss;
  564. }
  565. static inline void unswap_pmd(struct vm_area_struct * vma, pmd_t *dir,
  566.       unsigned long address, unsigned long size,
  567.       unsigned long offset, swp_entry_t entry,
  568.       struct page *page)
  569. {
  570. pte_t * pte;
  571. unsigned long end;
  572. if (pmd_none(*dir))
  573. return;
  574. if (pmd_bad(*dir)) {
  575. pmd_ERROR(*dir);
  576. pmd_clear(dir);
  577. return;
  578. }
  579. pte = pte_offset(dir, address);
  580. offset += address & PMD_MASK;
  581. address &= ~PMD_MASK;
  582. end = address + size;
  583. if (end > PMD_SIZE)
  584. end = PMD_SIZE;
  585. do {
  586. unswap_pte(vma, offset+address-vma->vm_start, pte, entry, page);
  587. address += PAGE_SIZE;
  588. pte++;
  589. } while (address < end);
  590. }
  591. static inline void unswap_pgd(struct vm_area_struct * vma, pgd_t *dir,
  592.       unsigned long address, unsigned long size,
  593.       swp_entry_t entry, struct page *page)
  594. {
  595. pmd_t * pmd;
  596. unsigned long offset, end;
  597. if (pgd_none(*dir))
  598. return;
  599. if (pgd_bad(*dir)) {
  600. pgd_ERROR(*dir);
  601. pgd_clear(dir);
  602. return;
  603. }
  604. pmd = pmd_offset(dir, address);
  605. offset = address & PGDIR_MASK;
  606. address &= ~PGDIR_MASK;
  607. end = address + size;
  608. if (end > PGDIR_SIZE)
  609. end = PGDIR_SIZE;
  610. do {
  611. unswap_pmd(vma, pmd, address, end - address, offset, entry,
  612.    page);
  613. address = (address + PMD_SIZE) & PMD_MASK;
  614. pmd++;
  615. } while (address < end);
  616. }
  617. static void unswap_vma(struct vm_area_struct * vma, pgd_t *pgdir,
  618.        swp_entry_t entry, struct page *page)
  619. {
  620. unsigned long start = vma->vm_start, end = vma->vm_end;
  621. do {
  622. unswap_pgd(vma, pgdir, start, end - start, entry, page);
  623. start = (start + PGDIR_SIZE) & PGDIR_MASK;
  624. pgdir++;
  625. } while (start < end);
  626. }
  627. static void unswap_process(struct mm_struct * mm, swp_entry_t entry, 
  628.    struct page *page)
  629. {
  630. struct vm_area_struct* vma;
  631. /*
  632.  * Go through process' page directory.
  633.  */
  634. if (!mm)
  635. return;
  636. for (vma = mm->mmap; vma; vma = vma->vm_next) {
  637. pgd_t * pgd = pgd_offset(mm, vma->vm_start);
  638. unswap_vma(vma, pgd, entry, page);
  639. }
  640. }
  641. static int unswap_by_read(unsigned short *map, unsigned long max,
  642.   unsigned long start, unsigned long n_pages)
  643. {
  644. struct task_struct *p;
  645. struct page *page;
  646. swp_entry_t entry;
  647. unsigned long i;
  648. DPRINTK( "unswapping %lu..%lu by reading inn",
  649.  start, start+n_pages-1 );
  650. for( i = start; i < start+n_pages; ++i ) {
  651. if (map[i] == SWAP_MAP_BAD) {
  652. printk( KERN_ERR "get_stram_region: page %lu already "
  653. "reserved??n", i );
  654. continue;
  655. }
  656. if (map[i]) {
  657. entry = SWP_ENTRY(stram_swap_type, i);
  658. DPRINTK("unswap: map[i=%lu]=%u nr_swap=%un",
  659. i, map[i], nr_swap_pages);
  660. swap_device_lock(stram_swap_info);
  661. map[i]++;
  662. swap_device_unlock(stram_swap_info);
  663. /* Get a page for the entry, using the existing
  664.    swap cache page if there is one.  Otherwise,
  665.    get a clean page and read the swap into it. */
  666. page = read_swap_cache(entry);
  667. if (!page) {
  668. swap_free(entry);
  669. return -ENOMEM;
  670. }
  671. read_lock(&tasklist_lock);
  672. for_each_task(p)
  673. unswap_process(p->mm, entry, page);
  674. read_unlock(&tasklist_lock);
  675. shm_unuse(entry, page);
  676. /* Now get rid of the extra reference to the
  677.    temporary page we've been using. */
  678. if (PageSwapCache(page))
  679. delete_from_swap_cache(page);
  680. __free_page(page);
  681. #ifdef DO_PROC
  682. stat_swap_force++;
  683. #endif
  684. }
  685. DPRINTK( "unswap: map[i=%lu]=%u nr_swap=%un",
  686.  i, map[i], nr_swap_pages );
  687. swap_list_lock();
  688. swap_device_lock(stram_swap_info);
  689. map[i] = SWAP_MAP_BAD;
  690. if (stram_swap_info->lowest_bit == i)
  691. stram_swap_info->lowest_bit++;
  692. if (stram_swap_info->highest_bit == i)
  693. stram_swap_info->highest_bit--;
  694. --nr_swap_pages;
  695. swap_device_unlock(stram_swap_info);
  696. swap_list_unlock();
  697. }
  698. return 0;
  699. }
  700. /*
  701.  * reserve a region in ST-RAM swap space for an allocation
  702.  */
  703. static void *get_stram_region( unsigned long n_pages )
  704. {
  705. unsigned short *map = stram_swap_info->swap_map;
  706. unsigned long max = stram_swap_info->max;
  707. unsigned long start, total_free, region_free;
  708. int err;
  709. void *ret = NULL;
  710. DPRINTK( "get_stram_region(n_pages=%lu)n", n_pages );
  711. down(&stram_swap_sem);
  712. /* disallow writing to the swap device now */
  713. stram_swap_info->flags = SWP_USED;
  714. /* find a region of n_pages pages in the swap space including as much free
  715.  * pages as possible (and excluding any already-reserved pages). */
  716. if (!(start = find_free_region( n_pages, &total_free, &region_free )))
  717. goto end;
  718. DPRINTK( "get_stram_region: region starts at %lu, has %lu free pagesn",
  719.  start, region_free );
  720. err = unswap_by_read(map, max, start, n_pages);
  721. if (err)
  722. goto end;
  723. ret = SWAP_ADDR(start);
  724.   end:
  725. /* allow using swap device again */
  726. stram_swap_info->flags = SWP_WRITEOK;
  727. up(&stram_swap_sem);
  728. DPRINTK( "get_stram_region: returning %pn", ret );
  729. return( ret );
  730. }
  731. /*
  732.  * free a reserved region in ST-RAM swap space
  733.  */
  734. static void free_stram_region( unsigned long offset, unsigned long n_pages )
  735. {
  736. unsigned short *map = stram_swap_info->swap_map;
  737. DPRINTK( "free_stram_region(offset=%lu,n_pages=%lu)n", offset, n_pages );
  738. if (offset < 1 || offset + n_pages > stram_swap_info->max) {
  739. printk( KERN_ERR "free_stram_region: Trying to free non-ST-RAMn" );
  740. return;
  741. }
  742. swap_list_lock();
  743. swap_device_lock(stram_swap_info);
  744. /* un-reserve the freed pages */
  745. for( ; n_pages > 0; ++offset, --n_pages ) {
  746. if (map[offset] != SWAP_MAP_BAD)
  747. printk( KERN_ERR "free_stram_region: Swap page %lu was not "
  748. "reservedn", offset );
  749. map[offset] = 0;
  750. }
  751. /* update swapping meta-data */
  752. if (offset < stram_swap_info->lowest_bit)
  753. stram_swap_info->lowest_bit = offset;
  754. if (offset+n_pages-1 > stram_swap_info->highest_bit)
  755. stram_swap_info->highest_bit = offset+n_pages-1;
  756. if (stram_swap_info->prio > swap_info[swap_list.next].prio)
  757. swap_list.next = swap_list.head;
  758. nr_swap_pages += n_pages;
  759. swap_device_unlock(stram_swap_info);
  760. swap_list_unlock();
  761. }
  762. /* ------------------------------------------------------------------------ */
  763. /* Utility Functions for Swapping */
  764. /* ------------------------------------------------------------------------ */
  765. /* is addr in some of the allocated regions? */
  766. static int in_some_region(void *addr)
  767. {
  768. BLOCK *p;
  769. for( p = alloc_list; p; p = p->next ) {
  770. if (p->start <= addr && addr < p->start + p->size)
  771. return( 1 );
  772. }
  773. return( 0 );
  774. }
  775. static unsigned long find_free_region(unsigned long n_pages,
  776.       unsigned long *total_free,
  777.       unsigned long *region_free)
  778. {
  779. unsigned short *map = stram_swap_info->swap_map;
  780. unsigned long max = stram_swap_info->max;
  781. unsigned long head, tail, max_start;
  782. long nfree, max_free;
  783. /* first scan the swap space for a suitable place for the allocation */
  784. head = 1;
  785. max_start = 0;
  786. max_free = -1;
  787. *total_free = 0;
  788.   start_over:
  789. /* increment tail until final window size reached, and count free pages */
  790. nfree = 0;
  791. for( tail = head; tail-head < n_pages && tail < max; ++tail ) {
  792. if (map[tail] == SWAP_MAP_BAD) {
  793. head = tail+1;
  794. goto start_over;
  795. }
  796. if (!map[tail]) {
  797. ++nfree;
  798. ++*total_free;
  799. }
  800. }
  801. if (tail-head < n_pages)
  802. goto out;
  803. if (nfree > max_free) {
  804. max_start = head;
  805. max_free  = nfree;
  806. if (max_free >= n_pages)
  807. /* don't need more free pages... :-) */
  808. goto out;
  809. }
  810. /* now shift the window and look for the area where as much pages as
  811.  * possible are free */
  812. while( tail < max ) {
  813. nfree -= (map[head++] == 0);
  814. if (map[tail] == SWAP_MAP_BAD) {
  815. head = tail+1;
  816. goto start_over;
  817. }
  818. if (!map[tail]) {
  819. ++nfree;
  820. ++*total_free;
  821. }
  822. ++tail;
  823. if (nfree > max_free) {
  824. max_start = head;
  825. max_free  = nfree;
  826. if (max_free >= n_pages)
  827. /* don't need more free pages... :-) */
  828. goto out;
  829. }
  830. }
  831.   out:
  832. if (max_free < 0) {
  833. printk( KERN_NOTICE "get_stram_region: ST-RAM too full or fragmented "
  834. "-- can't allocate %lu pagesn", n_pages );
  835. return( 0 );
  836. }
  837. *region_free = max_free;
  838. return( max_start );
  839. }
  840. /* setup parameters from command line */
  841. void __init stram_swap_setup(char *str, int *ints)
  842. {
  843. if (ints[0] >= 1)
  844. max_swap_size = ((ints[1] < 0 ? 0 : ints[1]) * 1024) & PAGE_MASK;
  845. }
  846. /* ------------------------------------------------------------------------ */
  847. /* ST-RAM device */
  848. /* ------------------------------------------------------------------------ */
  849. static int stram_blocksizes[14] = {
  850. 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4096 };
  851. static int stram_sizes[14] = {
  852. 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 };
  853. static int refcnt = 0;
  854. static void do_stram_request(request_queue_t *q)
  855. {
  856. void *start;
  857. unsigned long len;
  858. while (1) {
  859. INIT_REQUEST;
  860. start = swap_start + (CURRENT->sector << 9);
  861. len   = CURRENT->current_nr_sectors << 9;
  862. if ((start + len) > swap_end) {
  863. printk( KERN_ERR "stram: bad access beyond end of device: "
  864. "block=%ld, count=%ldn",
  865. CURRENT->sector,
  866. CURRENT->current_nr_sectors );
  867. end_request( 0 );
  868. continue;
  869. }
  870. if (CURRENT->cmd == READ) {
  871. memcpy(CURRENT->buffer, start, len);
  872. #ifdef DO_PROC
  873. stat_swap_read += N_PAGES(len);
  874. #endif
  875. }
  876. else {
  877. memcpy(start, CURRENT->buffer, len);
  878. #ifdef DO_PROC
  879. stat_swap_write += N_PAGES(len);
  880. #endif
  881. }
  882. end_request( 1 );
  883. }
  884. }
  885. static int stram_open( struct inode *inode, struct file *filp )
  886. {
  887. if (filp != MAGIC_FILE_P) {
  888. printk( KERN_NOTICE "Only kernel can open ST-RAM devicen" );
  889. return( -EPERM );
  890. }
  891. if (MINOR(inode->i_rdev) != STRAM_MINOR)
  892. return( -ENXIO );
  893. if (refcnt)
  894. return( -EBUSY );
  895. ++refcnt;
  896. return( 0 );
  897. }
  898. static int stram_release( struct inode *inode, struct file *filp )
  899. {
  900. if (filp != MAGIC_FILE_P) {
  901. printk( KERN_NOTICE "Only kernel can close ST-RAM devicen" );
  902. return( -EPERM );
  903. }
  904. if (refcnt > 0)
  905. --refcnt;
  906. return( 0 );
  907. }
  908. static struct block_device_operations stram_fops = {
  909. open: stram_open,
  910. release: stram_release,
  911. };
  912. int __init stram_device_init(void)
  913. {
  914.     if (!MACH_IS_ATARI)
  915.      /* no point in initializing this, I hope */
  916. return( -ENXIO );
  917.     if (!max_swap_size)
  918. /* swapping not enabled */
  919. return( -ENXIO );
  920.     if (register_blkdev( STRAM_MAJOR, "stram", &stram_fops)) {
  921. printk( KERN_ERR "stram: Unable to get major %dn", STRAM_MAJOR );
  922. return( -ENXIO );
  923.     }
  924.     blk_init_queue(BLK_DEFAULT_QUEUE(STRAM_MAJOR), do_stram_request);
  925.     blksize_size[STRAM_MAJOR] = stram_blocksizes;
  926. stram_sizes[STRAM_MINOR] = (swap_end - swap_start)/1024;
  927.     blk_size[STRAM_MAJOR] = stram_sizes;
  928. register_disk(NULL, MKDEV(STRAM_MAJOR, STRAM_MINOR), 1, &stram_fops,
  929. (swap_end-swap_start)>>9);
  930. return( 0 );
  931. }
  932. #endif /* CONFIG_STRAM_SWAP */
  933. /* ------------------------------------------------------------------------ */
  934. /* Misc Utility Functions */
  935. /* ------------------------------------------------------------------------ */
  936. /* reserve a range of pages */
  937. static void reserve_region(void *start, void *end)
  938. {
  939. reserve_bootmem (virt_to_phys(start), end - start);
  940. }
  941. /* ------------------------------------------------------------------------ */
  942. /*   Region Management */
  943. /* ------------------------------------------------------------------------ */
  944. /* insert a region into the alloced list (sorted) */
  945. static BLOCK *add_region( void *addr, unsigned long size )
  946. {
  947. BLOCK **p, *n = NULL;
  948. int i;
  949. for( i = 0; i < N_STATIC_BLOCKS; ++i ) {
  950. if (static_blocks[i].flags & BLOCK_FREE) {
  951. n = &static_blocks[i];
  952. n->flags = 0;
  953. break;
  954. }
  955. }
  956. if (!n && mem_init_done) {
  957. /* if statics block pool exhausted and we can call kmalloc() already
  958.  * (after mem_init()), try that */
  959. n = kmalloc( sizeof(BLOCK), GFP_KERNEL );
  960. if (n)
  961. n->flags = BLOCK_KMALLOCED;
  962. }
  963. if (!n) {
  964. printk( KERN_ERR "Out of memory for ST-RAM descriptor blocksn" );
  965. return( NULL );
  966. }
  967. n->start = addr;
  968. n->size  = size;
  969. for( p = &alloc_list; *p; p = &((*p)->next) )
  970. if ((*p)->start > addr) break;
  971. n->next = *p;
  972. *p = n;
  973. return( n );
  974. }
  975. /* find a region (by start addr) in the alloced list */
  976. static BLOCK *find_region( void *addr )
  977. {
  978. BLOCK *p;
  979. for( p = alloc_list; p; p = p->next ) {
  980. if (p->start == addr)
  981. return( p );
  982. if (p->start > addr)
  983. break;
  984. }
  985. return( NULL );
  986. }
  987. /* remove a block from the alloced list */
  988. static int remove_region( BLOCK *block )
  989. {
  990. BLOCK **p;
  991. for( p = &alloc_list; *p; p = &((*p)->next) )
  992. if (*p == block) break;
  993. if (!*p)
  994. return( 0 );
  995. *p = block->next;
  996. if (block->flags & BLOCK_KMALLOCED)
  997. kfree( block );
  998. else
  999. block->flags |= BLOCK_FREE;
  1000. return( 1 );
  1001. }
  1002. /* ------------------------------------------------------------------------ */
  1003. /*  /proc statistics file stuff */
  1004. /* ------------------------------------------------------------------------ */
  1005. #ifdef DO_PROC
  1006. #define PRINT_PROC(fmt,args...) len += sprintf( buf+len, fmt, ##args )
  1007. int get_stram_list( char *buf )
  1008. {
  1009. int len = 0;
  1010. BLOCK *p;
  1011. #ifdef CONFIG_STRAM_SWAP
  1012. int i;
  1013. unsigned short *map = stram_swap_info->swap_map;
  1014. unsigned long max = stram_swap_info->max;
  1015. unsigned free = 0, used = 0, rsvd = 0;
  1016. #endif
  1017. #ifdef CONFIG_STRAM_SWAP
  1018. if (max_swap_size) {
  1019. for( i = 1; i < max; ++i ) {
  1020. if (!map[i])
  1021. ++free;
  1022. else if (map[i] == SWAP_MAP_BAD)
  1023. ++rsvd;
  1024. else
  1025. ++used;
  1026. }
  1027. PRINT_PROC(
  1028. "Total ST-RAM:      %8u kBn"
  1029. "Total ST-RAM swap: %8lu kBn"
  1030. "Free swap:         %8u kBn"
  1031. "Used swap:         %8u kBn"
  1032. "Allocated swap:    %8u kBn"
  1033. "Swap Reads:        %8un"
  1034. "Swap Writes:       %8un"
  1035. "Swap Forced Reads: %8un",
  1036. (stram_end - stram_start) >> 10,
  1037. (max-1) << (PAGE_SHIFT-10),
  1038. free << (PAGE_SHIFT-10),
  1039. used << (PAGE_SHIFT-10),
  1040. rsvd << (PAGE_SHIFT-10),
  1041. stat_swap_read,
  1042. stat_swap_write,
  1043. stat_swap_force );
  1044. }
  1045. else {
  1046. #endif
  1047. PRINT_PROC( "ST-RAM swapping disabledn" );
  1048. PRINT_PROC("Total ST-RAM:      %8u kBn",
  1049.    (stram_end - stram_start) >> 10);
  1050. #ifdef CONFIG_STRAM_SWAP
  1051. }
  1052. #endif
  1053. PRINT_PROC( "Allocated regions:n" );
  1054. for( p = alloc_list; p; p = p->next ) {
  1055. if (len + 50 >= PAGE_SIZE)
  1056. break;
  1057. PRINT_PROC("0x%08lx-0x%08lx: %s (",
  1058.    virt_to_phys(p->start),
  1059.    virt_to_phys(p->start+p->size-1),
  1060.    p->owner);
  1061. if (p->flags & BLOCK_GFP)
  1062. PRINT_PROC( "page-alloced)n" );
  1063. else if (p->flags & BLOCK_INSWAP)
  1064. PRINT_PROC( "in swap)n" );
  1065. else
  1066. PRINT_PROC( "??)n" );
  1067. }
  1068. return( len );
  1069. }
  1070. #endif
  1071. /*
  1072.  * Local variables:
  1073.  *  c-indent-level: 4
  1074.  *  tab-width: 4
  1075.  * End:
  1076.  */