sun4m_smp.c
上传用户:lgb322
上传日期:2013-02-24
资源大小:30529k
文件大小:12k
源码类别:

嵌入式Linux

开发平台:

Unix_Linux

  1. /* sun4m_smp.c: Sparc SUN4M SMP support.
  2.  *
  3.  * Copyright (C) 1996 David S. Miller (davem@caip.rutgers.edu)
  4.  */
  5. #include <asm/head.h>
  6. #include <linux/kernel.h>
  7. #include <linux/sched.h>
  8. #include <linux/threads.h>
  9. #include <linux/smp.h>
  10. #include <linux/smp_lock.h>
  11. #include <linux/interrupt.h>
  12. #include <linux/kernel_stat.h>
  13. #include <linux/init.h>
  14. #include <linux/spinlock.h>
  15. #include <linux/mm.h>
  16. #include <asm/ptrace.h>
  17. #include <asm/atomic.h>
  18. #include <asm/delay.h>
  19. #include <asm/irq.h>
  20. #include <asm/page.h>
  21. #include <asm/pgalloc.h>
  22. #include <asm/pgtable.h>
  23. #include <asm/oplib.h>
  24. #include <asm/hardirq.h>
  25. #include <asm/softirq.h>
  26. #define __KERNEL_SYSCALLS__
  27. #include <linux/unistd.h>
  28. #define IRQ_RESCHEDULE 13
  29. #define IRQ_STOP_CPU 14
  30. #define IRQ_CROSS_CALL 15
  31. extern ctxd_t *srmmu_ctx_table_phys;
  32. extern int linux_num_cpus;
  33. extern void calibrate_delay(void);
  34. extern struct task_struct *current_set[NR_CPUS];
  35. extern volatile int smp_processors_ready;
  36. extern unsigned long cpu_present_map;
  37. extern int smp_num_cpus;
  38. extern int smp_threads_ready;
  39. extern unsigned char mid_xlate[NR_CPUS];
  40. extern volatile unsigned long cpu_callin_map[NR_CPUS];
  41. extern unsigned long smp_proc_in_lock[NR_CPUS];
  42. extern struct cpuinfo_sparc cpu_data[NR_CPUS];
  43. extern unsigned long cpu_offset[NR_CPUS];
  44. extern unsigned char boot_cpu_id;
  45. extern int smp_activated;
  46. extern volatile int __cpu_number_map[NR_CPUS];
  47. extern volatile int __cpu_logical_map[NR_CPUS];
  48. extern volatile unsigned long ipi_count;
  49. extern volatile int smp_process_available;
  50. extern volatile int smp_commenced;
  51. extern int __smp4m_processor_id(void);
  52. extern unsigned long totalram_pages;
  53. /*#define SMP_DEBUG*/
  54. #ifdef SMP_DEBUG
  55. #define SMP_PRINTK(x) printk x
  56. #else
  57. #define SMP_PRINTK(x)
  58. #endif
  59. static inline unsigned long swap(volatile unsigned long *ptr, unsigned long val)
  60. {
  61. __asm__ __volatile__("swap [%1], %0nt" :
  62.      "=&r" (val), "=&r" (ptr) :
  63.      "0" (val), "1" (ptr));
  64. return val;
  65. }
  66. static void smp_setup_percpu_timer(void);
  67. extern void cpu_probe(void);
  68. void __init smp4m_callin(void)
  69. {
  70. int cpuid = hard_smp_processor_id();
  71. local_flush_cache_all();
  72. local_flush_tlb_all();
  73. set_irq_udt(mid_xlate[boot_cpu_id]);
  74. /* Get our local ticker going. */
  75. smp_setup_percpu_timer();
  76. calibrate_delay();
  77. smp_store_cpu_info(cpuid);
  78. local_flush_cache_all();
  79. local_flush_tlb_all();
  80. /*
  81.  * Unblock the master CPU _only_ when the scheduler state
  82.  * of all secondary CPUs will be up-to-date, so after
  83.  * the SMP initialization the master will be just allowed
  84.  * to call the scheduler code.
  85.  */
  86. init_idle();
  87. /* Allow master to continue. */
  88. swap((unsigned long *)&cpu_callin_map[cpuid], 1);
  89. local_flush_cache_all();
  90. local_flush_tlb_all();
  91. cpu_probe();
  92. /* Fix idle thread fields. */
  93. __asm__ __volatile__("ld [%0], %%g6nt"
  94.      : : "r" (&current_set[cpuid])
  95.      : "memory" /* paranoid */);
  96. /* Attach to the address space of init_task. */
  97. atomic_inc(&init_mm.mm_count);
  98. current->active_mm = &init_mm;
  99. while(!smp_commenced)
  100. barrier();
  101. local_flush_cache_all();
  102. local_flush_tlb_all();
  103. __sti();
  104. }
  105. extern int cpu_idle(void *unused);
  106. extern void init_IRQ(void);
  107. extern void cpu_panic(void);
  108. extern int start_secondary(void *unused);
  109. /*
  110.  * Cycle through the processors asking the PROM to start each one.
  111.  */
  112.  
  113. extern struct prom_cpuinfo linux_cpus[NR_CPUS];
  114. extern struct linux_prom_registers smp_penguin_ctable;
  115. extern unsigned long trapbase_cpu1[];
  116. extern unsigned long trapbase_cpu2[];
  117. extern unsigned long trapbase_cpu3[];
  118. void __init smp4m_boot_cpus(void)
  119. {
  120. int cpucount = 0;
  121. int i = 0;
  122. int first, prev;
  123. printk("Entering SMP Mode...n");
  124. __sti();
  125. cpu_present_map = 0;
  126. for(i=0; i < linux_num_cpus; i++)
  127. cpu_present_map |= (1<<i);
  128. for(i=0; i < NR_CPUS; i++) {
  129. cpu_offset[i] = (char *)&cpu_data[i] - (char *)&cpu_data;
  130. __cpu_number_map[i] = -1;
  131. __cpu_logical_map[i] = -1;
  132. }
  133. mid_xlate[boot_cpu_id] = (linux_cpus[boot_cpu_id].mid & ~8);
  134. __cpu_number_map[boot_cpu_id] = 0;
  135. __cpu_logical_map[0] = boot_cpu_id;
  136. current->processor = boot_cpu_id;
  137. smp_store_cpu_info(boot_cpu_id);
  138. set_irq_udt(mid_xlate[boot_cpu_id]);
  139. smp_setup_percpu_timer();
  140. init_idle();
  141. local_flush_cache_all();
  142. if(linux_num_cpus == 1)
  143. return;  /* Not an MP box. */
  144. for(i = 0; i < NR_CPUS; i++) {
  145. if(i == boot_cpu_id)
  146. continue;
  147. if(cpu_present_map & (1 << i)) {
  148. extern unsigned long sun4m_cpu_startup;
  149. unsigned long *entry = &sun4m_cpu_startup;
  150. struct task_struct *p;
  151. int timeout;
  152. /* Cook up an idler for this guy. */
  153. kernel_thread(start_secondary, NULL, CLONE_PID);
  154. cpucount++;
  155. p = init_task.prev_task;
  156. init_tasks[i] = p;
  157. p->processor = i;
  158. p->cpus_runnable = 1 << i; /* we schedule the first task manually */
  159. current_set[i] = p;
  160. del_from_runqueue(p);
  161. unhash_process(p);
  162. /* See trampoline.S for details... */
  163. entry += ((i-1) * 3);
  164. /*
  165.  * Initialize the contexts table
  166.  * Since the call to prom_startcpu() trashes the structure,
  167.  * we need to re-initialize it for each cpu
  168.  */
  169. smp_penguin_ctable.which_io = 0;
  170. smp_penguin_ctable.phys_addr = (unsigned int) srmmu_ctx_table_phys;
  171. smp_penguin_ctable.reg_size = 0;
  172. /* whirrr, whirrr, whirrrrrrrrr... */
  173. printk("Starting CPU %d at %pn", i, entry);
  174. mid_xlate[i] = (linux_cpus[i].mid & ~8);
  175. local_flush_cache_all();
  176. prom_startcpu(linux_cpus[i].prom_node,
  177.       &smp_penguin_ctable, 0, (char *)entry);
  178. /* wheee... it's going... */
  179. for(timeout = 0; timeout < 10000; timeout++) {
  180. if(cpu_callin_map[i])
  181. break;
  182. udelay(200);
  183. }
  184. if(cpu_callin_map[i]) {
  185. /* Another "Red Snapper". */
  186. __cpu_number_map[i] = i;
  187. __cpu_logical_map[i] = i;
  188. } else {
  189. cpucount--;
  190. printk("Processor %d is stuck.n", i);
  191. }
  192. }
  193. if(!(cpu_callin_map[i])) {
  194. cpu_present_map &= ~(1 << i);
  195. __cpu_number_map[i] = -1;
  196. }
  197. }
  198. local_flush_cache_all();
  199. if(cpucount == 0) {
  200. printk("Error: only one Processor found.n");
  201. cpu_present_map = (1 << smp_processor_id());
  202. } else {
  203. unsigned long bogosum = 0;
  204. for(i = 0; i < NR_CPUS; i++) {
  205. if(cpu_present_map & (1 << i))
  206. bogosum += cpu_data[i].udelay_val;
  207. }
  208. printk("Total of %d Processors activated (%lu.%02lu BogoMIPS).n",
  209.        cpucount + 1,
  210.        bogosum/(500000/HZ),
  211.        (bogosum/(5000/HZ))%100);
  212. smp_activated = 1;
  213. smp_num_cpus = cpucount + 1;
  214. }
  215. /* Setup CPU list for IRQ distribution scheme. */
  216. first = prev = -1;
  217. for(i = 0; i < NR_CPUS; i++) {
  218. if(cpu_present_map & (1 << i)) {
  219. if(first == -1)
  220. first = i;
  221. if(prev != -1)
  222. cpu_data[prev].next = i;
  223. cpu_data[i].mid = mid_xlate[i];
  224. prev = i;
  225. }
  226. }
  227. cpu_data[prev].next = first;
  228. /* Free unneeded trap tables */
  229. if (!(cpu_present_map & (1 << 1))) {
  230. ClearPageReserved(virt_to_page(trapbase_cpu1));
  231. set_page_count(virt_to_page(trapbase_cpu1), 1);
  232. free_page((unsigned long)trapbase_cpu1);
  233. totalram_pages++;
  234. num_physpages++;
  235. }
  236. if (!(cpu_present_map & (1 << 2))) {
  237. ClearPageReserved(virt_to_page(trapbase_cpu2));
  238. set_page_count(virt_to_page(trapbase_cpu2), 1);
  239. free_page((unsigned long)trapbase_cpu2);
  240. totalram_pages++;
  241. num_physpages++;
  242. }
  243. if (!(cpu_present_map & (1 << 3))) {
  244. ClearPageReserved(virt_to_page(trapbase_cpu3));
  245. set_page_count(virt_to_page(trapbase_cpu3), 1);
  246. free_page((unsigned long)trapbase_cpu3);
  247. totalram_pages++;
  248. num_physpages++;
  249. }
  250. /* Ok, they are spinning and ready to go. */
  251. smp_processors_ready = 1;
  252. }
  253. /* At each hardware IRQ, we get this called to forward IRQ reception
  254.  * to the next processor.  The caller must disable the IRQ level being
  255.  * serviced globally so that there are no double interrupts received.
  256.  */
  257. void smp4m_irq_rotate(int cpu)
  258. {
  259. if(smp_processors_ready)
  260. set_irq_udt(cpu_data[cpu_data[cpu].next].mid);
  261. }
  262. /* Cross calls, in order to work efficiently and atomically do all
  263.  * the message passing work themselves, only stopcpu and reschedule
  264.  * messages come through here.
  265.  */
  266. void smp4m_message_pass(int target, int msg, unsigned long data, int wait)
  267. {
  268. static unsigned long smp_cpu_in_msg[NR_CPUS];
  269. unsigned long mask;
  270. int me = smp_processor_id();
  271. int irq, i;
  272. if(msg == MSG_RESCHEDULE) {
  273. irq = IRQ_RESCHEDULE;
  274. if(smp_cpu_in_msg[me])
  275. return;
  276. } else if(msg == MSG_STOP_CPU) {
  277. irq = IRQ_STOP_CPU;
  278. } else {
  279. goto barf;
  280. }
  281. smp_cpu_in_msg[me]++;
  282. if(target == MSG_ALL_BUT_SELF || target == MSG_ALL) {
  283. mask = cpu_present_map;
  284. if(target == MSG_ALL_BUT_SELF)
  285. mask &= ~(1 << me);
  286. for(i = 0; i < 4; i++) {
  287. if(mask & (1 << i))
  288. set_cpu_int(mid_xlate[i], irq);
  289. }
  290. } else {
  291. set_cpu_int(mid_xlate[target], irq);
  292. }
  293. smp_cpu_in_msg[me]--;
  294. return;
  295. barf:
  296. printk("Yeeee, trying to send SMP msg(%d) on cpu %dn", msg, me);
  297. panic("Bogon SMP message pass.");
  298. }
  299. static struct smp_funcall {
  300. smpfunc_t func;
  301. unsigned long arg1;
  302. unsigned long arg2;
  303. unsigned long arg3;
  304. unsigned long arg4;
  305. unsigned long arg5;
  306. unsigned long processors_in[NR_CPUS];  /* Set when ipi entered. */
  307. unsigned long processors_out[NR_CPUS]; /* Set when ipi exited. */
  308. } ccall_info;
  309. static spinlock_t cross_call_lock = SPIN_LOCK_UNLOCKED;
  310. /* Cross calls must be serialized, at least currently. */
  311. void smp4m_cross_call(smpfunc_t func, unsigned long arg1, unsigned long arg2,
  312.     unsigned long arg3, unsigned long arg4, unsigned long arg5)
  313. {
  314. if(smp_processors_ready) {
  315. register int ncpus = smp_num_cpus;
  316. unsigned long flags;
  317. spin_lock_irqsave(&cross_call_lock, flags);
  318. /* Init function glue. */
  319. ccall_info.func = func;
  320. ccall_info.arg1 = arg1;
  321. ccall_info.arg2 = arg2;
  322. ccall_info.arg3 = arg3;
  323. ccall_info.arg4 = arg4;
  324. ccall_info.arg5 = arg5;
  325. /* Init receive/complete mapping, plus fire the IPI's off. */
  326. {
  327. register unsigned long mask;
  328. register int i;
  329. mask = (cpu_present_map & ~(1 << smp_processor_id()));
  330. for(i = 0; i < ncpus; i++) {
  331. if(mask & (1 << i)) {
  332. ccall_info.processors_in[i] = 0;
  333. ccall_info.processors_out[i] = 0;
  334. set_cpu_int(mid_xlate[i], IRQ_CROSS_CALL);
  335. } else {
  336. ccall_info.processors_in[i] = 1;
  337. ccall_info.processors_out[i] = 1;
  338. }
  339. }
  340. }
  341. {
  342. register int i;
  343. i = 0;
  344. do {
  345. while(!ccall_info.processors_in[i])
  346. barrier();
  347. } while(++i < ncpus);
  348. i = 0;
  349. do {
  350. while(!ccall_info.processors_out[i])
  351. barrier();
  352. } while(++i < ncpus);
  353. }
  354. spin_unlock_irqrestore(&cross_call_lock, flags);
  355. }
  356. }
  357. /* Running cross calls. */
  358. void smp4m_cross_call_irq(void)
  359. {
  360. int i = smp_processor_id();
  361. ccall_info.processors_in[i] = 1;
  362. ccall_info.func(ccall_info.arg1, ccall_info.arg2, ccall_info.arg3,
  363. ccall_info.arg4, ccall_info.arg5);
  364. ccall_info.processors_out[i] = 1;
  365. }
  366. extern unsigned int prof_multiplier[NR_CPUS];
  367. extern unsigned int prof_counter[NR_CPUS];
  368. extern void sparc_do_profile(unsigned long pc, unsigned long o7);
  369. void smp4m_percpu_timer_interrupt(struct pt_regs *regs)
  370. {
  371. int cpu = smp_processor_id();
  372. clear_profile_irq(mid_xlate[cpu]);
  373. if(!user_mode(regs))
  374. sparc_do_profile(regs->pc, regs->u_regs[UREG_RETPC]);
  375. if(!--prof_counter[cpu]) {
  376. int user = user_mode(regs);
  377. irq_enter(cpu, 0);
  378. update_process_times(user);
  379. irq_exit(cpu, 0);
  380. prof_counter[cpu] = prof_multiplier[cpu];
  381. }
  382. }
  383. extern unsigned int lvl14_resolution;
  384. static void __init smp_setup_percpu_timer(void)
  385. {
  386. int cpu = smp_processor_id();
  387. prof_counter[cpu] = prof_multiplier[cpu] = 1;
  388. load_profile_irq(mid_xlate[cpu], lvl14_resolution);
  389. if(cpu == boot_cpu_id)
  390. enable_pil_irq(14);
  391. }
  392. void __init smp4m_blackbox_id(unsigned *addr)
  393. {
  394. int rd = *addr & 0x3e000000;
  395. int rs1 = rd >> 11;
  396. addr[0] = 0x81580000 | rd; /* rd %tbr, reg */
  397. addr[1] = 0x8130200c | rd | rs1;     /* srl reg, 0xc, reg */
  398. addr[2] = 0x80082003 | rd | rs1; /* and reg, 3, reg */
  399. }
  400. void __init smp4m_blackbox_current(unsigned *addr)
  401. {
  402. int rd = *addr & 0x3e000000;
  403. int rs1 = rd >> 11;
  404. addr[0] = 0x81580000 | rd; /* rd %tbr, reg */
  405. addr[2] = 0x8130200a | rd | rs1;     /* srl reg, 0xa, reg */
  406. addr[4] = 0x8008200c | rd | rs1; /* and reg, 3, reg */
  407. }
  408. void __init sun4m_init_smp(void)
  409. {
  410. BTFIXUPSET_BLACKBOX(smp_processor_id, smp4m_blackbox_id);
  411. BTFIXUPSET_BLACKBOX(load_current, smp4m_blackbox_current);
  412. BTFIXUPSET_CALL(smp_cross_call, smp4m_cross_call, BTFIXUPCALL_NORM);
  413. BTFIXUPSET_CALL(smp_message_pass, smp4m_message_pass, BTFIXUPCALL_NORM);
  414. BTFIXUPSET_CALL(__smp_processor_id, __smp4m_processor_id, BTFIXUPCALL_NORM);
  415. }