mengning/mykernel

mykernel 2.0: Develop your own OS kernel by reusing Linux infrastructure, based on x86-64/Linux Kernel 5.4.34.

Welcome to the mykernel 2.0

Develop your own OS kernel by reusing Linux infrastructure, based on x86-64/Linux Kernel 5.4.34.

mykernel 1.0 based on IA32/Linux Kernel 3.9.4.

Set up mykernel 2.0 in Ubuntu 18.04/20.04

Ubuntu22.04版本编译时遇到兼容性问题解决方案

wget https://raw.github.com/mengning/mykernel/master/mykernel-2.0_for_linux-5.4.34.patch
sudo apt install axel
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz
xz -d linux-5.4.34.tar.xz
tar -xvf linux-5.4.34.tar
cd linux-5.4.34
patch -p1 < ../mykernel-2.0_for_linux-5.4.34.patch
sudo apt install build-essential libncurses-dev bison flex libssl-dev libelf-dev
make defconfig # Default configuration is based on 'x86_64_defconfig'
# 使用allnoconfig编译出来qemu无法加载启动，不知道为什么？有明白的告诉我，完整编译太慢了，消耗的资源也多。
make -j$(nproc) # 编译的时间比较久哦
sudo apt install qemu # install QEMU
qemu-system-x86_64 -kernel arch/x86/boot/bzImage

感谢meilihao 提交了pr #14 ，通过如下方法可以解决allnoconfig编译出来qemu无法加载启动的问题

$ make allnoconfig
$ make menuconfig
 General setup ---> Configure standard kernel features ---> Enable support for printk ---> yes
 64-bit kernel ---> yes # 如果不需要64bit支持, 这个也可不要
 Device Drivers ---> Character devices ---> Enable TTY ---> yes

从qemu窗口中您可以看到my_start_kernel在执行，同时my_timer_handler时钟中断处理程序周期性执行。

进入mykernel目录您可以看到qemu窗口输出的内容的代码mymain.c和myinterrupt.c。当前有一个CPU执行C代码的上下文环境，同时具有中断处理程序的上下文环境，我们通过Linux内核代码模拟了一个具有时钟中断和C代码执行环境的硬件平台。

您只要在mymain.c基础上继续写进程描述PCB和进程链表管理等代码，在myinterrupt.c的基础上完成进程切换代码，一个可运行的小OS kernel就完成了。start to write your own OS kernel, enjoy it!

• mykernel-2.0 patch generated by this command:
  • diff -Naur linux-5.4.34 linux-5.4.34-mykernel > mykernel-2.0_for_linux-5.3.34.patch

your own OS kernel example code

• mypcb.h、mymain.c和myinterrupt.c实现了一个简单的时间片轮转调度进程的精简内核，如下为进程上下文切换的关键代码（视频讲解）:

    	printk(KERN_NOTICE ">>>switch %d to %d<<<\n",prev->pid,next->pid);  
    	/* switch to next process */
    	asm volatile(	
        	"pushq %%rbp\n\t" 	    /* save rbp of prev */
        	"movq %%rsp,%0\n\t" 	/* save rsp of prev */
        	"movq %2,%%rsp\n\t"     /* restore  rsp of next */
        	"movq $1f,%1\n\t"       /* save rip of prev */	
        	"pushq %3\n\t" 
        	"ret\n\t" 	            /* restore  rip of next */
        	"1:\t"                  /* next process start here */
        	"popq %%rbp\n\t"
        	: "=m" (prev->thread.sp),"=m" (prev->thread.ip)
        	: "m" (next->thread.sp),"m" (next->thread.ip)
    	); 

• 这里的进程切换也仅仅是一种参考x86 Linux内核3.18.6的实现，而Linux内核中进程切换的实现经过了复杂的演化，参考Evolution of the x86 context switch in Linux

Comments

• mykernel这样一个短小精悍的模拟内核，时常给我提供了看问题的角度和思路。当被庞杂的Linux内核代码弄得一头雾水时，我就去看看mykernel，很多复杂的问题就可以用简单的机制解释。——pianogirl

采用mykernel的课程和项目

• 庖丁解牛Linux内核MOOC课程 - 国家精品在线开放课程
• kernel-in-kernel
• 操作系统导论
• 《庖丁解牛Linux内核分析》

Licensing

under GNU GPL v2, or Contact us [email protected]

mykernel's Issues

mykernel代码疑问

疑问:

1. 进程切换时为什么rbp不像rsp那样存成Thread的成员而是通过压栈处理?
2. 进程切换完成后next进程的rip指向了"popq %rbp", 它是如何接着上次的中断位置继续执行的?
3. 无法理解启动第一个进程的这句"pushq %1\n\t", 因为此时rbp的值应是my_start_kernel的rbp, 这句又没给rbp赋新值, 有何意义?

孟老师，请问以后会教如何将内核打造为可用的操作系统吗？

或者老师是否可以给一些相关的资料？

Could not initialize SDL

qemu-system-x86_64: warning: TCG doesn't support requested feature: CPUID.01H:ECX.vmx [bit 5]
Could not initialize SDL(No available video device) - exiting

虚拟机环境： virtualbox+Ubuntu18.04
请问这个如何解决？

patch 生成

diff -Naur linux-5.4.34 linux-5.4.34-mykernel > mykernel-2.0_for_linux-5.3.34.patch

请问 linux-5.4.34-mykernel这个文件夹怎么产生的呢？

最新代码有个问题，栈底不会切换

允许my_process退出, bzImage会崩溃

昨天改了my_process的实现, 让它做完一定次数后可以退出, 结果发现my_process退出后bzImage会崩溃, 初步判断是与"启动第一个进程"的内嵌汇编有关, 因为注释掉它后一切正常. 如何让bzImage不崩溃?

5.4内核和3.9.4内核的allnoconfig可能有不同，才导致5.4需要用defconfig

debian 9.5编译linux3.9.4时GCC报错

make时出现已下错误信息 ：
In file included from include/linux/compiler.h:54:0,
from include/uapi/linux/stddef.h:1,
from include/linux/stddef.h:4,
from /home/hero/kernel_analysis/linux-3.9.4/include/uapi/linux/posix_types.h:4,
from include/uapi/linux/types.h:13,
from include/linux/types.h:5,
from include/linux/page-flags.h:8,
from kernel/bounds.c:9:
include/linux/compiler-gcc.h:103:30: fatal error: linux/compiler-gcc6.h: No such file or directory
#include gcc_header(GNUC)
^
compilation terminated.
/home/hero/kernel_analysis/linux-3.9.4/./Kbuild:35: recipe for target 'kernel/bounds.s' failed
make[1]: *** [kernel/bounds.s] Error 1
Makefile:833: recipe for target 'prepare0' failed
make: *** [prepare0] Error 2

Issue Title patch 的时候出现 Assignees: Labels:

patch unexpectedly ends in middle of line
patch: **** Only garbage was found in the patch input.
这是什么原因造成的
用的是3.9.4的

Where is all the GPRs stored during context switch

I see that during a context switch, PCB / Thread stores the contents of the IP/SP registers. But what about all the other general purpose registers, e.g RAX, RBX etc...

Doesn't those need to be stored as well for the context switching to function properly?

是否有视频课程呢

有视频课程学习吗？

启动后卡在了Booting from ROM

执行到make的时候会出现报错

按照操作步骤到make的时候会报错找不到compiler-gcc5.h。
在https://git.kernel.org/pub/scm/linux/kernel/git/sashal/linux-stable.git/tree/include/linux/compiler-gcc5.h下载了一个也不行。
我的系统是Ubuntu 16.04 x64

Ubuntu22.04版本编译Linux内核5.4.34时遇到兼容性问题解决方案

实验代码环境适配Ubuntu20.04及以下版本，使用Ubuntu22.04做的时候可能会出现兼容性问题，即make -j$(nproc)编译不通过等。可以通过以下方案解决，仅供参考：
新建一个文件thunkpatch.patch 填入：

 tools/objtool/elf.c | 7 +++++--
 1 file changed, 5 insertions(+), 2 deletions(-)
 
diff --git a/tools/objtool/elf.c b/tools/objtool/elf.c
index be89c741ba9a..2b0f4f52f7b5 100644
--- a/tools/objtool/elf.c
+++ b/tools/objtool/elf.c
@@ -380,8 +380,11 @@ static int read_symbols(struct elf *elf)
 
 	symtab = find_section_by_name(elf, ".symtab");
 	if (!symtab) {
-		WARN("missing symbol table");
-		return -1;
+		/*
+		 * A missing symbol table is actually possible if it's an empty
+		 * .o file.  This can happen for thunk_64.o.
+		 */
+		return 0;
 	}
 
 	symtab_shndx = find_section_by_name(elf, ".symtab_shndx");

--
2.29.2

然后在Linux源码目录下执行
patch -p1 < thunkpatch.patch所在目录/thunkpatch.patch
再次编译就可以解决问题。

该方案改变了elf.c文件中的read_symbols函数，使之忽略.o文件中缺少symbol table的情况，使得编译能顺利进行下去

转载自https://www.spinics.net/lists/kernel/msg3797871.html 详情可见该帖

mykernel中进程调度只是堆栈的切换,能否加入代码段的切换

不知道加入代码段切换后进程切换后,怎样将eip指向切换

进程首次启动问题未解决

当sys_execve()系统调用从内核态返回到用户态时，EIP寄存器直接跳转到了ELF程序的入口地址，于是新的程序开始执行，ELF可执行文件装载完成。这地方理解的还不够，耽误了半天时间