gem5 FS模式实验手册

基于v22.0.0.1版本的gem5 Full System（FS）模式实验手册

由于gem5的主分支更新很快，但各ISA未必跟上主分支的更新，导致出现连教程都无法运行的情况，所以我写了这份基于v22.0.0.1版本的实验手册；这个版本解决了RISC-V的RVC指令的性能问题，非常适合做RISC-V的FS模式的实验。

编译安装gem5

环境准备

根据Building gem5准备环境
自行安装RISC-V工具链，从源码编译或用apt安装均可

获取代码

clone本仓库

$ git clone https://github.com/lshpku/gem5-fs-handbook.git

获取gem5源代码，clone时不checkout以加快速度

$ git clone --no-checkout https://github.com/gem5/gem5.git

checkout正确的分支 警告：本手册严格基于v22.0.0.1版本的gem5编写，使用其他版本出现问题概不负责！
```
$ cd gem5
$ git checkout v22.0.0.1
```

打patch

v22.0.0.1版本的HiFive.py板子新增了PCI设备，但它的配套脚本（fs_linux.py）并不支持这一设备
开发者又提供了一个新的板子（riscv_board.py）和脚本（riscv-fs.py），但新的脚本非常不完善，连基本的命令行参数都没有
我提供了一个patch，可以移除HiFive.py中PCI的部分，这样就可以用原来的脚本了

使用如下命令应用patch

$ cd gem5
$ git apply ../gem5-fs-handbook/remove-pci.patch

编译

使用SCons编译，实测在24核的机器上用时10分钟
```
$ python3 `which scons` build/RISCV/gem5.opt -j`nproc`
```

SE模式

本节首先测试一下Syscall Emulation（SE）模式是否正常

Hello World

编译gem5自带的Hello World 注：SE模式务必使用-static编译

$ cd gem5
$ riscv64-unknown-elf-gcc tests/test-progs/hello/src/hello.c -static -o hello

使用se.py脚本运行，gem5输出较多，这里只截取部分

$ build/RISCV/gem5.opt configs/example/se.py -c hello
# gem5 Simulator System.  https://www.gem5.org
# ...
# **** REAL SIMULATION ****
# build/RISCV/sim/simulate.cc:194: info: Entering event queue @ 0.  Starting simulation...
# Hello world!
# Exiting @ tick 1056500 because exiting with last active thread context

输出动态指令流信息

gem5自带的DPRINTF功能可以输出系统中各个组件（包括流水线、内存系统等）的动态信息，DPRINTF默认是关闭的，需使用--debug-flags开启

例如，下面开启程序的动态PC流输出，写到m5out/debug.log.gz文件中注：--debug-file的路径含有一个隐式前缀m5out/

$ build/RISCV/gem5.opt \
  --debug-flags=ExecEnable,ExecUser,ExecKernel \
  --debug-file=debug.log.gz \
  configs/example/se.py \
  --cmd=hello

为了节约磁盘空间，我们使用压缩格式记录输出，可以使用如下命令查看前10行输出

$ gzip -dc m5out/debug.log.gz | head -10
#  500: system.cpu: 0x10116    : auipc gp, 4                :
# 1500: system.cpu: 0x1011a    : addi gp, gp, -638          :
# 2500: system.cpu: 0x1011e    : addi a0, gp, 1912          :
# 3500: system.cpu: 0x10122    : auipc a2, 4                :
# 4500: system.cpu: 0x10126    : addi a2, a2, 1398          :
# ...

更多的--debug-flag可以用下面的命令查看

$ build/RISCV/gem5.opt --debug-help
# ...
# Compound Flags:
#     AnnotateAll: All Annotation flags
#         Annotate, AnnotateQ, AnnotateVerbose
#     CacheAll:
#         Cache, CacheComp, CachePort, CacheRepl, CacheVerbose,
#         HWPrefetch, MSHR
#　...

输出性能计数器

若我们并不关心每条动态指令，只是想知道整个程序最终的运行情况，可以用gem5的性能计数器功能

gem5的性能计数器默认是开启的，例如运行下面的命令

$ build/RISCV/gem5.opt configs/example/se.py \
  --cpu-type=O3CPU \
  --bp-type=TAGE_SC_L_64KB \
  --caches --l2cache \
  --cmd=hello

就可以在m5out/stats.txt中看到整个程序最终的性能计数器的值

$ cat m5out/stats.txt
# ...
# system.cpu.numCycles       13156  # Number of cpu cycles simulated (Cycle)
# system.cpu.committedInsts   1760  # Number of Instructions Simulated (Count)
# system.cpu.instsIssued      2665  # Number of instructions issued (Count)
# ...

FS模式：启动Linux

本节介绍如何使用FS模式启动一个最基本的操作系统

编译m5term

m5term是gem5自带的用于连接控制台的小程序，直接编译即可
```
$ cd gem5/util/term
$ make CFLAGS=-O3
```

获取RISC-V内核与磁盘镜像

进入网页RISCV Full System
下载Bootloader：bootloader-vmlinux-5.10
- 注：不是下载Kernel，只有Kernel无法启动，必须下载内嵌了Kernel的Bootloader
下载Disk Image：riscv-disk.img.gz，然后解压
```
$ gzip -cd riscv-disk.img.gz > riscv-disk.img
```
假设你将bootloader-vmlinux-5.10和riscv-disk.img放在和gem5/同一级目录下，如下所示
```
$ ls
# gem5/
# gem5-fs-handbook/
# bootloader-vmlinux-5.10
# riscv-disk.img
```

修改磁盘镜像

如果你有sudo权限（Podman里的不算）

用mount配合loop挂载，假设挂载到/mnt/rootfs目录

$ sudo mkdir -p /mnt/rootfs
$ sudo mount -o loop riscv-disk.img /mnt/rootfs

拷贝benchmark，以hello为例
```
$ cp gem5/hello /mnt/rootfs/root
```
卸载
```
$ sudo umount /mnt/rootfs
```

如果你没有sudo权限，但是有Podman

启动一个Podman容器，假设你将工作目录映射到/mnt
```
$ podman run -it -v $(pwd):/mnt ubuntu:20.04
```
安装e2tools工具
```
$ apt update
$ apt install e2tools
```

拷贝benchmark，以hello为例

$ cd /mnt
$ e2cp -p gem5/hello riscv-disk.img:/root

其他命令

如果你的benchmark较大，可以对镜像扩容，例如扩容到300M 注：如果你已经用mount挂载了镜像，务必先卸载再扩容；用e2tools不存在此问题
```
$ e2fsck -f riscv-disk.img
$ resize2fs riscv-disk.img 300M
```

启动系统并使用m5term连接

在其中一个窗口启动gem5，记住如下所示的port号（这里是3456）

$ cd gem5
$ build/RISCV/gem5.opt configs/example/riscv/fs_linux.py \
  --kernel=../bootloader-vmlinux-5.10 \
  --disk-image=../riscv-disk.img
# ...
# board.platform.terminal: Listening for connections on port 3456
# ...

在另一个窗口用m5term连接，注意指定正确的port
```
$ cd gem5
$ util/term/m5term localhost <port>
```

约2分钟后，看到如下界面，输入账号和密码即可登录

# ...
#  _   _  ____            _     _
# | | | |/ ___|__ _ _ __ | |   (_)_ __  _   ___  __
# | | | | |   / _` | '_ \| |   | | '_ \| | | \ \/ /
# | |_| | |__| (_| | | | | |___| | | | | |_| |>  <
#  \___/ \____\__,_|_| |_|_____|_|_| |_|\__,_/_/\_\
# Welcome to RiscV
#
# UCanLinux login: root
# Password: root
root@UCanLinux:~ #

测试先前拷贝进去的hello程序
```
$ ./hello
# Hello, world!
```
注：m5term的退出方式为先输入~，再输入.

FS模式：高效实验

在上一节中我们只是能够启动操作系统，但还不能做任何有价值的实验，本节将介绍如何使用FS模式运行我们的benchmark，并且高效地完成整个实验流程

编译m5

m5是一个在FS容器中操作gem5的命令行小程序，m5的原理是执行自定义的指令并被gem5捕获，使得gem5执行一些外部动作，关于m5的更多介绍可见m5 README

使用如下命令编译m5

$ cd gem5/util/m5
$ python3 `which scons` build/RISCV/out/m5

参照修改磁盘镜像，将编译好的m5（位于gem5/util/m5/build/riscv/out/m5）拷贝到你的镜像的/root目录下

修改登录脚本

由于默认的镜像需要输入密码登录，且登录后不会自动运行程序，所以我们需要修改登录脚本，让它自动登录和运行benchmark

关于修改方式

如果你有root权限，可以mount镜像后直接用vim修改
如果没有root权限，可以先用e2cp -p命令将文件复制出来，修改后再复制回去
- 警告：使用e2cp -p命令时绝对不能漏掉-p参数！

设置免登录

Linux使用/etc/inittab设置启动第一个进程（/sbin/init）后应该做的事情
修改/etc/inittab，将::respawn:/sbin/getty ...这一行修改为
```
::respawn:-/bin/sh /root/init.sh
```
上述命令其实是说启动之后直接运行/root/init.sh脚本，不经过getty，也就是不需要登录

设置运行脚本

在镜像中创建/root/init.sh文件，内容如下

/root/m5 checkpoint
/root/m5 readfile > /tmp/run.sh
/bin/sh /tmp/run.sh
/root/m5 exit

这个脚本写得非常巧妙，其中/root/m5 checkpoint这句类似于fork()，请读者自己体会

准备Benchmark

假设我们仍然用hello小程序，你已经将hello已经放在镜像的/root目录下
在镜像外创建一个调用hello的脚本run-hello.sh，内容如下
```
/root/m5 resetstats
/root/hello > /tmp/hello.out
/root/m5 dumpstats
```
警告：gem5的磁盘镜像是只读的，所以如果你的benchmark需要写，请将写的内容重定向到镜像的/tmp文件夹中
注：镜像里虽然有C库，但由于Linux的库更新很快，镜像的C库已经有点过时了，所以建议benchmark都用-static编译

使用Atomic启动Linux

为了避免每次运行程序都要启动一次系统，我们可以制作一个已经启动好的系统的镜像，以后每次都从创建镜像的地方开始运行benchmark
由于上一步我们已经在登录脚本中设置了checkpoint命令，所以直接启动系统即可，启动完成后会自动保存镜像并退出
```
$ cd gem5
$ build/RISCV/gem5.opt configs/example/riscv/fs_linux.py \
  --kernel=../bootloader-vmlinux-5.10 \
  --disk-image=../riscv-disk.img
```
生成的镜像位于m5out/cpt.xxx/（整个文件夹都是），其中xxx是创建checkpoint时的tick数
注：gem5不是用文件夹名称而是tick数的大小顺序来识别checkpoint的，tick数最小的为1号checkpoint，次小的为2号，以此类推，所以建议不要修改文件夹的名字

使用O3CPU恢复Checkpoint

恢复1号checkpoint（假设你的m5out/下只有一个checkpoint），注意设置--script为我们刚才准备的run-hello.sh脚本

$ build/RISCV/gem5.opt \
  configs/example/riscv/fs_linux.py \
  --kernel=../bootloader-vmlinux-5.10 \
  --disk-image=../riscv-disk.img \
  --restore-with-cpu=O3CPU \
  --bp-type=TAGE_SC_L_64KB \
  --caches --l2cache \
  --checkpoint-restore=1 \
  --script=run-hello.sh

运行完毕后，查看性能计数器的值，可以看到同一项出现了两次，因为run-hello.sh脚本自己调用了一次dumpstats，gem5运行结束时又自动记录了一次；第二次其实是多余的，应该以第一次为准
```
$ grep -r system.switch_cpus.branchPred.lookups m5out/stats.txt
# system.switch_cpus.branchPred.lookups  191847  # Number of BP lookups (Count)
# system.switch_cpus.branchPred.lookups  336559  # Number of BP lookups (Count)
```

lshpku / gem5-fs-handbook Goto Github PK

gem5-fs-handbook's Introduction