本文介绍搭建Mit6.828/6.S081 fall2019实验环境的详细过程,包括riscv工具链、qemu和xv6,以MacOS下的实践为例,Linux系统同样可以参考。

介绍

只有了解底层原理才能写好上层应用,曾经几度想要系统地学习OS课程,尝试去看了《计算机操作系统》、《Operating Systems: Three Easy Pieces》、《UNIX环境高级编程》,均以半途而废告终。被大量的抽象概念所淹没,对操作系统如何工作,用户程序如何运行,与CPU等硬件如何交互等问题完全没有清晰的认识。所以这次选择了以动手实践为主的课程,直接对内核源码进行学习和扩展,一步步揭开OS的神秘面纱。

MIT6.828: Operating System Engineering 在2019版本更名为6.S081,针对本科生教学,难度也有所下降,适合0基础学习,所需的计算机知识和C语言语法也十分基础。MIT用于教学的系统是xv6,一个简化的类unix系统,CPU平台使用的是RISC-V,是一种精指令集架构(RISC)。

课程的学习直接跟着官网的schedule走就行,先看Lecture下提供的讲义和手册,然后完成相应的Lab,Lab共计10个,主要内容是在xv6基础上进行内核开发和扩展。

环境搭建

MacOS下需要事先准备好xcode和homebrew,我的系统版本是10.13.4,xcode版本是9.4。实验环境主要包括三个部分:

  • RISC-V工具链: 包括一系列交叉编译的工具,用于把源码编译成机器码,如gcc,binutils,glibc等
  • QEMU模拟器: 用于在我们机器上(X86)模拟RISC-V架构的CPU
  • xv6源码: xv6操作系统源码

一、RISC-V toolchain

risc-v工具链安装是坑最多的一步,如果按照官网教程来安装,大概率会因为下载过慢而失败,即使我把命令行翻了墙效果也并不好。教程中的安装命令是brew install riscv-tools,但我发现riscv-tools由几个部分组成,我们其实只需要riscv-gnu-toolchain,源码下载方式如下:

git clone --recursive https://github.com/riscv/riscv-gnu-toolchain

riscv-gnu-toolchain源码有3个G大小,直接clone耗时太久。所以我将源码上传到了baidu网盘,提取码ui4j,供大家直接下载。

下载后在源码根目录进行编译,具体参考官方文档。编译大约需要30min:

./configure --prefix=/usr/local/opt/riscv-gnu-toolchain    #配置产物路径
make                                                       #编译

更新(2020.11.07):在macOS catalina版本下进行./configure时提示缺少GNU的 awk 和 sed: configure: error: GNU awk not found,手动安装即可: brew install gawk 以及 brew install gsed

安装完成后需配置环境变量,与上一步设置的安装路径一致。Mac下的环境配置文件是~/.bash_profile(Linux下为~/.bashrc~/.profile),使用编辑器 (如vim) 打开文件,在最后一行添加配置,操作如下:

vim ~/.bash_profile                                              #打开配置文件
export PATH="$PATH:/usr/local/opt/riscv-gnu-toolchain/bin"       #末尾添加此行
source ~/.bash_profile                                           #使配置生效

此时在命令行输入riscv64-unknown-elf-gcc -v,如果能显示版本信息则代表安装成功。

二、QEMU

下载qemu模拟处理器,我们编译生成的risc-v平台的机器码,需要通过模拟cpu执行。

1.一种方式是通过包管理工具直接安装,mac下使用的是homebrew,如果速度较慢可切换tsinghua源。

brew install qemu               

我的OS X版本(high sierra)对应的qemu版本是3.1.0,在启动riscv-gdb远程调试qemu时会报错:Remote 'g' packet reply is too long (expected 264 bytes, got 520 bytes),而4.1.0版本的qemu则正常。不过暂时来看,该bug不会影响实验的进行。

2.另一种方式是从qemu官网下载指定版本的源码并编译:

wget https://download.qemu.org/qemu-4.1.0.tar.xz  #下载后解压并进入目录
./configure                                       #默认安装所有目标平台,产物路径为/usr/local/bin
make && make install                              #编译并安装

如果wget从官网下载较慢可以选择使用网盘(链接,提取码 h7ud)。

三、xv6

从github下载xv6源码

git clone git://github.com/mit-pdos/xv6-riscv-fall19.git

在项目目录下编译,如果能进入xv6的shell则表示实验环境已搭建成功,进入后可输入命令(如 ls)进行测试。

make
make qemu

本文链接:https://zhayujie.com/mit6828-env.html

标签: mit6.828, os

已有 23 条评论

  1. leaf leaf

    感谢作者分享 ! 自己查了半天都没解决跟着您的文章重新配了一遍就成功了。

    1. zyj zyj

      不客气,有问题随时交流

  2. 呜呜呜 呜呜呜

    你好,请问最后在实验目录中make qemu时缺少riscv64-unknown-elf-gcc -c -o kernel/entry.o kernel/entry.S
    riscv64-unknown-elf-gcc -Wall -Werror -O -fno-omit-frame-pointer -ggdb -DSOL_UTIL -MD -mcmodel=medany -ffreestanding -fno-common -nostdlib -mno-relax -I. -fno-stack-protector -fno-pie -no-pie -c -o kernel/start.o kernel/start.c
    ...
    riscv64-unknown-elf-ld -z max-page-size=4096 -N -e main -Ttext 0 -o user/_zombie user/zombie.o user/ulib.o user/usys.o user/printf.o user/umalloc.o
    riscv64-unknown-elf-objdump -S user/_zombie > user/zombie.asm
    riscv64-unknown-elf-objdump -t user/_zombie | sed '1,/SYMBOL TABLE/d; s/ .* / /; /^$/d' > user/zombie.sym
    mkfs/mkfs fs.img README user/xargstest.sh user/_cat user/_echo user/_forktest user/_grep user/_init user/_kill user/_ln user/_ls user/_mkdir user/_rm user/_sh user/_stressfs user/_usertests user/_grind user/_wc user/_zombie
    nmeta 46 (boot, super, log blocks 30 inode blocks 13, bitmap blocks 1) blocks 954 total 1000
    但是只有qemu-system-riscv64 -machine virt -bios none -kernel kernel/kernel -m 128M -smp 3 -nographic -drive file=fs.img,if=none,format=raw,id=x0 -device virtio-blk-device,drive=x0,bus=virtio-mmio-bus.0

    xv6 kernel is booting

    hart 2 starting
    hart 1 starting
    init: starting sh
    这几行是什么问题
    前面的步骤都对

    1. 呜呜呜 呜呜呜

      make grade显示exec ./grade-lab-util failed

      1. zyj zyj

        前面的报错我没有太理解,你可以加下我交流。 make grade的问题你可以看看下一篇文章,我当时的解决方法是 "将gradelib.py的325行改为self.sock.connect(("127.0.0.1", port))",可能对你有帮助。

        1. 呜呜呜 呜呜呜

          解决了,忘记sudo了,万分感谢上面的教程

        2. 呜呜呜 呜呜呜

          按照改了,可是老是运行失败。。

  3. gr gr

    您好,我在riscv-toolchain和qemu阶段都没有出错,但是在最后一步进入xv6-riscv-fall19目录后make失败,错误信息如下
    riscv64-unknown-elf-gcc -c -o kernel/entry.o kernel/entry.S
    dyld: Library not loaded: /usr/local/opt/isl/lib/libisl.21.dylib
    Referenced from: /usr/local/opt/riscv-gnu-toolchain/libexec/gcc/riscv64-unknown-elf/9.2.0/cc1
    Reason: image not found
    riscv64-unknown-elf-gcc: internal compiler error: Abort trap: 6 signal terminated program cc1
    Please submit a full bug report,
    with preprocessed source if appropriate.
    See for instructions.
    make: *** [kernel/entry.o] Error 4
    查了半天实在搞不定,麻烦您帮忙解答一下,非常感谢

    1. gr gr

      刚刚解决了,stackoverflow上看到了类似的问题,执行了一下下面这个命令
      install_name_tool -change '/usr/local/opt/isl/lib/libisl.21.dylib' /usr/local/opt/isl/lib/libisl.dylib /usr/local/opt/riscv-gnu-toolchain/libexec/gcc/riscv64-unknown-elf/9.2.0/cc1
      虽然不知道什么意思

      1. zyj zyj

        根据这句报错: "dyld: Library not loaded: /usr/local/opt/isl/lib/libisl.21.dylib",可以看出是找到libisl这个动态库。 install_name_tool -change命令的作用是修改动态库的路径,将原来的 libisl.21.dylib 改为 libisl.dylib,这样就可以在编译时找到。

        1. Pengc Pengc

          非常感谢,同样遇到了这个问题,动态库链接问题!

  4. Jocelyn Jocelyn

    你好,make一直不成功,最后出现的信息如下,到这就一直卡住了,试了好多次了,到这大概编译了不到十分钟的样子,请问大概是什么原因呢?实在搞不定,来请求解答QAQ
    make[4]: Nothing to be done for `install'.
    make[2]: Nothing to be done for `install-target'.
    mkdir -p stamps/ && touch stamps/build-binutils-newlib
    if test -f /Users/xielinlin/riscv-gnu-toolchain/riscv-gcc/contrib/download_prerequisites && test "true" = "true"; then cd /Users/xielinlin/riscv-gnu-toolchain/riscv-gcc && ./contrib/download_prerequisites; fi

    1. zyj zyj

      已解决。问题为在riscv-gnu-toolchain编译时失败,报错:gmp-6.1.0.tar.bz2: FAILED shasum: WARNING: 1 computed checksum did NOT match. error: Cannot verify integrity of possibly corrupted file gmp-6.1.0.tar.bz2. make: *** [stamps/build-gcc-newlib-stage1] Error 1.

      原因是 gmp 文件下载不完整,导致hash校验不通过。解决方法是手动下载后进行替换,地址为:https://gcc.gnu.org/pub/gcc/infrastructure,下载对应的 gmp-6.1.0.tar.bz2 并替换到本地, 重试编译后成功。

    2. zyj zyj

      从你发的日志来看并没有报错,建议多等一会 (大概需要30-40分钟,视机器而定)。 "Nothing to be done" 的提示是指部分产物已经编译生成了,你也可以先 make clean 然后重新 make 试试。 如果还不行可以加我下wx,帮你分析下具体的问题。

  5. whx whx

    我在最后的make阶段出现了问题

    riscv64-unknown-elf-gcc: error: unrecognized command-line option '-mmacosx-version-min=10.9'

    查了好久,没有解决,这是什么原因?makefile里也没找见关键字啊

    1. whx whx

      我找到原因了 是我的conda自动加的!!!

      1. zyj zyj

        可以,找到原因就好

  6. 小陈同学 小陈同学

    你好,请问编译riscv-gnu-toolchain后,该如果配置环境变量呢?我这一步我不是太懂。上网搜了一下也没搞明白,最后我直接输入命令
    export PATH="$PATH:/usr/local/opt/riscv-gnu-toolchain/bin"

    然后输入
    riscv64-unknown-elf-gcc -v

    应该是成功的出现了版本信息
    输出内容如下:
    Using built-in specs.
    COLLECT_GCC=riscv64-unknown-elf-gcc
    COLLECT_LTO_WRAPPER=/usr/local/opt/riscv-gnu-toolchain/libexec/gcc/riscv64-unknown-elf/9.2.0/lto-wrapper
    Target: riscv64-unknown-elf
    Configured with: /Users/a1278132270/riscv-gnu-toolchain/riscv-gcc/configure --target=riscv64-unknown-elf --prefix=/usr/local/opt/riscv-gnu-toolchain --disable-shared --disable-threads --enable-languages=c,c++ --with-system-zlib --enable-tls --with-newlib --with-sysroot=/usr/local/opt/riscv-gnu-toolchain/riscv64-unknown-elf --with-native-system-header-dir=/include --disable-libmudflap --disable-libssp --disable-libquadmath --disable-libgomp --disable-nls --disable-tm-clone-registry --src=.././riscv-gcc --disable-multilib --with-abi=lp64d --with-arch=rv64imafdc --with-tune=rocket 'CFLAGS_FOR_TARGET=-Os -mcmodel=medlow' 'CXXFLAGS_FOR_TARGET=-Os -mcmodel=medlow'
    Thread model: single
    gcc version 9.2.0 (GCC)

    QEMU和xv6源码都已经准备好了。

    但是在进入 xv6-public 后输入
    make
    没能编译成功。提示好像是说环境变量没有配置成功……

    输出信息如下:
    1278132270deMacBook-Air:xv6-public a1278132270$ make
    ***
    *** Error: Couldn't find an i386-*-elf version of GCC/binutils.
    *** Is the directory with i386-jos-elf-gcc in your PATH?
    *** If your i386-*-elf toolchain is installed with a command
    *** prefix other than 'i386-jos-elf-', set your TOOLPREFIX
    *** environment variable to that prefix and run 'make' again.
    *** To turn off this error, run 'gmake TOOLPREFIX= ...'.
    ***
    ld: unknown option: -V
    gcc -fno-pic -static -fno-builtin -fno-strict-aliasing -O2 -Wall -MD -ggdb -m32 -Werror -fno-omit-frame-pointer -fno-stack-protector -fno-pic -O -nostdinc -I. -c bootmain.c
    gcc -fno-pic -static -fno-builtin -fno-strict-aliasing -O2 -Wall -MD -ggdb -m32 -Werror -fno-omit-frame-pointer -fno-stack-protector -fno-pic -nostdinc -I. -c bootasm.S
    ld -m -N -e start -Ttext 0x7C00 -o bootblock.o bootasm.o bootmain.o
    ld: warning: option -m is obsolete and being ignored
    ld: unknown option: -N
    make: *** [bootblock] Error 1

    不知道该去配置什么东西,实在不知道怎么办了。
    十分感谢你看完了这个评论,如果能给予一些指导就更好了(/ω\)

    1. zyj zyj

      环境变量需要在系统配置文件中添加,你可以使用vim打开文件并在末尾添加一行,具体细节我已经在原文中补充 :)

      1. 小陈同学 小陈同学

        感谢作者♥️,按照作者的步骤来是没有问题的。

        1. zyj zyj

          不客气,后面会持续更新,有问题欢迎交流。

  7. syl syl

    期待后续更新。

添加新评论