Docker 技术鼻祖！

作者：吴伟

原文标题：docker 容器基础技术：linux cgroup 简介

原文链接：https://cizixs.com/2017/08/25/linux-cgroup/

• 资源限制：限制进程使用的资源上限，比如最大内存、文件系统缓存使用限制
• 优先级控制：不同的组可以有不同的优先级，比如 CPU 使用和磁盘 IO 吞吐
• 审计：计算 group 的资源使用情况，可以用来计费
• 控制：挂起一组进程，或者重启一组进程

cgroups 核心概念

• task：任务，对应于系统中运行的一个实体，一般是指进程
• subsystem：子系统，具体的资源控制器（resource class 或者 resource controller），控制某个特定的资源使用。比如 CPU 子系统可以控制 CPU 时间，memory 子系统可以控制内存使用量
• cgroup：控制组，一组任务和子系统的关联关系，表示对这些任务进行怎样的资源管理策略
• hierarchy：层级树，一系列 cgroup 组成的树形结构。每个节点都是一个 cgroup，cgroup 可以有多个子节点，子节点默认会继承父节点的属性。系统中可以有多个 hierarchy

子资源系统（Resource Classes or SubSystem）

• Block IO（blkio)：限制块设备（磁盘、SSD、USB 等）的 IO 速率
• CPU Set(cpuset)：限制任务能运行在哪些 CPU 核上
• CPU Accounting(cpuacct)：生成 cgroup 中任务使用 CPU 的报告
• CPU (CPU)：限制调度器分配的 CPU 时间
• Devices (devices)：允许或者拒绝 cgroup 中任务对设备的访问
• Freezer (freezer)：挂起或者重启 cgroup 中的任务
• Memory (memory)：限制 cgroup 中任务使用内存的量，并生成任务当前内存的使用情况报告
• Network Classifier(net_cls)：为 cgroup 中的报文设置上特定的 classid 标志，这样 tc 等工具就能根据标记对网络进行配置
• Network Priority (net_prio)：对每个网络接口设置报文的优先级
• perf_event：识别任务的 cgroup 成员，可以用来做性能分析

Hierarchy

使用 cgroups

• 使用 cgroups 提供的虚拟文件系统，直接通过创建、读写和删除目录、文件来控制 cgroups
• 使用命令行工具，比如 libcgroup 包提供的 cgcreate、cgexec、cgclassify 命令
• 使用 rules engine daemon 提供的配置文件
• 当然，systemd、lxc、docker 这些封装了 cgroups 的软件也能让你通过它们定义的接口控制 cgroups 的内容

直接操作 cgroup 文件系统

查看 cgroups 挂载信息

➜  ~ mount -t cgroupcgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb,release_agent=/run/cgmanager/agents/cgm-release-agent.hugetlb)cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset,clone_children)cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event,release_agent=/run/cgmanager/agents/cgm-release-agent.perf_event)cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids,release_agent=/run/cgmanager/agents/cgm-release-agent.pids)cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)

$ mount -t cgroup -o cpu,cpuset,memory cpu_and_mem /cgroup/cpu_and_mem

• tasks：当前 cgroup 包含的任务（task）pid 列表，把某个进程的 pid 添加到这个文件中就等于把进程移到该 cgroup
• cgroup.procs：当前 cgroup 中包含的 thread group 列表，使用逻辑和 tasks 相同
• notify_on_release：0 或者 1，是否在 cgroup 销毁的时候执行 notify。如果为 1，那么当这个 cgroup 最后一个任务离开时（退出或者迁移到其他 cgroup），并且最后一个子 cgroup 被删除时，系统会执行 release_agent 中指定的命令
• release_agent：需要执行的命令

创建 cgroup

➜  ~ mkdir /sys/fs/cgroup/cpu/mycgroup➜  ~ ls /sys/fs/cgroup/cpu/mycgroupcgroup.clone_children  cpuacct.stat   cpuacct.usage_percpu  cpu.cfs_quota_us  cpu.stat           taskscgroup.procs           cpuacct.usage  cpu.cfs_period_us     cpu.shares        notify_on_release

删除 cgroup

$ rmdir /sys/fs/cgroup/cpu/mycgroup/

设置 cgroup 参数

$ echo 0-1 > /sys/fs/cgroup/cpuset/mycgroup/cpuset.cpus

把进程加入到 cgroup

$ echo 2358 > /sys/fs/cgroup/memory/mycgroup/tasks

在 cgroup 中运行进程

echo $$ > /sys/fs/cgroup/cpu/mycgroup/tasks

sh -c "echo \$$ > /sys/fs/cgroup/memory/mycgroup/tasks & & stress -m 1"

把进程移动到 cgroup

cgroup-tools

sudo apt-get install -y cgroup-tools

列出 cgroup mount 信息

➜  ~ lssubsys -amcpuset /sys/fs/cgroup/cpusetcpu,cpuacct /sys/fs/cgroup/cpu,cpuacctblkio /sys/fs/cgroup/blkiomemory /sys/fs/cgroup/memorydevices /sys/fs/cgroup/devicesfreezer /sys/fs/cgroup/freezernet_cls,net_prio /sys/fs/cgroup/net_cls,net_prioperf_event /sys/fs/cgroup/perf_eventhugetlb /sys/fs/cgroup/hugetlbpids /sys/fs/cgroup/pids

创建 cgroup

➜  sudo cgcreate -a cizixs -t cizixs -g cpu,memory:test1➜  ls cpu/test1cgroup.clone_children  cpuacct.stat   cpuacct.usage_all     cpuacct.usage_percpu_sys   cpuacct.usage_sys   cpu.cfs_period_us  cpu.shares  notify_on_releasecgroup.procs           cpuacct.usage  cpuacct.usage_percpu  cpuacct.usage_percpu_user  cpuacct.usage_user  cpu.cfs_quota_us   cpu.stat    tasks

• 选项 -t 指定 tasks 文件的用户和组，也就是指定哪些人可以把任务添加到 cgroup 中，默认是从父 cgroup 继承
• -a 指定除了  tasks 之外所有文件（资源控制文件）的用户和组，也就是哪些人可以管理资源参数
• -g 指定要添加的 cgroup，冒号前是逗号分割的子资源类型，冒号后面是 cgroup 的路径（这个路径会添加到对应资源 mount 到的目录后面）。也就是说在特定目录下面添加指定的子资源

删除 cgroup

➜  cgroup sudo cgdelete -g cpu,memory:test1

设置 cgroup 的参数

$ cgset -r cpuset.cpus=0-1 /mycgroup

$ cgset --copy-from group1/ group2/

在某个 cgroup 中运行进程

➜  cgroup cgexec -g memory,cpu:cizixs bash

$ cgcreate -g memory,cpu:groupname/foo$ cgexec -g memory,cpu:groupname/foo bash

把已经运行的进程移动到某个 cgroup

$ cgclassify -g memory,cpu:/mycgroup $$

$ cgclassify -g cpu,memory:group1 1701 1138

cgroup 子资源参数详解

blkio：限制设备 IO 访问

• blkio.weight：设置 cgroup 读写设备的权重，取值范围在 100-1000
• blkio.weight_device：设置 cgroup 使用某个设备的权重。当访问该设备时，它会使用当前值，覆盖 blkio.weight 的值。内容的格式为 major:minor weight，前面是设备的 major 和 minor 编号，用来唯一表示一个设备，后面是 100-1000 之间的整数值。设备号的分配可以参考：https://www.kernel.org/doc/html/v4.11/admin-guide/devices.html

• blkio.throttle.read_bps_device：最多每秒钟从设备读取多少字节
• blkio.throttle.read_iops_device：最多每秒钟从设备中执行多少次读操作
• blkio.throttle.write_bps_device：最多每秒钟可以往设备写入多少字节
• blkio.throttle.write_iops_device：最多每秒钟可以往设备执行多少次写操作

$ echo "8:0 10485760" >/sys/fs/cgroup/blkio/mygroup/blkio.throttle.read_bps_device

$ echo "8:0 10" >/sys/fs/cgroup/blkio/mygroup/blkio.throttle.write_iops_device

• blkio.throttle.io_serviced：cgroup 中进程读写磁盘的次数，文件中内容格式为 major:minor operation number，表示对磁盘进行某种操作（read、write、sync、async、total）的次数
• blkio.throttle.io_service_bytes：和上面类似，不过这里保存的是操作传输的字节数
• blkio.reset_stats：重置统计数据，往该文件中写入一个整数值即可
• blkio.time：统计 cgroup 对各个设备的访问时间，格式为 major:minor milliseconds
• blkio.io_serviced：CFQ 调度器下，cgroup 对设备的各种操作次数，和 blkio.throttle.io_serviced 刚好相反，所有不是 throttle 下的请求
• blkio.io_services_bytes：CFQ 调度器下，cgroup 对各种设备的操作字节数
• blkio.sectors：cgroup 中传输的扇区次数，格式为 major:minor sector_count
• blkio.queued：cgroup IO 请求进队列的次数，格式为 number operation
• blkio.dequeue：cgroup 的 IO 请求被设备出队列的次数，格式为 major:minor number
• blkio.avg_queue_size：
• blkio.merged：cgroup 把 BIOS 请求合并到 IO 操作请求的次数，格式为 number operation
• blkio.io_wait_time：cgroup 等待队列服务的时间
• blkio.io_service_time：CFQ 调度器下，cgroup 处理请求的时间（从请求开始调度，到 IO 操作完成）

cpu：限制进程组 CPU 使用

• cpu.cfs_quota_us：每个周期 cgroup 中所有任务能使用的 CPU 时间，默认为 -1，表示不限制 CPU 使用。需要配合 cpu.cfs_period_us 一起使用，一般设置为 100000（docker 中设置的值）
• cpu.cfs_period_us：每个周期中 cgroup 任务可以使用的时间周期，如果想要限制 cgroup 任务每秒钟使用 0.5 秒 CPU，可以在 cpu.cfs_quota_us 为 100000 的情况下把它设置为 50000。如果它的值比 cfs_quota_us 大，表明进程可以使用多个核 CPU，比如 200000 表示进程能够使用 2.0 核
• cpu.stat：CPU 使用的统计数据，nr_periods 表示已经过去的时间周期；nr_throttled 表示 cgroup 中任务被限制使用 CPU 的次数（因为超过了规定的上限）；throttled_time 表示被限制的总时间
• cpu.shares：cgroup 使用 CPU 时间的权重值。如果两个 cgroup 的权重都设置为 100，那么它们里面的任务同时运行时，使用 CPU 的时间应该是一样的；如果把其中一个权重改为 200，那么它能使用的 CPU 时间将是对方的两倍。

• cpu.rt_period_us：设置一个周期时间，表示多久 cgroup 能够重新分配 CPU 资源
• cpu.rt_runtime_us：设置运行时间，表示在周期时间内 cgroup 中任务能访问 CPU 的时间。这个限制是针对单个 CPU 核数的，如果是多核，需要乘以对应的核数

cpuacct： 任务使用 CPU 情况统计

• cpuacct.usage：该 cgroup 中所有任务（包括子 cgroup 中的任务，下同）总共使用 CPU 的时间，单位是纳秒（ns）。往文件中写入 0 可以重置统计数据
• cpuacct.stat：该 cgroup 中所有任务使用 CPU 的user 和 system 时间，也就是用户态 CPU 时间和内核态 CPU 时间
• cpuacct.usage_percpu：该 cgroup 中所有任务使用各个 CPU 核数的时间，单位为纳秒（ns）

cpuset: cpu 绑定

• cpuset.cpus：设置 cgroup 中任务能使用的 CPU，格式为逗号（,）隔开的列表，减号（-）可以表示范围。比如，0-2,7 表示 CPU 第 0，1，2，和 7 核。
• cpuset.mems：设置 cgroup 中任务能使用的内存节点，和 cpuset.cpus 格式一样

memory：限制内存使用

• memory.limit_in_bytes：cgroup 能使用的内存上限值，默认为字节；也可以添加 k/K、m/M 和 g/G 单位后缀。往文件中写入 -1 来移除设置的上限，表示不对内存做限制
• memory.memsw.limit_in_bytes：cgroup 能使用的内存加 swap 上限，用法和上面一样。写入 -1 来移除上限
• memory.failcnt：任务使用内存量达到 limit_in_bytes 上限的次数
• memory.memsw.failcnt：任务使用内存加 swap 量达到 memsw.limit_in_bytes 上限的次数
• memory.soft_limit_in_bytes：设置内存软上限。如果内存充足， cgroup 中的任务可以用到 memory.limit_in_bytes 设定的内存上限；当时当内存资源不足时，内核会让任务使用的内存不超过 soft_limit_in_bytes 中的值。文件内容的格式和  limit_in_bytes 一样
• memory.swappiness：设置内核 swap out 进程内存（而不是从 page cache 中回收页） 的倾向。默认值为 60，低于 60 表示降低倾向，高于 60 表示增加倾向；如果值高于 100，表示允许内核 swap out 进程地址空间的页。如果值为 0 表示倾向很低，而不是禁止该行为。

• memory.stat：汇报内存的使用情况，里面的数据包括：
• cache：页缓存（page cache）字节数，包括 tmpfs（shmem）
• rss：匿名和 swap cache 字节数，不包括 tmpfs
• mapped_file：内存映射（memory-mapped）的文件大小，包括 tmpfs，单位是字节
• pgpgin: paged into 内存的页数
• pgpgout：paged out 内存的页数
• swap：使用的 swap 字节数
• active_anon：活跃的 LRU 列表中匿名和 swap 缓存的字节数，包括 tmpfs
• inactive_anon：不活跃的 LRU 列表中匿名和 swap 缓存的字节数，包括 tmpfs
• active_file：活跃 LRU 列表中文件支持的（file-backed）的内存字节数
• inactive_file：不活跃列表中文件支持的（file-backed）的内存字节数
• unevictable：不可以回收的内存字节数
• memory.usage_in_bytes：cgroup 中进程当前使用的总内存字节数
• memory.memsw.usage_in_bytes：cgroup 中进程当前使用的总内存加上总 swap 字节数
• memory.max_usage_in_bytes：cgroup 中进程使用的最大内存字节数
• memory.memsw.max_usage_in_bytes：cgroup 中进程使用的最大内存加 swap 字节数

net_cls：为网络报文分类

net_prio：网络报文优先级

• net_prio.prioidx：只读文件，里面包含了一个整数值，内核用来标识这个 cgroup
• net_prio.ifpriomap：网络接口的优先级，里面可以包含很多行，用来为从网络接口中发出去的报文设置优先级。每行的格式为 network_interface priority，比如 echo "eth0 5" > /sys/fs/cgroup/net_prio/mycgroup/net_prio.ifpriomap

devices：设备黑白名单

• devices.allow：cgroup 中的任务能够访问的设备列表，格式为 type major:minor access，
• type 表示类型,可以为 a(all), c(char), b(block）
• major:minor 代表设备编号，两个标号都可以用* 代替表示所有，比如 *:*代表所有的设备
• accss 表示访问方式，可以为 r(read),w(write), m(mknod) 的组合
• devices.deny：cgroup 中任务不能访问的设备，和上面的格式相同
• devices.list ：列出 cgroup 中设备的黑名单和白名单

freezer

• freezer.state：这个文件值存在于非根 cgroup 中（因为所有的任务默认都在根 cgroup 中，停止所有的任务显然是错误的行为），里面的值表示 cgroup 中进程的状态：
• FROZEN：cgroup 中任务都被挂起（暂停）
• FREEZING：cgroup 中任务正在被挂起的过程中
• THAWED：cgroup 中的任务已经正常恢复

总结

参考资料

• An introduction to cgroups and cgroupspy
• LXC, Cgroups and Advanced Linux Container Technology Lecture
• redhat doc:Subsystems and Tunable Parameters
• Docker背后的内核知识——cgroups资源限制
• Docker资源管理探秘：Docker背后的内核Cgroups机制
• Linux 内核 cgroups 简介
• 王喆锋： Linux Cgroups 详解
• Linux Cgroups V2 设计
• Understanding the new control groups API
• Resource Management: Linux Kernel Namespaces and cgroups – Rami Rosen
• wikipedia cgroups page