简介

Compose 项目是 Docker 官方的开源项目，负责实现对 Docker 容器集群的快速编排。从功能上看，跟 OpenStack(虚拟容器技术) 中的 Heat 十分类似。

其代码目前在 https://github.com/docker/compose 上开源。

Compose 定位是 「定义和运行多个 Docker 容器的应用（Defining and running multi-container Docker applications），同时可以对多个容器进行编排」，其前身是开源项目 Fig。

之前我们已经学习了 Dockerfile 模板文件，可以让用户很方便的定义一个单独的应用容器。然而，在日常工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目，除了 Web 服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。

Compose 恰好满足了这样的需求。它允许用户通过一个单独的 docker-compose.yml 模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。

Compose 中有两个重要的概念：

  • 服务 (service)：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例。
  • 项目 (project)：由一组关联的应用容器组成的一个完整业务单元，在 docker-compose.yml 文件中定义。

Compose 的默认管理对象是项目，通过子命令对项目中的一组容器进行便捷地生命周期管理。

Compose 项目由 Python 编写，实现上调用了 Docker 服务提供的 API 来对容器进行管理。因此，只要所操作的平台支持 Docker API，就可以在其上利用 Compose 来进行编排管理。

安装与卸载

安装

Linux系统

  • 在 Linux 上的也安装十分简单，从 官方 GitHub Release 处直接下载编译好的二进制文件即可。例如，在 Linux 64 位系统上直接下载对应的二进制包。
1
2
3
4
5
6
[root@localhost ~]# curl -L https://github.com/docker/compose/releases/download/1.28.2/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   633  100   633    0     0    546      0  0:00:01  0:00:01 --:--:--   547
100 11.6M  100 11.6M    0     0  34612      0  0:05:52  0:05:52 --:--:-- 28907
[root@localhost ~]# chmod +x /usr/local/bin/docker-compose
  • /usr/local/bin/该目录是用户自行编译安装时默认的可执行程序的安装位置，已默认配置环境变量，放到该目录则不需要在单独配置环境变量。

MacOS、Windows系统

  • Compose 可以通过 Python 的包管理工具 pip 进行安装，也可以直接下载编译好的二进制文件使用，甚至能够直接在 Docker 容器中运行。Docker Desktop for Mac/Windows 自带 docker-compose 二进制文件，安装 Docker 之后可以直接使用。

卸载

  • 如果是二进制包方式安装的，删除二进制文件即可。
1
[root@localhost ~]# sudo rm /usr/local/bin/docker-compose

测试安装成功

1
2
[root@localhost bin]# docker-compose --version
docker-compose version 1.28.2, build 67630359

docker-compose使用

1. 相关概念

  • 项目 (project)：由一组关联的应用容器组成的一个完整业务单元。一个项目可以由多个服务（容器）关联而成，Compose 面向项目进行管理，定义docker-compose.yml文件中。
  • 服务 (service)：一个服务对应一个应用容器，在一个项目中可以存在多个服务。

2. 场景

最常见的项目是 web 网站，该项目应该包含 web 应用和缓存。

  • springboot应用
  • mysql服务
  • redis服务
  • elasticsearch服务
  • …….

3. docker-compose模板

参考文档：https://docker_practice.gitee.io/zh-cn/compose/compose_file.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
version: "3.0"
services:
  mysqldb:
    image: mysql:5.7.19
    container_name: mysql
    ports:
      - "3306:3306"
    volumes:
      - /root/mysql/conf:/etc/mysql/conf.d
      - /root/mysql/logs:/logs
      - /root/mysql/data:/var/lib/mysql
    environment:
      MYSQL_ROOT_PASSWORD: root
    networks:
      - api
    depends_on:
      - redis

  redis:
    image: redis:4.0.14
    container_name: redis
    ports:
      - "6379:6379"
    networks:
      - api
    volumes:
      - /root/redis/data:/data
    command: redis-server
    
networks:
  api:

4. 通过docker-compose运行一组容器

参考文档：https://docker_practice.gitee.io/zh-cn/compose/commands.html

  • (前台)启动这个项目的所有服务，必须保证运行命令的目录存在docker-compose.yml：docker-compose up
  • (后台)启动这个项目的所有服务，必须保证运行命令的目录存在docker-compose.yml：docker-compose up -d 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@localhost compose-demo]# ls
docker-compose.yml
[root@localhost compose-demo]# cat docker-compose.yml
version: "3.0"
services:
  tomcat: # 服务名，唯一
    image: tomcat:latest # 创建当前服务使用镜像
    ports:
      - 8080:8080
[root@localhost compose-demo]# docker-compose up
Building with native build. Learn about native build in Compose here: https://docs.docker.com/go/compose-native-build/
Creating compose-demo_tomcat_1 ... done
Attaching to compose-demo_tomcat_1
tomcat_1  | NOTE: Picked up JDK_JAVA_OPTIONS:  --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.rmi/sun.rmi.transport=ALL-UNNAMED
tomcat_1  | 14-Feb-2021 07:38:39.321 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Server version name:   Apache Tomcat/9.0.41
tomcat_1  | 14-Feb-2021 07:38:39.334 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Server built:          Dec 3 2020 11:43:00 UTC
……

docker-compose模板文件指令

官方文档地址：https://docs.docker.com/compose/compose-file/

模板文件是使用 Compose 的核心，涉及到的指令关键字也比较多。但不用担心，这里面大部分指令跟 docker run 相关参数的含义都是类似的。

默认的模板文件名称为 docker-compose.yml，格式为 YAML 格式。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
version: "3.0" # docker-compose版本，支持3.8
services:
  apps:
    build: # 用来指定Dockerfile所在目录，先根据build中Dockerfile自动构建镜像，自动运行容器
      context: demo # 指定上下文目录dockerfile所在目录 demo和./demo是一样的
      dockerfile: Dockerfile # 指定Dockerfile的名称
    container_name: apps # 容器名称
    ports:
      - "8088:8088"
    networks:
      - hello
    depends_on:
      - tomcat01
  tomcat01: # 服务名，唯一
    container_name: tomcat01 # 相当于run的--name
    image: tomcat:latest # 创建当前服务使用镜像
    ports: # 用来完成宿主机host与容器端口映射管理 相当于run -p
      - "8080:8080"
    volumes: # 完成宿主机与容器中目录数据卷共享 相当于run -v
      # - /root/apps:/usr/local/tomcat/webapps # 使用自定义绝对路径映射容器内路径
      - tomcatwebapp01:/usr/local/tomcat/webapps # 使用自动创建数据卷映射容器内路径
    networks: # 代表当前服务使用哪个网桥 相当于run --network
      - hello
    depends_on: # 代表这个容器必须依赖哪些容器之后才能启动
      - tomcat02 # 服务名
      - redis
      - mysql
    healthcheck: # 心跳检测
      test: [ "CMD", "curl", "-f", "http://localhost" ]
      interval: 1m30s
      timeout: 10s
      retries: 3
    sysctls: # 用来修改容器中系统内部参数，并不是必须，有些服务启动受容器内操作系统参数限制可能会无法启动必须通过修改容器中参数才能启动
      - net.core.somaxconn=1024
      - net.ipv4.tcp_syncookies=0
    ulimits: # 用来修改容器中系统内部进程数限制，日后使用时可根据当前容器运行服务要求进行修改
      nproc: 65535
      nofile:
        soft: 20000
        hard: 40000
  tomcat02: # 服务名，唯一
    container_name: tomcat02 # 相当于run的--name
    image: tomcat:latest # 创建当前服务使用镜像
    ports: # 用来完成宿主机host与容器端口映射管理 相当于run -p
      - "8081:8080"
    volumes: # 完成宿主机与容器中目录数据卷共享 相当于run -v
      # - /root/apps:/usr/local/tomcat/webapps # 使用自定义绝对路径映射容器内路径
      - tomcatwebapp02:/usr/local/tomcat/webapps # 使用自动创建数据卷映射容器内路径
    networks: # 代表当前服务使用哪个网桥 相当于run --network
      - hello
  mysql:
    image: mysql:5.7.32
    container_name: mysql
    ports:
      - "3307:3306"
    volumes:
      - mysqldata:/var/lib/mysql
      - mysqlconf:/etc/mysql
#    environment:
#      - MYSQL_ROOT_PASSWORD=root
    env_file: # 用来将environment环境中配置放入指定配置文件中，文件必须是以.env结尾
      - ./mysql.env
    networks:
      - hello
  redis:
    image: redis:5.0.10
    container_name: redis
    ports:
      - "6379:6379"
    volumes:
      - redisdata:/data
    networks:
      - hello
    command: "redis-server --appendonly yes" # run 镜像之后用来覆盖容器内部默认命令
volumes: # 声明上面服务所使用的自动创建卷名
  tomcatwebapp01: # 声明指令的卷名 compose自动创建该卷名但是会在之前加入项目名，项目名_数据卷名(例如：compose-demo_tomcatwebapp01)
    external: # 使用自定义卷名
      false # true确定使用指定卷名 注意：一旦使用外部自定义卷名启动服务之前必须手动创建
  tomcatwebapp02:
  mysqldata:
  mysqlconf:
  redisdata:
networks:
  hello: # 定义服务用到网桥
    external: # 定义上面的服务用到的网桥名称 默认创建就是bridge
      true # 使用外部指定网桥 注意：网桥必须存在

注意每个服务都必须通过 image 指令指定镜像或 build 指令（需要 Dockerfile）等来自动构建生成镜像。

如果使用 build 指令，在 Dockerfile 中设置的选项(例如：CMD, EXPOSE, VOLUME, ENV 等) 将会自动被获取，无需在 docker-compose.yml 中重复设置。

下面分别介绍各个指令的用法：

build

  • 指定 Dockerfile 所在文件夹的路径（可以是绝对路径，或者相对 docker-compose.yml 文件的路径）。 Compose 将会利用它自动构建这个镜像，然后使用这个镜像。
1
2
3
4
5
version: '3'
services:

  webapp:
    build: ./dir

也可以使用 context 指令指定 Dockerfile 所在文件夹的路径，使用 dockerfile 指令指定 Dockerfile 文件名，使用 arg 指令指定构建镜像时的变量。

1
2
3
4
5
6
7
8
9
version: '3'
services:

  webapp:
    build:
      context: ./dir
      dockerfile: Dockerfile-alternate
      args:
        buildno: 1

command

  • 覆盖容器启动后默认执行的命令。
1
command: echo "hello world"

container_name

  • 指定容器名称。默认将会使用 项目名称_服务名称_序号 这样的格式。
1
container_name: docker-web-container

注意: 指定容器名称后，该服务将无法进行扩展（scale），因为 Docker 不允许多个容器具有相同的名称。

depends_on

  • 解决容器的依赖、启动先后的问题。以下例子中会先启动 redis 、db （服务id）再启动 web
  • 注：这个功能是体现了容器的编排
1
2
3
4
5
6
7
8
9
10
11
12
13
14
version: "3"

services:
  web:
    build: .
    depends_on:
      - db
      - redis

  redis:
    image: redis

  db:
    image: postgres
  • 注意：web 服务不会等待 redis 、db 「完全启动」之后才启动。

env_file

  • 从文件中获取环境变量，可以为单独的文件路径或列表。

如果通过 docker-compose -f FILE 方式来指定 Compose 模板文件，则 env_file 中变量的路径会基于模板文件路径。

如果有变量名称与 environment 指令冲突，则按照惯例，以后者为准。

1
2
3
4
5
6
env_file: .env

env_file:
  - ./common.env
  - ./apps/web.env
  - /opt/secrets.env

环境变量文件中每一行必须符合格式，支持 # 开头的注释行。

1
2
# common.env: Set development environment
PROG_ENV=development

environment

  • 设置环境变量。你可以使用数组或字典两种格式。

只给定名称的变量会自动获取运行 Compose 主机上对应变量的值，可以用来防止泄露不必要的数据。

1
2
3
4
5
6
7
environment:
  RACK_ENV: development
  SESSION_SECRET:

environment:
  - RACK_ENV=development
  - SESSION_SECRET

如果变量名称或者值中用到 true|false，yes|no 等表达 布尔 含义的词汇，最好放到引号里，避免 YAML 自动解析某些内容为对应的布尔语义。这些特定词汇，包括

1
y|Y|yes|Yes|YES|n|N|no|No|NO|true|True|TRUE|false|False|FALSE|on|On|ON|off|Off|OFF

healthcheck

  • 通过命令检查容器是否健康运行。
1
2
3
4
5
healthcheck:
  test: ["CMD", "curl", "-f", "http://localhost"]
  interval: 1m30s
  timeout: 10s
  retries: 3

image

  • 指定为镜像名称或镜像 ID。如果镜像在本地不存在，Compose 将会尝试拉取这个镜像。
1
image: 镜像名|镜像ID:[tag]

注：如果tag不写，则表示镜像版本为latest

networks

  • 配置容器连接的网络。
1
2
3
4
5
6
7
8
9
10
11
version: "3"
services:

  some-service:
    networks:
     - some-network
     - other-network

networks:
  some-network:
  other-network:

ports

  • 容器暴露端口信息。

使用宿主端口：容器端口 (HOST:CONTAINER) 格式，或者仅仅指定容器的端口（宿主将会随机选择端口）都可以。

1
2
3
4
5
ports:
 - "3000"
 - "8000:8000"
 - "49100:22"
 - "127.0.0.1:8001:8001"

注意：当使用 HOST:CONTAINER 格式来映射端口时，如果你使用的容器端口小于 60 并且没放到引号里，可能会得到错误结果，因为 YAML 会自动解析 xx:yy 这种数字格式为 60 进制。为避免出现这种问题，建议数字串都采用引号包括起来的字符串格式。

sysctls

  • 配置容器内核参数。
1
2
3
4
5
6
7
sysctls:
  net.core.somaxconn: 1024
  net.ipv4.tcp_syncookies: 0

sysctls:
  - net.core.somaxconn=1024
  - net.ipv4.tcp_syncookies=0

ulimits

  • 指定容器的 ulimits 限制值。

例如，指定最大进程数为 65535，指定文件句柄数为 20000（软限制，应用可以随时修改，不能超过硬限制） 和 40000（系统硬限制，只能 root 用户提高）。

1
2
3
4
5
ulimits:
  nproc: 65535
  nofile:
    soft: 20000
    hard: 40000

volumes

  • 数据卷所挂载路径设置。可以设置为宿主机路径(HOST:CONTAINER)或者数据卷名称(VOLUME:CONTAINER)，并且可以设置访问模式 （HOST:CONTAINER:ro）。

该指令中路径支持相对路径。

1
2
3
4
volumes:
 - /var/lib/mysql
 - cache/:/tmp/cache
 - ~/configs:/etc/configs/:ro

如果路径为数据卷名称，必须在文件中配置数据卷。

1
2
3
4
5
6
7
8
9
10
version: "3"

services:
  my_src:
    image: mysql:8.0
    volumes:
      - mysql_data:/var/lib/mysql

volumes:
  mysql_data:

docker-compose常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
[root@localhost compose-demo]# docker-compose --help
Define and run multi-container applications with Docker.

Usage:
  docker-compose [-f <arg>...] [--profile <name>...] [options] [--] [COMMAND] [ARGS...]
  docker-compose -h|--help

Options:
  -f, --file FILE             Specify an alternate compose file
                              (default: docker-compose.yml)
  -p, --project-name NAME     Specify an alternate project name
                              (default: directory name)
  --profile NAME              Specify a profile to enable
  -c, --context NAME          Specify a context name
  --verbose                   Show more output
  --log-level LEVEL           Set log level (DEBUG, INFO, WARNING, ERROR, CRITICAL)
  --ansi (never|always|auto)  Control when to print ANSI control characters
  --no-ansi                   Do not print ANSI control characters (DEPRECATED)
  -v, --version               Print version and exit
  -H, --host HOST             Daemon socket to connect to

  --tls                       Use TLS; implied by --tlsverify
  --tlscacert CA_PATH         Trust certs signed only by this CA
  --tlscert CLIENT_CERT_PATH  Path to TLS certificate file
  --tlskey TLS_KEY_PATH       Path to TLS key file
  --tlsverify                 Use TLS and verify the remote
  --skip-hostname-check       Don't check the daemon's hostname against the
                              name specified in the client certificate
  --project-directory PATH    Specify an alternate working directory
                              (default: the path of the Compose file)
  --compatibility             If set, Compose will attempt to convert keys
                              in v3 files to their non-Swarm equivalent (DEPRECATED)
  --env-file PATH             Specify an alternate environment file

Commands:
  build              Build or rebuild services
  config             Validate and view the Compose file
  create             Create services
  down               Stop and remove resources
  events             Receive real time events from containers
  exec               Execute a command in a running container
  help               Get help on a command
  images             List images
  kill               Kill containers
  logs               View output from containers
  pause              Pause services
  port               Print the public port for a port binding
  ps                 List containers
  pull               Pull service images
  push               Push service images
  restart            Restart services
  rm                 Remove stopped containers
  run                Run a one-off command
  scale              Set number of containers for a service
  start              Start services
  stop               Stop services
  top                Display the running processes
  unpause            Unpause services
  up                 Create and start containers
  version            Show version information and quit

命令对象与格式

参考文档：https://docker_practice.gitee.io/zh-cn/compose/commands.html

对于 Compose 来说，大部分命令的对象既可以是项目本身，也可以指定为项目中的服务或者容器。如果没有特别的说明，命令对象将是项目，这意味着项目中所有的服务都会受到命令影响。

执行 docker-compose [COMMAND] --help 或者 docker-compose help [COMMAND] 可以查看具体某个命令的使用格式。

docker-compose 命令的基本的使用格式是

1
docker-compose [-f=<arg>...] [options] [COMMAND] [ARGS...]

命令选项

  • -f, --file FILE 指定使用的 Compose 模板文件，默认为 docker-compose.yml，可以多次指定。
    • 如果docker-compose的文件的文件名为docker-compose，则执行命令如下：
      • docker-compose -f 自定义docker-compose文件名
  • -p, --project-name NAME 指定项目名称，默认将使用所在目录名称作为项目名。
  • --x-networking 使用 Docker 的可拔插网络后端特性
  • --x-network-driver DRIVER 指定网络后端的驱动，默认为 bridge
  • --verbose 输出更多调试信息。
  • -v, --version 打印版本并退出。

命令使用说明

up

格式为 docker-compose up [options] [SERVICE...]

  • 该命令十分强大，它将尝试自动完成包括构建镜像，（重新）创建服务，启动服务，并关联服务相关容器的一系列操作。

  • 链接的服务都将会被自动启动，除非已经处于运行状态。

  • 可以说，大部分时候都可以直接通过该命令来启动一个项目。

  • 默认情况，docker-compose up 启动的容器都在前台，控制台将会同时打印所有容器的输出信息，可以很方便进行调试。

  • 当通过 Ctrl-C 停止命令时，所有容器将会停止。

  • 如果使用 docker-compose up -d，将会在后台启动并运行所有的容器。一般推荐生产环境下使用该选项。

  • 默认情况，如果服务容器已经存在，docker-compose up 将会尝试停止容器，然后重新创建（保持使用 volumes-from 挂载的卷），以保证新启动的服务匹配 docker-compose.yml 文件的最新内容

down

格式为docker-compose down

  • 此命令将会停止 up 命令所启动的容器，并移除网络

exec

格式为docker-compose exec SERVICE(服务名(id)) bash

  • 进入指定的容器。

ps

格式为 docker-compose ps [options] [SERVICE...]

  • 列出项目中目前的所有容器。

  • 选项：

    • -q 只打印容器的 ID 信息。

restart

格式为 docker-compose restart [options] [SERVICE...]

  • 重启项目中的服务。

  • 选项：

    • -t, --timeout TIMEOUT 指定重启前停止容器的超时（默认为 10 秒）。

rm

格式为 docker-compose rm [options] [SERVICE...]

  • 删除所有（停止状态的）服务容器。推荐先执行 docker-compose stop 命令来停止容器。

  • 选项：

    • -f, --force 强制直接删除，包括非停止状态的容器。一般尽量不要使用该选项。
    • -v 删除容器所挂载的数据卷。

start

格式为 docker-compose start [SERVICE...]

  • 启动已经存在的服务容器。

stop

格式为 docker-compose stop [options] [SERVICE...]

  • 停止已经处于运行状态的容器，但不删除它。通过 docker-compose start 可以再次启动这些容器。

  • 选项：

    • -t, --timeout TIMEOUT 停止容器时候的超时（默认为 10 秒）。

top

格式为docker-compose top

  • 查看各个服务容器内运行的进程。

pause

格式为 docker-compose pause [SERVICE...]

  • 暂停一个服务容器。

unpause

格式为 docker-compose unpause [SERVICE...]

  • 恢复处于暂停状态中的服务。

logs

格式为 docker-compose logs [options] [SERVICE...]

  • 查看服务容器的输出。默认情况下，docker-compose 将对不同的服务输出使用不同的颜色来区分。可以通过 --no-color 来关闭颜色。

  • 该命令在调试问题的时候十分有用。