Консоль и теория

• Общая информация и установка
• Образы
• Контейнеры
• Тома (volumes)
• Сеть (networking)
• Yaml формат

Общая информация и установка

apt-get install sudo
usermod -aG sudo sergey
sudo apt-get update

sudo apt-get install ca-certificates curl gnupg lsb-release
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

(Вариант 2 - Ubuntu)

sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

Установка docker и docker compose

(Вариант 1 Debian/Ubuntu)

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

sudo apt-get install -y docker-engine
sudo apt-get install -y docker-compose-v2

sudo systemctl enable docker

Добавить пользователя в группу docker 

sudo usermod -aG docker $USER

Информация о текущем статусе docker 

docker info

Для Alt Linux 

sudo gpasswd -a USER docker
sudo systemctl enable --now docker
sudo init 6

Размещение compose файлов.

Для dev: где угодно. Лучше определить, например ~/project_name

Для prod: /opt и /srv стандартизированы FHS (Filesystem Hierarchy Standard) для стороннего ПО. Я остановился на /srv/project_name/

• docker client преобразовывает в POST API запрос в Docker engine
• Запрос отправляется в сокет /var/run/docker.sock
• демон получает команду создания нового контейнера и передает вызов в containerd (CRUD-style API поверх gRPC)
• containerd преобразовывает Docker image и направляет запрос в runc для создания нового контейнера
• runc взаимодействует с ядром, создавая контейнер. Контейнер запускается как дочерний процесс runc. После запуска контейнера runc завершается.

Образы

docker search alpine --filter "is-official=true"

docker build -t myapp:1.0 .
docker build -t ${PROJECT_NAME}_db:${VERSION} ./database

docker save -o имя_файла.tar имя_образа:тег

docker load -i имя_файла.tar

docker tag ddd-book:ch8.1 nigelpoulton/ddd-book:ch8.1

docker rmi $(docker images -q) -f

Контейнеры

Основные команды

docker rm -v $(docker ps -aq -f status=exited)

--link myredis:redis 

docker run --restart on-failure:10 postgres

Взаимодействие реального времени

Ctrl-PQ (или Ctrl+P, Ctrl+Q) отключение от контейнера без остановки

docker cp /tmp/config.ini grafana:/usr/share/grafana/conf/

docker exec -it ubuntu:latest bash

• Запуск контейнера образа ubuntu:latest в интерактивном режиме с bash 

  docker run -it ubuntu:latest /bin/bash 

• Подключение к работающему контейнеру и запуск в нем bash 

  docker exec -it e37f24dc7e0a bash

Тома (volumes)

Тома (volumes) – файлы или каталоги, смонтированные на хосте и не являющиеся частью каскадно-объединенной файловой системы. 
Другие контейнеры могут совместно использовать их, и все изменения будут сразу же фиксироваться в файловой системе хоста. 

Устаревшее: В качестве точки монтирования можно определить любой другой каталог хоста в команде docker run (например, docker run -d -v /host/dir:/container/dir test/web-server). 

В Dockerfile bind mounts не работает - а это и не надо делать, т к это определяется при старте образа/через compose.

Способы хранения данных: 

1. Временное (удаляется при остановке контейнера)
   1. по умолчанию изолировано на диске
   2. tmpfs в оперативной памяти
2. Постоянное
   1. обычные тома Docker
   2. bind mounts - прямое монтирование папки в контейнер

Драйвера volumes

Управление томами при запуске контейнера из консоли:

Если тома нет - будет создан

volume-opt=type=nfs,volume-opt=device=<nfs-server>:<nfs-path>

Пример:

--mount 'type=volume,src=data-volume,dst=/var/opt/project,volume-driver=local,readonly'

Без пробелов после запятых.
Создание и управление томами независимо от контейнеров

docker run -ti -d --name alpine-container -v test-data:/var/lib/app/content alpine

mkdir /home/avimanyu/test-data
docker run -ti -d --name alpine-container -v /home/avimanyu/test-data:/var/lib/app/content alpine

docker run -it --mount 'type=volume,src=datavol,dst=/datavol' --name dbstore ubuntu /bin/bash

docker run --rm --volumes-from dbstore --mount 'type=volume,src=backup,dst=/backup' --name tmpubn ubuntu tar cvf /backup/backup.tar /datavol

docker run -it --mount 'type=volume,src=datavol2,dst=/datavol' --name dbstore2 ubuntu /bin/bash

docker run --rm --volumes-from dbstore2 --mount 'type=volume,src=backup,dst=/backup' ubuntu bash -c "cd /datavol && tar xvf /backup/backup.tar --strip 1"

Сеть (networking)

Docker поставляется со следующими сетевыми драйверами в рамках библиотеки libnetwork:

• single-host bridge networks (bridge)
• multi-host overlays (overlay)
• options for plugging into existing VLANs (macvlan)

Для тестов нужно установить 

apt-get install bridge-utils

Docker регистрирует DNS сервис в пределах бриджа. Но в сети по умолчанию (docker0) DNS сервиса нет.

sudo brctl show
bridge name     bridge id               STP enabled     interfaces
br-62694f46296d         8000.7ee73b5c2894       no
br-8af5ede4ffdc         8000.aee56ab6b984       no
br-96dd8dcd216d         8000.5a64a8825202       no
docker0         8000.f220300c62b1       no

Также есть опция поиска сервисов и балансировка входной нагрузки.

docker network create -d bridge localnet

Single-host bridge networks

Создается интерфейс на хосте docker. 

Один порт может занимать только один контейнер. Взаимодействие контейнеров внутри хоста.

Multi-host overlay networks

Для взаимодействия контейнеров внутри виртуальной сети нескольких хостов. Могут быть расположены на разных нодах swarm. Сеть второго уровня, распределяющаяся по нужным нодам с dns сервисом и распределением нагрузки.

Plugging into existing VLANs

Для прямого подключения к сетевому интерфейсу соответственно с независимым адресом. Необходим promiscuous mode на интерфейсе хоста (неразборчивый режим). 

ipvlan с возможностью независимого адреса в пределах диапазона сетевой карты хоста заработал

services:
  condb:
    image: nginx
    networks:
      my_ipvlan:
        ipv4_address: 192.168.1.40

networks:
  my_ipvlan:
    driver: ipvlan
    driver_opts:
      parent: enp0s3
      ipvlan_mode: l2
    ipam:
      config:
        - subnet: 192.168.1.0/24
          gateway: 192.168.1.1

macvlan напрямую не заработал. Из интернетов:

sudo ip link add mymacvlan link enp0s3 type macvlan mode bridge
sudo ip addr add 192.168.1.99/24 dev mymacvlan
sudo ip link set mymacvlan up

Docker и firewall

Тут у меня началась веселуха. Первая проблема в том, что в литературе по докеру сетевая подсистема описана слабо, и не говорится самого главного: один хрен ip/nf tables (для определенности далее будем использовать iptables, помня обо всех нюансах). Docker самостоятельно управляет записями в iptables, за счет них организуется сетевая подсистема. Поэтому

1. Все службы вне докера управляются цепочкой INPUT
2. Службы докера, транслируемые наружу (ports в compose файле) по умолчанию попадают в цепочку FORWARD, которая сначала отдает пакеты в цепочку DOCKER-USER, затем в DOCKER-FORWARD и далее блокируется

Цепочка DOCKER-USER служит для пользовательского управления пакетами. Автоматически самим Docker не изменяется. Поэтому в ней можно блокировать например внешние запросы к внутренним сервисам, оставляя доступ для определенных адресов.

Yaml формат

# - комментарии

Ключ-значение 

first: second

Обязательный пробел после :

Вложенные ресурсы в python виде, два пробела

Типы данных

Можно определять самим, можно отдавать на определение интерпретатору. Способ самостоятельного определения: 

Есть типы данных python. Работают только в Python-парсерах YAML (PyYAML, ruamel.yaml) и не являются частью стандарта YAML 1.1/1.2. Использование в других языках приведёт к ошибкам или игнорированию:

Пример кода: 

import yaml

# ВНИМАНИЕ: Этот код потенциально опасен!

yaml_str = """
functions:
  - !!python/name:builtins.print 
    args: ["Hello from YAML!"]
  - !!python/name:__main__.my_custom_func
    args: [10, 20]
"""

def my_custom_func(x, y):
    return f"Custom result: {x * y}"

# Используем unsafe_load для поддержки !!python/name
data = yaml.unsafe_load(yaml_str)

for func in data['functions']:
    # func здесь - это объект функции
    args = func.get('args', []) if isinstance(func, dict) else []
    
    if callable(func):
        result = func(*args)
        print(f"Результат: {result}")

Однако использование python/... как я понял считается опасным. Лучше без этого.

Переменные

Есть подходы по повторному использованию значений, в классическом понимании переменных нет (да и это не нужно). Определение переменных. 

# Определение якоря
defaults_something: &defaults
  timeout: 30
  retries: 3
  debug: false

# Использование алиаса
service1:
  <<: *defaults
  name: "service1"
  port: 8080

service2:
  <<: *defaults
  name: "service2"
  timeout: 60  # переопределяет значение из defaults
  port: 8081

# Пример с отдельными значениями
database: &db_config
  host: localhost
  port: 5432

development:
  database: *db_config
# в этом случае
developmen:
  database:
    host: localhost
    port: 5432

#Вложенное слияние
db_defaults: &db_defaults
  host: localhost
  port: 5432
  settings:
    pool_size: 10
    timeout: 30

production:
  database:
    <<: *db_defaults
    host: prod-db.com
    settings:
      <<: *db_defaults['settings']  # так нельзя
      # правильный способ:
      pool_size: 20

• Merge key (<<) работает только со словарями (maps)
• Порядок важен: переопределения должны идти после <<
• Не все парсеры YAML поддерживают << (стандарт YAML 1.2 его исключил, но большинство парсеров поддерживают)
• Алиасы (*name) и якоря (&name) работают везде

Множественные документы

Возможность хранить несколько независимых YAML-документов в одном файле, разделяя их тремя дефисами ---. Пример загрузки файла настроек с множественными документами:

import yaml

# Строка с несколькими документами
yaml_str = """
name: John
age: 30
---
users:
  - Alice
  - Bob
---
status: success
code: 200
"""

# Загрузка всех документов
documents = list(yaml.safe_load_all(yaml_str))

print(f"Загружено документов: {len(documents)}")
print(documents[0])  # {'name': 'John', 'age': 30}
print(documents[1])  # {'users': ['Alice', 'Bob']}
print(documents[2])  # {'status': 'success', 'code': 200}

Пример: конфигурация различных окружений 

# Документ 1: Общие настройки
environment: common
database:
  host: localhost
  port: 5432
---
# Документ 2: Настройки разработки
environment: development
debug: true
database:
  host: dev-db.local
---
# Документ 3: Продакшн настройки
environment: production
debug: false
database:
  host: prod-db.example.com
  pool_size: 20

import yaml

def load_env_config(env_name):
    with open('config.yaml', 'r') as file:
        for doc in yaml.safe_load_all(file):
            if doc and doc.get('environment') == env_name:
                return doc
    return None

dev_config = load_env_config('development')
prod_config = load_env_config('production')

print(dev_config['debug'])   # True
print(prod_config['debug'])  # False

Перекрестные ссылки и якоря не работают между документами. Это полностью независимые документы.