Nginx

Добавляется блок upstream в котором указывается список серверов, между которыми балансируется нагрузка.

upstream mysite_backend {
  server mysite-backend:8081 weight=8;
  server 127.0.0.1:4231
}

server {
  listen 80;
  server_name mysite.ru;
  location / {
    proxy_pass http://mysite_backend
    include proxy_params;
  }
}

Балансируется на два сервера с соотношением обращений 8 к 1