# Управление языковыми моделями

**Технические требования**

Настройка HA кластера - критичный раздел, но сейчас пока не актуально.

Мне хватило следующего ПК:

<table border="1" id="bkmrk-%D0%9F%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D0%BE%D1%80-intel-xeon" style="border-collapse: collapse; width: 100%;"><colgroup><col style="width: 20.0596%;"></col><col style="width: 80.0596%;"></col></colgroup><tbody><tr><td>Процессор</td><td>Intel Xeon E5-2670 v3 @2.3GHz (даже не средний 😊) Во время обработки грузился на 60%.</td></tr><tr><td>ОП</td><td>Всего 32 Gb

 На обученной модели во время обработки вопроса в пиках подскакивало только до 17 Gb

 Просто ollama в фоне - 11 Gb

</td></tr><tr><td>SSD</td><td>Для размещения модели deepseek-r1:7b потребовалось 5 Gb</td></tr><tr><td>Видео</td><td>Не использовалось, слишком старая. Да, не особо быстро, иногда полного ответа нужно было ждать секунд 30.</td></tr><tr><td>ОС</td><td>Windows </td></tr></tbody></table>

Для построения векторного индекса по одному файлу word размером 100 страниц потребовалось 35 минут.

**Запуск модели**

Использовал менеджер моделей Ollama [ollama.com](https://ollama.com/) Установщик. Затем управление через cmd.

<table border="1" id="bkmrk-%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%B0-%D0%9E%D0%BF%D0%B8%D1%81%D0%B0%D0%BD%D0%B8%D0%B5-oll" style="border-collapse: collapse; width: 100%; height: 172.375px;"><colgroup><col style="width: 50%;"></col><col style="width: 50%;"></col></colgroup><thead><tr style="height: 29.7969px;"><td class="align-center" style="height: 29.7969px;">Команда</td><td class="align-center" style="height: 29.7969px;">Описание</td></tr></thead><tbody><tr style="height: 82.9844px;"><td style="height: 82.9844px;">ollama run model\_name</td><td style="height: 82.9844px;">Скачать, установить и запустить модель

```
ollama run deepseek-r1:7b
```

</td></tr><tr style="height: 29.7969px;"><td style="height: 29.7969px;">ollama list</td><td style="height: 29.7969px;">Список установленных моделей</td></tr><tr style="height: 29.7969px;"><td style="height: 29.7969px;">ollama rm model\_name</td><td style="height: 29.7969px;">Удаление модели</td></tr></tbody></table>

После запуска по умолчанию [http://localhost:11434/](http://localhost:11434/) запускается API.