# ИИ

# Управление языковыми моделями

**Технические требования**

Настройка HA кластера - критичный раздел, но сейчас пока не актуально.

Мне хватило следующего ПК:

<table border="1" id="bkmrk-%D0%9F%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D0%BE%D1%80-intel-xeon" style="border-collapse: collapse; width: 100%;"><colgroup><col style="width: 20.0596%;"></col><col style="width: 80.0596%;"></col></colgroup><tbody><tr><td>Процессор</td><td>Intel Xeon E5-2670 v3 @2.3GHz (даже не средний 😊) Во время обработки грузился на 60%.</td></tr><tr><td>ОП</td><td>Всего 32 Gb

 На обученной модели во время обработки вопроса в пиках подскакивало только до 17 Gb

 Просто ollama в фоне - 11 Gb

</td></tr><tr><td>SSD</td><td>Для размещения модели deepseek-r1:7b потребовалось 5 Gb</td></tr><tr><td>Видео</td><td>Не использовалось, слишком старая. Да, не особо быстро, иногда полного ответа нужно было ждать секунд 30.</td></tr><tr><td>ОС</td><td>Windows </td></tr></tbody></table>

Для построения векторного индекса по одному файлу word размером 100 страниц потребовалось 35 минут.

**Запуск модели**

Использовал менеджер моделей Ollama [ollama.com](https://ollama.com/) Установщик. Затем управление через cmd.

<table border="1" id="bkmrk-%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D0%B0-%D0%9E%D0%BF%D0%B8%D1%81%D0%B0%D0%BD%D0%B8%D0%B5-oll" style="border-collapse: collapse; width: 100%; height: 172.375px;"><colgroup><col style="width: 50%;"></col><col style="width: 50%;"></col></colgroup><thead><tr style="height: 29.7969px;"><td class="align-center" style="height: 29.7969px;">Команда</td><td class="align-center" style="height: 29.7969px;">Описание</td></tr></thead><tbody><tr style="height: 82.9844px;"><td style="height: 82.9844px;">ollama run model\_name</td><td style="height: 82.9844px;">Скачать, установить и запустить модель

```
ollama run deepseek-r1:7b
```

</td></tr><tr style="height: 29.7969px;"><td style="height: 29.7969px;">ollama list</td><td style="height: 29.7969px;">Список установленных моделей</td></tr><tr style="height: 29.7969px;"><td style="height: 29.7969px;">ollama rm model\_name</td><td style="height: 29.7969px;">Удаление модели</td></tr></tbody></table>

После запуска по умолчанию [http://localhost:11434/](http://localhost:11434/) запускается API.

# Взаимодействие через python

**Запрос - ответ в существующую модель**

```python
import ollama
import requests

def chat_with_deepseek(prompt, model="deepseek-r1:7b"):
    response = ollama.chat(
        model=model,
        messages=[{"role": "user", "content": prompt}]
    )
    return response["message"]["content"]

def chat_with_deepseek_api(prompt, model="deepseek-r1:7b"):
    url = "http://localhost:11434/api/chat"
    data = {
        "model": model,
        "messages": [{"role": "user", "content": prompt}],
        "stream": False  # Отключить потоковый вывод
    }
    response_api = requests.post(url, json=data)
    return response_api.json()["message"]["content"]

# Пример использования
user_input = "Объясни, что такое ООП простыми словами."
#response = chat_with_deepseek(user_input)
response = chat_with_deepseek_api(user_input)
print("Ответ DeepSeek:", response)
```

[Источник RAG](https://tproger.ru/articles/zapuskaem-lokalno-deepseek-r1-dlya-prilozheniya-rag)

**Дообучение модели на собственных данных**

Дополнительные пакеты

```
python -m pip install ollama llama-index transformers torch sentence-transformers llama-index-llms-ollama
```

Здесь должен был быть код, успешный результат (хотя бы результатик), но... Все уперлось в токенизацию. Напрямую 100 страничный файл оказался бессмысленным, узлов после 30 минутной обработки было создано 0. Причем различные варианты не помогли - простое предоставление файла в свободном форматировании оказалось бессмысленным занятием. Нужно погружаться как минимум в теорию Chunk'ов. Хотя скорее всего потребуется еще много чего.

# Книги



# Теория LLM

Генеративный ИИ относится к алгоритмам, которые могут генерировать новый контент, в отличие от анализа существующих данных или воздействия на них, как более традиционные системы машинного обучения с прогнозированием или искусственного интеллекта.

# Промпты