Взаимодействие через python

Запрос - ответ в существующую модель  

 import ollama

import requests

def chat_with_deepseek(prompt, model="deepseek-r1:7b"):

 response = ollama.chat(

 model=model,

 messages=[{"role": "user", "content": prompt}]

 )

 return response["message"]["content"]

def chat_with_deepseek_api(prompt, model="deepseek-r1:7b"):

 url = "http://localhost:11434/api/chat"

 data = {

 "model": model,

 "messages": [{"role": "user", "content": prompt}],

 "stream": False # Отключить потоковый вывод

 }

 response_api = requests.post(url, json=data)

 return response_api.json()["message"]["content"]

# Пример использования

user_input = "Объясни, что такое ООП простыми словами."

#response = chat_with_deepseek(user_input)

response = chat_with_deepseek_api(user_input)

print("Ответ DeepSeek:", response) 

 Источник RAG 

 Дообучение модели на собственных данных 

 Дополнительные пакеты  

 python -m pip install ollama llama-index transformers torch sentence-transformers llama-index-llms-ollama 

 Здесь должен был быть код, успешный результат (хотя бы результатик), но... Все уперлось в токенизацию. Напрямую 100 страничный файл оказался бессмысленным, узлов после 30 минутной обработки было создано 0. Причем различные варианты не помогли - простое предоставление файла в свободном форматировании оказалось бессмысленным занятием. Нужно погружаться как минимум в теорию Chunk'ов. Хотя скорее всего потребуется еще много чего.