Что такое LLM

языковая модель, представляющая из себя нейросеть, которая обучена на огромном массиве текстовых данных для понимания и генерации человеческого языка. Аббревиатура LLM расшифровывается как Large Language Model или Большая Языковая Модель.

Причины использования голой LLM вместо готовых решений:

1. Адаптация к определенной деятельности.
2. Интеграция с собственными сервисами или продуктами.
3. Сохранение конфиденциальности и обеспечение безопасности.
4. Контроль. Мы можем сами определять списки запрещенных тем.
5. Экономия (при множественных запросах). Хотя оборудование дорогое, при масштабировании собственная инфраструктура может стать выгоднее облачных API.

Рассмотрим, какие есть LLM. Для примера, их можно разделить на коммерческие и бесплатные, а также по специализированным применениям.

Платные:

• GPT (OpenAI).
• Gemini (Google).
• Claude (Anthropic).

Открытые:

• Llama (Facebook).
• Qwen (Alibaba Cloud).
• DeepSeek (DeepSeek).

Специализированные:

• CodeLlama, DeepSeek-Coder (для разработчиков).
• LLaVA (работа с текстом + изображения).

Для установки LLM на свой сервер можно использовать фреймворк Ollama. Для его инсталляции достаточно ввести команду:

А после:

Наиболее популярные модели, которые можно развернуть через Ollama:

• llama3.2
• mistral
• deepseek-coder
• qwen2.5
• phi3
• gemma2
• dolphin-llama3.2

* версии лучше уточнить.

Установленные LLM будут уже обучены, но для эффективного использования лучше их дообучить/настроить под свою специфику работы и манеру общения. Этот процесс состоит из следующих действий:

1. Prompt engineering (настройка промптов) — без изменения модели.
2. Fine-tuning (дообучение) — изменение небольшой части весов модели (по методу LoRA/QLoRA).
3. RAG (добавление знаний в контекст).

Говоря об LLM, важно также знать определения для следующих связанных терминов:

• Контекстное окно — сколько токенов модель может "помнить" за раз. Технически, это лимит оперативной памяти за один такт обработки.
• Токенизация — как текст разбивается на части для обработки.
• Галлюцинации — когда модель генерирует неправдоподобную информацию.

Напоследок, важно упомянуть про LLM агент — приложение, которое выполняет свою задачу, для принятия решения в которой задействуется способность LLM к рассуждению. Например, некий анализатор, который сначала просит найти информацию на разные тематики, а после, объединить ее и проанализировать по определенному критерию.

Подробнее об LLM на Википедии.