Собрал пять репозиториев, которые реально использую (или хочу использовать дальше). Без «вау, революционно» — просто честный обзор того, что стоит вашего внимания.
Ollama — LLM у себя локально, без танцев с бубном
github.com/ollama/ollama
Сначала я думал, что локальные модели — это для гиков с десятью GPU. Потом попробовал Ollama на своём ноутбуке (M2 Pro, 16 ГБ) и передумал.
Ollama — это по сути одна команда в терминале, которая скачивает модель и запускает её локально. ollama run llama3 — и через минуту у тебя работающий чат. Без Docker-контейнеров, без API-ключей, без счёта в облаке. Поддерживает Llama 3, Mistral, Codellama, Phi-3 и ещё десятки моделей.
Для меня основная ценность — быстрые эксперименты. Нужно проверить промпт, отладить формат вывода, погонять какую-то идею — не хочу каждый раз гонять запросы через API и ждать очереди. Запускаю Ollama, стучусь на localhost:11434 и работаю.
Библиотека моделей растёт, есть возможность собрать свою через Modelfile — задаёшь параметры, системный промпт, температуру. Потом загружаешь и используешь как любую другую.
Минус: производительность несопоставима с A100 в облаке. Если задача требует серьёзных вычислений — всё, не ваш выбор. Но для прототипирования, обучения, отладки промптов — самое то.
vLLM — быстрый инференс для серьёзных задач
github.com/vllm-project/vllm
Если Ollama для ноутбука, то vLLM — для сервера. Это движок инференса, который выдаёт в разы большую пропускную способность, чем стандартный HuggingFace Transformers.
Ключевая фишка — PagedAttention. Механизм управления памятью GPU, который убирает потери на неиспользуемые блоки. На практике vLLM обрабатывает в 10–24 раза больше запросов в секунду по сравнению с дефолтной реализацией. На серьёзных нагрузках это критично.
Запускается одной командой: vllm serve meta-llama/Meta-Llama-3-8B-Instruct. Дальше получаешь OpenAI-совместимый API — можно подсунуть в любое приложение, которое работает с ChatGPT.
Streaming, batch processing, tensor parallelism для нескольких GPU — всё на месте. На нашем сервере с двумя A100 разница с предыдущим решением на Transformers колоссальная. Токены улетают втрое быстрее.
Установка бывает капризной. CUDA-версия должна совпадать с вашей, иначе получите малопонятный segfault. Гуглите совместимость до того, как запускаете.
Guidance — контролируй вывод модели
github.com/microsoft/guidance
Вот с чем я реально наелся граблей: даёшь модели инструкции в промпте, а она всё равно выдаёт что попало. То лишний текст перед JSON, то мусор в конце, то вообще игнорирует формат.
Guidance решает это на уровне генерации. Вы описываете желаемую структуру вывода, а библиотека ограничивает пространство токенов в реальном времени. Модель физически не может выдать что-то за пределами вашей схемы.
Выглядит это так:
from guidance import gen
output = model + f'Ты — ассистент. Ответь в формате JSON: {gen("response", schema=...)}'
Можно описывать сложные структуры: вложенные объекты, выбор из вариантов, числовые диапазоны, регулярные выражения. Под капотом — тот же HuggingFace Transformers или llama.cpp.
Microsoft использует Guidance внутри Bing Chat, если верить документации. Это не какой-то хрупкий хак — подход проверенный и стабильный.
Мне было сложно переключиться мысленно: вместо «напиши промпт и надейся» — «опиши структуру и получи гарантированный результат». Но когда привык — обратно не хочется.
ComfyUI — ноды вместо кода
github.com/comfyanonymous/ComfyUI
До ComfyUI я генерил картинки через API или через какую-нибудь обёртку над Stable Diffusion. Работает, но контроля ноль. Хочешь изменить один параметр — перезапускай генерацию.
ComfyUI — это визуальный нодовый редактор для генерации изображений. Каждая нода делает что-то одно: загрузка модели, наложение LoRA, ControlNet, сэмплирование, сохранение. Ноды соединяешь проводами — получается пайплайн.
Звучит сложнее, чем есть на практике. Базовый воркфлоу — это 5–7 нод, которые ставишь за пару минут. Зато потом можешь точно контролировать каждый этап генерации. Нравится результат — сохраняй воркфлоу, делись, переиспользуй.
Отдельная история — кастомные ноды и модельки. ComfyUI-экосистема огромная: сотни community-нодов, модели ControlNet, IP-Adapter, InstantID — всё это работает локально и относительно быстро.
У меня ComfyUI живёт на рабочей машине параллельно с остальным. Запускаю, когда нужно быстро визуализировать идею или сгенерить что-то специфичное, что через обычный интерфейс не сделаешь.
TransformerLens — смотри внутрь модели
github.com/TransformerLensOrg/TransformerLens
TransformerLens — это библиотека для механистического интерпретирования трансформеров. Звучит академизмом, но на практике это инструмент, который позволяет буквально заглянуть в то, что делает языковая модель при генерации.
Каждый параметр, каждый attention head, каждый слой — всё доступно для inspection. Можно достать attention patterns, residual stream, промежуточные активации. Можно написать intervention — подменить значение в конкретном слое и посмотреть, как изменится output.
Зачем это нужно? Если вы не просто пользуетесь LLM, а пытаетесь понять, как она работает, — без этого тяжело. Механистическая интерпретируемость сейчас активно развивается, и TransformerLens — один из самых зрелых инструментов в этой области.
Не для продакшена. Это инструмент для исследования. Если вы пишете RAG-пайплайн — он вам не нужен. Если разбираетесь, как именно трансформер делает то, что делает, — ставьте.
Neel Nanda ведёт канал на YouTube, где разбирает TransformerLens на реальных примерах. Очень рекомендую, если хотите понять, зачем это вообще нужно.
Коротко: Ollama — для быстрых локальных экспериментов, vLLM — для серверного инференса с нагрузкой, Guidance — для контролируемого вывода, ComfyUI — для генерации изображений с полным контролем, TransformerLens — для исследователей и тех, кто хочет понять устройство трансформеров изнутри.
Какие-то из этих репозиториев вы уже используете? Или есть что-то, что стоит добавить в следующий выпуск — пишите, проверю.
