Как запустить языковую модель на своём компьютере: сколько нужно видеопамяти и чего ждать
Запустится ли модель, решает объём памяти, и посчитать его можно до покупки: размер файла, место под контекст и запас. Даём порядок проверки на машине, которая у вас уже есть, таблицу «видеопамять → модели» для 8, 12, 16 и 24 ГБ, замеры скорости по видеокартам и объясняем, что на самом деле делает квантование.
Запуск языковых и графических моделей на своей машине перестал быть экзотикой: инструменты упростились настолько, что установка занимает минуты. Вопрос сместился с «как» на «что именно потянет мой компьютер», а если машину покупать, то на «какая видеокарта нужна и сколько у неё должно быть памяти».
Ниже — от чего зависит возможность запуска, как посчитать видеопамять под конкретную модель, что делает квантование и какую роль играют новые аппаратные блоки.
С чего начать, не покупая ничего
Прежде чем менять машину, проверьте, что получится на имеющейся.
- Посмотрите, сколько памяти свободно при обычной работе — это и есть ваш реальный бюджет.
- Возьмите небольшую модель с сильным сжатием и запустите её: она поместится почти везде.
- Оцените скорость и качество на своих настоящих задачах, а не на примерах из статей.
- Попробуйте следующую по размеру и найдите точку, где машина перестаёт справляться.
- И только теперь решайте, нужна ли другая конфигурация и какая именно.
Третий шаг важнее остальных. Качество ответов сильно зависит от задачи: модель, выглядящая слабой в свободном разговоре, может хорошо справляться с разбором документов по заданному шаблону или с переписыванием текста. Выяснить это можно только на своих материалах, и нередко оказывается, что новое железо не нужно вовсе.
Реалистичные ожидания по классам машин
| Машина | Что помещается и как работает |
|---|---|
| Офисная, 16 ГБ оперативной, встроенная графика | Модели на 4–8 млрд параметров в 4-битном виде (файлы 2,5–5 ГБ), неспешно |
| Домашняя, 32 ГБ, сильная встроенная графика | До 14 млрд параметров (около 9 ГБ) и модели-«смеси экспертов» вроде Qwen3 30B A3B (18,6 ГБ) |
| С видеокартой 8–12 ГБ | Модели на 8–14 млрд параметров, быстро |
| С видеокартой 16 ГБ | До 20 млрд параметров или 14 млрд с длинным контекстом |
| С видеокартой 24 ГБ | 27–32 млрд параметров в 4-битном виде |
| Специализированная, 128 ГБ единой памяти | То, что не влезает в видеокарты: например, gpt-oss-120b (63,4 ГБ) |
Размеры в таблице — это файлы моделей в формате GGUF на Hugging Face, к ним добавляется место под контекст (о нём ниже). Первая строка недооценивается: на обычной офисной машине работают модели, которых хватает для многих задач — переписать текст, составить письмо, разобрать документ, ответить по локальной базе знаний. Скорость будет неспешной, но приемлемой для работы не в реальном времени.
Раз речь о компактных машинах, скажем и про нагрев. Работа модели нагружает процессор или графику на полную, и длится это всё время генерации ответа. Для компактного корпуса это ровно тот режим, который он переносит хуже всего: длительная полная нагрузка с выходом вентилятора на рабочие обороты. Пакетная обработка документов, запущенная на ночь, превращает тихую офисную коробку в слышимую на всю комнату, так что машине в спальне ночные вычисления лучше не поручать.
Память решает всё
Главное отличие этого класса задач от привычных — резкая граница. Обычная программа на слабой машине работает медленнее, но работает. Модель должна поместиться в память целиком — в видеопамять, в оперативную или в обе сразу, — иначе она не запустится.
Причина в устройстве вычислений. Чтобы выдать одно слово ответа, модель прогоняет данные через все свои параметры. Если часть из них лежит на накопителе, их приходится подгружать на каждое слово, и скорость падает на порядки — до уровня, где пользоваться этим невозможно.
Поэтому выбор сводится к арифметике: прикиньте аппетит модели и сравните с доступной памятью. Всё остальное влияет на скорость ответа, но не на саму возможность.
Что такое квантование
Локальный запуск стал массовым благодаря одному приёму — квантованию.
Параметры модели изначально хранятся с высокой точностью, обычно в 16-битном формате, по два байта на каждый. Квантование уменьшает точность: числа округляются и хранятся компактнее. Модель занимает в разы меньше памяти и начинает помещаться туда, куда в исходном виде не помещалась. Форматы называются по числу бит: Q8_0, Q6_K, Q4_K_M и так далее — эти буквы вы увидите в названиях файлов.
| Формат | Бит на параметр | Размер от 16-битного | Рост перплексии |
|---|---|---|---|
| F16 (исходный) | 16 | 100 % | эталон |
| Q8_0 | 8,5 | 53 % | +0,02 % |
| Q6_K | 6,6 | 41 % | +0,3 % |
| Q5_K_M | 5,7 | 36 % | +0,9 % |
| Q4_K_M | 4,9 | 31 % | +2,8 % |
| Q3_K_M | 4,0 | 25 % | +10,5 % |
| Q2_K | 3,2 | 20 % | +56 % |
Цифры — из документации llama.cpp, замер на Llama 3 8B: 16-битный файл весит 14,97 ГиБ, Q4_K_M — 4,58 ГиБ. Перплексия показывает, насколько модель «удивляется» проверочному тексту: чем ниже, тем точнее она предсказывает следующее слово. Q8_0 отстаёт от исходника на две сотых процента, и держать ради такой разницы файл почти вдвое тяжелее мы смысла не видим. Потеря растёт нелинейно: до четырёх бит почти незаметна, на трёх битах ощутима, на двух модель заметно глупеет.
Сильно сжатая крупная модель обычно лучше слабо сжатой мелкой того же объёма. В исходной таблице k-квантов llama.cpp 13-миллиардная LLaMA в 2-битном виде дала перплексию 5,85, а 7-миллиардная в 16-битном — 5,91, при том что файл у первой меньше вдвое. Количество параметров весит больше, чем точность их хранения.
Сколько видеопамяти нужно модели: считаем до покупки
Видеопамять под модель складывается из трёх частей, и каждую можно узнать заранее.
- Размер файла модели в выбранном формате. Он указан на странице модели и почти точно равен аппетиту весов. Без файла под рукой: Q4_K_M занимает около 0,6 ГБ на миллиард параметров, Q8_0 — около 1,06 ГБ.
- Место под контекст. Для модели на 8 млрд параметров с окном в 8 тысяч токенов это около 1,2 ГБ, для 32-миллиардной — около 2 ГБ; с ростом окна растёт пропорционально.
- Запас около гигабайта на служебные буферы. llama.cpp по умолчанию оставляет на каждой видеокарте 1024 МиБ свободными.
- Сложите и сравните с объёмом карты. Не сошлось — берите формат на ступень сжатее или модель поменьше.
Пример: Qwen3 14B (14,8 млрд параметров) в Q4_K_M — файл 9,0 ГБ. С контекстом 8 тысяч токенов набегает около 1,3 ГБ, плюс гигабайт запаса — 11,3 ГБ. На 12-гигабайтную карту встаёт впритык, на 16-гигабайтную — с запасом под окно в 32 тысячи токенов. Та же модель в Q8_0 весит 15,7 ГБ и в 16 ГБ уже не помещается.
Контекст и почему он ест память
Контекст — вторая величина после размера модели, и про неё чаще всего забывают при расчётах.
Это объём текста, который модель держит перед глазами: ваш запрос, поданные документы и предыдущая часть разговора. Под него выделяется отдельная память — кэш ключей и значений, — и растёт она вместе с длиной текста.
Порядок величин даёт формула из блога NVIDIA о памяти моделей: два (ключи и значения) × число слоёв × число голов внимания для кэша × размер головы × байты на число. У Qwen3 8B по её конфигурации 36 слоёв, 8 голов и размер головы 128, в 16-битном виде это 144 КиБ на токен: окно в 8 тысяч токенов занимает около 1,2 ГБ, в 32 тысячи — около 4,8 ГБ. У Qwen3 32B слоёв 64, и те же 32 тысячи токенов съедают 8,6 ГБ — почти половину веса самой модели.
Поэтому модель, которая бодро отвечает на короткие вопросы, при попытке подать длинный документ падает или начинает работать невыносимо медленно: память кончилась на контексте. Если вы собираетесь скармливать модели договоры на полсотни страниц, считайте окно сразу, до выбора карты.
Сэкономить на контексте можно сжатием кэша: в Ollama настройка OLLAMA_KV_CACHE_TYPE со значением q8_0 уменьшает его примерно вдвое, q4_0 — вчетверо, при включённом Flash Attention. Заодно проверьте само окно. Ollama по умолчанию выставляет его по объёму видеопамяти: меньше 24 ГиБ — 4 тысячи токенов, от 24 до 48 ГиБ — 32 тысячи. Длинный документ на 16-гигабайтной карте без ручной настройки окна модель просто не дочитает.
Видеокарта для нейросетей: что помещается в 8, 12, 16 и 24 ГБ
Ниже тот же расчёт для популярных открытых моделей. Размеры — файлы GGUF с Hugging Face, контекст — 8 тысяч токенов, запас — гигабайт. Названия моделей меняются каждые несколько месяцев, а соотношение «миллиарды параметров → гигабайты» держится, поэтому ориентируйтесь на размер.
| Видеопамять | Помещается целиком | Где граница | Карты этого объёма |
|---|---|---|---|
| 8 ГБ | До 8 млрд параметров в 4 битах: Qwen3 8B Q4_K_M — 5,0 ГБ, Gemma 4 E4B Q4_0 — 4,6 ГБ; 4 млрд в 8 битах — 4,3 ГБ | Gemma 4 12B в Q4_0 (7,2 ГБ) вместе с контекстом уже не встаёт | RTX 5060, RTX 5060 Ti 8 ГБ |
| 12 ГБ | До 14 млрд в 4 битах: Qwen3 14B — 9,0 ГБ, Gemma 4 12B — 7,2 ГБ; 8 млрд в 8 битах — 8,7 ГБ | 14B только с коротким окном; модели на 20 млрд и больше не помещаются | RTX 3060 12 ГБ, RTX 5070 |
| 16 ГБ | gpt-oss-20b — 12,1 ГБ; Qwen3 14B в 4 битах с окном 32 тысячи токенов (9,0 + 5,4 ГБ) | Gemma 4 26B A4B в Q4_0 (14,6 ГБ) почти не оставляет места под контекст; 27–32 млрд не встают | RTX 5060 Ti 16 ГБ, RTX 5070 Ti, RTX 5080 |
| 24 ГБ | 27–32 млрд в 4 битах: Qwen3 32B — 19,8 ГБ, Qwen3.6 27B — 19,1 ГБ, Gemma 4 31B — 18,0 ГБ; Qwen3 30B A3B — 18,6 ГБ | 32B с окном больше 8 тысяч токенов — только со сжатым кэшем; 70 млрд (43,1 ГБ) — нет | RTX PRO 4000 Blackwell, RTX 4090 |
8 ГБ — входной билет. Модели на 7–8 млрд параметров в 4-битном виде работают быстро и годятся для переписывания текста, перевода и ответов по документам. Шаг вверх по размеру модели здесь невозможен, а генерация картинок на 8 ГБ заметно проседает (подробности — в разделе о задачах кроме текста).
12 ГБ открывают следующую ступень — модели на 12–14 млрд параметров. Самый доступный путь к этому объёму — RTX 3060 12 ГБ, но память у неё медленнее, и ответы пойдут неторопливее, чем на RTX 5070 с тем же объёмом.
16 ГБ — ступень, с которой мы советуем начинать, если карта покупается именно под модели. Двенадцать гигабайт упираются в 14 млрд параметров с коротким окном, а шестнадцать дают ту же модель с контекстом вчетверо длиннее или gpt-oss-20b, которую OpenAI заявляет как работающую в пределах 16 ГБ памяти. Чем отличаются 8- и 16-гигабайтные версии одной карты в играх, мы разбирали в сравнении RTX 5060 Ti 8 и 16 ГБ.
24 ГБ — уровень 27–32-миллиардных моделей, ближе всего к облачным сервисам из того, что помещается в одну карту. Из карт этого объёма — профессиональные RTX PRO 4000 Blackwell и игровая RTX 4090 прошлого поколения; у RTX 5080 памяти 16 ГБ, у RTX 5090 — 32 ГБ.
Видеокарты под локальные модели по объёму памяти
Видеокарта Gigabyte NVIDIA GeForce RTX 3060 WINDFORCE OC 12G REV2.0, 12 ГБ видеопамяти, GDDR6
12 ГБ по нижней цене ступени: 14B в 4 битах, но память медленнее, чем у RTX 50
51 650 ₽
В наличии
Мини-ПК полноразмерную видеокарту не принимают, и для компактных корпусов NVIDIA выпускает RTX PRO 4000 Blackwell SFF: 24 ГБ GDDR7, 70 Вт, высота 68,6 мм, длина 167,6 мм, два слота. Пропускная способность у неё 432 ГБ/с — меньше, чем у полноразмерной RTX PRO 4000 (672 ГБ/с), так что за компактность платите скоростью ответа. Если машину под модели собираете с нуля, карту и всё остальное удобно подобрать в конфигураторе: соберём ПК с проверкой и установим Windows. Мощность блока питания под старшие карты считается по расчёту блока питания, а выбор между RTX 5070 и 5070 Ti — в отдельном сравнении.
Скорость: чем измеряется и что считать нормой
Производительность в этом классе задач мерят числом токенов в секунду. Токен — фрагмент текста, обычно часть слова. Ориентир по восприятию: человек читает со скоростью порядка нескольких фрагментов в секунду, и если модель выдаёт текст быстрее, дальнейшее ускорение в разговоре уже не чувствуется.
Генерация текста упирается в скорость памяти: на каждый токен модель читает все свои веса, и вычислительные блоки большую часть времени ждут данных. Поэтому верхнюю границу скорости легко прикинуть — пропускная способность видеопамяти, делённая на размер модели. Сводная таблица замеров llama.cpp на модели Llama 2 7B в формате Q4_0 (3,56 ГиБ) это подтверждает: карты выдают 72–80 % от такой границы.
| Видеокарта | Память | Пропускная способность | Генерация, токенов/с |
|---|---|---|---|
| RTX 3060 | 12 ГБ | 360 ГБ/с | 76 |
| RTX 5060 Ti | 16 ГБ | 448 ГБ/с | 91 |
| RTX 5070 | 12 ГБ | 672 ГБ/с | 128 |
| RTX 5070 Ti | 16 ГБ | 896 ГБ/с | 177 |
| RTX 5080 | 16 ГБ | 960 ГБ/с | 182 |
За RTX 5080 в генерации текста доплачивать почти не за что: тот же объём, что у RTX 5070 Ti, и три процента скорости сверху. 24-гигабайтная RTX 4090 в том же тесте выдаёт 186 токенов в секунду — на уровне RTX 5080, зато вмещает модели крупнее.
Для модели покрупнее скорость пересчитывается по той же логике. Qwen3 32B в Q4_K_M весит 19,8 ГБ, и на RTX PRO 4000 SFF с её 432 ГБ/с выйдет около 16 токенов в секунду — по нашей оценке, не по замеру, и для диалога этого хватает. Для пакетной обработки тысячи документов скорость определяет время работы напрямую, и разница между конфигурациями выражается в часах ожидания.
Отдельная величина — время до первого ответа. Перед тем как начать отвечать, модель обрабатывает весь поданный текст, и на длинных документах эта пауза заметна. Здесь решает уже вычислительная мощность: в той же сводке RTX 5080 обрабатывает поданный текст почти вчетверо быстрее RTX 3060 (8297 против 2138 токенов в секунду), хотя в генерации разница меньше двух с половиной раз.
Где именно выполняются вычисления
Вариантов несколько, и по скорости они различаются сильно.
- Процессор
- Работает всегда и везде, но медленно: ядра универсальные и их немного. Пригодно для небольших моделей и неспешной работы.
- Встроенная графика
- Заметно быстрее процессора за счёт множества параллельных блоков. Ограничена пропускной способностью системной памяти.
- Отдельная видеокарта
- Самый быстрый вариант, но упирается в объём видеопамяти: то, что не поместилось, не ускорится.
- Нейронный блок
- Специализированный вычислитель. Экономичен, но рассчитан на конкретные типы задач.
Комбинированные схемы тоже работают: часть модели размещается в видеопамяти, остаток в системной, и вычисления делятся между картой и процессором. Скорость получается промежуточной и тем ниже, чем большая доля весов осталась в оперативной памяти: у двухканальной DDR5-6000 пропускная способность около 96 ГБ/с — в несколько раз меньше, чем у видеопамяти.
Особенно хорошо выгрузку переносят модели-«смеси экспертов» (MoE). Они хранят много параметров, а на каждый токен задействуют малую часть: у Qwen3 30B A3B активны 3,3 млрд из 30,5 млрд, у gpt-oss-20b — 3,6 из 21. llama.cpp умеет держать веса экспертов на процессоре (параметр --n-cpu-moe), а общие слои — на видеокарте, и такая модель остаётся пригодной для работы, даже когда целиком в видеопамять не влезает.
Видеокарты NVIDIA llama.cpp поддерживает через CUDA, AMD — через HIP, а любые современные карты — через Vulkan. На этом же движке работает и Ollama.
Что даёт нейронный блок
Отдельный вычислитель появился в процессорах последних поколений, и реклама обещает от него многого. Посмотрим, что он умеет на деле.
Его сильная сторона — энергоэффективность. Задачи, которые он берёт на себя, выполняются с потреблением на порядок меньшим, чем на универсальных ядрах. Для ноутбука это означает автономность, для компактной машины — молчащий вентилятор.
Беда в узости: блок рассчитан на постоянно работающие фоновые задачи: шумоподавление, размытие фона, распознавание речи, обработка изображений. Запускать на нём крупную языковую модель обычно либо нельзя, либо бессмысленно: производительность у него скромная, а главное ограничение — та же пропускная способность системной памяти, что и у процессора.
Реалистичное ожидание: нейронный блок не превращает офисную машину в рабочую станцию для моделей. Он делает приятнее повседневные вещи, которые и так работали, но грели процессор. Подробнее о том, где он полезен, — в статье о нейропроцессоре в ноутбуке.
Накопитель и место под модели
Об этой стороне вопроса вспоминают на третьей неделе экспериментов.
Веса моделей занимают от единиц до десятков гигабайт каждая: Qwen3 4B в Q4_K_M — 2,5 ГБ, Qwen3 32B — 19,8 ГБ, gpt-oss-120b — 63,4 ГБ. Тот, кто пробует разные варианты, набирает их быстро, и полутерабайтный накопитель офисной машины заканчивается за пару недель любопытства.
Второй момент — скорость загрузки. При каждом запуске модель читается с накопителя в память целиком, и на механическом диске это занимает минуты, на твердотельном — секунды. Когда модели запускаются и выгружаются по мере надобности, разница ощутима каждый день.
Держите на быстром накопителе две-три рабочие модели, а остальное складывайте на внешний диск или сетевое хранилище. И ведите простую запись, какая модель для чего оказалась хороша: через месяц экспериментов различить восемь папок с похожими названиями будет невозможно.
Трезвые ограничения
Три вещи, которых от локального запуска ждать не стоит.
Уровня облачных сервисов. Модели, работающие в крупных сервисах, на порядок больше того, что помещается в домашнюю машину. Локальные варианты хороши в своих нишах, но прямого сравнения не выдерживают.
Работы без настройки. Инструменты заметно упростились, но разбираться всё равно придётся: выбор модели, формата, окна контекста, параметров запуска. Это не установка программы в два клика.
Стабильности. Область меняется быстро: инструменты обновляются, форматы устаревают, модели выходят новые каждый месяц. То, что настроено сегодня, через полгода потребует внимания.
Машину специально под локальные модели имеет смысл брать тогда, когда вы попробовали на имеющейся и упёрлись в конкретное ограничение: не хватает памяти на нужную модель, окна на ваши документы или скорости на пакетную обработку. Покупка «на будущее», до первого опыта, здесь особенно рискованна: требования меняются быстрее, чем окупается оборудование, и легко заплатить за решение задачи, которой у вас нет.
Не только текст
Языковые модели на слуху, но локально запускается и многое другое, часто с более скромными требованиями.
- Распознавание речи. Модели этого класса компактны и работают быстрее реального времени даже на процессоре.
- Обработка изображений. Увеличение разрешения, удаление шума, выделение объектов.
- Поиск по своим документам. Небольшая модель строит индекс, и поиск начинает понимать смысл, а не только слова.
- Генерация изображений. Требовательнее текстовых моделей к графике и к видеопамяти.
- Перевод. Компактные модели работают достойно и не требуют интернета.
С генерацией изображений объём видеопамяти снова выходит на первый план. Файл SDXL весит 6,9 ГБ и формально помещается в 8 ГБ, но в тесте Tom's Hardware генерация SDXL 1024×1024 на RTX 5060 Ti 8 ГБ шла почти вдвое медленнее, чем на версии с 16 ГБ, при равной скорости в остальных рабочих задачах. FLUX.1 — модель на 12 млрд параметров, её исходные веса занимают 23,8 ГБ, и на 16-гигабайтных картах её запускают в сжатом виде.
Для организаций самым полезным из списка оказывается поиск по документам. Архив, накопленный за годы, обычно лежит мёртвым грузом: найти в нём что-то можно только по точному названию файла. Смысловой поиск делает его снова рабочим, и требования к машине здесь заметно скромнее, чем для полноценного диалога с моделью.
Зачем это вообще нужно локально
Резонный вопрос: облачные сервисы быстрее, умнее и не требуют ничего покупать.
- Данные не покидают машину. Для документов с чувствительной информацией это решающий довод.
- Работает без интернета и без зависимости от доступности сервиса.
- Нет счётчика. Обработать тысячу документов стоит только времени.
- Предсказуемость. Модель не меняется без предупреждения, результаты воспроизводимы.
- Интеграция с локальными данными проще, чем выгрузка их наружу.
Последний пункт для компаний часто перевешивает остальные. Подключить модель к внутреннему архиву или базе знаний проще, когда и то и другое находится в одном контуре. Выгрузка внутренних данных во внешний сервис нередко запрещена правилами, и тогда локальный запуск остаётся единственным путём.
Коротко о главном
- Запуск решает объём памяти: веса модели, место под контекст и около гигабайта запаса должны поместиться целиком.
- Квант Q4_K_M занимает около 31 % от 16-битного исходника, а перплексия в замере llama.cpp на Llama 3 8B растёт на 2,8 %.
- В 8 ГБ видеопамяти помещаются модели до 8 млрд параметров, в 12 ГБ — до 14 млрд, в 16 ГБ — gpt-oss-20b или 14B с длинным контекстом, в 24 ГБ — 27–32 млрд.
- Скорость ответа задаёт пропускная способность памяти: RTX 5070 Ti и RTX 5080 в тесте llama.cpp различаются на 3 %.
- Нейронный блок процессора экономит энергию в фоновых задачах, крупную языковую модель на нём не запускают.
Частые вопросы
Что определяет, запустится ли модель?
Объём памяти. Веса и контекст должны поместиться целиком — в видеопамять или вместе в видеопамять и оперативную. Если не хватает и оперативной, модель не запустится.
Какая видеокарта нужна для нейросетей?
Для языковых моделей главное — объём видеопамяти, затем её пропускная способность. В 4-битном виде 8 ГБ хватает моделям до 8 млрд параметров, 12 ГБ — до 14 млрд, 16 ГБ — до 20 млрд, 24 ГБ — до 32 млрд.
Хватит ли 8 ГБ видеопамяти?
Для моделей на 4–8 млрд параметров в 4-битном виде — да, с окном около 8 тысяч токенов. Модели на 12–14 млрд уже не помещаются, а генерация SDXL на 8-гигабайтной RTX 5060 Ti в тесте Tom's Hardware шла почти вдвое медленнее, чем на 16-гигабайтной.
Что такое квантование?
Хранение параметров с пониженной точностью. Формат Q4_K_M занимает около трети исходного размера, а качество по перплексии падает меньше чем на 3 %; ниже четырёх бит потери растут резко.
Что лучше: крупная сжатая или мелкая точная?
При одинаковом объёме обычно крупная сжатая. Количество параметров важнее точности их хранения.
Даёт ли нейронный блок кратный прирост?
Нет, его сильная сторона — энергоэффективность. Он рассчитан на фоновые задачи вроде шумоподавления, а не на запуск крупных языковых моделей.
Что запустится на офисной машине с 16 ГБ?
Небольшие модели, неспешно, но вполне пригодно для переписывания текстов, разбора документов и ответов по локальной базе знаний.
Зачем запускать локально, если есть облако?
Данные не покидают машину, нет зависимости от интернета и счётчика, а подключение к внутренним данным проще, когда всё в одном контуре.
