Как запустить языковую модель на своём компьютере: сколько нужно видеопамяти и чего ждать
Запустится ли модель, решает объём памяти, и посчитать его можно до покупки: размер файла, место под контекст и запас. Даём порядок проверки на машине, которая у вас уже есть, таблицу «видеопамять → модели» для 8, 12, 16 и 24 ГБ, замеры скорости по видеокартам и объясняем, что на самом деле делает квантование.
21мин














