Настольные ИИ-компьютеры: 128 гигабайт единой памяти в коробке весом полтора килограмма

В разделе компактных компьютеров появился класс, который выбивается из общего ряда настолько, что сравнивать его с офисными коробочками бессмысленно. Внешне это такая же небольшая машина весом чуть больше килограмма. Внутри — сто двадцать восемь гигабайт памяти и накопитель на четыре терабайта.

Разберём, зачем такая конфигурация существует, какую задачу она закрывает и почему обычный компьютер с мощной видеокартой её не заменяет.

Что заявлено

Обратите внимание, чего в таблице нет: отдельной строки про видеокарту и её видеопамять. В этом и заключается принципиальное устройство платформы, и к нему мы сейчас перейдём.

Единая память вместо раздельной

Обычный компьютер имеет два независимых пула памяти. Системная принадлежит процессору, видеопамять — видеокарте, и данные между ними приходится копировать через шину. Пока задача помещается в видеопамять, всё хорошо. Как только перестаёт помещаться — начинается постоянное перекачивание, и производительность падает не в разы, а на порядки.

Платформы этого класса устроены иначе. Процессорная и графическая части живут на одной подложке и делят общий пул памяти. Копировать между ними ничего не надо: данные лежат в одном месте, и обе части обращаются к ним напрямую.

Практическое следствие одно и решающее: верхняя граница размера задачи определяется не объёмом видеопамяти, а объёмом всей памяти машины. Сто двадцать восемь гигабайт — это больше, чем у любой потребительской видеокарты, и заметно больше, чем у большинства профессиональных.

Почему объём важнее скорости

В привычной логике выбора компьютера производительность определяет, как быстро выполнится работа. Медленнее — значит дольше ждать, но результат тот же.

С большими моделями правило другое. Модель либо помещается в память целиком и работает, либо не помещается и не запускается вовсе. Промежуточного состояния «работает, но медленно» здесь почти нет: попытки выгружать части на накопитель замедляют работу настолько, что практического смысла в ней не остаётся.

Отсюда и позиционирование таких машин. Быстрая видеокарта с небольшим объёмом памяти обгонит их на задачах, которые в неё помещаются. Но задачи, которые не помещаются, она не решит ни за какое время, а эта машина решит.

Похожие позиции — в разделе каталога Мини ПК.

Что помещается в такую память

Чтобы понимать порядок величин, полезно представлять, как считается аппетит модели к памяти.

Грубая прикидка такая: каждый параметр модели занимает от одного до двух байтов в зависимости от точности, с которой она хранится. Плюс накладные расходы на контекст и промежуточные вычисления. Отсюда и простое правило: модель в несколько десятков миллиардов параметров требует десятков гигабайт памяти просто чтобы поместиться.

Потребительские видеокарты несут от восьми до двадцати четырёх гигабайт видеопамяти. Это означает, что модели среднего размера в них уже не помещаются без сильного сжатия, которое ухудшает качество ответов. Сто двадцать восемь гигабайт снимают этот потолок и позволяют работать с моделями, которые иначе доступны только в облаке.

Оговорка про скорость: память такого типа экономична и ёмка, но по пропускной способности уступает специализированной памяти профессиональных ускорителей. На практике это означает, что модель запустится и будет работать с приемлемой скоростью, но рекордов по числу обрабатываемых запросов в секунду ждать не стоит. Для разработки и отладки этого достаточно, для промышленной эксплуатации под нагрузкой — нет.

Зачем это на столе, а не в облаке

Резонный вопрос: вычислительные мощности арендуются по часам, и для разовых задач это дешевле любой покупки.

• Данные не покидают помещение. Для медицинских, юридических и коммерческих данных это нередко требование, а не пожелание.
• Нет счётчика. Эксперименты идут без оглядки на стоимость часа: запустил, передумал, переделал.
• Работает без интернета. И без очередей на доступ к дефицитным ресурсам.
• Предсказуемые расходы. Разовая покупка вместо растущего счёта.

Второй пункт недооценивают, а он меняет характер работы. Когда каждый запуск стоит денег, человек думает дважды и экспериментирует меньше. Когда машина стоит на столе и уже оплачена, порог исчезает полностью — и именно в этом режиме обычно и находятся рабочие решения.

Типичные сценарии работы

Чтобы понять, нужна ли вам такая машина, проще всего посмотреть на задачи, под которые её берут.

Третья строка описывает самый частый профессиональный сценарий. Разработка под большие модели устроена как цикл: поменял, запустил, посмотрел, поменял снова. Когда каждый запуск означает постановку в очередь на общий кластер или оплату аренды, цикл растягивается и работа идёт медленнее. Локальная машина сжимает его до минут, а на кластер уходит уже отлаженное.

Что это не заменяет

Важно понимать границы, чтобы не разочароваться.

Это не универсальный компьютер. Платформа и программное окружение заточены под конкретный класс задач, и ставить туда офисный пакет с играми смысла нет. Как рабочее место такая машина не покупается.

Это не замена серверной инфраструктуре. Обучение больших моделей с нуля требует кластеров, и настольный аппарат здесь не конкурент. Его место — разработка, отладка, дообучение на своих данных и запуск готовых моделей локально.

И это не машина для человека, который хочет «попробовать нейросети». Для знакомства с предметом достаточно обычного компьютера с видеокартой или арендованных мощностей; покупка специализированного аппарата оправдана, когда работа уже идёт и упирается в объём памяти.

Куда это ставить

Компактность обманчива: полтора килограмма не означают, что аппарат можно поставить куда угодно.

Машина, работающая часами под полной вычислительной нагрузкой, выделяет тепло непрерывно, и компактный корпус избавляется от него единственным способом — прогоняя через себя воздух. Ниша в шкафу, стопка бумаг сверху или место вплотную к стене превращают заявленную производительность в пониженную, причём молча.

Второй вопрос — шум. Под длительной нагрузкой вентилятор выходит на рабочие обороты и остаётся там часами. Это не офисная машина, которая тихо стоит весь день; это инструмент, который работает на полную. Если в комнате идут созвоны, аппарат разумно вынести.

И третье — доступ по сети. Многие работают с такой машиной удалённо: она стоит в подсобном помещении и принимает задачи с рабочего ноутбука. Схема снимает и вопрос шума, и вопрос места на столе, и заодно позволяет делить дорогой ресурс между несколькими людьми.

Две машины на одной платформе

В каталоге присутствуют два аппарата с одинаковыми ключевыми характеристиками: та же платформа, тот же объём памяти и накопителя. Это нормальная практика: разработчик платформы выпускает эталонный образец, партнёры делают свои версии на той же основе.

Что различается у таких машин: корпус и система охлаждения, набор разъёмов, программная поддержка со стороны конкретного производителя, условия гарантии и канал поставки. Что не различается: вычислительные возможности и объём памяти — то есть ровно то, ради чего аппарат и покупается.

Практический вывод для выбора: сравнивать стоит по сервису, срокам поставки и цене, а не по производительности. Разница в последней если и есть, то лежит в пределах, которые определяются качеством охлаждения конкретного корпуса.

Что будет через три года

Вопрос уместный для техники, которая покупается в быстро меняющейся области.

Плохая новость: требования растут. Модели становятся крупнее, и объём, который сегодня выглядит щедрым, через три года окажется рабочим минимумом. Нарастить память в таких машинах нельзя — она распаяна и составляет единое целое с платформой.

Хорошая новость: движение идёт и в обратную сторону. Методы сжатия моделей совершенствуются, и то, что год назад требовало сотни гигабайт, сегодня укладывается в заметно меньший объём при сопоставимом качестве. Плюс появляются компактные модели, специально рассчитанные на локальный запуск.

Практический вывод: горизонт планирования для такой покупки разумно брать три-четыре года, а не семь, как для офисной машины. И оценивать её не по тому, что она сможет в будущем, а по тому, какие задачи она закрывает сегодня и сколько времени экономит прямо сейчас. Это, кстати, общее правило для любой техники в быстро меняющейся области: покупка окупается работой, которую она позволяет сделать сегодня, а не тем, что теоретически станет возможно потом. Ставка на будущее здесь почти всегда проигрывает — просто потому, что предсказать направление развития в этой области никому пока не удавалось, и нет оснований думать, что получится у покупателя конкретной машины в момент оформления заказа на сайте поставщика вычислительного оборудования, каким бы подробным ни было описание в карточке товара и каким бы убедительным ни выглядел сопровождающий его маркетинговый текст производителя платформы, обещающий беспроблемную работу с любыми популярными моделями прямо из коробки и без настройки.

Как подступиться, если решение принято

Порядок действий, который экономит первые недели работы с незнакомой платформой.

1. Убедитесь, что нужные библиотеки и инструменты имеют сборки под эту архитектуру.
2. Определитесь со схемой доступа: работа за самой машиной или удалённо по сети.
3. Продумайте место хранения наборов данных и весов за пределами внутреннего накопителя.
4. Заведите порядок именования версий моделей и экспериментов с первого дня.
5. Проверьте охлаждение под реальной нагрузкой, а не в простое.
6. Настройте резервное копирование того, что невосстановимо: код, конфигурации, результаты.

Последний пункт пропускают почти все, а он важнее остальных. Веса готовых моделей скачиваются заново, наборы данных обычно тоже. А вот код, конфигурации экспериментов и результаты дообучения существуют в единственном экземпляре и исчезают вместе с накопителем. Занимают они при этом немного, и копировать их на сетевое хранилище по расписанию стоит с первого дня.

Сколько это стоит по совокупности

Разговор о цене такой машины обычно сводится к сравнению с арендой, и считать стоит аккуратно.

Аренда мощностей выгоднее при эпизодической работе: проект на месяц, разовый эксперимент, обучение одной модели. Покупка начинает выигрывать, когда работа идёт постоянно и машина загружена большую часть рабочего времени. Точка перелома у каждого своя и считается просто: стоимость аппарата, делённая на стоимость часа сопоставимой аренды.

К расчёту стоит добавить и то, что деньгами измеряется хуже. Скорость цикла разработки — локальная машина отвечает сразу, без очереди. Отсутствие риска утечки данных. Независимость от доступности конкретного поставщика и от изменения его условий. Для организаций, работающих с чувствительными данными, последние два пункта нередко закрывают вопрос сами по себе, и арифметика часов аренды просто не рассматривается.

Про накопитель на четыре терабайта

Объём, который в обычной машине выглядел бы избыточным, здесь оказывается рабочим минимумом.

Причина в размере того, с чем приходится работать. Веса одной крупной модели занимают десятки гигабайт, а держать приходится несколько версий: исходную, сжатую, дообученную. Наборы данных для обучения измеряются сотнями гигабайт и терабайтами. Промежуточные результаты и контрольные точки накапливаются сами собой.

Практическая рекомендация: сразу продумайте, где будет лежать то, что не нужно прямо сейчас. Сетевое хранилище рядом или внешний накопитель решают вопрос дешевле, чем постоянная чистка внутреннего диска. И заведите порядок именования версий с первого дня — через полгода разобраться, чем отличаются восемь папок с похожими названиями, будет невозможно.

Что учесть перед покупкой

• Программное окружение. Проверьте, что нужные вам библиотеки и инструменты поддерживают эту платформу.
• Питание и охлаждение. Компактный корпус под постоянной нагрузкой требует притока воздуха и нормальной розетки.
• Шум. Под длительной вычислительной нагрузкой машина слышна; в тихом кабинете это стоит учесть.
• Сервис. Год гарантии для техники такого класса — срок небольшой; уточните порядок обслуживания.
• Объём накопителя. Четыре терабайта заполняются весами моделей и наборами данных быстрее, чем кажется.

Первый пункт решающий. Платформа относительно новая, и экосистема вокруг неё развивается: часть инструментов поддерживает её полноценно, часть работает с оговорками, часть пока нет. Выяснять это нужно по своему конкретному стеку до покупки, а не после — иначе дорогая машина рискует стать красивым предметом на столе. Проверяется это довольно быстро: у большинства инструментов в документации есть раздел о поддерживаемых платформах, а у сообщества — обсуждения с конкретным опытом. Час чтения перед покупкой здесь стоит дороже любых характеристик, потому что вычислительная мощность бесполезна, если её нечем занять привычными вам средствами.