Как соединить два DGX Spark: какой нужен кабель, сколько машин можно связать и как это настроить
У DGX Spark сзади два порта QSFP, и ради них машину часто берут парой: вместе две коробки держат в памяти модель вдвое крупнее. Разбираем, какой кабель подходит, почему не годится обычный Ethernet и где кончаются схемы без коммутатора.
Одна машина на GB10 держит в памяти модель примерно до двухсот миллиардов параметров. Этого хватает многим, но не всем: следующая ступень популярных открытых моделей уже крупнее. Покупать сервер ради неё никто не хочет, поэтому NVIDIA предусмотрела простой путь — поставить рядом вторую такую же коробку и соединить их коротким кабелем.
Дальше по шагам: что за порты стоят сзади, какой кабель туда идёт, сколько машин так можно связать и на чём обычно спотыкаются при первой настройке. Сам компьютер мы подробно разбирали в обзоре настольных ИИ-компьютеров на GB10 — здесь только о том, как превратить две машины в одну систему.
Зачем вообще связывать две машины
Главная причина — память. По данным страницы DGX Spark у NVIDIA, одна машина со 128 ГБ рассчитана на модели примерно до 200 млрд параметров, пара — до 400 млрд. Модель режется на две части, каждая машина держит свою половину, а промежуточные результаты бегают между ними по кабелю.
Отсюда и требование к связи. Половинки модели обмениваются данными на каждом шаге вычислений, и любая задержка в канале превращается в простой обеих машин. Поэтому их соединяют напрямую, отдельным каналом на 200 Гбит/с, в обход офисной сети.
Второй сценарий — распределённое обучение и дообучение: задача делится на две машины и идёт быстрее. Третий, менее очевидный, — отладка кода, который потом поедет на большой кластер. Пара Spark ведёт себя как маленький кластер, и ошибки в распределённой части всплывают на столе, а не на арендованном сервере по часовому тарифу.
Что за порты стоят на задней панели
Сзади у DGX Spark рядом с обычным разъёмом RJ-45 на 10 Гбит/с два порта QSFP. Это выходы встроенного сетевого контроллера NVIDIA ConnectX-7 — того же семейства, что ставят в серверы для обучения моделей.
| Параметр | Что указано в документации NVIDIA |
|---|---|
| Порты | Два QSFP, левый ближе к разъёму RJ-45 |
| Скорость | До 200 Гбит/с на порт |
| Режим | Только Ethernet, InfiniBand не поддерживается |
| Что видит система | Каждый порт — два сетевых интерфейса и два устройства RoCE |
| Кабель | Пассивный медный QSFP112 на 400G, длина 0,4–0,5 м |
Со строкой про Ethernet легко ошибиться. Порты похожи на серверные порты InfiniBand, и кабели с маркировкой HDR или NDR в магазинах лежат рядом. Для Spark нужен именно Ethernet: обмен идёт по RoCE, то есть по протоколу удалённого доступа к памяти поверх обычного Ethernet.
Какой кабель нужен
В руководстве по объединению Spark NVIDIA называет конкретные модели: Amphenol NJAAKK-N911 длиной 400 мм, его полуметровую версию NJAAKK0006 и Luxshare LMTQF022-SD-R. Всё это пассивные медные кабели прямого подключения (DAC) с разъёмами QSFP112 на обоих концах и паспортной скоростью 400 Гбит/с.
Порт Spark работает на 200 Гбит/с, и NVIDIA прямо пишет: кабель должен держать от 200 Гбит/с, более быстрый прибавки не даст. Четырёхсотгигабитный кабель в этом смысле с запасом — его берут потому, что он подходит к разъёму QSFP112 и именно он указан в руководстве.
Кроме фирменных, продаются совместимые кабели той же спецификации. Например, у NADDOD это модель Q112-400G-CU0-5: полметра, QSFP112, схема 4 × 100G PAM4, производитель заявляет совместимость с NJAAKK-0006, NJAAKKR-0006 и LMTQF022-SD-R.
Кабель DAC NADDOD Q112-400G-CU0-5 для NVIDIA DGX Spark, QSFP112, 400 Гбит/с, пассивный, 0,5 м
11 500 ₽
В наличии
Длина выбирается не на глаз. Машины обычно ставят друг на друга или вплотную: полуметра хватает с запасом на изгиб, а лишний метр медного кабеля пришлось бы укладывать петлёй за столом. Толстый медный кабель гнётся неохотно, и петля тянет разъём вниз. Метровый кабель того же формата нужен, когда машины стоят на разных полках или одна из них подключается к коммутатору в стойке.
Оригинал или совместимый кабель
Внутри пассивного DAC нет электроники, которая обрабатывала бы сигнал: восемь пар медных проводников и маленькая микросхема памяти в разъёме, где записано, что это за кабель. Сетевая карта читает эту запись и решает, на какой скорости поднимать канал. Совместимый кабель отличается от фирменного производителем и прошивкой этой записи, а не устройством.
На что смотреть при выборе:
- Разъём QSFP112 с обеих сторон. QSFP56 и QSFP28 механически влезут в порт, но это кабели другого поколения, и NVIDIA их для Spark не называет.
- Пассивная медь, а не оптика. На полуметре оптический кабель (AOC) не нужен: он дороже и греется.
- Ethernet, а не InfiniBand. Кабели под HDR и NDR рассчитаны на другой режим порта.
- Длина по месту. Для машин, стоящих вплотную, — 0,4–0,5 м, как в руководстве NVIDIA; на соседние полки — около метра.
Мы бы выбирали по наличию и сроку поставки. Фирменный NJAAKK-N911 даже в американских магазинах бывает в дефиците, а совместимый кабель той же спецификации решает ту же задачу и обходится заметно дешевле.
Сколько машин можно связать и сколько кабелей нужно
По документации NVIDIA, мастер настройки кластера поддерживает до трёх машин, соединённых напрямую, и до четырёх — через коммутатор, и от схемы зависит число кабелей.
| Схема | Машин | Кабелей | Что нужно ещё |
|---|---|---|---|
| Пара | 2 | 1 | Ничего |
| Треугольник: каждая с каждой | 3 | 3 | Ничего, у каждой машины заняты оба порта |
| Звезда через коммутатор | до 4 | по одному на машину | Коммутатор с портами 200 Гбит/с |
Схема на три машины получается сама собой: у каждой два порта, значит каждая соединяется с двумя соседями, и всего выходит три кабеля. Четвёртую машину напрямую уже не подключить — свободных портов не осталось. Поэтому для четырёх нужен коммутатор, к которому каждая машина идёт своим кабелем.
Если вы собираетесь начать с пары и потом расти, имейте в виду разницу шагов. С двух машин на три — докупить два кабеля, первый остаётся на месте. С трёх на четыре — купить коммутатор и переложить все кабели на него.
Как правильно вставить кабель
Звучит смешно, но в документации NVIDIA этому посвящён отдельный абзац с предупреждением. Разъём QSFP вставляется только одной стороной, а корпус Spark маленький и лёгкий — при усилии легко упереться криво и повредить порт.
- Разверните машину задней панелью к себе и выберите порт QSFP.
- Держите разъём язычком вверх — так его ориентирует NVIDIA.
- Вставляйте без усилия: разъём должен войти сам, до лёгкого щелчка.
- Проверьте, что он сидит до конца и не выходит обратно.
- Вынимать — только за язычок, а не за кабель.
Порты взаимозаменяемы, но готовые инструкции NVIDIA рассчитаны на конкретные. Проще сразу соединить левый порт одной машины с левым портом другой, чтобы потом не сверять имена интерфейсов.
Настройка через NVIDIA Sync
Кабель — половина дела: машины надо ещё познакомить. Быстрый путь — мастер настройки кластера в приложении NVIDIA Sync. Он проверяет машины, раздаёт адреса портам ConnectX-7, измеряет скорость канала и настраивает SSH между узлами. По инструкции NVIDIA на это уходит около десяти минут.
Что должно быть готово заранее:
- обе машины в одной локальной сети, их адреса или имена известны;
- на каждой есть пользователь с правами sudo;
- система DGX OS обновлена до выпуска апреля 2026 года или новее;
- кабель вставлен до запуска мастера.
Пункт про обновление легко пропустить, а NVIDIA выносит его в требования отдельной строкой. Машину, которая полгода простояла без обновлений, сначала обновите и только потом запускайте мастер.
Ручная настройка и как проверить канал
Ручной путь NVIDIA оценивает примерно в час и называет риск средним: придётся править конфигурацию сети и запускать скрипт настройки кластера. Он нужен, если машины работают без графической оболочки или стоят в сети с жёсткими правилами.
Первое, что стоит сделать после подключения кабеля, — убедиться, что система видит канал. Команда показывает соответствие устройств RoCE сетевым интерфейсам и их состояние:
Проверка портов ConnectX-7
ibdev2netdev
# rocep1s0f0 port 1 ==> enp1s0f0np0 (Up)
# rocep1s0f1 port 1 ==> enp1s0f1np1 (Up)Каждый порт QSFP система показывает дважды — двумя интерфейсами и двумя устройствами RoCE. Так устроен контроллер, второго кабеля здесь нет. Если напротив занятого порта стоит Down, сначала переткните кабель: в большинстве случаев он просто вставлен не до конца.
Где связка чаще всего спотыкается
| Что происходит | Причина | Что сделать |
|---|---|---|
| Порт в состоянии Down | Разъём вставлен не до конца | Вынуть за язычок и вставить заново |
| Канал поднялся на 100 Гбит/с или ниже | Кабель другого поколения, например QSFP28 | Заменить на QSFP112 |
| Мастер кластера не видит вторую машину | Устаревшая DGX OS или машины в разных сетях | Обновить систему, проверить адреса |
| Модель на двух машинах работает медленнее, чем ожидали | Обмен идёт через RJ-45, а не через QSFP | Проверить, на какие интерфейсы назначены адреса кластера |
| Четвёртая машина не подключается напрямую | У каждой Spark только два порта | Переходить на схему с коммутатором |
Подходит ли это для ASUS, MSI и других машин на GB10
DGX Spark — эталонная машина NVIDIA, но на той же платформе GB10 выпускают свои версии и другие производители, например ASUS Ascent GX10 и MSI EdgeXpert. В них стоит тот же сетевой контроллер ConnectX-7 с двумя портами QSFP, поэтому и кабель нужен тот же.
Смешивать в одной связке машины разных производителей технически можно — платформа одна. Но инструкции NVIDIA написаны под DGX Spark и DGX OS, а у партнёрских машин бывает своя сборка системы. Мы бы для первой связки взяли две одинаковые машины: так меньше переменных, если что-то пойдёт не так.
Что взять, если вы собираете связку
Для связки DGX Spark
Мини ПК NVIDIA DGX Spark, GB10 Grace Blackwell, 20 ядер ARM, 128 ГБ LPDDR5x, SSD 4 ТБ
Вторая машина для пары: 128 ГБ единой памяти, два порта QSFP
849 000 ₽
В наличии
Кабель DAC NADDOD Q112-400G-CU1 QSFP112 400 Гбит/с, пассивный, 1 м
Метровый кабель — для разных полок или подключения к коммутатору
15 450 ₽
В наличии
Для пары хватит одного кабеля. Для треугольника из трёх машин — трёх. Запасной кабель в ящике стола обходится несравнимо дешевле простоя двух машин, если основной однажды повредят при перестановке.
Стоит ли игра свеч
Вторая машина удваивает предел размера модели, скорость растёт куда скромнее. Если ваши задачи помещаются в 128 ГБ, вторая коробка даст прибавку только в распределённом обучении, и то не двукратную: часть времени уйдёт на обмен по кабелю. Если же модель не помещается в одну машину, вопрос решается только так — или арендой сервера.
Для тех, кто пока выбирает между локальной машиной и обычным компьютером с видеокартой, у нас есть разбор локальных моделей на обычной машине: многим хватает и его.
Коротко о главном
- Связка идёт через порты ConnectX-7 на задней панели, каждый до 200 Гбит/с.
- Нужен пассивный медный кабель QSFP112 длиной около полуметра: NVIDIA называет NJAAKK-0006 и его аналоги.
- Без коммутатора можно связать до трёх машин, с коммутатором на 200 Гбит/с — до четырёх.
- Настройка через NVIDIA Sync занимает минут десять, вручную — около часа.
Частые вопросы
Какой кабель нужен, чтобы соединить два DGX Spark?
Пассивный медный кабель QSFP112 длиной 0,4–0,5 м. NVIDIA называет Amphenol NJAAKK-N911, его полуметровую версию NJAAKK0006 и Luxshare LMTQF022-SD-R; подходят и совместимые кабели той же спецификации.
Почему кабель на 400 Гбит/с, если порт на 200?
Порт Spark работает до 200 Гбит/с, а кабели QSFP112 выпускаются под 400. Более быстрый кабель прибавки не даёт, но и не мешает: это просто доступная и проверенная модель с запасом.
Можно ли соединить машины через обычный порт RJ-45?
Для управления и SSH — да, для работы модели на двух машинах — нет. Порт RJ-45 даёт 10 Гбит/с, в двадцать раз меньше одного порта QSFP.
Сколько DGX Spark можно связать без коммутатора?
До трёх: у каждой машины два порта, и каждая соединяется с двумя другими, всего три кабеля. Для четырёх машин нужен коммутатор с портами на 200 Гбит/с.
Подойдёт ли кабель InfiniBand HDR или NDR?
Порты Spark работают только в режиме Ethernet. Кабели, рассчитанные на InfiniBand, NVIDIA для этой задачи не называет, лучше брать Ethernet-кабель QSFP112.
Подходит ли этот кабель к ASUS Ascent GX10 и MSI EdgeXpert?
Да, в этих машинах та же платформа GB10 и тот же контроллер ConnectX-7 с портами QSFP.
