▶️ Восточная мудрость против западного гигантизма.
Собственно, завирусилась из интервью Хэна его критика в адрес Nvidia, мол выжали они из себя все возможности кристаллов, дальше будет сложнее. Но вопрос куда шире блумбергской заметки. Проблема не только в потолке «закона Мура», но и в обновлении инфраструктуры, которую придется менять очень часто.
Если кратко, то Nvidia идет путем «все в одном», формируя целостные машины, вроде NVL72 «Vera Rubin», а Huawei ставит на модернизируемые модульные структуры. Но модульность влечет за собой изменения как в софтовом, так и в технологическом подходах:
Если пропорцию компонентов внутри такой машины нужно скорректировать, то вы не сможете этого сделать, потому что все детали, их соотношение и связи между ними уже зафиксированы.
А менять придется. Скорость изменения бизнес-требований опережает цикл проектирования железа. Во-первых, растет размер моделей. За год число параметров с 600 млрд скакануло до 1,6 трлн, а к следующему году ожидается 5-10 трлн. Во-вторых, KV-кэш раньше хранился в DRAM/CPU, теперь массово переносится на SSD. В-третьих, требование по задержке для инференса падает с 20 мс до 1 мс и т.д. Цельное шасси рискует устареть по пропорциям еще до выхода на рынок.
Выход Huawei нашел в оптике:
Если я перехожу на полностью оптическую связь, я могу делать более компактные блоки, и эти блоки можно произвольно комбинировать, просто соединив несколькими оптическими волокнами, находя оптимальную конфигурацию.
При этом оптика открывает не только возможность комбинирования внутри узла, но и позволяет стыковать их между собой в количестве на порядки выше. При работе с моделью на 20 трлн параметров, требующей сверхнизкой задержки, зона связи должна охватывать несколько сотен, а то и тысяч узлов.
В качестве решения речь зашла про NPO (near-package optics) – оптика «на кромке» чипа. Почему не в самом чипе? Потому что внутри корпуса жесткий нагрев, а показатель преломления оптических материалов чувствителен к температуре. Можно располагать на плате, соединяя его с чипом кабелем длиной до 50 см, как говорит Хэн: «Как осьминог с щупальцами», но это снижает надежность системы. Поэтому оптику подключают около чипа, на расстоянии до 5 см. При этом сам лазер резервируется. Он не выносится наружу для легкой замены при поломке, а дублируется внутри модуля.
Хэн признает, что мощности американских ЦОД больше а 5-8 раз, поэтому они идут в повышение эффективности использования. В том числе за счет работы с системой образования. По его словам, у Китая абсолютное преимущество, в Пекине и Шанхае у государственных исследовательских лабораторий – масштабы более десяти тысяч карт. За рубежом, в самых именитых заведениях, один факультет может иметь лишь тысячу карт или несколько сотен.
Бизнес при этом идет путем «достаточности». Хэн отмечает, что не видел избыточного дефицита, если команда действительно ценна, она так или иначе получает определенный объем вычислений. Избыток, который можно тратить бездумно, определенно нет. По его словам, нехватка мощностей – не самое узкое место и ссылается на Deepseek.
Команда Deepseek, говорит Хэн, выдающаяся. Их вычислительные ресурсы были довольно скромными, точно не в масштабе ста тысяч или миллиона карт, а в масштабе паре тысячи карт. Он хотел привести еще пример… но оборвался на полуслове. Подозреваем, что речь про Kunlun. В официальном отчете DeepSeek-V3 мы нашли ифнормацию о 2048 карт H800. По самым крупным оценкам западных аналитиков, объем может достигать 50 тыс.
☎️ Телекоммуналка в Telegram | в MAX