Появляются специализированные облачные операторы, обладающие навыками работы с горячими и энергоемкими графическими процессорами и другой инфраструктурой искусственного интеллекта, и хотя некоторые из этих игроков, такие как CoreWeave, Lambda или Voltage Park, построили свои кластеры с использованием десятков тысяч графических процессоров Nvidia, другие обращаются к Вместо этого AMD.

Примером последнего является стартап TensorWave, который ранее в этом месяце начал установку систем на базе AMD Instinct MI300X и планирует сдавать чипы в аренду за небольшую часть стоимости, взимаемой за доступ к ускорителям Nvidia.

Соучредитель TensorWave Джефф Татарчук считает, что новейшие ускорители AMD обладают многими прекрасными качествами. Во-первых, вы действительно можете их купить. TensorWave обеспечил большое распределение частей.

К концу 2024 года TensorWave планирует развернуть 20,000 300 ускорителей MIXNUMXX на двух объектах и ​​планирует в следующем году ввести в эксплуатацию дополнительные системы с жидкостным охлаждением.

Новейший процессор искусственного интеллекта AMD также быстрее, чем столь желанный H100 от Nvidia. «Только по характеристикам MI300x доминирует над H100», — сказал Татарчук.

MI300X, представленный на мероприятии AMD Advancing AI в декабре, является самым передовым ускорителем компании по разработке микросхем на сегодняшний день. Чип 750 Вт использует комбинацию передовой упаковки для объединения 12 чиплетов (20, если считать модули HBM3) в один графический процессор, который, как утверждается, на 32 процента быстрее, чем Nvidia H100.

В дополнение к более высокой производительности с плавающей запятой, чип также может похвастаться более крупной памятью HBM192 объемом 3 ГБ, обеспечивающей пропускную способность 5.3 ТБ/с по сравнению с 80 ГБ и 3.35 ТБ/с, заявленными у H100.

Как мы видели на примере H200 от Nvidia – версии H100, улучшенной за счет включения HBM3e – пропускная способность памяти основной вкладчик на производительность ИИ, особенно при построении выводов на больших языковых моделях.

Подобно конструкциям HGX от Nvidia и OAM от Intel, стандартные конфигурации новейших графических процессоров AMD требуют восьми ускорителей на узел.

Именно эту конфигурацию ребята из TensorWave заняты сборкой и укладкой.

«У нас есть сотни заявок сейчас и тысячи в ближайшие месяцы», — сказал Татарчук.

Собираем их

На фотографии размещены В социальных сетях команда TensorWave показала три корпуса Supermicro AS-8GS-TNMR8125 высотой 2U. системы набрался сил. Это заставило нас задаться вопросом, были ли стойки TensorWave в конце концов ограничены по мощности или по температуре; для этих систем нет ничего необычного в том, что при полной нагрузке они потребляют более 10 кВт.

Оказывается, ребята из TensorWave еще не закончили установку машин и что фирма нацелена на четыре узла общей мощностью около 40 кВт на стойку. Эти системы будут охлаждаться с помощью теплообменников задней двери (RDHx). Как мы обсуждается Раньше это были радиаторы размером со стойку, через которые текла прохладная вода. Когда горячий воздух выходит из обычного сервера, он проходит через радиатор, который охлаждает его до приемлемого уровня.

Эта технология охлаждения стала популярным товаром среди операторов центров обработки данных, стремящихся поддерживать более плотные кластеры графических процессоров, и привела к некоторым проблемам в цепочке поставок, сказал главный операционный директор TensorWave Петр Томасик.

«Сейчас существует множество проблем с производительностью, даже во вспомогательном оборудовании вокруг центров обработки данных», — сказал он, особо назвав RDHx «болевой точкой». «На данный момент мы добились успеха, и мы были очень оптимистичны в отношении нашей способности их развернуть».

Однако в долгосрочной перспективе TensorWave нацелена на прямое охлаждение чипа, которое может быть сложно внедрить в центрах обработки данных, которые не предназначены для размещения графических процессоров, сказал Томасик. «Мы рады внедрить прямое охлаждение чипов во второй половине года. Мы думаем, что с плотностью будет намного лучше и проще».

Производительность тревоги

Еще одной проблемой является уверенность в производительности AMD. По словам Татарчука, хотя предложение AMD альтернативы Nvidia вызывает большой энтузиазм, клиенты не уверены, что им понравится такая же производительность. «Есть также много фраз: «Мы не уверены на 100 процентов, будет ли игра такой же великолепной, как то, к чему мы сейчас привыкли на Nvidia», — сказал он.

В целях максимально быстрого запуска и запуска систем TensorWave запустит свои узлы MI300X с использованием RDMA over Converged Ethernet (RoCE). Эти «голые» системы будут доступны в течение фиксированных периодов аренды, по всей видимости, всего за 1 доллар в час за графический процессор.

Масштабирование

Со временем компания намерена внедрить более облачный уровень оркестрации для предоставления ресурсов. На повестке дня также внедрение технологии FabreX на базе PCIe 5.0 от GigaIO, позволяющей объединить до 5,750 графических процессоров в одном домене с более чем петабайтом памяти с высокой пропускной способностью.

Эти так называемые TensorNODE основаны на архитектуре GigaIO SuperNODE. показал в прошлом году использовалась пара коммутаторов PCIe для соединения до 32 графических процессоров AMD MI210 вместе. Теоретически это должно позволить одному головному узлу ЦП обрабатывать гораздо больше, чем восемь ускорителей, которые обычно встречаются сегодня в узлах графического процессора.

Этот подход отличается от предпочтительного дизайна Nvidia, который использует NVLink для объединения нескольких суперчипов в один большой графический процессор. Хотя NVLink значительно быстрее достигает максимальной пропускной способности 1.8 ТБ/с в своем последняя итерация по сравнению со 128 ГБ/с на PCIe 5.0, он поддерживает только конфигурации до 576 графических процессоров.

TensorWave будет финансировать строительство своего битового сарая, используя свои графические процессоры в качестве залога для крупного раунда долгового финансирования — подход, используемый другими операторами центров обработки данных. Буквально на прошлой неделе Лямбда показал, компания получила кредит в размере 500 миллионов долларов для финансирования развертывания «десятков тысяч» самых быстрых ускорителей Nvidia.

Тем временем CoreWeave, один из крупнейших поставщиков графических процессоров в аренду, смог безопасный огромный кредит в размере 2.3 миллиарда долларов для расширения площади своего центра обработки данных.

«Вы должны ожидать, что мы сделаем такое же объявление позже в этом году», — сказал Томасик. ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2024/04/16/amd_tensorwave_mi300x/