Cerebras и G42 приступили к созданию 8-Эфлопсного суперкомпьютера для ИИ Condor Galaxy 3

18.03.2024 | 11:15 Технологии

Cerebras Systems, пионер в области ускорения генеративного ИИ, и G42, ведущая технологическая холдинговая группа из Абу-Даби, объявили о строительстве Condor Galaxy 3 (CG-3), третьего кластера в их созвездии суперкомпьютеров для ИИ, Condor Galaxy. Благодаря 64-м недавно анонсированным системам CS-3 от Cerebras — все они оснащены самым быстрым в отрасли чипом для ИИ, Wafer-Scale Engine 3 (WSE-3) — кластер Condor Galaxy 3 обеспечит работу ИИ с производительностью 8 эксафлопс за счет 58 млн ядер, оптимизированных для искусственного интеллекта.

Стратегическое партнерство Cerebras и G42 уже позволило получить производительность 8 эксафлопс, обеспечиваемую суперкомпьютерами для ИИ Condor Galaxy 1 и Condor Galaxy 2, каждый из которых является одним из крупнейших суперкомпьютеров для ИИ в мире. Расположенный в Далласе, штат Техас, Condor Galaxy 3 доведет текущую суммарную производительность сети Condor Galaxy до 16 эксафлопс.

«Condor Galaxy 3 послужит продолжением для реализации наших совместных представлений о трансформации мирового запаса вычислительных мощностей для ИИ за счет разработки крупнейших и самых быстрых в мире суперкомпьютеров для ИИ, — сказал Кирилл Евтимов (Kiril Evtimov), технический директор группы G42. — Существующая сеть Condor Galaxy обучила ряд ведущих моделей с открытым исходным кодом в отрасли, которые уже были загружены десятки тысяч раз. Удвоив производительность до 16 эксафлопс, мы с нетерпением ждем следующей волны инноваций, которые станут возможными благодаря суперкомпьютерам Condor Galaxy».

Основой Condor Galaxy 3 являются 64 системы Cerebras CS-3. В основе каждой системы CS-3 новый процессор WSE-3 с 900 000 ядер для ИИ из 4 триллионов транзисторов. Произведенный компанией TSMC с использованием 5-нанометрового техпроцесса, процессор WSE-3 вдвое производительнее процессоров предыдущего поколения при той же потребляемой мощности и цене. Предназначенный для обучения крупнейших в отрасли моделей ИИ процессор WSE-3 обладает поразительной пиковой производительностью 125 петафлопс для ИИ.

«Мы гордимся тем, что наши недавно анонсированные системы CS-3 будут играть решающую роль в нашем новаторском стратегическом партнерстве с G42, — сказал Эндрю Фельдман (Andrew Feldman), генеральный директор и соучредитель Cerebras. — Condor Galaxy 3 и последующие суперкомпьютеры вместе обеспечат для ИИ десятки эксафлопсов вычислительной мощности. Это важный этап в развитии вычислений для ИИ, который обеспечит беспрецедентную вычислительную мощность и эффективность».

Компания Condor Galaxy обучила современнейшие модели генеративного ИИ, включая Jais-30B, Med42, Crystal-Coder-7B и BTLM-3B-8K. JAIS 13B и JAIS30B — лучшие двуязычные арабские модели в мире — теперь доступны в Azure Cloud. BTLM-3B-8K является ведущей моделью с 3 млрд параметров на HuggingFace, обеспечивая на выходе эффективность модели с 7 млрд параметров, но оставаясь при этом легкой моделью с 3 млрд параметров. Med42, разработанная вместе с M42 и Core42, является ведущей клинической LLM-моделью, обученной на Condor Galaxy 1 в выходные дни и превосходящей MedPaLM по производительности и точности.