## Нова архітектура Peerium від Huawei: Шлях до об’єднання мільйона ШІ-чіпів

Надпотужний комп’ютерний потенціал: Революція від Huawei

Інженери з Китаю представили інноваційну комп’ютерну архітектуру, яка потенційно зможе об’єднати до мільйона штучних інтелектуальних (ШІ) чіпів для спільної роботи. Для порівняння, компанія SpaceXAI (яка незабаром змінить назву на SpaceXAI) розробляє кластер Colossus, який позиціонується як найпотужніша у світі система для тренування ШІ, що складається з 200 000 взаємопов’язаних чіпів.

Традиційно, ШІ-чіпи, що використовуються для навчання базових моделей, розташовуються в окремих серверах і взаємодіють через мережу для обміну даними та розподілу завдань. Однак нова архітектура Peerium впроваджує високошвидкісну систему взаємозв’язку, розроблену для підтримання ефективної комунікації між чіпами в межах численних стійок, навіть при масштабуванні кількості чіпів до сотень тисяч.

Huawei презентувала цю нову архітектуру 17 вересня на щорічній конференції компанії CONNECT.

• Facebook
• X
• Reddit
• Pinterest
• Flipboard

Майбутнє тренування моделей: Десятки трильйонів параметрів

Представники Huawei повідомили, що комп’ютери на базі Peerium зможуть тренувати моделі з обсягом до 40 трильйонів параметрів. Для контексту, конкурентні рішення, такі як GB200 NVL72 від NVIDIA та CS-3 від Cerebras, демонструють можливості тренування на рівні трильйона параметрів, а не десятків трильйонів.

“Протягом наступних двох років у Китаї з’явиться приблизно 6-7 передових лабораторій ШІ, і всі вони прагнутимуть тренувати базові мовні моделі обсягом від 10 до 40 трильйонів параметрів”, – заявив Ляо Хен, головний науковий співробітник підрозділу розробки чіпів Huawei, HiSilicon, в інтерв’ю Associated Press. “Отже, для тренування таких моделей потрібна інфраструктура такого масштабу”.

Технологія, що лежить в основі Peerium

Ефективність Peerium забезпечується трьома ключовими елементами: вкладеним паралелізмом, уніфікованим адресним простором пам’яті та прямими (peer-to-peer) взаємозв’язками, як зазначили представники Huawei.

Вкладений паралелізм дозволяє розбивати робочі навантаження на менші завдання та організовувати їх у ієрархічні групи чіпів, що працюють паралельно. Це можна порівняти з тим, як компанія розподіляє роботу між департаментами, а потім між меншими командами, які координують свої зусилля для досягнення спільної мети. Уніфікований адресний простір пам’яті дає можливість процесорам отримувати доступ до пам’яті на інших серверах, а не лише до тієї, що приєднана до власного сервера процесора. Прямі взаємозв’язки дозволяють компонентам спілкуватися більш безпосередньо один з одним, не покладаючись на посередника.

Усі три принципи спрямовані на більш ефективне використання обчислювальних ресурсів, щоб одна система могла координувати більшу кількість чіпів для обробки складних ШІ-навантажень.

За даними Huawei, існуючі технології взаємозв’язку, що з’єднують процесори та сервери для забезпечення їх комунікації, не можуть підтримувати архітектуру Peerium у передбачуваному масштабі. Наприклад, NVIDIA використовує NVLink для комунікації в межах стійок та InfiniBand для комунікації між стійками. Пропускна здатність міжстійкової комунікації в такому налаштуванні становить 200 ГБ/с, повідомив AP Ерік Сюй, ротаційний голова Huawei.

“За такої низької пропускної здатності міжстійкової комунікації неможливо змусити мільйон процесорів працювати як один комп’ютер”, – зазначив він.

Натомість Huawei розробила власну технологію взаємозв’язку UnifiedBus, яка, за заявами компанії, забезпечує пропускну здатність міжстійкової комунікації до 800 ГБ/с.

“Коли мільйон процесорів працюють як один комп’ютер, це закладає основу для кращого та ефективнішого тренування та виведення ШІ”, – додав Сюй. “Тому я бачу UnifiedBus як шлях для майбутньої ери ШІ. Я вірю, що в найближчі роки інші гравці, безумовно, підуть цим шляхом”.

Об’єднання обчислювальної мережі

Паралельно з Peerium, Huawei також анонсувала Atlas 950 SuperPoD — обчислювальну систему, побудовану на базі Peerium та оснащену понад 8 000 ШІ-прискорювачами Huawei Ascend 950DT.

Сюй зазначив, що тестування тренування ШІ на цих SuperPoD вже проводиться, і результати показують, що вони використовують доступну обчислювальну потужність для тренування ШІ ефективніше, ніж ШІ-обчислювальні кластери, які не базуються на Peerium та UnifiedBus.

Huawei очікує розпочати постачання SuperPoD не пізніше початку наступного року, перед тим, як будуть запущені її SuperClusters — системи, що об’єднують декілька SuperPoD для створення більшої ШІ-обчислювальної системи на базі Peerium. Представники компанії повідомили, що SuperCluster, що містить 256 000 обчислювальних карток (апаратних модулів, що додають обчислювальну потужність), наразі розгортається та тестується.

Моделі з великою кількістю параметрів потребують значних обчислювальних ресурсів та інфраструктури, що не завжди є бажаним через зростання витрат. Влітку дослідники використовували квантовий комп’ютер IBM, щоб зменшити перплексію мовної моделі Meta Llama 3.1 8B — показник того, наскільки добре вона прогнозує наступне слово чи токен — майже не змінюючи кількість параметрів.

Примітка: Станом на 2026 рік, вартість подібних високотехнологічних рішень може сягати сотень тисяч або мільйонів доларів США, що в еквіваленті становить мільйони гривень. Важливо враховувати, що ці технології поки що не доступні для широкого користувача в Україні.

• Вчені створюють спеціалізований “процесор AGI”, який, на їхню думку, буде живити наступну хвилю ШІ-агентів
• Вчені стверджують, що усунули основне “вузьке місце” ШІ — тепер вони можуть обробляти обчислення “зі швидкістю світла”
• “За межами людської інтуїції”: ШІ розробляє компоненти чіпів, в 500 разів менші, ніж могли собі уявити інженери

Порада від Business News:

Новина про архітектуру Peerium від Huawei є надзвичайно важливою для розуміння майбутнього розвитку штучного інтелекту. Вона демонструє, як технологічні гіганти працюють над подоланням обмежень сучасних систем, прагнучи створити потужніші та ефективніші платформи для навчання складних ШІ-моделей. Хоча ці розробки поки що далекі від масового впровадження, вони задають тон майбутнім інноваціям, які, безсумнівно, вплинуть на розвиток ШІ-технологій у всьому світі, зокрема й в Україні.

За матеріалами: www.livescience.com