Нова Ера в Генерації Зображень: “Un-0” Кидає Виклик Енергоємності ШІ

(Зображення: LVector через Getty Images)

Серед засновників – Майкл Карбін, доцент та керівник групи програмних систем у Массачусетському технологічному інституті (MIT); Сара Ашур, асистент професора комп’ютерних наук та електротехніки у Стенфордському університеті; МіЛан Лі, колишня інженерка Google; та Навін Рао, екс-керівник відділу ШІ компанії Databricks. Науковці детально описали цю нову модель у технічному блозі, опублікованому 25 червня на сайті компанії. Доступ до моделі також надано через GitHub.

“Un-0” є першим доказом концепції базової технології компанії. Вона поєднує дослідження Ашур у галузі нелінійних фізичних субстратів – фізичних матеріалів або апаратних пристроїв, що виконують математичні обчислення, спираючись на природні закони фізики – з роботою Карбіна над машинним навчанням та фізичною динамікою. Сама модель являє собою “фізичну динамічну систему”, яка використовує фізичний рух у часі для виконання обчислень.

Обчислення ШІ на основі осциляторів

Нейронні мережі, подібні до тих, що лежать в основі відомих інструментів генерації зображень ШІ, таких як Midjourney або Dall-E, працюють шляхом накладання мільйонів таких розрахунків один на одного. По суті, система починає із зображення, що складається з чистого шуму (статичного зображення). Потім мережа аналізує цей шум і намагається математично передбачити, яку візуальну інформацію (або шум) необхідно видалити, щоб наблизитися до цільового зображення. Цей процес повторюється від 20 до 50 разів (іноді до 100, хоча приріст після 50 стає незначним), і кожен прохід наближає результат до впізнаваного зображення.

Згідно з науковими принципами, два осцилятори, що мають фізичний зв’язок, навіть якщо вони коливаються з абсолютно різною частотою, з часом синхронізуються, взаємно впливаючи на рух одне одного. Масштабуючи цей принцип до тисяч фізично пов’язаних осциляторів (відомий як “модель Курамото”), стартап стверджує, що концепцію можна використовувати для виконання обчислювальних завдань, зокрема генерації зображень.

На практиці, різні конфігурації кутів осциляторів, або “фаз”, використовуються для представлення різних класів зображень, таких як взуття або потяги. Модель отримує велику групу осциляторів, встановлених під випадковими кутами, а потім вводить меншу підгрупу осциляторів, вже налаштованих відповідно до специфічної конфігурації кутів. Ця менша підгрупа слугує “запитом” (prompt) для бажаної категорії зображення.

(Зображення: Getty Images)

Виклики енергоспоживання ШІ

Одне з найгучніших заяв Unconventional AI – це їхня мета досягти використання моделі в 1000 разів менше енергії порівняно з поточними системами. У традиційних моделях генерації зображень ШІ обчислення, необхідні для виконання операцій, передбачають мільярди швидких перемикань мільярдів транзисторів увімкнено/вимкнено трильйони разів на секунду, щоб змусити електричний струм рухатися за специфічними патернами через ланцюг.

Хоча кожен транзистор сам по собі не споживає багато енергії, сукупне споживання енергії одним сервером, що працює з інструментом генерації зображень ШІ, може бути величезним. Наприклад, за даними Алекса де Вріса, докторанта VU Amsterdam School of Business and Economics, для навчання моделі GPT-3 від OpenAI знадобилося 1 287 МВт·год енергії – цього достатньо, щоб забезпечити середній будинок у Великій Британії електрикою на понад 475 років. Про це він повідомив у статті 2023 року, опублікованій у журналі Joule.

Натомість, у моделі “Un-0” передбачається, що замість того, щоб змушувати транзистори швидко перемикатися між станами “відкрито” та “закрито”, система складається з серії замкнених циклів, де природний шлях струму формує індивідуальні осцилятори. Оскільки струму дозволено проходити без перешкод, дослідники стверджують, що система теоретично є набагато енергоефективнішою, ніж традиційна обчислювальна архітектура.

Тестування моделі

“Ми розглядаємо “Un-0″ як перспективний перший підхід, якість якого співпадає з якістю кількох усталених родин генеративних моделей на момент їхнього першого представлення спільноті”, – зазначили представники компанії у своєму технічному блозі. “Якість “Un-0″ відповідає тому, з чого починали сучасні провідні генеративні методи. Традиційні генератори все ще перевершують за абсолютною якістю та ефективністю параметрів – скорочення цього розриву за допомогою нових алгоритмів та архітектур моделей є нашим подальшим завданням”.

Порада від Business News:

Sourse: www.livescience.com