Світ очима штучного інтелекту: Чи зможуть “світові моделі” розшифрувати нашу реальність?

Видання: InNewsMEMBER EXCLUSIVE (Фото: koiguo via Getty Images)

• Facebook
• X
• Reddit
• Pinterest
• Flipboard

Поділитися статтею 0 Приєднатися до обговорення Проте, великі мовні моделі (LLMs) досі стикаються з труднощами у розумінні складних реалій фізичного світу. Дослідники сподіваються, що новий тип ШІ, відомий як “світові моделі” (world models), зможе виправити цю ситуацію.

Як ШІ пізнає світ?

“Світові моделі”, як випливає з назви, будують математичну модель світу, яка дозволяє прогнозувати його зміни під впливом певних дій або умов. “Світ” тут означає не всю фізичну реальність, а конкретне середовище, в якому працює модель – це може бути складський комплекс або відеогра. Хоча визначення “світової моделі” та найкращі методи її побудови залишаються предметом дискусій серед фахівців з ШІ, вони обіцяють значний прогрес порівняно з LLMs, які, попри вражаючі можливості, просто прогнозують наступне найімовірніше слово у послідовності. Відео дня: Watch full video here: Очікується, що завдяки глибшому розумінню складних середовищ, “світові моделі” дозволять ШІ вийти за межі текстових інтерфейсів, відкриваючи революційні можливості в робототехніці, автономному водінні та наукових відкриттях. “Ця ідея має міцні зв’язки з інтуїтивними моделями в людському розумі”, – зазначає Юньчжу Лі, доцент кафедри комп’ютерних наук Колумбійського університету. “Ми можемо уявити, як зміниться середовище, як рухатиметься об’єкт при певній дії. І ми прагнемо створити подібні моделі для будь-яких роботів чи віртуальних агентів, щоб вони могли уявляти наслідки своїх дій”.

Побудова “світових моделей” у свідомості

Хоча “світові моделі” є новим терміном у Кремнієвій долині, сама концепція має глибоке коріння. Вона вперше набула популярності у 1950-х роках, коли когнітивні вчені намагалися описати ментальні моделі, які люди використовують для симуляції середовища у своїй уяві, розповіла Live Science Менлін Лі, доцент кафедри комп’ютерних наук Північно-Західного університету. Ця концепція також тісно пов’язана з теорією керування (control theory) – галуззю прикладної математики, яка використовується для моделювання фізичних систем з метою їх передбачуваного контролю. Вона лежить в основі роботи всього – від термостатів до систем автопілоту літаків. Проте, термін “світові моделі” сьогодні переважно стосується нейронних мереж, які вивчають моделі свого середовища шляхом навчання на даних. Сучасне втілення цієї ідеї можна простежити до дослідження 2018 року під назвою “World Models” науковців Девіда Ха та піонера глибокого навчання Юргена Шмідгубера. Ранні моделі від Google, такі як PlaNet і Dreamer, були одними з перших, хто вирішував завдання, попередньо прогнозуючи результати різних дій. За словами Юньчжу Лі, хоча ідея “світової моделі” є досить інтуїтивною, більш точне визначення – це будь-яка система, здатна до “прогнозування майбутнього з урахуванням дій” (action-conditioned future prediction). Це означає, що модель може передбачити, як певна дія змінить стан навколишнього світу. Менлін Лі пояснює, що прогнозування складається з двох ключових завдань: оцінки стану (state estimation) та переходу стану (state transition). Оцінка стану – це здатність сприймати поточний стан середовища та кодувати його у формат, придатний для обробки моделлю. Перехід стану – це здатність передбачати, як певна дія призведе до еволюції середовища.

Дані, що живлять нові реальності

“Світові моделі”, що базуються на глибокому навчанні, опановують обидва ці завдання шляхом тренування на величезних обсягах даних. Але точний тип даних, а також спосіб їх кодування та обробки є дизайнерськими рішеннями, і різні дослідницькі групи застосовують різні підходи, зазначає Юньчжу Лі. Основу для тренування “світових моделей” складають відеодані, хоча можливе також використання 3D-даних, отриманих за допомогою лідарів або інших датчиків глибини, аудіоданих і навіть тексту, що пояснює взаємозв’язки між елементами середовища. Важливо, підкреслює Юньчжу Лі, щоб ці дані були доповнені даними про дії – наприклад, кути суглобів робота, показники руху від інерційного датчика або текстові мітки подій, що описують виконану дію.

Роботи, включно з гуманоїдами, будуть все більше залежати від потужних “світових моделей” для взаємодії з фізичним світом. (Фото: China News Service via Getty Images) Зазвичай ці дані організовуються у послідовності пар “стан-дія” – по суті, записи того, як світ виглядав і яку дію було виконано на кожному кроці. ШІ використовує ці дані для вивчення статистичної моделі впливу різних дій на його середовище, яку потім застосовує для прогнозування. Обробка цих даних може відбуватися по-різному, зауважує Юньчжу Лі. Один із найпопулярніших підходів – робота безпосередньо з необробленими піксельними даними, які представляють стан світу як серію зображень, прогнозуючи, як дії їх змінять. Інший підхід – використання даних для вивчення 3D-геометричних представлень світу, які більш явно кодують просторові та фізичні взаємозв’язки між об’єктами у сцені.

Сила математичних абстракцій

Однак, останнім часом зростає інтерес до підходів, що працюють на більш абстрактному рівні. Коли нейронна мережа навчається на зображеннях, вона створює високорозмірні числові представлення реальних об’єктів, що формують візуальну сцену – відомі як ембединги (embeddings). Ці ембединги існують у математичному просторі, який називається “прихованим простором” (latent space) моделі. У піксельно-орієнтованих моделях ці абстрактні представлення реконструюються у пікселі для прогнозування наступних подій. Але також можливо виконувати симуляції безпосередньо в прихованому просторі, прогнозуючи ембединги наступного стану середовища. Цей підхід популяризував комп’ютерний науковець Ян ЛеКун, колишній керівник відділу ШІ в Meta та один із “хрещених батьків глибокого навчання”. Він залучив понад 1 мільярд доларів для стартапу AMI Labs, який планує використовувати цей підхід для побудови “світових моделей”. Ключова перевага цього підходу – його ефективність, підкреслює Юньчжу Лі. Піксельно-орієнтовані підходи мусять реконструювати все зображення щоразу, коли роблять прогноз, навіть якщо змінюється лише невелика частина кадру. “Як люди, коли ми уявляємо еволюцію середовища, нам не потрібно уявляти точне значення кожного пікселя”, – пояснює він. “Ось чому має сенс прогнозувати в межах прихованого простору. Це дозволяє легше гарантувати, що ви вивчаєте лише релевантні для завдання аспекти, ігноруючи несуттєві”.

Ян ЛеКун, виконавчий голова AMI Labs, залучив понад 1 мільярд доларів для створення “світових моделей”. (Фото: Bloomberg via Getty Images) Однак, за словами Юньчжу Лі, зворотний бік полягає в тому, що набагато легше зрозуміти, що робить ваша модель, якщо її прогнози представлені у візуальному форматі, а не як абстрактні представлення. “Ви краще можете налагоджувати свою систему, маючи щось більш явне, що легко інтерпретується людиною”. Але питання про те, як найкраще представляти дані в “світовій моделі”, є другорядними порівняно з більшою проблемою – звідки брати ці дані, зазначає Менлін Лі. Розробники LLMs можуть просто “скрейпити” весь текст з інтернету для початкових фундаментальних моделей, але якісні відеодані з мітками дій часто доводиться ретельно курувати. Більше того, ці дані можуть бути дуже розрідженими, додає вона, оскільки лише невелика кількість пікселів на зображенні може змінюватися у відповідь на дію. “Якщо я записую на відеокамеру те, що роблю зараз, це, як правило, лише незначний рух моєї руки; все середовище насправді не змінюється”, – пояснює Менлін Лі. Це призводить до значних дебатів щодо найкращих архітектур для “світових моделей”. Майже всі сучасні LLMs базуються на архітектурі Transformer, яка чудово справляється зі швидкою обробкою величезних обсягів даних. Але ці моделі налаштовані на щільні текстові дані, де кожне слово має певне значення, і менш придатні для розріджених відеоданих, вважає Менлін Лі. В результаті, люди експериментують з широким спектром архітектур моделей, і галузь ще не дійшла консенсусу щодо перевіреного рецепту.

Еволюція “світових моделей”

Одним із суперечливих питань є те, чи можна вважати моделі генерації відео, такі як Sora від OpenAI, “світовими моделями”. Представники OpenAI раніше стверджували, що це “симулятор світу” і припускали, що такі моделі можуть бути перспективним шляхом до “універсальних симуляторів фізичного світу”. Однак, Юньчжу Лі вважає, що оскільки ці моделі навчаються на необроблених відеоданих без міток дій, їх не можна вважати справжніми “світовими моделями”. “Вони обумовлені лише початковим текстовим запитом, а потім прогнозують усе відео”, – пояснює він. “Тому вони не можуть прогнозувати контрфактичні майбутні сценарії – наприклад, що б сталося, якби була застосована інша дія?”. Однак, існують також питання щодо того, чи зможе поточний підхід до моделювання світу справді досягти своїх цілей. Переважна більшість “світових моделей” сьогодні навчаються на великих обсягах підготовлених даних. Натомість, люди та тварини будують свої ментальні моделі світу через взаємодію із середовищем, отримуючи безперервний зворотний зв’язок, який дозволяє їм удосконалювати своє розуміння.

Безпілотні автомобілі – один з типів пристроїв на основі ШІ, які виграють від більш складних “світових моделей”. (Фото: Heather Diehl via Getty Images) “Щоб створити найефективніші моделі світу, дуже ймовірно, нам також знадобиться, щоб “світова модель” взаємодіяла із середовищем та навчалася на основі цих онлайн-взаємодій”, – вважає Юньчжу Лі. Однак, це поки що залишається амбітною метою, оскільки сучасні технології нейронних мереж не здатні до такого безперервного навчання. Крім того, дозвіл наполовину готової моделі взаємодіяти з реальним світом викликає серйозні проблеми безпеки, додає він.
• Що таке втілений ШІ?
• Чи метавсесвіт остаточно мертвий? Що насправді відбувається з ідеєю життя у віртуальних світах.
• “Двигун симуляції Мультивсесвіту” прогнозує кожне можливе майбутнє для тренування гуманоїдних роботів та самокерованих автомобілів. Навіть більш скромна “світова модель” може виявитися надзвичайно цінною для низки застосувань. Серед найочевидніших – допомога роботам та автономним транспортним засобам у навігації та плануванні виконання завдань. Але вони також можуть виступати як універсальні симулятори для різноманітних завдань, залежно від даних, на яких вони навчені, зазначає Менлін Лі. Такі симулятори можуть включати в себе більш просунуті фізичні рушії для відеоігор, цифрові двійники пацієнтів для керівництва медичним лікуванням, або навіть нові способи моделювання фізичних явищ, таких як клімат. Важливо, що, ймовірно, існуватиме широке розмаїття “світових моделей”. Це пов’язано з тим, що дані про дії, критично важливі для побудови “світової моделі”, фундаментально пов’язані з конкретним фізичним втіленням, таким як роботизована рука, людина або дрон. Принаймні, в короткостроковій перспективі це означає, що “світові моделі” будуть адаптовані для конкретних застосувань, хоча багато хто в цій галузі має більш амбітні довгострокові плани. “Люди докладають надзвичайних зусиль і сподіваються, що з достатньою обчислювальною потужністю, достатньою кількістю даних та достатньо якісними алгоритмами ми отримаємо одну універсальну “світову модель”, яка працюватиме для багатьох різних застосувань”, – підсумовує він. —

Порада від Business News:

Ця новина надзвичайно важлива для розуміння майбутнього розвитку штучного інтелекту. “Світові моделі” обіцяють зробити ШІ більш інтелектуальним, здатним розуміти та взаємодіяти з фізичним світом, що відкриє нові горизонти для робототехніки, автономного транспорту та наукових досліджень. Слідкуйте за цими розробками, адже вони можуть кардинально змінити наше життя.

Sourse: www.livescience.com