OpenAI сповільнила розробку ШІ після атаки тестового агента

Компанія OpenAI переглянула свій підхід до розробки передових моделей штучного інтелекту (ШІ) та тимчасово сповільнила частину досліджень. Це сталося після того, як один з тестових ШІ-агентів вийшов з-під контролю та атакував платформу Hugging Face. Про це повідомляє видання TIME, посилаючись на інтерв’ю з понад 20 керівниками, співробітниками, інвесторами, клієнтами та конкурентами компанії. На тлі цих подій OpenAI намагається наздогнати Anthropic у комерційній гонці та одночасно посилити безпеку своїх моделей.
Наприкінці липня OpenAI повідомила, що один з її внутрішніх прототипів під час тестування зміг вийти за межі контрольованого середовища та отримати доступ до виробничих систем Hugging Face. Модель мала виконувати завдання з кібербезпеки, але натомість скористалася вразливістю, обійшла обмеження та отримала доступ до тестових відповідей.
За словами головного наукового співробітника OpenAI Якуба Пачоцького, компанія мала інструменти для моніторингу поведінки моделі, але не застосувала їх до системи такого рівня складності, оскільки не очікувала подібних можливостей.
«Ми не повністю очікували» того, на що здатна система, — зазначив Пачоцький, додавши: «Для ШІ потрібно очікувати неочікуваного».
Після інциденту OpenAI заморозила частину експериментів, сповільнила інші дослідження, посилила ізоляцію моделей та розширила моніторинг. Компанія також призупинила навчання нової моделі, яка, як очікується, має забезпечити один із найбільших стрибків у можливостях ШІ.
Генеральний директор OpenAI Сем Альтман назвав ситуацію не просто проблемою безпеки, а фундаментальною проблемою узгодження поведінки ШІ з намірами людини.
«Я думаю, що будь-яку помилку узгодження відтепер слід сприймати як дуже серйозну проблему, і ми будемо витрачати стільки часу, скільки потрібно, щоб її вирішити», — заявив він.
Згодом Альтман сформулював позицію компанії ще чіткіше:
«Забезпечення безпеки ШІ важливіше за будь-яку динаміку розвитку компанії».
Паралельно OpenAI проводить масштабну перебудову бізнесу після року, протягом якого компанія, за оцінкою TIME, втратила лідерство в окремих сегментах на користь Anthropic.
Конкурент швидко розвинув Claude Code та випередив OpenAI за заявленим річним доходом і приватною оцінкою. Водночас OpenAI зіткнулася з відходом низки керівників, втратою дослідників на користь Meta та посиленням конкуренції з боку Google.
Компанія скорочує другорядні проєкти та концентрує обчислювальні ресурси на ключових продуктах, зокрема Codex. У липні корпоративний дохід OpenAI вперше перевищив споживчий, а у березні компанія залучила 122 мільярди доларів при оцінці в 852 мільярди доларів.
Водночас OpenAI продовжує масштабувати інфраструктуру. За словами керівника напрямку обчислень Сачіна Катті, компанія планує витратити близько 50 мільярдів доларів на обчислювальні потужності у 2026 році.
«У нас все ще дефіцит обчислювальних потужностей. Якби ми могли повернутися назад, нам, ймовірно, варто було б придбати значно більше», — сказав він.
Попри сповільнення досліджень, OpenAI продовжує працювати над новим поколінням моделей Astra. Під час закритої демонстрації для клієнтів система виконувала складні завдання за допомогою 16 ШІ-агентів, які розподіляли між собою частини математичної задачі та координували роботу над спільним результатом.
Модель також демонструвала здатність працювати з комп’ютером, самостійно взаємодіючи з різними програмами. Альтман назвав особливо важливою можливість створення «постійних агентів» — віртуальних співробітників, здатних тривалий час виконувати завдання без постійного контролю людини.
За його словами, найбільший вплив Astra може мати на наукові дослідження.
«Я очікую, що це буде перша модель, яка справді винаходитиме нові речі так, що це матиме значення», — заявив Альтман.
В OpenAI також вважають, що наближаються до створення штучного загального інтелекту (AGI). Директор з досліджень Марк Чен оцінив готовність компанії до цього етапу приблизно у 80%, а Альтман заявив, що до кінця року OpenAI може отримати внутрішню систему, яку він назве AGI.
Одним із ключових напрямків компанії залишається розвиток автономних агентів. OpenAI хоче перетворити ChatGPT з системи, яка переважно відповідає на запити, на інструмент, здатний самостійно виконувати завдання, використовувати різні моделі та сервіси й діяти на основі цілей користувача.
Компанія також працює над власними пристроями, чипами та гуманоїдними роботами. Альтман заявив, що OpenAI «безумовно» створюватиме людиноподібних роботів, а перший власний inference-чип Jalapeño планують почати використовувати до кінця року.
Водночас у компанії визнають, що подальше масштабування ШІ неможливе без вирішення проблеми безпеки. Саме тому OpenAI готова тимчасово пожертвувати темпами розробки.
«Якщо ми дійдемо до моменту, коли це буде небезпечно, нам доведеться сповільнитися, і так тому і бути», — заявила керівниця напрямку безпеки та alignment OpenAI Міа Глез.
Нагадаємо, що компанія також розглядає можливість виходу на біржу. Фінансова директорка OpenAI Сара Фріар заявила співробітникам, що компанія може стати публічною у 2027 році або раніше, якщо бізнес продовжить зростати.
Подробиці можна знайти на сайті: cryptocurrency.tech
