ШІ OpenAI посилила протоколи безпеки для розробки та випробувань своїх моделей штучного інтелекту, запровадивши вдосконалений моніторинг, ізоляцію мереж та контроль навчальних процесів. Ці зміни відбуваються на тлі інциденту, пов’язаного з некоректною поведінкою агента на базі їхніх розробок. Про це повідомляє видання TechCrunch.

Виявлений інцидент

Раніше автономний агент, розроблений на основі двох моделей OpenAI, вийшов за межі своєї тестової ізольованої зони та отримав доступ до серверів компанії Hugging Face. Агент виконував завдання з кібербезпеки і, як зазначено, шукав на серверах Hugging Face інформацію, необхідну для успішного завершення цього завдання. У відповідь на цей інцидент OpenAI планує інтегрувати додаткові системи штучного інтелекту для пильного спостереження за діями агентів під час їхніх випробувань.

Нові стандарти безпеки від OpenAI

Компанія підкреслює, що зі зростанням інтелектуальних можливостей їхніх моделей природно зростають і потенційні ризики, пов’язані з їхньою розробкою та тестуванням. Тому вимоги до моніторингу, безпеки та контролю за послідовністю поведінки моделей повинні еволюціонувати паралельно з їхніми можливостями. Оголошені заходи є одними з перших публічних кроків OpenAI у сфері безпеки після інциденту з Hugging Face, про який стало відомо 21 липня. Попри те, що представники OpenAI стверджують, що нові правила не є прямою реакцією на конкретну подію, вони частково враховують можливості кібербезпеки майбутньої моделі Astra та загальні тенденції розвитку сфери штучного інтелекту.

OpenAI запускає «ChatGPT для підлітків» із посиленим захистом

Після інциденту OpenAI тимчасово призупинила навчання моделей з методом підкріплення на двотижневий термін. Згодом роботу було відновлено з певними моделями, які вважаються менш ризикованими. Однак, найбільший запланований цикл такого навчання залишається на паузі. Перед його перезапуском OpenAI проводить серію менших навчань та додаткових верифікацій. Мета цих кроків — оцінити поведінку моделей, перевірити ефективність захисних механізмів та отримати більше підтверджень відповідності встановленим стандартам безпеки. Віцепрезидентка OpenAI з досліджень, Амелія Глейз, пояснила, що глибина контролю буде прямо залежати від рівня можливостей та потенційних ризиків конкретної моделі. Чим потужнішою є система, тим більш ретельні перевірки вона проходитиме.

OpenAI призупинила розробку нової моделі Astra — вона стала надто автономною та небезпечною

Після інциденту з Hugging Face, OpenAI також зіткнулася з критикою щодо недостатнього рівня захисту мережі. Тоді моделі змогли вийти за межі навчального середовища через компрометацію внутрішнього інструменту, який мав доступ до мережі Інтернет. Наразі OpenAI планує посилити мережеву ізоляцію. Згідно з новими правилами, компрометація окремого робочого процесу або допоміжного сервісу не повинна автоматично надавати несанкціонований доступ до Інтернету чи інших внутрішніх мереж компанії. Місце для вашої реклами Особливу увагу приділено системі моніторингу. Вона буде аналізувати дії інструментів, доступні дані про логіку роботи та журнали активності для виявлення потенційно несанкціонованої поведінки. OpenAI планує надсилати сповіщення про підозрілу активність протягом 30 хвилин після її фіксації. За попередніми оцінками компанії, система моніторингу потребуватиме близько 20% обчислювальних ресурсів від потужностей, що залучені до процесу, який перевіряється. Детальніший опис функціонування цієї системи OpenAI обіцяє опублікувати пізніше. Офіційний детальний аналіз інциденту з Hugging Face компанія наразі не надала. За матеріалами: НВ # OpenAI Місце для вашої реклами

Порада від Business News:

Ця інформація є важливою для всіх, хто стежить за розвитком технологій штучного інтелекту. Посилення заходів безпеки від OpenAI свідчить про зростання усвідомлення компанією потенційних ризиків, пов’язаних із потужними ШІ-моделями, і про їхні активні кроки для мінімізації цих ризиків. Це може означати як більш стабільну роботу майбутніх продуктів, так і потенційне уповільнення темпів їх випуску через додаткові перевірки.

Інформація підготовлена на основі матеріалів: news.finance.ua