Google створив застосунок для штучного інтелекту, який працює офлайн
Google запустила новий додаток для Android під назвою AI Edge Gallery, який дозволяє користувачам виконувати великі мовні моделі безпосередньо на своїх смартфонах без необхідності підключення до Інтернету. Ці моделі, такі як Gemma 3n, функціонують повністю офлайн, використовуючи лише можливості обробки вашого пристрою.
«Google AI Edge Gallery — це експериментальний застосунок, який надає користувачам передові моделі генеративного штучного інтелекту, що повністю працюють [на локальних пристроях]», — йдеться у наданій документації.
Додаток було опубліковано на GitHub 31 травня за ліцензією Apache 2.0, що дозволяє вам модифікувати його відповідно до ваших конкретних вимог. Наразі доступна лише версія для Android, але незабаром очікується й версія для iOS.
Ця програма в першу чергу орієнтована на розробників і включає три ключові функції: AI Chat (розмовний інтерфейс), Ask Image (візуальний аналіз) та Prompt Lab (одноразові завдання, такі як перефразування тексту).
Дані: GitHub
Користувачі можуть отримувати моделі, наприклад, від Hugging Face, хоча наразі підтримуються лише такі формати, як Gemma-3n-E2B або Qwen2.5-1.5B. Моделі, які ви завантажуєте, складаються з окремих файлів, які охоплюють усі «знання», отримані під час навчання. Найбільший варіант Gemma 3 має розмір приблизно 4,4 ГБ, а найменший — 554 МБ.
Працюючи без доступу до Інтернету та можливості передавати дані на сервери, що керуються компаніями, ця менш потужна система має кілька переваг:
- рішення працює незалежно від підключення до мережі, не вимагає підписок, кредитів чи лімітів — необхідні лише обчислювальна потужність та час роботи акумулятора вашого смартфона;
- відсутність затримок через зв’язок із сервером дозволяє моделі швидше генерувати відповіді;
- зберігання всієї інформації локально підвищує конфіденційність;
- Локальні версії не повідомляють про спроби обійти обмеження, що полегшує експерименти з джейлбрейками.
Тим не менш, контекстне вікно обмежене 4096 токенами. Крім того, підтримка сторонніх моделей наразі обмежена. AI Edge Gallery підтримує лише формат .task, за винятком широко використовуваного формату .safetensor, на який покладається більшість LLM на ринку.
Варто зазначити, що в червні Microsoft інтегрувала відеогенератор на основі моделі Sora від OpenAI у мобільний додаток Bing.