ШІ-модель GPT-4o від OpenAI набрала найвищий бал у рейтингу з програмування мовою Solidity, обійшовши o1-preview, o1-mini та конкурентів. Про це свідчать дані дослідження BrainDAO.
Рейтинг ШІ-моделей у виконанні завдань із програмування на Solidity. Джерело: Hugging Face.
У п’ятірці лідерів:
- GPT-4o — 80,05 бала;
- o1-preview — 77,61;
- o1-mini — 75,08;
- Claude 3.5 — 74,88;
- Grok-2 — 74,64.
Для аналізу та складання рейтингу SolidityBench застосовували два бенчмарки NaïveJudge і HumanEval, розроблені для оцінювання та ранжування майстерності ШІ-моделей у генерації коду для смартконтрактів.
Код від нейромереж оцінювали на основі «суворих критеріїв» на кшталт реалізації ключових функцій, опрацювання крайніх випадків, роботи з помилками, правильного використання синтаксису, загальної структури та підтримність. Також аналізували ефективність використання газу та управління зберіганням.
Діапазон балів варіюється від 0 до 100, забезпечуючи комплексну оцінку функціональності, безпеки та ефективності.
Раніше Meta розробила ШІ-інструмент CodeCompose для генерації програмного коду.
Нагадаємо, у вересні Google випустила дві оновлені версії моделей Gemini 1.5, які продемонстрували поліпшення в роботі з мовами програмування.
