Исследование: ИИ-инструменты замедляют разработку ПО с открытым кодом на 19%

• Ожидания программистов не оправдались, поскольку вместо ускорения ИИ-инструменты замедлили выполнение задач.
• Основные потери времени связаны с проверкой результатов генерации, ожиданием ответов и контекстной неэффективностью.
• Результаты подрывают популярный нарратив об автоматизации кодирования с помощью ИИ.

Свежее исследование от организации Model Evaluation and Threat Research (METR) показало, что опытные разработчики ПО с открытым исходным кодом тратили на 19% больше времени на выполнение задач с ИИ-инструментами. Это противоречит как их собственным ожиданиям, так и распространенному мнению о повышении продуктивности с помощью ИИ, говорится в отчете.

В эксперименте участвовали 16 профессиональных разработчиков, которые решали реальные задачи поддержки репозиториев — от исправлений багов до рефакторинга. Половина заданий выполнялась с помощью таких ИИ, как Claude и Cursor Pro, остальная — без них. Несмотря на то, что программисты ожидали прироста эффективности до 24%, задачи с применением программ на базе искусственного интеллекта фактически выполнялись медленнее.

Записи экрана показали, что хотя ИИ ускоряет написание и тестирование кода, это преимущество нивелируется затратами времени на формулировку запросов, проверку результатов и ожидание генерации. В 56% случаев разработчикам пришлось вручную корректировать предложенный код, а 9% времени ушло исключительно на валидацию ответов ИИ.

Исследователи отмечают, что существующие бенчмарки, как правило, основаны на упрощенных или синтетических задачах. В то же время кодовые базы, с которыми работали участники METR, насчитывали миллионы строк и десятилетия истории. В таких условиях знание контекста оказалось критически важным, и именно здесь ИИ показал слабую сторону.

В итоге ученые пришли к выводу, что современные ИИ-инструменты неэффективны в задачах, где важны скрытые зависимости, стандарты качества или негласные требования к коду. Это особенно заметно в «зрелых» проектах, где качество важнее скорости, подчеркивается в исследовании. Однако METR допускает, что с улучшением моделей — включая Claude 3.7 — ситуация может измениться.

Таким образом, исследование гласит, что ИИ уже полезен в отдельных аспектах кодирования, но его практическая применимость в сложных проектах пока ограничена. Разработчики и компании, внедряющие ИИ в рабочие процессы, должны учитывать эти ограничения и не переоценивать возможную выгоду, отмечают эксперты.

Напомним, мы писали, что У четверти стартапов Y Combinator код на 95% написан ИИ-моделями.