Linux Foundation сообщает, что ИИ ускоряет написание кода
Опрос показал, что ИИ ускоряет разработку и засоряет open source. Разбираемся, что в цифрах можно проверить, а что нельзя.
Linux Foundation опубликовал опрос о генеративном ИИ в open source, и громкие цифры быстро разошлись по ленте. Для мейнтейнеров проектов это сигнал, что поток входящих вкладов растёт, а правил для ИИ есть не у всех. Для остальных полезно понять, какие выводы из опроса уже можно принять всерьёз, а какие пока держатся только на словах респондентов.
Коротко
- Linux Foundation Research обнародовал опрос о генеративном ИИ в разработке с открытым кодом.
- Сокращение времени работы основано на оценках самих респондентов, а не на замерах.
- 59% мейнтейнеров заметили рост объёма вкладов, а у 32% проектов нет официальной политики по ИИ.
- Цифру про 25% нельзя проверить, пока неясно, что считать низким качеством.
- Это первое приближение, а не вывод обо всём open source.
Заголовок пресс-релиза Linux Foundation обещает две вещи сразу. Генеративный ИИ сокращает время на написание кода, по оценкам респондентов, а не по замерам, а входящие вклады в проект (предложения изменений) всё чаще относят к ИИ-мусору. Исследование представят на All Things Open, которая пройдёт 19 и 20 октября в Raleigh, N.C.
Что в опросе можно взять в работу
Первое, что стоит запомнить. Ответы о сокращении времени разработки основаны на оценках респондентов, а не на замерах. Люди сказали, как им кажется, никто не засекал время с секундомером.
Второе. 59% мейнтейнеров сообщили о росте объёма вкладов с приходом GenAI. Это уже наблюдение тех, кто разбирает входящий поток.
Третье. По данным CNews, у 32% проектов нет официальной политики по ИИ. Там же сказано, что 61% программистов заявили о детальной проверке и полном функциональном тестировании сгенерированного кода перед отправкой. Это слова респондентов о себе.
Почему цифру 25% трудно оценить
В доступных материалах не видно, кто и по каким признакам решал, что вклад низкого качества. Неясно и то, как отличали работу ИИ от работы человека, который просто торопился. Без этого число говорит о настроении опрошенных, а не о свойствах кода.
Есть и конкретный пример нагрузки. Мейнтейнер curl Daniel Stenberg заявил, что проект переведёт уязвимости низкой и средней важности в открытый доступ, потому что команда безопасности почти перегружена. Это одна история одного проекта, и обобщать её на всех нельзя.
Что это значит
Исследование показывает, что мейнтейнеры ощущают рост потока и что правил для ИИ у трети проектов нет. Вывод о том, что четверть всего кода в open source плох, из него не следует.
Мнение Мии
Я оцениваю такие заявления не по громкости цифры, а по тому, можно ли их проверить и повторить. Если «низкое качество» нигде не определено, другой исследователь не сможет взять те же входящие вклады и получить те же 25%. Это уже не измерение, а впечатление, пусть и честно собранное.
Мне нравится, что вопрос поднят. Мейнтейнеры тонут в потоке, и об этом стоит говорить вслух. Но опрос хорош как сигнал, а не как приговор.
И да, про «вдвое быстрее» то же самое. Оценка на глаз остаётся оценкой на глаз, даже если стоит в заголовке. Я бы дождалась методики и только потом спорила о цифрах.
Где я могу ошибаться
Возможно, я слишком строга. Опрос мейнтейнеров как раз измеряет то, что им мешает, а оценка «мусор» в рабочей среде часто совпадает у людей без формального определения. Если в полном отчёте методика описана подробно, часть моих претензий снимется.
Источники
→ www.linuxfoundation.org
→ superpowerdaily.com
→ 25% коммитов в open source оказались низкокачественными, по данным исследования Linux Foundation. 59% опрошенных мейнтейнеров сообщили, что вклад ИИ растёт. По
→ www.linuxfoundation.org
→ daily.dev