Как измерять AI-продуктивность без самообмана
Как измерять AI-продуктивность без самообманаAI помог разработчику написать код быстрее. Этого недостаточно, чтобы сказать, что разработка стала продуктивнее.
В работе Microsoft The SPACE of AI: Real-World Lessons on AI’s Impact on Developers исследователи опросили более 500 разработчиков, а также провели интервью и наблюдения.
Влияние AI оценивали через модель SPACE:
— Satisfaction — удовлетворённость работой;
— Performance — качество результата;
— Activity — объём выполненных действий;
— Communication and Collaboration — взаимодействие в команде;
— Efficiency and Flow — эффективность и непрерывность работы.
Результаты показательные.
Разработчики действительно отмечают рост эффективности и удовлетворённости — особенно при выполнении рутинных задач.
Но эффект зависит от сложности задачи, способа использования AI и того, насколько инструмент принят всей командой.
А с совместной работой всё менее однозначно.
Допустим, код теперь пишется быстрее. Но одновременно:
— PR становятся больше;
— ревью занимает больше времени;
— растёт число исправлений после ревью;
— обмен знаниями сокращается;
— разработчики хуже понимают код друг друга.
Получили мы прирост продуктивности?
Не факт. Возможно, мы просто перенесли очередь из разработки в ревью.
Поэтому AI-продуктивность нельзя измерять одной метрикой — количеством строк, закрытых задач или временем написания кода.
Я бы смотрел сразу на несколько уровней:
— сколько времени задача проходит от начала до production;
— как изменились размер PR и время ревью;
— стало ли больше возвратов и исправлений;
— что происходит с качеством и количеством дефектов;
— помогает ли AI делиться знаниями или создаёт код, который понимает только его автор;
— как разработчики оценивают нагрузку и удовлетворённость работой.
AI может ускорить отдельную операцию и одновременно замедлить весь поток.
Поэтому измерять нужно не скорость генерации кода, а способность команды быстрее и стабильнее доставлять работающий результат.