Для чего нужен раздел
Раздел собирает данные подключённых ИИ-инструментов: предложения, долю принятых подсказок и сгенерированные строки. Можно объединить разработчиков в группы и сравнить их показатели. Раздел в бете: обнаруженная разница не доказывает, что её вызвал ИИ.
Когда использовать
- Когда хотите проверить, как команда использует подключённые ИИ-инструменты.
- Перед продлением или расширением лицензии.
- Когда хотите сравнить показатели разработчиков с разным уровнем использования ИИ.
Первые шаги
- 1Подключите инструменты ИИ, которыми пользуется команда.
- 2Выберите даты начала и конца: обе даты входят в расчёт. Посмотрите число событий и долю принятых подсказок.
- 3Сравните средние значения групп, число наблюдений в каждой и исходные показатели.
- 4Учитывайте различия в задачах и опыте участников. Сервис не проверяет статистическую значимость и не определяет причину разницы.
Настройки
| Настройка | Что делает | Как настроить | Типичная ошибка |
|---|---|---|---|
| Интеграция ИИ-инструмента | Подключает инструмент, чтобы собирать события его использования. | Проверьте, что подключены все используемые инструменты. Иначе отсутствие данных можно ошибочно принять за редкое использование ИИ. | Сравнивать группы, не учитывая, что данные одного из популярных инструментов не загружаются. |
| Условия отбора в группу | Выбирает участников по уровню использования ИИ, инструментам, датам или списку пользователей. | Сравнивайте один период и похожие задачи. Проверьте, не отличаются ли группы по опыту или специализации. | Собрать когорту «много ИИ», которая заодно оказалась фронтенд-командой, и приписать разницу искусственному интеллекту. |
Пример использования
Ситуация: Нужно сравнить время до слияния пулл-реквестов в двух группах разработчиков.
- 1Проверьте список участников и подключённые ИИ-инструменты.
- 2Выберите одинаковые даты для обеих групп.
- 3Сравните среднее время и число наблюдений. Запишите различия в задачах или составе групп, которые могли повлиять на результат.
Что станет понятно: Вы видите различия между группами и знаете, что нужно проверить дополнительно. Сравнение не доказывает влияние ИИ.
Частые вопросы
Почему нет корреляции?
Для расчёта нужны наблюдения с ИИ и без ИИ, а значения сравниваемого показателя должны различаться. Если одной группы нет или все результаты одинаковы, коэффициент не показывается.
Где p-value?
Сравнение показывает наблюдаемые средние и размеры выборок. Статистический тест значимости не предоставляется; независимость и случайное распределение участников по группам не установлены.
Доказывает ли связь, что ИИ ускоряет поставку?
Нет. На различия влияют опыт, сложность задач, состав команды и охват инструментов. Для оценки причинности нужен отдельно спроектированный эксперимент.
Практические советы
- Перед сравнением определите, какой вопрос вы проверяете, например стоит ли расширять лицензию.
- Когда делитесь результатами, укажите период, состав групп, подключённые инструменты и ограничения бета-версии.