À quoi sert cette section
Consultez les événements d’usage, les suggestions acceptées et les lignes générées, puis comparez des groupes selon leur usage de l’IA. Les résultats montrent des associations, sans prouver que l’IA a causé une amélioration ou une dégradation.
Quand l’utiliser
- Examiner l’adoption d’un outil.
- Préparer une évaluation avec des données et leurs limites.
Premiers pas
- 1Connectez les outils utilisés et vérifiez les utilisateurs et dates couverts.
- 2Consultez l’activité et créez des groupes de niveaux d’usage différents.
- 3Comparez des périodes et tâches similaires et vérifiez la taille des groupes.
Paramètres
| Paramètre | À quoi il sert | Comment l’utiliser | Erreur fréquente |
|---|---|---|---|
| Sources et groupes | Définissent l’usage observé et les personnes comparées. | Vérifiez la couverture des outils ainsi que les différences de rôles et de tâches. | Assimiler l’absence d’événements d’un outil non connecté à une absence d’usage de l’IA. |
Exemple d’utilisation
Situation: Vous voulez examiner l’utilisation d’une licence d’IA.
- 1Vérifiez la couverture des sources sur une même période.
- 2Comparez usage et qualité entre groupes effectuant un travail similaire et notez leurs différences.
Ce que cela permet de vérifier: Vous aurez des données et des questions à approfondir, sans attribuer automatiquement les changements à l’IA.
Questions fréquentes
Pourquoi une corrélation manque-t-elle ?
Il faut des observations avec et sans IA ainsi qu’une variation du résultat de qualité. Sans cette variation, une corrélation utile ne peut pas être calculée.
La comparaison prouve-t-elle une signification statistique ?
La fonction bêta propose des comparaisons approximatives, pas un test validé de signification ni une valeur p permettant de confirmer une causalité.
Le taux d’acceptation évalue-t-il une personne ?
Il décrit l’usage d’un outil. Il ne mesure pas à lui seul la qualité du travail ou les compétences professionnelles.
Conseils
- Précisez la période, la couverture et la taille des groupes lorsque vous partagez les résultats.