この機能でできること
利用イベント、提案の受け入れ率、生成行数を確認し、AI の利用度が異なるグループを比較できます。結果が示すのは関連であり、AI が改善や悪化の原因だったと証明するものではありません。
利用する場面
- ツールがどの程度使われているか確認するとき。
- データとその限界を踏まえて利用状況を評価するとき。
最初の手順
- 1使用中のツールを接続し、取得できているユーザーと期間を確認します。
- 2活動を確認し、利用度の異なるグループを作ります。
- 3同じ期間と似た作業を比較し、各グループの人数も確認します。
設定項目
| 設定項目 | 役割 | 設定のポイント | よくある間違い |
|---|---|---|---|
| データ元とグループ | 観測する利用状況と比較対象の人を決めます。 | 取得できていないツールや、役割・タスクの違いを確認します。 | 未接続のツールのイベントがないことを、AI を使っていない証拠と考えること。 |
利用例
状況: AI ライセンスの利用状況を確認します。
- 1同じ期間について、各ツールのデータ取得範囲を確認します。
- 2似た作業をするグループ間で利用状況と品質を比較し、条件の違いを記録します。
分かること: 変化をすべて AI の効果とせず、評価に使うデータと追加で調べる点を整理できます。
よくある質問
相関が表示されない場合は？
AI 利用あり・なしの観測と、品質結果のばらつきが必要です。変化のないデータからは有用な相関を計算できません。
統計的な有意差を証明できますか？
ベータ機能では概算の比較を提供します。有意差を検証する確立した検定や、因果関係を確認するための p 値ではありません。
受け入れ率で個人を評価できますか？
受け入れ率はツールの使い方を表します。仕事の質や能力を単独で測るものではありません。
使い方のヒント
- 結果を共有するときは、期間、データ取得範囲、グループの人数を明記してください。