这项功能能做什么
查看使用事件、建议接受率和生成行数,并比较不同 AI 使用水平的群组。结果显示的是关联,不能证明 AI 导致了改善或退步。
适用场景
- 检查工具的使用程度。
- 用数据及其限制评估使用情况。
开始步骤
- 1连接正在使用的工具,确认覆盖哪些用户和日期。
- 2查看活动,创建使用水平不同的群组。
- 3比较相同期间和相似任务,同时检查群组人数。
设置项
| 设置项 | 用途 | 如何使用 | 常见错误 |
|---|---|---|---|
| 数据源和群组 | 定义观测到的使用情况和比较对象。 | 检查未覆盖的工具,以及角色和任务差异。 | 把未连接工具的事件缺失解释成没有使用 AI。 |
使用示例
情况: 你想评估 AI 许可证的使用情况。
- 1确认同一期间内各工具的数据覆盖。
- 2在工作相近的群组间比较使用和质量,并记录条件差异。
能确认什么: 可以得到评估材料和后续问题,而不会把所有变化直接归因于 AI。
常见问题
为什么没有相关性数据?
需要有使用和未使用 AI 的观测,以及质量结果的变化。缺乏这些差异时,无法计算有用的相关性。
比较能证明统计显著性吗?
测试版提供近似比较,不是经过验证的显著性检验,也不提供用于确认因果关系的 p 值。
接受率能评价个人吗?
它描述工具的使用方式,不能单独衡量工作质量或专业能力。
使用建议
- 分享结果时注明期间、数据覆盖范围和群组人数。