Title: 指标与分析
Locale: zh
URL: https://sensorswave.com/docs/experiments/metrics-and-analysis/
Description: 了解实验指标类型、报告数据结构和统计检验
本文介绍 A/B 实验的指标配置、报告数据结构和统计检验功能，帮助您正确理解和分析实验结果。

## 实验指标类型

实验支持配置任何事件分析类型的指标。以下指标类型支持统计显著性检验（会在报告数据中显示 P 值、置信区间等统计指标）：

| 指标类型 | 说明 | 示例 |
|---------|------|------|
| **COUNT** | 计数类指标，统计事件发生的总次数 | 点击次数、浏览次数 |
| **UV** | 人数类指标，统计触发事件的用户数 | 点击人数、转化人数 |
| **SUM** | 总和类指标，统计数值属性的累计总和 | 消费金额、停留时长 |
| **AVG** | 平均值指标，统计触发用户的数值属性平均值 | 平均停留时长 |
| **COUNT_PER_USER** | 人均次数，统计触发用户的人均事件次数 | 人均点击次数 |
| **SUM_PER_USER** | 人均金额，统计触发用户的人均数值 | 人均消费金额 |

> **说明**：其他事件分析指标类型也可以配置为实验指标，但不会提供统计学检验结果。

## 指标值与指标均值

实验报告数据中包含两个核心指标概念：**指标值（Value）** 和 **指标均值（Mean）**。不同指标类型的计算逻辑如下：

| 指标类型 | 指标值（Value） | 指标均值（Mean） | 示例 |
|---------|---------------|-----------------|------|
| **COUNT** | 事件发生的总次数 | 总次数 / 曝光人数 | 曝光 1000 人，总点击 3500 次 → 值=3500，均值=3.5 |
| **UV** | 触发事件的用户数 | 用户数 / 曝光人数（即转化率） | 曝光 1000 人，200 人点击 → 值=200，均值=0.2（20% 转化率） |
| **SUM** | 数值属性的累计总和 | 总和 / 曝光人数 | 曝光 1000 人，总消费 50000 元 → 值=50000，均值=50 |
| **AVG** | 触发用户的数值属性平均值 | 等于指标值本身 | 200 人平均停留 120 秒 → 值=120，均值=120 |
| **COUNT_PER_USER** | 触发用户的人均次数 | 等于指标值本身 | 200 人共点击 600 次 → 值=3（人均 3 次），均值=3 |
| **SUM_PER_USER** | 触发用户的人均金额 | 等于指标值本身 | 200 人共消费 10000 元 → 值=50（人均 50 元），均值=50 |

### 累计类指标 vs 人均类指标

**累计类指标（COUNT、UV、SUM）**：

- 指标值是针对整个变体用户群的累计结果
- 指标均值的分母是**曝光人数**（即实验分流到该变体的全部用户）
- 示例：曝光 1000 人，其中 200 人产生了 600 次点击，COUNT 均值 = 600 / 1000 = 0.6

**人均类指标（AVG、COUNT_PER_USER、SUM_PER_USER）**：

- 指标值本身已经是人均结果，分母是**曝光后又触发事件的用户数**
- 指标均值直接等于指标值，无需再次除以曝光人数
- 示例：曝光 1000 人，其中 200 人触发了点击事件共 600 次，COUNT_PER_USER 值 = 600 / 200 = 3（触发用户人均 3 次）

> **说明**：指标均值用于统计学检验计算（P 值、置信区间等），是实验显著性判断的基础数据。

## 报告数据

实验的报告数据分为三个核心板块：**总览合计 (Cumulatives)**、**明细数据 (Details)** 和 **统计检验 (Advances)**。

### 总览合计（Cumulatives）

展示实验的全程数据总结，包含：

| 字段 | 说明 |
|------|------|
| **变体名称** | 各分组名称（如 control、treatment） |
| **累计曝光数** | 各分组命中的用户数 |
| **指标值** | 指标的累计总额或总次数 |
| **均值** | 人均表现 |
| **相对差异** | 相对于对照组的提升幅度 |

**示例数据**：

假设实验运行 2 周，主要指标为"按钮点击率"（UV 类型）：

| 变体 | 累计曝光数 | 指标值（点击人数） | 均值（转化率） | 相对差异 |
|------|-----------|-------------------|---------------|---------|
| control | 5,000 | 1,200 | 24.0% | - |
| treatment | 5,000 | 1,400 | 28.0% | +16.7% |

### 明细数据（Details）

按时间维度（如按天）拆解各变体的指标表现，方便观察实验趋势和稳定性。

通过明细数据，您可以：

- **观察趋势**：查看指标随时间的变化趋势
- **验证稳定性**：确认实验结果是否稳定，而非短期波动
- **识别异常**：发现某一天的异常数据（如节假日影响）

### 统计检验（Advances）

基于统计学模型对指标进行深度分析，提供以下统计指标：

| 统计指标 | 说明 |
|---------|------|
| **P 值（P-Value）** | 判断实验差异是否显著的主要依据，通常 < 0.05 为显著 |
| **置信区间（Confidence Interval）** | 差异的估算范围，表示真实提升幅度可能在的区间 |
| **显著性（Is Significant）** | 系统自动判断当前数据是否达到了统计显著 |
| **标准误差** | 反映数据的波动程度 |

**判断标准**：

- **P < 0.05**：结果具有统计显著性，实验组与对照组的差异不太可能是偶然产生的
- **P ≥ 0.05**：结果可能是偶然产生的，需要更多数据或调整实验设计

## 如何分析实验结果

### 第一步：查看总览合计

1. 确认各变体的累计曝光数是否充足（每组至少 1000 人）
2. 对比各变体的指标均值和相对差异

### 第二步：检查明细数据

1. 查看指标随时间的变化趋势
2. 确认结果是否稳定（不是某一天的异常导致）
3. 排除外部因素影响（节假日、营销活动等）

### 第三步：查看统计检验

1. 检查 P 值是否 < 0.05
2. 查看置信区间的范围
3. 确认系统的显著性判断

### 第四步：综合决策

基于以上数据做出决策：

- **实验成功**：P < 0.05，主要指标有显著提升，无负面影响 → 推广获胜方案
- **实验失败**：P < 0.05，主要指标显著下降 → 放弃实验方案
- **结果不显著**：P ≥ 0.05 → 延长实验或增加样本量
- **结果矛盾**：主要指标提升但其他指标下降 → 综合评估，谨慎决策

## 下一步

- **[实验设计](experiment-design.mdx)**：学习如何设计科学的实验
- **[最佳实践](best-practices.mdx)**：掌握实验分析的最佳实践
- **[常见问题](faq.mdx)**：查看数据分析相关的常见问题

---

**最后更新时间**：2026 年 3 月 3 日