Title: A/B 实验概述
Locale: zh
URL: https://sensorswave.com/docs/experiments/overview/
Description: 了解 A/B 实验的价值、核心能力和典型使用场景
A/B 实验是一种科学的产品验证方法，通过将用户随机分为不同组别，对比不同方案的实际效果，帮助您做出数据驱动的决策。Sensors Wave 提供完整的 A/B 实验能力，从实验设计、分流追踪到数据分析，助力您持续优化产品体验。

## A/B 实验解决什么问题

在产品开发和运营过程中，我们经常面临各种决策难题：

**避免主观决策的风险**：
- "拍脑袋"决策可能导致资源浪费或错误方向
- 团队内部意见分歧，难以达成共识
- 新功能上线后发现效果不如预期，但已投入大量资源

**量化功能改进的价值**：
- 无法精确评估产品优化带来的实际收益
- 难以在多个优化方案中选择最优方案
- 无法证明产品改进的 ROI，影响后续资源投入

**降低全量发布的风险**：
- 新功能全量上线后出现问题，影响范围大
- 无法提前发现潜在的负面影响
- 回滚成本高，用户体验受损

A/B 实验通过**小范围验证、数据对比、科学决策**的方式，帮助您在投入全量资源前验证假设，用数据说话。

## 核心价值

### 科学决策

基于统计显著性检验，而非主观判断：

- **随机分组**：确保对比的公平性，排除选择偏差
- **统计检验**：通过 p-value 判断结果是否由偶然性导致

### 持续优化

快速迭代，持续改进产品体验：

- **快速验证**：2-4 周即可得出实验结论
- **小步快跑**：每次优化一个变量，积累优化经验
- **数据沉淀**：建立实验知识库，指导后续决策

### 用户细分

发现不同用户群体的偏好差异：

- **分群实验**：针对特定用户群体进行实验
- **差异化策略**：为不同用户提供个性化体验
- **精准运营**：基于实验结果制定精准运营策略

## A/B 实验 vs 功能开关

A/B 实验和功能开关是两个相关但不同的能力，适用于不同场景：

| 对比维度 | A/B 实验 | 功能开关 |
|---------|---------|---------|
| **主要目的** | 验证功能效果，优化决策 | 控制功能上线，降低风险 |
| **使用时机** | 功能稳定后，验证效果 | 功能开发完成，准备上线 |
| **分组方式** | 随机分组，确保对比公平性 | 基于用户属性、分群、百分比 |
| **数据分析** | 完整的指标对比和显著性检验 | 基础使用统计 |
| **决策依据** | 业务指标（转化率、留存率） | 技术指标（稳定性、性能） |

> **我们的推荐**：功能开关和 A/B 实验配合使用，效果最佳。先用功能开关验证技术稳定性，再用 A/B 实验验证业务效果。

详细对比请参考 [功能开关与 A/B 测试](../feature-gates/gates-vs-experiments.mdx)。

## Sensors Wave A/B 实验能力

Sensors Wave 提供完整的 A/B 实验能力，覆盖实验全流程：

### 完整的实验流程

**设计阶段**：
- 明确实验假设和目标指标
- 设计实验变体和流量分配

**分流阶段**：
- 基于用户 ID 的稳定哈希分流
- 支持 Login ID 和 Anonymous ID
- 支持基于用户属性的定向分流

**追踪阶段**：
- SDK 自动记录实验曝光日志
- 追踪用户在实验中的行为事件
- 记录转化和关键指标数据

**分析阶段**：
- 使用事件分析对比各变体指标
- 使用漏斗分析对比转化率
- 统计显著性检验

**决策阶段**：
- 基于数据选择获胜方案
- 全量发布或继续迭代优化

### 灵活的分流策略

**支持多种分流 ID**：
- **Login ID**：已登录用户，跨设备体验一致
- **Anonymous ID**：匿名用户，覆盖未登录场景
- **混合策略**：自动适配登录和未登录用户

**基于用户属性定向分流**：
- 设备属性：操作系统、浏览器、设备型号
- 地理位置：国家、城市、IP
- 应用属性：应用版本、SDK 版本

### 自动曝光日志

SDK 自动记录实验曝光，无需手动埋点：

- 用户首次命中实验时自动记录 `$ABImpress` 事件
- 曝光去重：同一用户同一实验只记录一次
- 曝光属性快照：记录用户分配到的变体和用户属性

## 典型使用场景

### UI/UX 优化

**目标**：找出转化率更高的设计方案

**示例**：
- 对比两种结账流程（3 步 vs 5 步），验证哪种转化率更高
- 测试不同按钮颜色（红色 vs 蓝色）对点击率的影响
- 对比两种商品详情页布局的加购率

**关键指标**：点击率、转化率、平均订单金额

### 算法对比

**目标**：验证新算法是否优于旧算法

**示例**：
- 对比协同过滤和深度学习推荐算法的点击率
- 测试新的搜索排序算法是否提升搜索转化
- 验证新的定价算法对收入的影响

**关键指标**：点击率、转化率、收入、用户满意度

### 定价策略

**目标**：找到最优定价，最大化收入

**示例**：
- 测试 VIP 会员年费（199 / 249 / 299）哪个总收入最高
- 验证首单优惠力度（8 折 vs 9 折）对新用户转化的影响
- 对比不同运费策略对订单量的影响

**关键指标**：购买转化率、总收入、用户生命周期价值

### 文案优化

**目标**：提升营销文案的点击率和转化率

**示例**：
- 对比两种 Banner 文案（"限时优惠" vs "新品上市"）的点击率
- 测试不同邮件主题的打开率
- 验证不同推送文案的点击率

**关键指标**：点击率、打开率、转化率

## 功能限制说明

Sensors Wave 的 A/B 实验根据产品定位进行了功能选择和优化。

**当前支持的核心功能**：
- ✅ 实验分流：Login ID、Anonymous ID
- ✅ 用户属性分流：SDK 预置属性
- ✅ 多变体实验
- ✅ 自动曝光日志

## 下一步

现在您已经了解了 A/B 实验的价值和核心能力，接下来可以：

1. **[快速开始](quick-start.mdx)**：20 分钟内完成第一个 A/B 实验
2. **[核心概念](core-concepts.mdx)**：深入理解 A/B 实验的工作原理
3. **[SDK 集成](sdk-integration.mdx)**：在代码中集成 A/B 实验

---

**最后更新时间**：2026 年 1 月 29 日