Title: 快速开始 Locale: zh URL: https://sensorswave.com/docs/experiments/quick-start/ Description: 20 分钟内完成第一个 A/B 实验 通过本教程,您将在 20 分钟内完成第一个 A/B 实验,体验从创建实验、代码集成到数据分析的完整流程。 ## 前提条件 在开始之前,请确保您已经: - 完成了 SDK 的集成(本文以 [JavaScript SDK](../data-integration/client-sdks/javascript.mdx) 为例) - 开启了 A/B 测试功能(例如 JavaScript SDK 中设置 `enableAB: true`) - 了解了 [用户标识](../data-integration/user-identification.mdx) 的基本概念 ## 示例场景 **业务背景**:您运营一个电商网站,希望提升"加入购物车"按钮的点击率。设计团队提出两种方案:保持当前的蓝色按钮,或者改为更醒目的红色按钮。 **实验假设**:红色按钮比蓝色按钮能提升 10% 的点击率。 **实验设计**: - **对照组**(Control):蓝色按钮(当前方案) - **实验组**(Treatment):红色按钮(新方案) - **流量分配**:50% vs 50% - **实验周期**:2 周(确保收集足够样本量) **目标指标**: - **主要指标**:按钮点击率 - **次要指标**:加入购物车转化率、商品详情页停留时长 ## 步骤 1:创建实验 在 Sensors Wave 控制台创建实验: ### 1.1 进入实验管理页面 1. 登录 Sensors Wave 控制台 2. 点击左侧菜单的 **AB > 实验** 3. 点击右上角的 **新建实验** 按钮 ### 1.2 填写基本信息 **实验标识**(Key): ``` cart_button_color_test ``` **显示名称**: ``` 购物车按钮颜色实验 ``` **实验描述**: ``` 测试红色按钮是否比蓝色按钮更能吸引用户点击,提升加入购物车的转化率 ``` **假设**: ``` 红色按钮能提升 10% 的点击率 ``` ### 1.3 配置变体组 **对照组**(Control): - 变体名称:`control` - 流量分配:`50%` **实验组**(Treatment): - 变体名称:`treatment` - 流量分配:`50%` ### 1.4 保存和启动 1. 点击 **保存** 按钮 2. 检查配置无误后,点击 **启动** 按钮 3. 实验状态变为 **运行中** ## 步骤 2:代码集成 在商品详情页中集成实验代码: ```javascript function ProductDetail() { const [buttonColor, setButtonColor] = useState('blue'); // 默认蓝色 useEffect(() => { // 获取实验变量 async function loadExperiment() { try { const experiment = await SensorsWave.getExperiment('cart_button_color_test'); const color = experiment.get('button_color', 'blue'); setButtonColor(color); } catch (error) { console.error('获取实验失败:', error); // 失败时使用默认值 setButtonColor('blue'); } } loadExperiment(); }, []); // 处理按钮点击 const handleAddToCart = () => { // 追踪点击事件,带上实验信息 SensorsWave.trackEvent('AddToCartClicked', { experiment: 'cart_button_color_test', button_color: buttonColor, product_id: 'PROD-001', product_name: 'iPhone 15 Pro' }); // 执行加入购物车的业务逻辑 addToCartLogic(); }; return ( iPhone 15 Pro 价格:¥7,999 {/* 根据实验变量动态设置按钮颜色 */} 加入购物车 ); } ``` ## 步骤 3:验证和监控 实验发布后,需要验证集成是否正确并持续监控数据。 ### 3.1 验证曝光日志 在 Sensors Wave 控制台检查曝光日志: 1. 进入 **数据洞察** > **事件分析** 2. 选择事件:`$ABImpress` 3. 添加筛选条件:`实验名称 = cart_button_color_test` 4. 查看最近 1 小时的数据 **验证要点**: - 曝光事件是否正常上报 - 每个用户是否只记录一次曝光 - 对照组和实验组的曝光量是否大致相等(50% vs 50%) ### 3.2 检查分组分布 验证流量分配是否均匀: 1. 在事件分析中,选择事件:`$ABImpress` 2. 按 **变体名称** 分组 3. 查看对照组和实验组的用户数 **预期结果**: - 对照组(control):约 50% - 实验组(treatment):约 50% 如果分组分布偏差较大(例如 60% vs 40%),可能是流量配置有误或样本量不足。 ### 3.3 监控关键指标 定期检查核心指标的变化趋势: **主要指标**:按钮点击率 1. 在事件分析中,选择事件:`AddToCartClicked` 2. 按 **变体名称** 分组 3. 查看不同变体的事件次数和用户数 **计算点击率**: ``` 点击率 = 点击用户数 / 曝光用户数 ``` **次要指标**:加入购物车转化率 1. 创建漏斗分析 2. 定义漏斗步骤: - 步骤 1:商品详情页浏览(`PageView`) - 步骤 2:点击加入购物车(`AddToCartClicked`) - 步骤 3:成功加入购物车(`AddToCart`) 3. 按 **变体名称** 分组对比转化率 ## 步骤 4:分析结果 实验运行 2 周后(或达到足够样本量),分析实验结果。 ### 4.1 等待足够样本量 **最小样本量要求**: - 每组至少 1000 个曝光用户 - 每组至少 100 个转化用户 **样本量不足的风险**: - 实验结果不稳定,容易受偶然因素影响 - 统计显著性检验失效 - 可能得出错误结论 ### 4.2 对比关键指标 使用事件分析对比两组数据: **示例数据**: | 变体 | 曝光用户数 | 点击用户数 | 点击率 | 提升幅度 | |------|----------|----------|--------|---------| | 对照组(蓝色) | 5,000 | 1,200 | 24.0% | - | | 实验组(红色) | 5,000 | 1,400 | 28.0% | +16.7% | **分析**: - 实验组点击率 28.0%,对照组 24.0% - 相对提升:(28.0% - 24.0%) / 24.0% = 16.7% - 实验假设验证:实际提升 16.7%,超过预期的 10% ### 4.3 检查统计显著性 使用 Sensors Wave 的统计检验功能(或第三方工具)计算 p-value: **判断标准**: - **p iPhone 15 Pro 价格:¥7,999 {/* 直接使用红色按钮 */} 加入购物车 ); } ``` ## 常见问题 ### Q:实验需要跑多久? 至少 2 周,确保包含完整的周期(工作日和周末)。如果流量较小,可能需要更长时间才能达到足够样本量。 ### Q:样本量不足怎么办? 有以下几种方法: - 延长实验周期 - 扩大实验流量(例如从 50% 扩大到 80%) - 降低最小可检测效应(MDE) ### Q:实验结果不显著怎么办? 可能的原因: - 样本量不足:延长实验或增加流量 - 实验假设错误:新方案效果与旧方案无显著差异 - 外部因素干扰:节假日、营销活动等 建议:延长实验周期,如果结果持续不显著,说明新方案效果有限,可以放弃该优化方向。 ### Q:实验期间可以修改配置吗? 不推荐。修改配置(如变量值、流量分配)会影响实验结果的可靠性。如果必须修改,建议: - 停止当前实验 - 创建新实验 - 重新收集数据 ## 下一步 恭喜您完成了第一个 A/B 实验!接下来可以: 1. **[核心概念](core-concepts.mdx)**:深入理解 A/B 实验的工作原理 2. **[实验设计](experiment-design.mdx)**:学习如何设计科学严谨的实验 3. **[SDK 集成](sdk-integration.mdx)**:了解更多 SDK 使用方法 4. **[指标与分析](metrics-and-analysis.mdx)**:掌握数据分析技巧 --- **最后更新时间**:2026 年 1 月 29 日