我们将以一家食品配送公司——Doordash为例，他们的移动应用程序目前在 iPhone App Store 中排名第一。Doordash通过实验，不断地改进他们的应用程序，并在数据科学面试中寻找实验技能很强的候选人——尤其是产品数据科学或产品分析领域的人。
面试问题
面试官——Doordash 正在扩展领域到其他的类别，例如便利店送货服务。过去，doordash的广告效果都非常好，他们正在考虑在应用内发送通知，推广新类别。
你将如何设计和分析实验，来决定是否应该发送通知？
解决方案
第 1 部分 — 先进行澄清式提问，让自己更好地了解业务目标和产品功能细节
面试官想要看到的——
在深入研究实验细节之前，你能否首先阐明产品/业务目标？在不知道产品目标的情况下，谈论实验是一个很危险的。
候选人——在我们考虑实验细节之前，要确保对背景有一个非常清楚的了解。像这样的功能可能有多个目标——例如，增加新用户获取数量、增加该类别的转化率、增加该类别中的订单数量、或增加总订单价值。你能告诉我这个项目的目标是什么吗？
面试官——问得好。通过应用内的通知，我们的主要目的是提高新类别的转化率——即在所有登录应用的用户中，在新类别下订单的用户的百分比。
候选者——好的，谢谢你的回答。现在我还想了解更多关于通知的信息——通知的信息是什么，目标受众是谁？
面试官——我们目前还没做任何活动。通知的信息只是通知用户我们开设了新的类别，他们可以开始使用了。如果实验成功，我们打算向所有用户推送通知。
候选者——好的。谢谢你提供的背景信息。我现在可以深入研究实验细节了。
第 2 部分 — 确定业务的假设、零假设、定义要评估的指标
面试官想要看到的——
除了主要指标之外，你还能考虑到次要指标和护栏指标
候选者——所以，为了确定业务假设——我们预计，如果我们在应用内发送通知，那么新类别的每日订单数量将会增加。意思是，我们的零假设 (Ho) 是：转换率不会因为通知的增加而改变。
现在，让我定一下实验中需要用到的不同指标——我们的目标是提高新类别的转化率，这也是我们的主要指标。在我们的次要指标中，还应该观察平均订单价值，观察推送带来的影响。虽然转化率增加，但平均订单价值可能会下降，从而导致我们的整体收入降低。我们需要多加注意这方面。
我们还应该考虑护栏指标（guardrail metrics）——有些指标对我们的业务至关重要，我们也并不希望这类指标会影响我们的实验过程。例如，花在应用程序上的时间或卸载应用程序的行为。在这些情况下，我们应该包括此类指标吗？
面试官——我同意你对主要指标的选择，但是在目前这个情景里，你可以忽略次要指标。而且你对护栏指标的掌握很准确——Doordash 希望，在涉及应用程序的功能或版本时，要慎重地做出选择，因为我们知道，已经安装了应用程序的用户的生命周期总价值比之前高得多。所以我们要非常谨慎，避免用户卸载应用程序。
· 候选者 - 好的 - 很高兴能了解这些。因此，我们需要把卸载率作为我们的护栏指标。
第 3 部分 — 选择显著性水平、统计功效、最小预期提升幅度（MDE）并计算测试所需的样本量和持续时间
面试官想要看到的——
你对统计概念以及样本量和持续时间计算的了解
· 你是否在设计实验时考虑了网络效应（常见于Doordash、Uber、Lyft、Airbnb 等或FB、LinkedIn 等社交网络）、星期几效应、季节性或新奇效应等因素可能影响测试有效性。
· 候选人——现在我想讨论一下要如何设计实验。
首先，我们来看看我们是否需要考虑网络效应——当对照组的行为受到测试组的处理的影响时，就会出现这种情况。由于 Doordash 是一个双面市场，因此更容易看到网络效应。在这种特定情况下，如果对测试组的处理增加了对测试组的需求，这种情况可能会导致供不应求（例如：dashers），反过来又会影响对照组的表现。
为了考虑到网络效应，我们要以不同于往常的方式选择随机化单元。方法有很多——我们可以进行基于地理的随机化、或基于时间的随机化、或网络集群随机化、或网络以自我为中心的随机化。你想要深入了解一下这些概念吗？
· 面试官——我很高兴你提出了网络效应，因为它就是我们在 Doordash 的实验中一直寻找的东西。为了节省时间，让我们假设这里没有网络效应，请继续讲下去。
· 候选人——如果假设我们不需要考虑网络效应，那么该实验中的随机化单位就是用户——我们将随机选择用户，并将他们分配给实验组和对照组。分配到实验组的用户会收到通知，而分配到对照组的用户不会收到任何通知。接下来，我想计算样本大小和持续时间。为此，我需要一些输入信息。
· 基线转换（Baseline conversion）——即在更改之前对照组的现有转换
· 最小可检测差异（MDE）——即我们在检测时感兴趣的转化率的最小变化量。低于该最小变化量，对业务实际上没有什么影响——通常我们选择变化量的基准为：预期结果的改进能让实施和维护该功能的成本是合理的。
· 统计功效（Statistical Power）——即测试正确拒绝零假设的概率是多少
· 显着性水平（Significance Level）——当零假设成立时，拒绝零假设的概率是多少
通常，在没有附加说明的情况下，我们会选择 5% 的显着性水平和 80% 的功效。此外，我将假设对照组和实验组之间的比例为一半对一半。一旦我确认了这些输入信息，我会使用功效分析来计算样本量。这个过程中会用到一种编程语言。例如在 R语言 中，有一个名为“pwr”的包可用于此目的。
面试官——好的，假设基于分析，我们得到的每个变量的样本数量为 10,000 个用户。你将如何计算测试的持续时间？
· 候选人——为此，我们需要每天登录应用程序的用户数量。
· 面试官——假设我们每天有 10,000 名用户登录该应用程序。
· 候选人——好的，在这种情况下，做这个实验我们至少需要两天时间——通过将对照组和实验组的总样本量，除以每日用户数。但是，在最终确定需要多久之前，我们还应该考虑其他因素——
· 星期几效应——周末和工作日的用户数量可能不同——因此运行的时间要足够长，因为捕获每周周期很重要。
· 季节性——有的日子，用户的行为会有所不同，这一点很重要，例如假期。
· 新奇效应——当你引入一个新功能，尤其是一个很容易被注意到的功能时，最初它会吸引用户尝试。测试组起初可能效果不错，但随着时间的推移，效果会迅速大打折扣。
· 外部影响——例如假设市场竞争很大，很多人可能会忽略这个推送，期望获得高回报。这将导致测试结论不可靠。
由于上述原因，我建议该实验至少运行一周。
面试官——不错。那你会如何分析测试结果？
第 4 部分 — 分析结果并得出有效结论
面试官想看到的—
你对用于不同场景的统计测试的了解（例如，样本均值的 t -test和样本比例的 z -test）
· 你对随机化的检查——会给你增加印象分
· 你提供的最终建议（或实现目标的框架）
· 候选人——分析有两个关键部分——
· 检查随机化——为了使实践的效果最佳，我们应该在分配测试组和对照组时检查随机化是否合理。为此，我们可以查看一些预计不会受到测试影响的基线指标，并对两组进行比较，比如，比较两组之间基线指标的直方图或密度曲线。如果没有差异，我们可以得出结论，随机化是合理的。
· 所有指标（包括主要指标和防护指标）的显着性测试——包括主要指标（转化率）和防护指标（卸载率）。我们可以使用 z -test来检验统计显着性，还可以使用 R 或 Python 之类的编程语言。
· 如果转化率显着增加，并且卸载率没有受到负面影响，我建议实施该测试。
· 如果转化率显着增加，但是卸载率受到负面影响，那么我建议不实施该测试。
· 最后，如果转化率没有显着增加——我建议不实施该测试。
· 面试官——听起来很不错。谢谢你的回答。
结论
在 AB 测试或实验性面试中表现出色，会让你具有一定优势，让你从其他候选人中脱颖而出。因此，我强烈建议所有候选人花点时间学习 AB 测试中的重要概念，并为这些面试做好准备。
