简述什么是辛普森悖论及其产生原因

简述什么是辛普森悖论及其产生原因

辛普森悖论是指在两组数据的比较中，各个子组的比例与总体比例相反，导致结论与原始数据产生矛盾的现象。该悖论最早是在1973年由英国数学家辛普森提出，其名字来源于美国电视动画《辛普森一家》中的角色辛普森。辛普森悖论是数据分析中的一个重要问题，通常与统计推断或者决策理论相关。在许多领域中，辛普森悖论也经常是错误的决策或推论的原因之一。

简述什么是辛普森悖论及其产生原因

那么，当一个人面对复杂的数据分析时，他或她该如何避免辛普森悖论呢？以下是一些引起辛普森悖论的常见原因：

1. 忽略隐藏的变量

数据集中可能存在一些隐藏的变量，悖论的产生往往源于对隐藏变量的忽略。隐藏变量是指在考虑两个或多个因素时，另一个未被观察到的因素影响到了结果。例如，假设一个基于不同性别获得化妆品销售额的研究，但该报告未说明这些销售额涵盖的地区的贫富程度、购买能力等因素，从而可能出现性别比例与收入水平、销售额的差别导致结论出现矛盾的情形。

2. 误解平均数和百分比之间的关系

辛普森悖论还可能源于人们对基础数据的处理不当，尤其是对平均数和百分比之间的关系理解不清。让我们考虑两个例子：假设企业A和企业B在两个市场（市场X和Y）中销售产品，我们发现在两个市场上的销售额是企业A占优。但如果将两个市场的销售额结合起来，企业B的总销售额占比会更高。再比如说，如果我们将一项投票数据分别以两种方式组织，可能会得到不同的结果。如果按照每个选举区各自的投票数据计算所获得选票的平均百分比，一个候选人的得票率可能会高于另一个人。但是，如果按照每个选举区投票的总结果计算，结果会截然不同。

3. 忽略数据的波动性

一个观察结果可能是大多数人已经知道的，但均值不会应用到高度波动的数据中。这种情况通常发生在小学老师用平均数据来衡量班级成绩时。例如，如果一位学生在数学方面表现出色，但在其他领域表现不佳，那么在组合成班级成绩时，班级的平均分数可能并不表示每个学生的真实表现。

总之，辛普森悖论是数据分析中的一个常见问题，可以通过注意隐藏变量、处理基础数据、考虑波动性等方法来避免。有针对性地使用数据分析的方法和五个常见产生数据混淆的原因矫正错误的推论，这样能让决策更加准确。

不懂自己或他人的心？想要进一步探索自我，建立更加成熟的关系，不妨做下文末的心理测试。平台现有近400个心理测试，定期上新，等你来测。如果内心苦闷，想要找人倾诉，可以选择平台的【心事倾诉】产品，通过写信自由表达心中的情绪，会有专业心理咨询师给予你支持和陪伴。

数据分析的分析视角与思维技巧

优点：清晰，简单，直观，划分结果可以直接应用于策略（活用数据）

应用：较为普遍，战略分析、产品分析、市场分析、客户管理、用户管理、商品管理

注意事项：象限的划分可以按中位数，也可以按平均数或者是不同的经验维度进行划分。

自然因素维度：客户的性别、年龄、地区等；

客户社会特征维度：收入、职业、教育程度等；

行为特征维度：偏好、兴趣、购买数量、购买频次；

消费维度：消费金额、消费频率、消费水平；

商品维度：商品品类、商品品牌、商品属性；

对不同维度组成立方体进行多维分析，通常可用可视化工具对多维度的内容进行分析展现（比如Tableau）。

应用：处理大数据量且较多维度的数据时效果较好，不过要注意 辛普森悖论 （规避辛普森悖论的方法可以采用下钻）；
（当组内差异较大时就容易出现辛普森悖论，当组建差异较大时就可以避免辛普森悖论）

例如：在没有明细数据的情况下要怎么分析？
公司在节假日进行了一次营销活动，APP上的销量数据整体比上周上升了20%。现因某些原因拿不到明细数据。请问，销量本身就有可能因为节假日而提高，那么怎么证明活动是有效还是无效的呢？

假设活动是有效的——会有一定数量的用户购买，如果证明这条，那么有理由相信活动是有效的——用户通过活动购买，会发生什么可观测的行为呢？——假设有一些用户会评论留言，那么可以统计提及活动的字眼-当用户提及了这次活动营销活动，那么到底有效了多少？10%？20%？——假设参与活动的用户行为没有变化，那么通过历史数据的用户评论占比，进而反推购买人数，也就是通过控制变量和人工的设置一个比例来进行反推。

你是自营电商的数据分析师，现在想商品提价后，收入会不会有变化，你会怎么做？

线性加权：不同指标的权重比例

反比例：y=k/x，收敛的效果（可与线性加权结合）

Log：将数据变小，但是数据是大于1的，单个值对数据的影响不会很大

（三个基本上是结合使用的）

也叫做二八法则、帕累托法则

重点关注20%的数据，TopN，抓住核心，把精力用在更重要的地方（企业的资源是有限的）；重点要关注核心指标情况，当然也要兼顾全局；

好的数据指标，一定是比例或者比率；好的数据分析，一定会用到对比（ 精益数据分析 ）

因为孤数不证，单一的一个数字是没有意义的，要跟其它的数据进行对比才有意义，一般是使用占比、绝对值，对比数据；

通常有竞争对手对比，类别对比，特征和属性对比，时间同比环比，转化对比，前后变化对比；

对比法是一种挖掘数据规律的思考方式，可以和其它方法相结合，多维对比，象限对比和假设对比

通常是转化率，是一种流程话的思考方式，但是单一的漏斗分析没有太大用处，要和其它分析方法进行结合（多维法、对比法）

分析视角一般分为四类：对比视角、相关视角、分类视角和描述视角。
在前面分析框架和思维技巧的前提下，结合使用分析视角来进行分析，才能提高分析价值。

通常有频数统计、均值分析、标准化、转化率分析、PSM模型和归因分析等；

方差分析、交叉分析、比较均值、因子分析、对应分析、品牌和觉图分析、回归分析、线性规划等；

SWOT分析、波特五力（消费者、供应商、直接竞争对手、替代品、潜在进入者）、聚类分析、矩阵分析、Graveyard模型、KANO模型等；

集中趋势（加权平均计算评分）、离中趋势（变异系数法确定权重）；

以上的分析方法和模型基本上都是多种视角的综合运用，归类划分只是将其归类为最主要的分析视角里，在实际的工作运用中需要进行综合评估

如何理解AB系统

1 什么是AB实验？

假如你是一名推荐算法工程师，需要上线一个提升公司商品成交金额（GMV）的算法模型。你觉得，你的模型是有效的，比原有模型提升了100%的成交金额。但是老板说，我要我觉得，不要你觉得 -- 你得给出证明。

你想了想，不妨设计一个对照实验：

将用户分成人数、GMV一致的两组，分别采用不同的模型，对照组采用原模型A，实验组采用新模型B

这就是一个AB实验：

2 均匀分组与AA实验

实验设计好了，这时又来了一个新的难题。如何保证两组一定是均匀的呢，平台每天有千百万用户，要一个个数过去么？

答案是当然不用。

这里的思路就是随机将用户分入实验组、对照组，并用两组历史数据，检验分组结果的相似性。

那么问题又来了，如何检验相似性？

引入T检验，T检验认为对两组统计量求t值，t值服从t分布，从而得出显著水平（p-value）。

这时候，可能有同学又要问了，T检验的前提条件是数据符合正态分布，如果数据不够"正态"那该怎么办呢？

需要明确，通过中心极限定理，在用户基数足够大的情况下，我们知道用户侧常见的指标应该服从正态分布。如果不符合，一定有某种“问题”。比如，刷单作弊、幸存者偏差、样本量小等。每个问题会有对应的“消偏”方式，来找出其背后真实存在的正态分布。

所以这里的流程就是：分组--历史数据计算--正态性检验（不正态的消偏恢复成正态分布）--两组用户组间t检验

这里的提取历史数据，并检验的过程，就是一个在开展AB实验前，进行前置AA实验的过程。

此外，这里可以发现刚才设计的AB实验漏洞。那么这里打个补丁，AB间的差异比较也应该使用“正态性检验-->t检验”这一流程。就定量实验而言，波动越大的组，所需样本量越大。

其中，样本量 = 流量 x 流量转化漏斗 x 时间

波动程度则可以通过标准差来衡量。

3 辛普森悖论与BB实验

在经历了从AA到AB之后，经过一系列调整，你得到了B比A增加了100%GMV的结论。本来两组指标收拢就可以验收完成。然而当把模型B扩充到对照组进行使用时，你发现对照组在模型B下和实验组的差距并没有完全收拢。

这就让人想到了辛普森悖论，优势分组合并为总体后，反而变成劣势组了。

悖论产生原因，往往是分组中存在人群比例失衡，且模型对不同人群的指标提升存在分层现象。

循着这一思路，我们发现了上文设计的AB分组存在的漏洞，对照组与实验组的男女比例不一致，分析数据之后，发现模型B对男女的提升效果不一致–女性群体涨幅大于男性群体。实验组效果提升由女性用户提供的多于男性。所以在对照组也应用模型B时，对照组和实验组未能完全收拢。

这时重新把分组中男女划分均匀，重新AA AB BB，模型B上线评估完成。顺带发现了用户分层。

新发现的分层特征放入下一轮模型迭代中。

4 总结

完整流程为：AA--AB--BB

AA 负责分组，验证均匀性。顺带修复特征数据。

AB 负责比较AB模型效果差异

BB 负责验收AB比对的合理性。顺带发现了用户分层。

一个思考题：如何证明一个策略长时间是稳定的，和时间推移无关

声明： 我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本站部分文字与图片资源来自于网络，转载是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们(管理员邮箱：daokedao3713@qq.com)，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!