分享一个超详细的数据分析案例【Python】附ABTest详细介绍_abtest案例

从支付宝的两个营销活动中收集的真实数据集。该数据集包含支付宝中的两个商业定位活动日志。由于隐私问题，数据被采样和脱敏。虽然该数据集的统计结果与支付宝的实际规模有偏差，但不影响解决方案的适用性。

HUAXIAL

586人浏览 · 2024-04-12 14:31:43

HUAXIAL · 2024-04-12 14:31:43 发布

在这里插入图片描述

非对称型（卡方分布、F分布）

卡方分布：
在这里插入图片描述

拒绝域：

（卡方分布在左侧的拒绝域特别小，所以拒绝的区间的值也比较少），所以卡方检验的拒绝域一般
放在右侧。F分布同理。

在这里插入图片描述

二、项目实战

数据介绍：
从支付宝的两个营销活动中收集的真实数据集。该数据集包含支付宝中的两个商业定位活动日志。由于隐私问题，数据被采样和脱敏。虽然该数据集的统计结果与支付宝的实际规模有偏差，但不影响解决方案的适用性。

主要提供了三个数据集：

emb_tb_2.csv: 用户特征数据集。
effect_tb.csv: 广告点击情况数据集。
seed_cand_tb.csv: 用户类型数据集。

本分析报告的主要使用广告点击情况数据，涉及字段如下：

dmp_id：营销策略编号（这里我们这么设置1为对照组，2为营销策略一，3为营销策略二）。
user_id：支付宝用户ID。
label：用户当天是否点击活动广告（0：未点击，1：点击）。

接下来正式开始实战。

1 数据预处理

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

%matplotlib inline

data = pd.read_csv('effect\_tb.csv',header = None)
data.columns = ['dt','user\_id','label','dmp\_id']  # 文件中没有字段名
# 日志天数属性用不上，删除该列
data = data.drop(columns='dt')
data

在这里插入图片描述

data.info(null_counts = True)

在这里插入图片描述
查看数据统计情况，主要是看dmp_id。

data.describe()

在这里插入图片描述
接下来查看数据重复情况。

data[data.duplicated(keep = False)]

在这里插入图片描述
存在重复项，需要进行去重。

data = data.drop_duplicates()

# 检查是否还有重复项
data[data.duplicated(keep = False)]

在这里插入图片描述
从先前操作已知数据类型正常，接下来利用透视表来看各属性是否存在不合理情况。

data.pivot_table(index = 'dmp\_id',columns = 'label',values = 'user\_id',aggfunc = 'count')

在这里插入图片描述
从以上看出属性字段无异常取值，无需进行处理。

2 样本容量检验

在进行ABTest前，需检查样本容量是否满足试验所需最小值。

这里需要借助样本量计算工具：https://www.evanmiller.org/ab-testing/sample-size.html

首先需要设定点击率基准线以及最小提升比例，我们将对照组的点击率设为基准线。

data[data["dmp\_id"] == 1]["label"].mean()

在这里插入图片描述
对照组的点击率为1.26%，假设我们希望新的营销策略能够让广告点击率至少提升一个百分点，则算得所需最小样本量为2167。

data["dmp\_id"].value_counts()

在这里插入图片描述
可得411107和316205远大于2167，满足最小样本量需求。

3 假设检验

我们先查看一下这三种营销策略的点击率情况。

print("对照组： " ,data[data["dmp\_id"] == 1]["label"].describe())
print("策略一： " ,data[data["dmp\_id"] == 2]["label"].describe())
print("策略二： " ,data[data["dmp\_id"] == 3]["label"].describe())

在这里插入图片描述
可以看到策略一和策略二相比对照组在点击率上都有不同程度的提升。

其中策略一提升0.2个百分点，策略二提升1.3个百分点，只有策略二满足了前面我们对点击率提升最小值的要求。

接下来需要进行假设检验，看策略二点击率的提升是否显著。

3.1 提出零假设和备择假设

设对照组点击率为

p_1

p1，策略二点击率为

p_2

p2，则：

零假设

H_0

H0：

p_1

p1>=

p_2

p2，即

p_1

p1-

p_2

p2>=0；

备择假设

H_1

H1：

p_1

p1<

p_2

p2，即

p_1

p1-

p_2

p2<0。

3.2 确定检验方向

由备择假设可以看出，检验方向为单项检验（左）。

3.3 选定统计方法

由于样本较大，故采用Z检验。此时检验统计量的公式如下：

−

(

)

(

−

)

z= \frac{p_1-p_2}{\sqrt{( \frac{1}{n_1}+\frac{1}{n_2})\times p_c \times (1-p_c)}}

z=(n11+n21)×pc×(1−pc)

p1−p2其中

p_c

pc为总和点击率。

3.3.1 方法一：公式计算

# 用户数
n1 = len(data[data.dmp_id == 1])  # 对照组
n2 = len(data[data.dmp_id == 3])  # 策略二

# 点击数
c1 = len(data[data.dmp_id ==1][data.label == 1])
c2 = len(data[data.dmp_id ==3][data.label == 1])

# 计算点击率
p1 = c1 / n1
p2 = c2 / n2

# 总和点击率（点击率的联合估计）
pc = (c1 + c2) / (n1 + n2)

print("总和点击率pc：", pc)

在这里插入图片描述

# 计算检验统计量z
z = (p1 - p2) / np.sqrt(pc \* (1 - pc)\*(1/n1 + 1/n2))

print("检验统计量z：", z)

在这里插入图片描述
这里我去

\alpha

α为0.05，此时我们利用python提供的scipy模块，查询

0.5

\alpha=0.5

α=0.5时对应的z分位数。

from scipy.stats import norm
z_alpha = norm.ppf(0.05)
# 若为双侧，则norm.ppf(0.05/2)
z_alpha

在这里插入图片描述

−

1.64

z_\alpha = -1.64

zα=−1.64，检验统计量z = -59.44，该检验为左侧单尾检验，拒绝域为{z＜

z_\alpha

zα}，z=-59.44落在拒绝域。

所以我们可以得出结论：在显著性水平为0.05时，拒绝原假设，策略二点击率的提升在统计上是显著的。

假设检验并不能真正的衡量差异的大小，它只能判断差异是否比随机造成的更大。因此，我们在报告假设检验结果的同时，应给出效应的大小。对比平均值时，衡量效应大小的常见标准之一是Cohen’d，中文一般翻译作科恩d值：

样

本

平

均

值

−

样

本

平

均

值

标

准

差

d=\frac{样本_1平均值-样本_2平均值}{标准差}

d=标准差样本1平均值−样本2平均值
这里的标准差，由于是双独立样本的，需要用合并标准差（pooled standard deviations）代替。也就是以合并标准差为单位，计算两个样本平均值之间相差多少。双独立样本的合并标准差可以如下计算：

(

−

)

(

−

)

−

s=\frac{((n_1-1)\times s^2_1+(n_2-1)\times s^2_2)}{n_1+n_2-2}

s=n1+n2−2((n1−1)×s12+(n2−1)×s22)

其中s是合并标准差，n1和n2是第一个样本和第二个样本的大小，s1和s2是第一个和第二个样本的标准差。减法是对自由度数量的调整。

# 合并标准差
std1 = data[data.dmp_id ==1].label.std()
std2 = data[data.dmp_id ==3].label.std()
s = np.sqrt(((n1 - 1)\* std1\*\*2 + (n2 - 1)\* std2\*\*2 ) / (n1 + n2 - 2))
# 效应量Cohen's d
d = (p1 - p2) / s
print('Cohen\'s d为：', d)

在这里插入图片描述

一般上Cohen’s d取值0.2-0.5为小效应，0.5-0.8中等效应，0.8以上为大效应。

3.3.2 方法二：Python函数计算

import statsmodels.stats.proportion as sp
# alternative='smaller'代表左尾
z_score, p = sp.proportions_ztest([c1, c2], [n1,n2], alternative = "smaller")
print("检验统计量z：",z_score,"，p值：", p)

在这里插入图片描述
用p值判断与用检验统计量z判断是等效的，这里p值为0，同样也拒绝零假设。