唤醒内心深处的渴望：魅魔义母的神秘召唤

—关注作者é€�A/Bå®�验å®�战工具包在 AB å®�验的世界里T 检验就åƒ�是å�¨æˆ¿é‡Œçš„那把è�œåˆ€ã€‚它好用ã€�顺手切è�œå�‡å€¼ã€�切肉转化ç�‡éƒ½èƒ½å¹²å�ªè¦�食æ��æ ·æœ¬é‡�å¤Ÿå¤šå®ƒå‡ ä¹�æ— æ‰€ä¸�èƒ½ã€‚ä½†æ˜¯å½“ä½ é�¢å¯¹ä¸€äº›**“奇葩食æ��â€�**æ—¶è�œåˆ€å°±å�·åˆƒäº†åœºæ™¯ä¸€åœŸè±ªæ�£ä¹±A 组里混进了一个“ç¥�豪â€�充了 100 万其他人å�ªå…… 10 å�—。A 组å�‡å€¼ç�¬é—´è¢«æ‹‰é«˜æ–¹å·®çˆ†ç‚¸T æ£€éªŒå‘Šè¯‰ä½ â€œä¸�显著â€�ã€‚åœºæ™¯äºŒæ ·æœ¬å¤ªå°‘å�š B 端å®�验一共就 30 个客户。T 检验è¦�求正æ€�分布但这 30 个数æ�®æ­ªä¸ƒæ‰­å…«ã€‚场景三åˆ�é’»æŒ‡æ ‡è€�æ�¿ä¸�看å�‡å€¼é��è¦�问“A 组的P99 延迟是ä¸�是比 B 组好â€� T 检验两手一摊“我å�ªä¼šç®—å�‡å€¼ã€‚â€�è¿™æ—¶å€™ä½ éœ€è¦�扔æ�‰è�œåˆ€æ�¢ä¸Šæ›´ç²¾å¯†çš„**“特ç§�兵武器â€�**——é��å�‚数检验。它们ä¸�关心数æ�®æ˜¯ä¸�是正æ€�的也ä¸�在ä¹�数值具体是多少它们用æ�’å��ã€�模拟ã€�穷举等“骚æ“�作â€�æ�¥æŒ–æ�˜çœŸç›¸ã€‚今天我们就æ�¥ç›˜ç‚¹äº”ä½�身怀ç»�技的特ç§�兵。

曼-æƒ ç‰¹å°¼ U 检验专治“土豪â€�çš„æ�’å��大师(Mann-Whitney U Test)它的ç»�活“我ä¸�çœ‹ä½ æœ‰å¤šå°‘é’±æˆ‘å�ªçœ‹ä½ æ�’ç¬¬å‡ ã€‚â€�痛点T 检验是数值æ•�感的。A 组有一个人充 100 万å�‡å€¼å°±è¢«æ‹‰å��了。解法U 检验把 A 组和 B 组所有人拉到一起按充值金é¢�ä»�å°�到大æ�’个åº�。充 100 万的那ä½�土豪是第 1 å��。充 1000 å�—çš„é‚£ä½�å°�资是第 2 å��。é‡�点æ�¥äº†åœ¨ U 检验眼里第 1 å��和第 2 å��çš„å·®è·�å�ªæ˜¯**“1 个身ä½�â€�**而ä¸�是“99 万 9 å�ƒå�—â€�。效æ�œé€šè¿‡æŠŠ**“数值â€�转化为“æ�’å�� (Rank)â€�**åœŸè±ªå¤¸å¼ çš„é‡‘é¢�优势被ç�¬é—´æŠ¹å¹³äº†ã€‚如æ�œ A 组的整体æ�’å��ä¾�然显著高äº� B 组那就说æ˜�策略真的有效。适用场景GMVã€�人å�‡æ—¶é•¿ã€�打èµ�金é¢�ç­‰æ��度长尾ã€�å�«ç¦»ç¾¤å€¼çš„æ•°æ�®ã€‚

ç½®æ�¢æ£€éªŒæš´åŠ›ç ´è§£çš„模拟大师(Permutation Test)它的ç»�活“如æ�œæˆ‘也能蒙出æ�¥é‚£ä½ å°±ä¸�是真的。â€�ç—›ç‚¹æ ·æœ¬é‡�太å°�比如 N 20æ•°æ�®åˆ†å¸ƒå¥‡å½¢æ€ªçŠ¶ä»»ä½•å…¬å¼�算出æ�¥çš„ P 值都ä¸�å�¯ä¿¡ã€‚解法它采用了一ç§�**“平行宇宙â€�**的逻辑ç�°å®�世界A 组比 B 组高 5%这是观察到的差异。å�‡è®¾å¦‚æ�œ A å’Œ B 真的没区别那这个 5% 纯å±�è¿�气。模拟既然没区别那我把 A 组和 B ç»„çš„æ ‡ç­¾æ’•ä¸‹æ�¥éš�机乱贴。穷举我乱贴 10,000 次看看有多少次能“蒙â€�出 5% 的差异如æ�œ 10,000 次里å�ªæœ‰ 1 次蒙出了 5%说æ˜�ç�°å®�世界å�‘生的概ç�‡æ��ä½�P

0001结论显著适用场景å°�æ ·æœ¬å®�éªŒã€‚å½“æ ·æœ¬å°‘åˆ°ä½ ä¸�敢用任何公å¼�时用它最稳。

è‡ªåŠ©æ³•æ— ä¸­ç”Ÿæœ‰çš„å…‹éš†å¤§å¸ˆ(Bootstrap)它的ç»�æ´»â€œæ‹”ä¸€æ ¹æ¯«æ¯›å�˜å‡ºå�ƒå†›ä¸‡é©¬ã€‚â€�痛点T 检验å�ªèƒ½ç®—å�‡å€¼çš„差异。但è€�æ�¿é��è¦�问中ä½�æ•°ã€�P99ã€�å‰� 10% 用户的留存有没有显著差异。这些å¤�æ�‚çš„æŒ‡æ ‡æ•™ç§‘ä¹¦é‡Œæ²¡æœ‰ P 值公å¼�。解法Bootstrap 说没关系我有克隆术。虽然我å�ªæœ‰è¿™ 1000 个用户的数æ�®ä½†æˆ‘å�¯ä»¥æœ‰æ”¾å›�åœ°æŠ½æ ·ã€‚æˆ‘ä»�è¿™ 1000 人里éš�机抽抽完放å›�å�»å†�抽凑够 1000 人算一个 P99。é‡�å¤� 10,000 次我就得到了 10,000 个 P99。这就æ�„æˆ�了一个分布我就å�¯ä»¥ç®—置信区间了。适用场景任何é��å�‡å€¼çš„åˆ�é’»æŒ‡æ ‡P90/P99ã€�比ç�‡çš„比ç�‡ã€‚

è´¹èˆ�尔精确检验è§�微知著的显微镜(Fisher’s Exact Test)它的ç»�活“在å�Ÿå­�层é�¢æ•°æ•°ã€‚â€�ç—›ç‚¹ä½ æƒ³å¯¹æ¯” A/B 两组的App 崩溃ç�‡ã€‚A 组1000 人1 人崩溃。B 组1000 人0 人崩溃。普通的å�¡æ–¹æ£€éªŒChi-Squareä¼šæŠ¥é”™å› ä¸ºå®ƒè¦�求æ¯�ä¸ªæ ¼å­�的期望数大äº� 5。解法费èˆ�尔检验ä¸�æ��è¿‘ä¼¼ä¼°ç®—å®ƒåˆ©ç”¨è¶…å‡ ä½•åˆ†å¸ƒç›´æ�¥ç®—出“A 组 1 个ã€�B 组 0 个â€�è¿™ç§�æ��端情况å�‘生的精确概ç�‡ã€‚它就åƒ�显微镜专门看那些æ��å¾®å°�的差异。适用场景æ��ä½�转化ç�‡æŒ‡æ ‡å´©æºƒã€�投诉ã€�退货或者æ��å°�æµ�é‡�å®�验。

é…�对 T 检验 / 符å�·ç§©æ£€éªŒç…§é•œå­�的对比大师(Paired T-Test / Wilcoxon Signed-Rank)它的ç»�活“我ä¸�跟别人比我å�ªè·Ÿæ˜¨å¤©çš„自己比。â€�痛点普通的 A/B å®�验是 A ç»„å¼ ä¸‰å’Œ B 组æ��四比。但有时候我们想看å�Œä¸€ä¸ªç”¨æˆ·åœ¨ç­–ç•¥å‰�å��çš„å�˜åŒ–。比如给这 100 个用户å�‘äº†ä¼˜æƒ åˆ¸å��他们自己的购买频次是ä¸�是比å�‘券å‰�高了解法它计算的是Diff (å�‘券å�� - å�‘券å‰�)。它消除了人ä¸�äººä¹‹é—´çš„å·®å¼‚å¼ ä¸‰æœ¬æ�¥å°±æ¯”æ��四爱买å�ªå…³æ³¨å�˜åŒ–é‡�。å�‚数版本é…�对 T 检验。é��å�‚数版本符å�·ç§©æ£€éªŒWilcoxon Signed-Rank。适用场景自身对照å®�验。总结特ç§�兵选拔指å�—é�¢å¯¹æ£˜æ‰‹çš„æ•°æ�®è¯·æŒ‰è¿™å¼ **“作战地图â€�**选人记ä½�T 检验是常规武器é��å�‚数检验是特ç§�部队。当常规武器失效时特ç§�部队往往能给出更稳å�¥çš„结论。如æ�œè¿™ç¯‡æ–‡ç« å¸®ä½ ç�†æ¸…了æ€�è·¯ä¸�妨点个关注我会æŒ�续分享 AB å®�éªŒå¹²è´§æ–‡ç« ã€‚

a蘑菇福精品利院yy入口-a蘑菇福精品利院yy入口应用