דלג לתוכן הראשי

מובהקות סטטיסטית לבדיקות A/B

כשלקמפיין יש 2 וריאנטים או יותר, Joryio בודקת אוטומטית אם הבדלי הביצועים מובהקים סטטיסטית - כך שתדעו אם וריאנט באמת טוב יותר, ולא רק מוביל באופן אקראי.

מה תראו​

רווחי סמך​

כל מדד שיעור (שיעור פתיחה, שיעור לחיצה) מציג טווח מתחתיו:

Open Rate: 24.90%
[21.3% - 28.8%]

משמעות: יש סבירות של 95% שהשיעור האמיתי נמצא בטווח הזה. טווח צר יותר = נתונים אמינים יותר.

תגיות מובהקות​

ליד כל שיעור תראו תג צבעוני:

  • ירוק 12.5%+ - הווריאנט הזה טוב באופן מובהק מקו הבסיס
  • אדום 5.2%- - הווריאנט הזה גרוע באופן מובהק מקו הבסיס
  • אפור p=0.234 - אין מספיק ראיות עדיין (צריך עוד נתונים)

תוצאה נחשבת "מובהקת" כאשר p < 0.05, כלומר יש פחות מ-5% סיכוי שההבדל נובע ממקריות.

תגיות מוביל ומנצח​

  • "מוביל" (תג כחול) - הווריאנט עם השיעור הגבוה ביותר במדד הראשי
  • "מנצח" (תג ירוק + סמל גביע) - מנצח שאושר סטטיסטית והוכרז רשמית

הגדרת ניתוח סטטיסטי​

הגדרת בדיקת A/B​

בעת יצירה או עריכה של קמפיין עם 2+ וריאנטים, ניתן להגדיר את הניתוח:

הגדרהתיאורברירת מחדל
מדד ראשיאיזה מדד קובע את המנצחשיעור פתיחה (In-App: CTR)
גודל מדגם מינימלימינימום נמענים לכל וריאנט לפני חישוב מובהקות100
מנצח אוטומטיהכרזה אוטומטית על מנצח כשמושגת מובהקותכבוי
קידום אוטומטיהסטת 100% מהתעבורה למנצח לאחר הכרזהכבוי

מדדים ראשיים זמינים​

מדדמתאים למה הוא מודד
פתיחות (שיעור פתיחה)בדיקות שורת נושאפתיחות אנושיות ייחודיות / הודעות שנמסרו
לחיצות (שיעור לחיצה)בדיקות תוכן ו-CTAלחיצות אנושיות ייחודיות / הודעות שנמסרו
המרה (שיעור המרה)השפעה מקצה לקצההמרות של אירוע ההמרה הראשי של הקמפיין (מעקב המרות) / נמענים
הכנסה (לנמען)ערך הזמנה / AOVסכום ערכי הרכישות (purchase / Order Completed) בחלון הייחוס / נמענים
CTRהודעות in-appלחיצות / חשיפות

המרה משתמשת באירוע ההמרה הראשי של הקמפיין ממעקב ההמרות (הגדירו אירוע כזה שם, אחרת לא ניתן לדרג את המנצח לפי המרה). הכנסה היא מדד רציף שמבוסס על סכומים - אין לה מבחן מובהקות, ולכן מנצח לפי הכנסה נקבע לפי ההכנסה לנמען הגבוהה ביותר במועד היעד (ללא עצירה מוקדמת).

דוגמת הגדרה ב-API​

{
  "abTestConfig": {
    "primaryMetric": "openRate",
    "minSampleSizePerVariant": 200,
    "autoWinnerEnabled": true,
    "autoPromoteEnabled": false
  }
}

כיצד קו הבסיס פועל​

כל חישוב מובהקות משווה וריאנט מול קו בסיס:

  1. קבוצת בקרה - אם יש וריאנט בקרה (ללא שליחת הודעה), הוא משמש כקו בסיס
  2. הווריאנט המוביל - אם אין קבוצת בקרה, הווריאנט עם השיעור הגבוה ביותר במדד הראשי משמש כקו הבסיס

כל שאר הווריאנטים מציגים את ההבדל היחסי שלהם ביחס לקו הבסיס.

זיהוי מנצח אוטומטי​

כאשר autoWinnerEnabled מופעל:

  1. משימת רקע בודקת כל 5 דקות
  2. מוודאת שכל הווריאנטים הגיעו לגודל המדגם המינימלי
  3. אם לווריאנט יש p < 0.05 במדד הראשי → המנצח מוכרז
  4. אם autoPromoteEnabled גם מופעל → התעבורה מוסטת ב-100% למנצח

מה קורה אחרי הכרזת מנצח​

  • באנר ירוק מופיע בראש טבלת השוואת הווריאנטים
  • הווריאנט המנצח מקבל סמל גביע ותג "מנצח"
  • משקלי התעבורה המקוריים נשמרים (לשחזור במידת הצורך)
  • אם קידום אוטומטי מופעל, כל הנמענים החדשים מקבלים את הווריאנט המנצח

כשלא נמצא מנצח​

אם הווריאנטים מציגים ביצועים דומים ולא מתגלה הבדל מובהק:

  • תג "מוביל" מראה איזה וריאנט מוביל כרגע
  • תגי p=... האפורים מראים כמה כל השוואה קרובה למובהקות
  • שקלו להאריך את הבדיקה או להגדיל את גודל המדגם

הבנת המספרים​

רווח סמך (CI)​

מה זה אומר: "אנחנו 95% בטוחים שהשיעור האמיתי נמצא בטווח הזה."

דוגמה:
Variant A: Open Rate 20.0% [16.7% - 23.7%]
Variant B: Open Rate 24.9% [21.3% - 28.8%]

רווחי הסמך חופפים כאן, מה שמרמז שההבדל לא בהכרח מובהק. כשרווחי הסמך לא חופפים, ההבדל כמעט בוודאות מובהק.

ערך P (P-Value)​

מה זה אומר: "ההסתברות לראות הבדל גדול כל כך (או גדול יותר) בשל מקריות בלבד."

  • p = 0.03 → רק 3% סיכוי שזה אקראי → מובהק (תג ירוק/אדום)
  • p = 0.23 → 23% סיכוי שזה אקראי → לא מובהק (תג אפור)
  • p = 0.001 → ראיות חזקות מאוד → מובהק מאוד

הבדל יחסי​

מה זה אומר: "כמה טוב או גרוע יותר הווריאנט הזה ביחס לקו הבסיס, באחוזים."

Baseline: 20% open rate
Variant B: 25% open rate
Relative difference: +25% (ולא +5 נקודות אחוז)

באנר איסוף נתונים​

כשהווריאנטים עוד לא הגיעו לגודל המדגם המינימלי, תראו באנר צהוב:

"אוסף נתונים - כל וריאנט צריך לפחות 100 דגימות לפני שניתן לחשב מובהקות."

זה מגן עליכם מהסקת מסקנות מנתונים מועטים מדי.

מדדים לפי ערוץ​

ערוץמדד ברירת מחדלזמין
אימיילשיעור פתיחהפתיחות, לחיצות, המרה, הכנסה
SMSשיעור פתיחהפתיחות, לחיצות, המרה, הכנסה
Pushשיעור פתיחהפתיחות, לחיצות, המרה, הכנסה
In-AppCTRCTR, המרה
Webhookשיעור לחיצהלחיצות, המרה
WhatsAppשיעור פתיחהפתיחות, לחיצות, המרה, הכנסה

גרסה מותאמת אישית (לעומת גרסה מנצחת)​

לבדיקת A/B יש שני מצבים, ושניהם בוחרים מאותם יעדים - פתיחות · לחיצות · המרה · הכנסה:

  • גרסה מנצחת - מודדים ואז מקדמים. שולחים את כל הגרסאות, מדרגים אותן לפי המדד שלמעלה ומקדמים את הטובה ביותר לשאר הנמענים (זה הנושא של העמוד כולו).
  • גרסה מותאמת אישית - חיזוי לכל אדם. לכל נמען, מודל ה-ML בוחר את הגרסה שסביר ביותר שאותו אדם יגיב אליה עבור היעד שבחרתם - ללא מנצח יחיד. הוא לומד מהתוצאות לאורך זמן (השתמשו בחימום לגרסאות חדשות לגמרי), והמרה משתמשת באותו אירוע המרה ראשי של הקמפיין. פתיחות ולחיצות הן יעדים נפרדים; פתיחות הן אות חלש יותר מכיוון ש-Apple Mail Privacy Protection מנפח את שיעורי הפתיחה.

טיפים לתוצאות אמינות​

הנחיות גודל מדגם​

מה בודקיםמינימום לכל וריאנט
שיעור פתיחה (השפעה גדולה)100-500
שיעור לחיצה500-1,000
שיעור המרה1,000-5,000
הבדלים קטנים (1-2%)5,000+

מלכודות נפוצות​

  • הצצה מוקדמת - אל תבדקו תוצאות כל שעה ותעצרו כשתראו ירוק. תנו לבדיקה להגיע לגודל המדגם המינימלי.
  • יותר מדי וריאנטים - 2-3 וריאנטים הם מספר אידיאלי. ככל שיש יותר וריאנטים, נדרשים יותר נתונים לכל אחד.
  • בדיקה בתקופות חריגות - הימנעו מחגים, תקלות או תקופות חריגות אחרות.
  • התעלמות מרווח הסמך - תוצאה "מובהקת" עם רווח סמך רחב מאוד לא בהכרח משמעותית מבחינה מעשית.

צעדים הבאים​