דלג לתוכן הראשי

A/B Testing לקמפיינים

A/B Testing מאפשר לבדוק גרסאות שונות של קמפיינים, לזהות איזו גרסה משיגה ביצועים טובים יותר ולשפר את המסרים.

מה זה A/B Testing?​

A/B Testing (או split testing) שולח גרסאות שונות של הקמפיין לחלקים שונים של הקהל כדי לקבוע איזו מהן משיגה ביצועים טובים יותר.

דוגמה:

  • Variant A: "Get 20% off your first purchase"
  • Variant B: "Save $10 on your first order"

שולחים כל גרסה ל-50% מהקהל ובודקים איזו מהן מייצרת יותר המרות.

מתי להשתמש ב־A/B Testing​

שורות נושא (אימייל)​

בדקו שורות נושא שונות כדי לשפר את שיעור הפתיחה:

Variant A: "Your exclusive discount inside"
Variant B: "Save 20% today only"
Variant C: "Limited time offer for you"

תוכן ההודעה​

בדקו ניסוחים שונים:

Variant A: Long-form explanation with benefits
Variant B: Short, punchy message with CTA
Variant C: Story-based narrative

קריאה לפעולה (CTA)​

בדקו קריאות שונות לפעולה (CTA):

Variant A: "Shop Now"
Variant B: "Get My Discount"
Variant C: "Start Shopping"

תזמון​

בדקו זמני שליחה שונים:

Variant A: Monday 9 AM
Variant B: Wednesday 2 PM
Variant C: Friday 6 PM

פרטי שולח​

שולח האימייל מוגדר לכל וריאנט בנפרד - כל וריאנט A/B מגדיר שולח, From, Reply-To ו-BCC משלו בלשונית הגדרות של עורך הווריאנט (אזור השולח). כך ניתן לבדוק את שורת ה-From, אחד הגורמים המשמעותיים ביותר לשיעור פתיחה:

Variant A: From "John at Company" <john@company.com>
Variant B: From "Company Team" <team@company.com>
Variant C: From "Company" <hello@company.com>

השולחים וכתובות ה-Reply-To וה-BCC הזמינים לבחירה מגיעים מהרשימות המנוהלות של סביבת העבודה - ראו הגדרות אימייל.

יצירת A/B Test​

וריאנטי A/B נכתבים בתוך מעטפת VariantTabs של שלב Compose - אותה מעטפת משמשת בכל הערוצים. הוסיפו וריאנטים בלחיצה על + Add variant בסוף שורת הלשוניות, ואז כתבו את גוף ההודעה בכל לשונית כמו בקמפיין רגיל.

שלב 1: פתחו את אשף הקמפיינים​

  1. עברו אל Campaigns → New Campaign
  2. מלאו את שלב Details
  3. הגדירו את שלב Delivery (או, לקמפייני In-App, בורר הטריגר)

שלב 2: הוסיפו וריאנטים ב־Compose​

שלב Compose מתחיל בלשונית של וריאנט יחיד המסומן A. לחצו + Add variant כדי להוסיף לשונית שנייה (B) וכן הלאה. כל לשונית כוללת:

  • נקודה צבעונית לזיהוי מהיר
  • תגית משקל לקריאה בלבד (ההקצאה מוגדרת בכרטיס A/B שמתחת)
  • נקודה כתומה אם הווריאנט עדיין לא נכתב

בווריאנטים של אימייל ושל In-App, השתמשו בבורר שלושת האריחים (Drag & Drop / HTML editor / Use template) בכל לשונית. ב-SMS וב-Push מזינים את תוכן הערוץ ישירות. WhatsApp מאפשר למפות תבנית שונה לכל וריאנט.

שלב 3: הגדרת הקצאת המשקל​

בכרטיס A/B Allocation שמתחת ללשוניות יש שדה % עם תוספת יחידה לכל וריאנט. סכום המשקלים חייב להיות 100%.

Variant A: 50%
Variant B: 50%

או חלוקה ליותר וריאנטים:

Variant A: 33%
Variant B: 33%
Variant C: 34%

אם הוספתם קבוצת Control, המשקל שלה נשאר קבוע כשמוסיפים או מסירים וריאנטי הודעה - רק וריאנטים שאינם Control מאוזנים מחדש בתקציב הנותר. אם מסירים את כל וריאנטי ההודעה, ה־Control נשאר וה־Total Weight validator מציין את הפער עד שמוסיפים וריאנט בחזרה.

שלב 4: בחירת כלל עצירה ושיטת אופטימיזציה​

כרטיס A/B מציג גם:

  • Stopping rule preset - Quick (מועד יעד של 4 שעות), Standard (מועד יעד של 24 שעות) או Custom. שתי ההגדרות המוכנות עוצרות את הבדיקה מוקדם אם הושגה מובהקות סטטיסטית.
  • Optimization method - נעול עם תווית "Needs 2+ variants" עד שמוסיפים וריאנט שני. ירידה מתחת לשני וריאנטים מאפסת את השיטה ל־none.

בחירת שיטת האופטימיזציה​

שיטהמה היא עושהמתי להשתמש
ללא אופטימיזציהA/B רגיל - פיצול שווה, אתם מנתחים את התוצאותרוצים להשוות גרסאות ולהחליט ידנית
גרסה מנצחתבדיקה על חלק מהקהל, ואז שליחה אוטומטית של המנצחת לכולםשליחה חד-פעמית שבה רוצים שהמערכת תבחר את המנצחת
גרסה מותאמת אישיתה-AI בוחר את הגרסה הטובה ביותר לכל משתמש לפי ההיסטוריה שלוקמפיינים חוזרים או תוכן שנעשה בו שימוש חוזר - התאמה אישית לכל אדם, במקום מנצח אחד לכלל המשתמשים

על גרסה מותאמת אישית (התחלה קרה / התחממות): ה-AI לומד מתוצאות, ותוצאות מגיעות רק כעבור זמן (שעות להקלקות, ימים להמרות). לכן קבוצת גרסאות חדשה לגמרי אינה מותאמת אישית בשליחה הראשונה - היא פועלת כבדיקת A/B רגילה (פיצול שווה + קבוצת ביקורת אקראית למדידת השיפור) ומתחילה להתאים את הגרסאות אוטומטית ככל שמצטברות תוצאות. לכן השיטה מתאימה בעיקר לקמפיינים חוזרים ולהצעות שנעשה בהן שימוש חוזר (המודל כבר עבר אימון); שליחה חד-פעמית של גרסאות חדשות לגמרי תהיה בדיקת A/B רגילה שתספק נתונים ללמידה עתידית. הקמפיין מציג הערת "ההתאמה האישית מתחממת" עד שהמודל למד את הגרסאות שלו.

שלב 5: בחירת מדד מנצח​

בחרו איזה מדד יקבע את המנצח:

  • Open Rate (אימייל בלבד) - אחוז הנמענים שפתחו את האימייל
  • Click Rate - אחוז הנמענים שלחצו
  • Conversion Rate - אחוז שהשלימו אירוע יעד
  • Revenue - הכנסות כוללות (דורש מעקב המרות)

שלב 6: משך הבדיקה​

האפשרויות Quick ו-Standard כוללות מועדי יעד סבירים (4 שעות ו-24 שעות, בהתאמה). לבדיקות ארוכות, השתמשו ב־Custom כדי לקבוע מועד יעד וגודל מדגם מינימלי משלכם.

שלב 7: פרסום​

לחצו Publish בכותרת האשף. מנוע ה־A/B מקצה וריאנטים באמצעות פונקציית גיבוב קבועה (hash(userId + campaignId)), כך שאותו משתמש תמיד רואה את אותו וריאנט גם בשליחות חוזרות.

זמינות A/B לפי ערוץ​

כרטיס A/B מופיע בכל ערוץ מבוסס וריאנטים: Email, SMS, WhatsApp, Webhook, Push ו־In-app. בעבר נשמר בקמפייני Push גוף יחיד ברמת הקמפיין - בעת עריכה, קמפייני Push ישנים מומרים לווריאנט Main יחיד, וכך מתאפשרת כעת בדיקת A/B גם ב-Push.

דוגמאות לבדיקות A/B​

דוגמה 1: בדיקת שורת נושא (אימייל)​

מטרה: שיפור שיעור הפתיחה

Setup:
- Variant A: "Your monthly newsletter"
- Variant B: "5 tips to boost productivity"
- Traffic: 50% / 50%
- Winning metric: Open rate
- Duration: 24 hours

Results:
- Variant A: 15% open rate
- Variant B: 28% open rate ← Winner

Insight: Emoji and specific value proposition performs better

דוגמה 2: בדיקת CTA​

מטרה: שיפור שיעור ההקלקה

Setup:
- Variant A: "Learn More" button
- Variant B: "Get Started Free" button
- Variant C: "Try It Now" button
- Traffic: 33% / 33% / 34%
- Winning metric: Click rate
- Duration: 48 hours

Results:
- Variant A: 5.2% CTR
- Variant B: 8.7% CTR ← Winner
- Variant C: 6.1% CTR

Insight: Emphasizing "free" increases clicks

דוגמה 3: בדיקת אורך תוכן​

מטרה: שיפור שיעור ההמרה

Setup:
- Variant A: Long-form (500 words)
- Variant B: Short-form (100 words)
- Traffic: 50% / 50%
- Winning metric: Conversion rate
- Duration: 7 days

Results:
- Variant A: 2.1% conversion
- Variant B: 3.8% conversion ← Winner

Insight: Concise messaging converts better for this audience

דוגמה 4: בדיקת תזמון (SMS)​

מטרה: אופטימיזציית זמן מעורבות

Setup:
- Variant A: Send at 9 AM
- Variant B: Send at 2 PM
- Variant C: Send at 6 PM
- Traffic: 33% / 33% / 34%
- Winning metric: Click rate
- Duration: Same day

Results:
- Variant A (9 AM): 12% CTR
- Variant B (2 PM): 8% CTR
- Variant C (6 PM): 18% CTR ← Winner

Insight: Evening messages perform best for this audience

ניתוח תוצאות​

צפייה בתוצאות הבדיקה​

  1. עברו אל Campaigns
  2. לחצו על קמפיין בדיקת ה־A/B
  3. עברו ללשונית Variants

מדדים מוצגים​

לכל וריאנט:

קמפייני אימייל:

  • מספר שליחות
  • Delivered %
  • Open rate %
  • Click rate %
  • Conversion rate %
  • Revenue (אם יש מעקב)

קמפייני SMS:

  • מספר שליחות
  • Delivered %
  • Click rate %
  • Conversion rate %
  • Response rate %

קמפייני Push:

  • מספר שליחות
  • Delivered %
  • Open rate %
  • Click rate %
  • Conversion rate %

מובהקות סטטיסטית​

Joryio מחשבת אוטומטית מובהקות סטטיסטית באמצעות מבחן z לשני יחסים ורווחי סמך Wilson Score:

  • רווחי סמך מתחת לכל שיעור מציגים את הטווח שבו השיעור האמיתי ככל הנראה נמצא
  • תגי מובהקות מראים אם ההבדלים מובהקים או נובעים ממקריות:
    • ירוק 12.5%+ - טוב יותר באופן מובהק
    • אדום 5.2%- - גרוע יותר באופן מובהק
    • אפור p=0.234 - עדיין לא מובהק
  • תגי מוביל/מנצח מדגישים את הווריאנט המוביל ואת המנצח המוכרז
גודל מדגם חשוב

לתוצאות אמינות, כל וריאנט צריך לפחות:

  • 1,000 נמענים לבדיקת שיעורי פתיחה והקלקה
  • 100 המרות לבדיקת שיעור ההמרה

לפרטים מלאים על רווחי סמך, ערכי p וזיהוי מנצח אוטומטי, ראו מובהקות סטטיסטית.

הכרזה על מנצח​

הכרזה ידנית​

  1. סקרו ביצועי וריאנטים
  2. לחצו Declare Winner
  3. בחרו וריאנט מנצח
  4. אופציונלי: שלחו את המנצח לשאר הקהל

הכרזה אוטומטית​

אם האפשרות מופעלת, Joryio תבצע:

  1. המתנה למשך הבדיקה
  2. חישוב מובהקות סטטיסטית
  3. הכרזה על מנצח אם רמת הביטחון גבוהה מ-95%
  4. שליחת המנצח לשאר הקהל (אם מוגדר)

אין מנצח ברור​

אם הווריאנטים דומים בביצועים:

  • בחרו באחד מהווריאנטים
  • הריצו בדיקה ארוכה יותר
  • בדקו משהו אחר

שיטות עבודה מומלצות​

1. בדקו משתנה אחד בלבד​

בדקו רכיב אחד בכל פעם:

טוב: בדיקת שורת נושא בלבד

Variant A: "Get 20% off"
Variant B: "Save big today"
Same content, same CTA

לא טוב: בדיקת הכל יחד

Variant A: Subject, content, CTA all different
Variant B: Subject, content, CTA all different
Can't identify what made the difference!

2. השתמשו במדגם מספיק גדול​

השתמשו במדגם שיכול להניב תוצאות בעלות משמעות:

טוב: 10,000 נמענים = 5,000 לכל וריאנט לא טוב: 200 נמענים = 100 לכל וריאנט (קטן מדי)

מינימום מומלץ:

  • שיעור פתיחת אימייל: 1,000 לכל וריאנט
  • שיעור הקלקה: 500 לכל וריאנט
  • שיעור המרה: 100 המרות לכל וריאנט

3. הריצו בדיקות מספיק זמן​

הביאו בחשבון הבדלים בין ימים בשבוע ובין שעות ביום:

טוב: 3-7 ימים לא טוב: הכרזה אחרי 2 שעות

משך מומלץ:

  • Email: 24-72 שעות
  • SMS: 4-12 שעות
  • Push: 6-24 שעות
  • Conversion-based: 7 ימים

4. בדקו הבדלים משמעותיים​

צרו וריאנטים שונים במידה שעשויה להשפיע על התוצאות:

טוב:

Variant A: "Save $10"
Variant B: "Get 50% off"
(Significantly different)

לא טוב:

Variant A: "Save today"
Variant B: "Save now"
(Too similar)

5. תעדו את המסקנות​

תעדו את תוצאות הבדיקה:

Test: Subject Line - Emoji vs No Emoji
Date: Jan 15, 2024
Winner: With emoji (28% vs 15% open)
Insight: Emoji increases open rate by 87%
Action: Include relevant emoji in future emails

טעויות נפוצות ב־A/B Testing​

1. יותר מדי וריאנטים​

אל תעשו: 5+ וריאנטים עם קהל קטן כן: 2-3 וריאנטים עם מספיק נמענים לכל אחד

2. עצירה מוקדמת מדי​

אל תעשו: הכרזה אחרי כמה שעות כן: המתינו למובהקות סטטיסטית

3. בדיקת הכל יחד​

אל תעשו: שינוי נושא, תוכן, CTA ותזמון יחד כן: בדקו משתנה אחד בכל פעם

4. התעלמות מהבדלים בין סגמנטים​

אל תעשו: להניח שהתוצאות חלות על כל הסגמנטים כן: בדקו בנפרד בתוך סגמנטים ספציפיים

5. אי יישום תובנות​

אל תעשו: להריץ בדיקות בלי ליישם את המסקנות כן: להחיל טקטיקות מנצחות בקמפיינים הבאים

A/B Testing מתקדם​

בדיקה בשלבים (Sequential Testing)​

בדקו בשלבים:

Stage 1: Test subject lines (winner: emoji subject)
  ↓
Stage 2: Test CTA buttons (winner: "Start Free Trial")
  ↓
Stage 3: Test content length (winner: short form)
  ↓
Final campaign: Combine all winners

בדיקות לפי סגמנט​

בדקו בנפרד בתוך סגמנטים:

Test 1: Trial users
- Variant A: Emphasize features
- Variant B: Emphasize price
Winner: Price-focused

Test 2: Paid users
- Variant A: Emphasize features ← Winner
- Variant B: Emphasize price
Winner: Feature-focused

Insight: Different messaging for different segments!

בדיקה רב־משתנית (Multivariate)​

בדקו כמה רכיבים יחד (דורש קהל גדול יותר):

Test combinations of:
- Subject (A or B)
- CTA (X or Y)

Results in 4 variants:
1. Subject A + CTA X
2. Subject A + CTA Y
3. Subject B + CTA X
4. Subject B + CTA Y
נדרש קהל גדול

בדיקה רב־משתנית מפצלת את התעבורה בין וריאנטים רבים. נדרש קהל גדול פי 10 מבדיקת A/B פשוטה.

מעקב המרות​

כדי לבדוק שיעורי המרה, הגדירו אירועי המרה:

  1. עברו להגדרות הקמפיין
  2. הפעילו Conversion Tracking
  3. בחרו אירוע המרה:
    • "Order Completed"
    • "Trial Started"
    • "Form Submitted"
  4. הגדירו חלון ייחוס (למשל, 7 ימים)

Joryio תעקוב אחר הווריאנט שמניב יותר המרות.

השלבים הבאים​