קבוצות ביקורת - הסבר
קבוצת ביקורת היא פלח מהקהל שלכם שאתם מתייחסים אליו אחרת בכוונה, כדי שיהיה לכם מול מה להשוות את התוצאות.
בלי קבוצת ביקורת אתם יודעים רק מה קרה. איתה אתם יודעים מה העבודה שלכם שינתה.
אם שלחתם קמפיין ו-4% מהאנשים קנו, ה-4% האלה הם לא הערך של הקמפיין. חלק מהאנשים האלה היו קונים בכל מקרה. קבוצת ביקורת היא הדרך לגלות כמה.
הכלל האחד
יש ארבע קבוצות ביקורת שונות ב-Joryio, ואנשים נוטים להניח שהן עובדות אותו דבר. הן לא - אבל כולן פועלות לפי כלל אחד:
קבוצת ביקורת מקבלת את מה שהיה קורה אילו לא הייתם עושים את הדבר החכם.
כלומר השאלה תמיד היא: מה הדבר החכם כאן, ואיך נראה "בלעדיו"? התשובה שונה בכל מקרה, ולכן ארבע הקבוצות מתנהגות אחרת.
ארבע קבוצות הביקורת
| איפה | קבוצת הביקורת מקבלת | על מה זה עונה |
|---|---|---|
| קבוצת ביקורת גלובלית | כלום, באופן קבוע | האם כל השיווק שלי שווה משהו? |
| בדיקת A/B בקמפיין | כלום, במשלוח הזה | האם לשלוח את זה עדיף על לא לשלוח? |
| קמפיין מותאם AI | הודעה שנבחרה באקראי | האם ה-AI טוב יותר מלבחור סתם משהו? |
| ניסוי במסע (מותאם אישית) | הפיצול שהגדרתם | האם התאמה אישית טובה יותר מהפיצול שלי? |
התווית באפליקציה מציינת במה מדובר - כל אחת אומרת מה הקבוצה הזאת מקבלת.
הראשונה שונה במהותה משלוש האחרות: היא אינה מקושרת לקמפיין כלשהו, היא חלה על כל מה שאתם שולחים, והיא נשארת אותם אנשים במשך חודשים. יש לה עמוד משלה - ראו קבוצת ביקורת גלובלית.
1. בדיקת A/B: "ביקורת - בלי הודעה"
מה זה. כשאתם בונים בדיקת A/B אפשר להוסיף קבוצת ביקורת לצד גרסאות ההודעה. האנשים בה מקבלים כלום.
דוגמה. אתם שולחים מייל החזרה ל-10,000 לקוחות שנטשו.
- גרסה A נשלחת ל-4,500 אנשים
- גרסה B נשלחת ל-4,500 אנשים
- ביקורת: 1,000 אנשים שלא מקבלים שום מייל
אחרי שבועיים:
| קבוצה | ביצעו רכישה |
|---|---|
| גרסה A | 6.0% |
| גרסה B | 5.5% |
| ביקורת (בלי מייל) | 4.0% |
מה למדתם. גרסה A ניצחה את B - אבל חשוב מכך, שתיהן ניצחו את "לא לעשות כלום". הקמפיין הוסיף בערך 2 נקודות אחוז. בלי הביקורת הייתם חוגגים 6% המרה בלי לדעת ש-4% מהם היו קורים ממילא.
מתי להשתמש. בכל פעם שאתם רוצים להצדיק את עצם קיומו של הקמפיין - במיוחד שליחות חוזרות, מבצעי הנחה, וכל מה שאנשים אולי היו קונים בלעדיו.
למה לצפות. המספרים הראשיים שלכם ייראו פחות טובים עם קבוצת ביקורת, כי אתם מודדים עכשיו את התרומה האמיתית שלכם ולא את סך הפעילות. זאת בדיוק המטרה.
המחיר. אותם 1,000 אנשים לא מקבלים כלום. אם ההודעה באמת מועילה, זה מחיר אמיתי. שמרו על ביקורת קטנה (5-10% זה נורמלי) ואל תשאירו אחת על כל קמפיין לנצח.
2. קמפיין מותאם AI: "אחוז קבוצת ביקורת - מקבלת בחירה אקראית"
מה זה. בקמפיין מותאם AI, ה-AI מחליט לכל אדם איזו הודעה ואיזה ערוץ לשלוח. אין פיצול שאתם הגדרתם - ה-AI הוא כל הסיפור.
לכן "בלי הדבר החכם" לא אומר לא לשלוח. זה אומר לבחור משהו באקראי. האנשים בקבוצת הביקורת הזאת כן מקבלים הודעה - פשוט אחת שנבחרה אקראית.
דוגמה. יש לכם ארבעה מבצעים וקמפיין מותאם AI ל-20,000 אנשים, קבוצת ביקורת של 10%.
- 18,000 אנשים מקבלים את הבחירה של ה-AI עבורם
- 2,000 אנשים מקבלים אחד מארבעת המבצעים באקראי
| קבוצה | ביצעו רכישה |
|---|---|
| הבחירה של ה-AI | 7.2% |
| בחירה אקראית | 5.9% |
| התרומה של ה-AI | 1.3+ נקודות |
מה למדתם. ה-AI שווה בערך 1.3 נקודות מעל בחירה עיוורת. אם שני המספרים היו זהים, ה-AI עוד לא מצדיק את עצמו - בדרך כלל כי הוא לא ראה מספיק תוצאות ללמוד מהן.
מתי לצפות להבדל. לא מיד. ה-AI לומד מתוצאות, ותוצאות לוקחות זמן - שעות לקליקים, ימים לרכישות. על סט מבצעים חדש לגמרי הוא מתחיל כמעט אקראי ומשתפר ככל שתוצאות מגיעות. שפטו אותו אחרי כמה שליחות, לא אחרי הראשונה.
דבר אחד שמפתיע אנשים. מישהו בקבוצת הביקורת הזאת יכול לקבל הודעה שונה בכל שליחה. זה מכוון - "לבחור באקראי" אומר להטיל את הקובייה כל פעם מחדש. אם הוא היה מקבל את אותה הודעה לנצח, לא הייתם משווים מול בחירה אקראית אלא מול רשימה שרירותית אחת.
3. ניסוי במסע, מצב מותאם אישית: "אחוז קבוצת ביקורת - נשארת עם הפיצול שלכם"
מה זה. במסע אפשר להוסיף צומת ניסוי שמפצל אנשים למסלולים שונים - ואתם קובעים את האחוזים. כשעוברים למותאם אישית, מודל מתחיל לבחור את המסלול לכל אדם במקומכם, ומתעלם מהאחוזים שלכם.
לכן כאן "בלי הדבר החכם" אומר הפיצול שלכם. האנשים בקבוצת הביקורת ממשיכים לקבל את האחוזים שהגדרתם.
דוגמה. צומת ניסוי עם שלושה מסלולים והפיצול שלכם על 40 / 30 / 30. מצב מותאם אישית פעיל, קבוצת ביקורת 20%.
- 80% מהאנשים מקבלים את המסלול שהמודל בוחר עבורם
- 20% מהאנשים נשארים עם 40 / 30 / 30 רגיל
| קבוצה | סיימו את המסע |
|---|---|
| הבחירה של המודל | 31% |
| הפיצול שלכם 40/30/30 | 26% |
| מה ההתאמה האישית הוסיפה | 5+ נקודות |
מה למדתם. ההתאמה האישית מנצחת את הפיצול שהייתם מריצים ממילא. זאת בדיוק ההחלטה שמעניינת אתכם - לא "האם המודל טוב באופן כללי", אלא "האם הוא טוב יותר ממה שכבר עשיתי".
למה הקבוצה הזאת נשארת על אותו מסלול בכל פעם. כי הפיצול שלכם נשאר. מי שה-40/30/30 שלכם שם על מסלול ההנחה, נשאר על מסלול ההנחה. הביקורת חייבת להתנהג כמו הפיצול שלכם, אחרת אתם לא משווים מול הפיצול שלכם.
מתי לצפות להבדל. כמו בקמפיין ה-AI - המודל צריך תוצאות ללמוד מהן. ניסוי חדש רץ בהתחלה כפיצול רגיל ומתאים אישית ככל שנתונים מצטברים. הצומת מציג הערת התחממות עד אז.
מה זה Holdback (ומה הוא לא)
תיתקלו גם במונח Holdback בבדיקות A/B. זאת לא קבוצת ביקורת והיא לא מושווית לשום דבר.
כשמריצים בדיקת A/B עם בחירת מנצח אוטומטית:
- הבדיקה נשלחת לחלק מהרשימה - נניח 30%
- Joryio ממתין ומחשב איזו גרסה ניצחה
- ההודעה המנצחת נשלחת ל-70% הנותרים
אותם 70% הם ה-Holdback. הם לא מוחזקים מחוץ לשום דבר - הם ממתינים לגרסה הטובה ביותר. כולם מקבלים הודעה בסוף.
דרך מהירה לזכור: ביקורת היא קבוצה שמשווים אליה. Holdback היא קבוצה ששולחים אליה אחר כך.
בחירת גודל
קבוצת ביקורת גדולה יותר = תשובה אמינה יותר, פחות קהל שמקבל את הטיפול הטוב ביותר. האיזון המקובל:
| גודל קהל | ביקורת מומלצת |
|---|---|
| מתחת ל-5,000 | 15-20% - קהלים קטנים צריכים פלח גדול יותר כדי לומר משהו בביטחון |
| 5,000 - 50,000 | 10% |
| מעל 50,000 | 5% |
שתי אזהרות מעשיות:
- קטנה מדי ולא תלמדו כלום. ביקורת של 2% על רשימה של 3,000 היא 60 אנשים. רכישה או שתיים מטלטלות את התוצאה. ראו מובהקות סטטיסטית כדי להבין איך Joryio מחליט שתוצאה אמיתית.
- אל תשוו בין בדיקות שונות. קבוצת ביקורת שייכת לקמפיין או לניסוי שבו הוגדרה. מספרים מביקורת של בדיקה אחת אינם בסיס להשוואה לבדיקה אחרת.
שאלות נפוצות
האם חברי קבוצת הביקורת יודעים שהם בה? לא. הם פשוט לא מקבלים כלום (A/B), או מקבלים הודעה רגילה שנבחרה בדרך אחרת (בשתי האחרות).
אם יש לי גם קבוצת ביקורת גלובלית, האם האחוזים מתחברים? לא - הן מקוננות. איש קשר שמוחזק גלובלית מוחרג מהקמפיין לפני שנשלפת קבוצת הביקורת שלו, ולכן לעולם אינו נספר פעמיים. עם 10% גלובלי ו-20% ביקורת בקמפיין, 1,000 אנשי קשר מתחלקים ל-100 גלובלי, 180 ביקורת קמפיין (20% מ-900 הנותרים) ו-720 שמקבלים את הקמפיין. כלומר 280 לא מקבלים דבר, לא 300. ראו קבוצת ביקורת גלובלית.
האם אלה אותם אנשים בכל פעם? החברות בקבוצה יציבה, כן - וזה מה שמאפשר לעקוב אחרי אותה קבוצה לאורך זמן. בקמפיין ה-AI ההודעה שהם מקבלים משתנה בכל שליחה, אבל מי בקבוצה לא משתנה.
אפשר להסתכל על תוצאות קבוצת הביקורת לבד? הן מועילות בעיקר כהשוואה, לא לבדן. "הביקורת המירה ב-4%" אומר מעט; "הקמפיין ניצח את הביקורת ב-2 נקודות" הוא המספר ששווה לדווח.
קבוצת הביקורת שלי מצליחה יותר מהקמפיין. מה עכשיו? קחו את זה ברצינות - זה קורה ושווה לדעת. בדקו קודם ששתי הקבוצות גדולות מספיק כדי שהפער יהיה אמיתי ולא רעש. אם זה מחזיק, ההודעה באמת לא מתפקדת: עייפות, קהל לא נכון, או מבצע לא נכון. זאת תובנה, לא כישלון של הבדיקה.
צריך קבוצת ביקורת בכל קמפיין? לא. השתמשו בה כשאתם מחליטים משהו: האם שווה להריץ את הקמפיין, האם ה-AI משתלם, האם התאמה אישית טובה מהפיצול שלי. בשליחות שגרתיות שהתשובה בהן כבר ידועה, הביקורת היא סתם קהל שלא שלחתם אליו.