شرح مجموعات التحكم
مجموعة التحكم هي شريحة من جمهورك تتعامل معها بشكل مختلف عن قصد، لتكون لديك نقطة مقارنة لنتائجك.
بدونها تعرف فقط ما حدث. ومعها تعرف ما الذي غيّره عملك.
إذا أرسلت حملة واشترى 4% من الناس، فهذه الـ 4% ليست قيمة الحملة. بعض هؤلاء كانوا سيشترون على أي حال. مجموعة التحكم هي الطريقة لمعرفة كم منهم.
القاعدة الواحدة
توجد أربع مجموعات تحكم مختلفة في Joryio، وكثيرًا ما يُفترض أنها تعمل بالطريقة نفسها. ليس الأمر كذلك، لكنها جميعًا تتبع قاعدة واحدة:
مجموعة التحكم تتلقى ما كان سيحدث لو لم تفعل الشيء الذكي.
فالسؤال دائمًا: ما هو الشيء الذكي هنا، وكيف يبدو "بدونه"؟ الإجابة تختلف، ولهذا تتصرف الأربع بشكل مختلف.
مجموعات التحكم الأربع
| أين | مجموعة التحكم تتلقى | تجيب عن |
|---|---|---|
| مجموعة التحكم العامة | لا شيء إطلاقًا، بشكل دائم | هل يساوي تسويقي كله شيئًا؟ |
| اختبار A/B للحملة | لا شيء إطلاقًا، لهذا الإرسال | هل الإرسال أفضل من عدم الإرسال؟ |
| حملة محسّنة بالذكاء الاصطناعي | رسالة مختارة عشوائيًا | هل الذكاء الاصطناعي أفضل من اختيار أي شيء؟ |
| تجربة داخل رحلة (مخصّصة) | تقسيم المسارات الذي حددته | هل التخصيص أفضل من تقسيمي؟ |
التسمية داخل التطبيق تخبرك أيها تنظر إليه - كل واحدة تذكر ما تتلقاه تلك المجموعة.
الأولى مختلفة في نوعها عن الثلاث الأخرى: فهي غير مرتبطة بحملة بعينها، وتنطبق على كل ما ترسله، وتظل الأشخاص أنفسهم لشهور. ولها صفحة خاصة - راجع مجموعة التحكم العامة.
1. اختبار A/B: "مجموعة تحكم - بدون رسالة"
ما هي. عند إنشاء اختبار A/B يمكنك إضافة مجموعة تحكم إلى جانب نسخ الرسالة. الأشخاص فيها لا يتلقون شيئًا.
مثال. ترسل بريد استعادة إلى 10,000 عميل متوقف.
- النسخة A تذهب إلى 4,500 شخص
- النسخة B تذهب إلى 4,500 شخص
- مجموعة التحكم 1,000 شخص لا يتلقون بريدًا
بعد أسبوعين:
| المجموعة | اشتروا شيئًا |
|---|---|
| النسخة A | 6.0% |
| النسخة B | 5.5% |
| التحكم (بدون بريد) | 4.0% |
ما الذي تعلمته. النسخة A تفوقت على B، والأهم أن كلتيهما تفوقتا على عدم فعل شيء. أضافت الحملة نحو نقطتين مئويتين. بدون مجموعة التحكم كنت ستحتفل بمعدل تحويل 6% دون أن تعرف أن 4% منه كان سيحدث بأي حال.
متى تستخدمها. كلما أردت تبرير وجود الحملة أصلًا، خاصة الإرسال المتكرر وعروض الخصم وكل ما قد يشتريه الناس بأي حال.
ما الذي تتوقعه. ستبدو أرقامك الرئيسية أسوأ مع مجموعة تحكم، لأنك تقيس الآن مساهمتك الحقيقية بدلًا من إجمالي النشاط. وهذا هو المقصود بالضبط.
التكلفة. هؤلاء الـ 1,000 شخص لا يتلقون شيئًا. إذا كانت الرسالة مفيدة فعلًا فهذه تكلفة حقيقية. أبقِ مجموعة التحكم صغيرة (5-10% أمر معتاد) ولا تتركها على كل حملة إلى الأبد.
2. حملة الذكاء الاصطناعي: "نسبة مجموعة التحكم - تتلقى اختيارًا عشوائيًا"
ما هي. في الحملة المحسّنة بالذكاء الاصطناعي، يقرر النظام لكل شخص أي رسالة وأي قناة تُرسل. لا يوجد تقسيم حددته أنت - الذكاء الاصطناعي هو الأمر كله.
لذلك فإن "بدون الشيء الذكي" لا تعني عدم الإرسال. تعني اختيار شيء عشوائيًا. الأشخاص في مجموعة التحكم هذه يتلقون رسالة فعلًا، لكنها مختارة عشوائيًا.
مثال. لديك أربعة عروض وحملة ذكاء اصطناعي إلى 20,000 شخص، ومجموعة التحكم 10%.
- 18,000 شخص يتلقون اختيار الذكاء الاصطناعي لهم
- 2,000 شخص يتلقون أحد العروض الأربعة عشوائيًا
| المجموعة | اشتروا شيئًا |
|---|---|
| اختيار الذكاء الاصطناعي | 7.2% |
| اختيار عشوائي | 5.9% |
| مساهمة الذكاء الاصطناعي | +1.3 نقطة |
ما الذي تعلمته. الذكاء الاصطناعي يساوي نحو 1.3 نقطة فوق الاختيار الأعمى. لو تساوى الرقمان فهو لا يستحق كلفته بعد، وغالبًا لأنه لم يرَ نتائج كافية ليتعلم منها.
متى تتوقع فرقًا. ليس فورًا. يتعلم النظام من النتائج، والنتائج تستغرق وقتًا: ساعات للنقرات وأيام للمشتريات. مع مجموعة عروض جديدة تمامًا يبدأ عشوائيًا تقريبًا ويتحسن مع وصول البيانات. احكم عليه بعد عدة إرسالات لا بعد الأولى.
أمر يفاجئ الكثيرين. قد يتلقى شخص في مجموعة التحكم هذه رسالة مختلفة في كل إرسال. هذا مقصود - "الاختيار العشوائي" يعني رمي النرد في كل مرة. لو تلقى الرسالة نفسها دائمًا لما كنت تقارن بالاختيار العشوائي بل بقائمة ثابتة اعتباطية.
3. تجربة الرحلة، الوضع المخصّص: "نسبة مجموعة التحكم - تبقى على التقسيم الذي حددته"
ما هي. داخل الرحلة يمكنك إضافة عقدة تجربة تقسم الأشخاص على مسارات مختلفة - وأنت تحدد النسب. وعند التحويل إلى مخصّص، يبدأ نموذج باختيار المسار لكل شخص متجاهلًا نسبك.
هنا إذن "بدون الشيء الذكي" تعني تقسيمك أنت. الأشخاص في مجموعة التحكم يستمرون في تلقي النسب التي حددتها.
مثال. عقدة تجربة بثلاثة مسارات وتقسيم 40 / 30 / 30. الوضع المخصّص مفعّل، ومجموعة التحكم 20%.
- 80% يتلقون المسار الذي يختاره النموذج لكل منهم
- 20% يبقون على 40 / 30 / 30 العادي
| المجموعة | أكملوا الرحلة |
|---|---|
| اختيار النموذج | 31% |
| تقسيمك 40/30/30 | 26% |
| ما أضافه التخصيص | +5 نقاط |
ما الذي تعلمته. التخصيص يتفوق على التقسيم الذي كنت ستشغّله على أي حال. وهذا بالضبط القرار الذي يهمك: ليس "هل النموذج جيد بشكل عام"، بل "هل هو أفضل مما كنت أفعله".
لماذا تبقى هذه المجموعة على المسار نفسه في كل مرة. لأن تقسيمك يفعل ذلك. من وضعه 40/30/30 على مسار الخصم يبقى على مسار الخصم. يجب أن تتصرف مجموعة التحكم مثل تقسيمك، وإلا فأنت لا تقارن بتقسيمك.
متى تتوقع فرقًا. كما في حملة الذكاء الاصطناعي - يحتاج النموذج إلى نتائج ليتعلم منها. تعمل التجربة الجديدة في البداية كتقسيم عادي ثم تخصّص مع تراكم البيانات، وتعرض العقدة ملاحظة إحماء حتى ذلك الحين.
ما هو الـ holdback (وما ليس هو)
سترى أيضًا كلمة holdback في اختبارات A/B. إنها ليست مجموعة تحكم ولا تُقارن بأي شيء.
عند تشغيل اختبار A/B مع اختيار تلقائي للفائز:
- يذهب الاختبار إلى جزء من قائمتك - لنقل 30%
- ينتظر Joryio ويحدد أي نسخة فازت
- تذهب الرسالة الفائزة إلى الـ 70% المتبقية
هذه الـ 70% هي الـ holdback. لم يُستبعدوا من شيء - إنهم ينتظرون أفضل نسخة. وجميعهم يتلقون رسالة في النهاية.
طريقة سريعة للتمييز: مجموعة التحكم مجموعة تقارن بها. الـ holdback مجموعة ترسل إليها لاحقًا.
اختيار الحجم
مجموعة تحكم أكبر = إجابة أكثر موثوقية، وجمهور أقل يتلقى أفضل معاملة. التوازن المعتاد:
| حجم الجمهور | مجموعة التحكم المقترحة |
|---|---|
| أقل من 5,000 | 15-20% - الجماهير الصغيرة تحتاج شريحة أكبر لقول شيء بثقة |
| 5,000 - 50,000 | 10% |
| أكثر من 50,000 | 5% |
تحذيران عمليان:
- صغيرة جدًا فلا تتعلم شيئًا. مجموعة تحكم 2% على قائمة من 3,000 هي 60 شخصًا، وعملية شراء أو اثنتان تقلبان النتيجة. راجع الدلالة الإحصائية لمعرفة كيف يقرر Joryio أن النتيجة حقيقية.
- لا تقارن بين اختبارات مختلفة. مجموعة التحكم تخص الحملة أو التجربة التي عُرّفت فيها، وأرقامها ليست مرجعًا لاختبار آخر.
أسئلة شائعة
هل يعرف أعضاء مجموعة التحكم أنهم فيها؟ لا. هم ببساطة لا يتلقون شيئًا (في A/B)، أو يتلقون رسالة عادية اختيرت بطريقة أخرى (في الحالتين الأخريين).
هل هم الأشخاص أنفسهم في كل مرة؟ العضوية ثابتة، نعم - وهذا ما يتيح متابعة المجموعة نفسها عبر الوقت. في حملة الذكاء الاصطناعي تتغير الرسالة التي يتلقونها في كل إرسال، لكن من في المجموعة لا يتغير.
هل يمكنني النظر إلى نتائج مجموعة التحكم وحدها؟ هي مفيدة كمقارنة أساسًا. "حوّلت مجموعة التحكم بنسبة 4%" لا يعني الكثير، أما "تفوقت الحملة على مجموعة التحكم بنقطتين" فهو الرقم الجدير بالتقرير.
مجموعة التحكم لدي أفضل من الحملة. ماذا الآن؟ خذ الأمر بجدية - قد يحدث ومن المفيد معرفته. تحقق أولًا أن المجموعتين كبيرتان بما يكفي ليكون الفارق حقيقيًا لا ضوضاء. وإذا ثبت، فالرسالة فعلًا ضعيفة الأداء: إرهاق، أو جمهور خاطئ، أو عرض خاطئ. هذه نتيجة وليست فشلًا للاختبار.
إذا كانت لدي مجموعة تحكم عامة أيضًا، هل تُجمع النسب؟ لا - إنها متداخلة. جهة الاتصال المستبعدة عامًا تُستثنى من الحملة قبل سحب مجموعة تحكمها، فلا تُحتسب مرتين أبدًا. مع 10% عام و20% تحكم حملة، تنقسم 1,000 جهة اتصال إلى 100 عامة، و180 تحكم حملة (20% من الـ900 المتبقية)، و720 يتلقون الحملة. أي 280 لا يتلقون شيئًا، لا 300. راجع مجموعة التحكم العامة.
هل أحتاج مجموعة تحكم في كل حملة؟ لا. استخدمها عندما تقرر شيئًا: هل تستحق الحملة التشغيل، هل يؤتي الذكاء الاصطناعي ثماره، هل التخصيص يتفوق على تقسيمك. أما في الإرسال الروتيني حيث تعرف الإجابة مسبقًا، فمجموعة التحكم مجرد جمهور لم ترسل إليه.