عقدة التجربة
تقسم عقدة التجربة المستخدمين على عدة مسارات، وتختار فائزًا اختياريًا عند توفر بيانات كافية. استخدمها عندما تريد اختبار صيغتين أو أكثر لتدفق لاحق: أسطر موضوع أو أوقات إرسال أو محتوى رسالة أو حتى منطق تفرع مختلف.
كيفية عملها بسرعة
يُوجَّه كل مستخدم يصل إلى عقدة التجربة إلى مسار واحد بالضبط. يحدد المسار ما يحدث لاحقًا على Canvas؛ لكل مسار حافة صادرة خاصة به تصلها بالعقدة التي ينبغي أن تنفذ لتلك الصيغة.
تملك عقدة التجربة ثلاثة مفاهيم:
- نوع المسار - استراتيجية التوجيه (قياسي / اختيار فائز / مخصص).
- توزيع المسارات - كيفية تخصيص الزيارات على المسارات.
- أنواع مسارات خاصة - مسارات عادية ومجموعات ضابطة (بلا معالجة) ومجموعات تأخير (تنتظر الفائز).
أنواع المسارات
افتح إعداد عقدة التجربة واختر أحد الأوضاع الثلاثة في أعلى علامة التجربة.
قياسي
تقسيم A/B/n بسيط. يُوزع المستخدمون على مساراتك بالنسب التي تحددها إلى أجل غير مسمى. لا يُختار فائز أبدًا، وتستمر الصيغتان إلى الأبد. استخدمه عندما تريد إبقاء عدة صيغ حية بالتوازي أو عندما تقارن النتائج بنفسك.
اختيار الفائز
التخصيص الابتدائي نفسه للوضع القياسي، لكن النظام يعلن فائزًا تلقائيًا عند وجود دليل كافٍ (أو بلوغ حد نافذة الاختبار الزمنية). بعد ذلك، يُوجه 100% من المستخدمين الجدد إلى المسار الفائز. استخدمه لاختبارات المحتوى حين تريد من النظام أن يقرر ويثبت الفائز.
عند اختيار الفائز، يستخدم النظام Bayesian P(best)، أي احتمال أن يكون مسار معين الأفضل الحقيقي، محسوبًا من البيانات حتى الآن. هذا مضبوط للمراقبة المستمرة (يفحص المجدول كل 5 دقائق من دون تشويه الحساب). عندما يتجاوز مسار عتبة الثقة (95% افتراضيًا)، يفوز.
مخصص
يُوجّه كل مستخدم بواسطة نموذج ML يتنبأ بأفضل مسار مناسب له من سماته وسجل أحداثه. لا يُعلن فائز واحد؛ يحصل مستخدمون مختلفون على مسارات مختلفة إلى الأبد. استخدمه عندما يعتمد «أفضل مسار» على هوية المستخدم.
تظل مجموعة مستبعدة صغيرة (20% افتراضيًا) تتلقى تقسيم A/B عشوائيًا كي يستطيع النظام قياس مقدار الرفع الفعلي الذي يقدمه نموذج ML.
يعيد نموذج ML التدريب يوميًا عند 03:30 UTC عبر كل مساحات العمل النشطة. إلى أن يوجد نموذج لمساحة عملك، يعود المستخدمون إلى تقسيم عشوائي (تفشل التنبؤات بصمت ويستخدم العامل تقسيمًا قائمًا على التجزئة).
توزيع المسارات
كتلة البطاقات الكبيرة في وسط النافذة. تمثل كل بطاقة مسارًا واحدًا:
- اكتب اسمًا (انقر القلم لإعادة التسمية ضمن السياق).
- اضبط نسبته. يعرض الشريط في الأعلى الإجمالي؛ ويجب أن يساوي 100 قبل الحفظ.
- انقر المهملات للإزالة. يجب أن تبقى معالجتان على الأقل؛ ويمكن دائمًا حذف الضبط والتأخير.
يؤدي التوزيع بالتساوي إلى نشر الزيارات المتبقية على مسارات المعالجة فقط؛ وتحتفظ مجموعة الضبط والتأخير بحصصها.
المجموعة الضابطة
الضبط مسار يخرج من التجربة فورًا بلا معالجة. يستمر المستخدمون الموجهون إليه في Canvas كما لو لم تكن التجربة موجودة. يُستخدم لقياس الرفع: «هل أحدثت المعالجات فرقًا فعلًا مقارنة بعدم فعل شيء؟»
- أضفه عبر + إضافة ضبط.
- ضبط واحد فقط لكل تجربة.
- يُستبعد من اختيار الفائز (الضبط هو الأساس وليس شيئًا للتحسين).
مجموعة التأخير
متاحة في وضعي اختيار الفائز والمخصص. يُحتجز المستخدمون الموجهون إليها حتى إعلان الفائز أو تدريب النموذج، ثم يُوجهون إلى الأمام.
- أضفها عبر + إضافة تأخير (اختياري؛ مطلوب فقط إذا أردت أمان الوصول المتأخر).
- لاختيار الفائز: يُوجه المستخدمون المحتجزون إلى المسار الفائز بمجرد إعلانه.
- للوضع المخصص: يُوجه المستخدمون المحتجزون عبر نموذج ML عند إغلاق نافذة الاختبار.
- إذا انتهت التجربة دون إعلان فائز (ضبط بديل الدلالة الإحصائية على «mix»)، يُطلق المستخدمون المحتجزون كمكتملين ويخرجون من Canvas.
ما الحجم المناسب للتأخير؟ هذه مفاضلة:
- منخفض (0–10%) - يحصل معظم المستخدمين على المعالجات فورًا، وتعلم أسرع.
- مرتفع (20–50%) - ينتظر مزيد من المستخدمين الفائز بأمان.
- الاقتراح الافتراضي: 0% (تخطي التأخير بالكامل) ما لم يكن لديك سبب محدد لحجز المستخدمين.
إعدادات اختيار الفائز
تظهر عندما يكون نوع المسار اختيار الفائز (وتظهر أيضًا للمخصص لتستطيع ضبط شروط توقف النموذج).
| الإعداد | وظيفته |
|---|---|
| يُقرر الفائز بناءً على | المقياس الذي يحسّنه النظام: معدل الفتح / معدل النقر / حدث تحويل / حدث مخصص. |
| نافذة الاختبار | أقصى وقت للتشغيل قبل الإعلان. يبدأ من دخول أول مستخدم معالجة. |
| حدث مخصص | مطلوب عندما يكون مقياس الفائز «حدث مخصص». اختر من أحداث مساحة العمل المتتبعة. |
| التقييم حسب | للأحداث المخصصة: عدد الأحداث (افتراضي) أو مجموع خاصية رقمية (مثل الإيرادات). |
| البديل عند الدلالة الإحصائية | عند حد النافذة الزمنية، إن لم تكن النتائج دالة: إرسال المسار الأفضل أداءً (إعلان الأفضل حتى الآن) أو استمرار المزيج (استمرار التقسيم بلا فائز). |
| وضع التجربة | قياسي (تثبيت الفائز عند إعلانه) أو Bandit (إعادة التوازن باستمرار نحو المتصدر). |
وضع Bandit
تنفيذ «bandit حقيقي» يستخدم Thompson sampling مع نافذة منزلقة.
- لكل مستخدم عينة جديدة؛ ولا توجد حالة إعلان فائز. يتحول التخصيص باستمرار نحو المسار الذي يفوز حاليًا.
- نافذة تعلم (7 أيام افتراضيًا) تُسقط البيانات القديمة كي يتكيف bandit مع التغير. يتوقف «فائز الشتاء» عن الهيمنة في الصيف عندما تقع بيانات الشتاء خارج النافذة.
- اضبط النافذة عبر نافذة تعلم Bandit (بالأيام) ضمن الإعدادات الإضافية.
استخدم Bandit عندما:
- قد يتغير الأداء مع الوقت (محتوى موسمي أو عروض حساسة لوقت اليوم).
- تريد تحسينًا مستمرًا بدل فائز ثابت.
علامة الإعدادات الإضافية
| الإعداد | الافتراضي | ملاحظات |
|---|---|---|
| مستوى الثقة | 95% | العتبة التي يجب أن يتجاوزها P(best) لإعلان فائز. الأعلى = أشد صرامة وأبطأ قرارًا. |
| الحد الأدنى للعينة لكل مسار | 100 | لا تعلن فائزًا حتى يصل كل علاج إلى هذا العدد من المستخدمين. يمنع فوزًا مبكرًا على عينات صغيرة. |
| نافذة التحويل (بالساعات) | 72 | لمقاييس «حدث تحويل» / «حدث مخصص»: مدة احتساب التحويلات بعد الدخول. |
| نافذة تعلم Bandit (بالأيام) | 7 | لوضع Bandit فقط. لا تدخل في Thompson sampling إلا الأحداث خلال آخر N أيام. |
علامة النتائج
بعد حفظ عقدة التجربة داخل رحلة تعمل، يكتسب إعدادها علامة النتائج. لا تظهر النتائج إلا بعد بدء تدفق جهات الاتصال عبر العقدة.
- إحصاءات لكل مسار - لكل مسار: جهات الاتصال الداخلة، إضافة إلى معدلات الفتح/النقر/التحويل.
- شارة المتصدر/الفائز - تبرز المسار المتصدر حاليًا (والفائز المعلن عند اختياره).
- قراءة الدلالة الإحصائية - تعرض قيمة p لتعرف إن كان الفرق بين المسارات حقيقيًا بعد.
- إعلان فائز - إجراء لكل مسار لتثبيت ذلك المسار يدويًا فائزًا.
- إعادة تعيين التجربة - يمسح النتائج المتراكمة ويبدأ الاختبار من جديد.
إعادة العشوائية عند إعادة الدخول
مربع اختيار مستقل ظاهر في وضع قياسي فقط. افتراضيًا، يحصل المستخدم نفسه على المسار نفسه في كل مرة يدخل فيها Canvas (تجزئة حتمية). فعله لإعادة السحب عند كل دخول. نادرًا ما تحتاجه؛ ومفيد لاختبارات يكون فيها رؤية صيغ مختلفة جزءًا من الرحلة.
التحليلات
انقر عقدة التجربة في Canvas نشط لفتح لوحة التحليلات. تعرض:
- شارة الحالة: «تحسين مستمر» لـ bandit، و«تخصيص لكل مستخدم» للوضع المخصص، و«فائز معلن» / «جمع البيانات» / «متوقفة» للقياسي.
- شريط التوزيع: عرض نسبي للتخصيص الحالي على المسارات.
- جدول الإحصاءات: لكل مسار: دخل وسُلّم وفُتح ونُقر والمعدل الحالي وعمود P(best) الذي يعرض احتمال Bayesian الحي أن يكون كل مسار الأفضل الحقيقي.
- لافتة الفائز: عند الإعلان، أي مسار ومتى وكيف (الدلالة الإحصائية مقابل الحد الزمني).
- لافتة انتظار التأخير: إشارة تشغيلية توضح عدد المستخدمين المحتجزين.
- لافتة الإطلاق الحديث: تظهر حتى 24 ساعة بعد إطلاق مستخدمي التأخير إلى الفائز.
لوحة التحكم عبر التجارب
في التحليلات → لوحات التحكم، يضيف مصدر البيانات الجديد «التجربة» عنصر شبكة تجارب يعرض كل تجربة في مساحة عملك من نظرة واحدة: الحالة والمتصدر وP(best) والفائز وطابور التأخير. صفِّ حسب الحالة أو نوع المسار أو Canvas، وابحث بالاسم. يتجدد كل 30 ثانية.
أنماط شائعة
اختبار A/B لسطر الموضوع (قياسي). مساران وتقسيم 50/50، أوصل كليهما بعقد إرسالات Email ذات مواضيع مختلفة. لا اختيار للفائز؛ ستقيم النتائج يدويًا بعد أسبوع.
اختيار فائز لتدفق التهيئة. ثلاثة مسارات بتسلسلات تهيئة مختلفة، ووضع اختيار الفائز، ومقياس الفائز = حدث مخصص «اكتمال التهيئة»، ونافذة اختبار 7 أيام. أضف مجموعة تأخير 20% لالتقاط المستخدمين الذين يصلون متأخرًا للفائز بأمان. البديل عند الدلالة الإحصائية = «الأفضل» حتى تحصل دائمًا على قرار.
Bandit لوقت الإرسال. مساران بتأخيرات وقت إرسال مختلفة قبل Email. وضع Bandit ومقياس الفائز = معدل الفتح ونافذة تعلم 7 أيام. يتحول التخصيص باستمرار إلى الوقت الأفضل أداءً مؤخرًا.
توصيات مخصصة. ثلاثة مسارات بتوصيات فئات منتجات مختلفة. وضع مخصص، ومجموعة مستبعدة 20%. يتعلم نموذج ML تفضيلات كل مستخدم مع الوقت.
استكشاف الأخطاء وإصلاحها
لا يُعلن الفائز أبدًا. تحقق من أن كل معالجة بلغت الحد الأدنى للعينة (100 افتراضيًا). تحقق من أن مستوى الثقة ليس عاليًا جدًا (99% يستغرق أكثر بكثير من 95%). قد تحتاج اختبارات التأثيرات الصغيرة فعلًا إلى زيارات أكثر.
تجربتي المخصصة لا تفعل إلا تقسيمات عشوائية. قد لا يكون نموذج ML قد تدرب بعد. يعيد التدريب يوميًا عند 03:30 UTC عبر مساحات العمل النشطة. يمكنك أيضًا تشغيل تدريب يدوي من خدمة ML عند الحاجة. تحقق من أن مساحة العمل لديها بيانات أحداث تاريخية كافية؛ تحتاج الخصائص إلى إشارة فعلية لتتعلم منها.
Bandit عالق في مسار واحد يتدهور. نافذة التعلم الافتراضية 7 أيام، والأداء الأقدم يهيمن. جرّب تقليل النافذة (مثل 3 أيام) ليتكيف bandit أسرع.
تحتوي مجموعة التأخير على مستخدمين لا يُطلقون أبدًا. أكد إمكان إعلان فائز فعلًا: تحقق الحد الأدنى للعينة ونافذة الاختبار لم تنته بعد والبديل عند الدلالة الإحصائية مضبوط على «الأفضل» لا «المزيج». إذا اختير «المزيج» وانتهى الاختبار بلا دلالة، يخرج مستخدمو التأخير كمكتملين.
الإجمالي ≠ 100%. يُعطل زر تم حتى تصلحه. استخدم «التوزيع بالتساوي» لإعادة تعيين سريعة.