Παραλλαγές & ομάδα ελέγχου

Οι παραλλαγές ολόκληρου journey σάς επιτρέπουν να δοκιμάζετε A/B/n ολόκληρα journeys μεταξύ τους, και μια ομάδα ελέγχου κρατά εκτός ένα μερίδιο του κοινού σας ώστε να μετρήσετε πόσο πραγματικά αυξάνει το journey τις μετατροπές - όχι απλώς πόσοι άνθρωποι μετατράπηκαν.

Αυτό διαφέρει από τον κόμβο Πειράματος, ο οποίος διαχωρίζει μια επόμενη ροή στο μέσο του journey. Οι παραλλαγές διαχωρίζουν ακριβώς στην είσοδο: υπάρχει ένα μοναδικό κοινό Έναυσμα, και το journey διακλαδίζεται σε έναν κλάδο ανά παραλλαγή αμέσως μετά από αυτό.

Πότε να χρησιμοποιήσετε το καθένα

Θέλετε να δοκιμάσετε	Χρησιμοποιήστε
Δύο δομικά διαφορετικά journeys μεταξύ τους (μια σειρά 3 email έναντι ενός μεμονωμένου μηνύματος WhatsApp)	Παραλλαγές journey
Ένα βήμα μέσα σε ένα κατά τα άλλα πανομοιότυπο journey (θέμα A έναντι B στο δεύτερο email)	Κόμβος Πειράματος
Αν το journey αξίζει καν να τρέχει (προστιθέμενη επίδραση έναντι του να μην κάνετε τίποτα)	Ομάδα ελέγχου

Μπορείτε να τα συνδυάσετε: ένα journey με παραλλαγές μπορεί να περιέχει κόμβους Πειράματος βαθύτερα στη ροή μιας παραλλαγής.

Πώς λειτουργούν οι παραλλαγές

• Υπάρχει ένα κοινό Έναυσμα (η κανονική είσοδος του journey). Ο διαχωρισμός γίνεται εκεί - δεν προσθέτετε Έναυσμα ανά παραλλαγή. Μετά την αποθήκευση, ο κόμβος Εναύσματος εμφανίζει μία έξοδο ανά παραλλαγή μεταχείρισης - με ετικέτα το όνομα της παραλλαγής και το % κίνησής της - και συνδέετε κάθε έξοδο με τον πρώτο κόμβο της ροής της συγκεκριμένης παραλλαγής. Αν υπάρχει ομάδα ελέγχου, το Έναυσμα εμφανίζει επίσης μια διακεκομμένη γραμμή Σε παρακράτηση (Held out) με το μερίδιο του ελέγχου (δεν έχει έξοδο).
• Κάθε εισερχόμενος ανατίθεται σε ακριβώς μία παραλλαγή, ντετερμινιστικά: η ανάθεση είναι ένας σταθερός κατακερματισμός του χρήστη και του journey, οπότε ο ίδιος χρήστης καταλήγει πάντα στην ίδια παραλλαγή του ίδιου journey. Η διπλή είσοδος δεν μετακινεί ποτέ κάποιον μεταξύ σκελών στη μέση της δοκιμής.
• Τα ποσοστά όλων των παραλλαγών (συμπεριλαμβανομένης της ομάδας ελέγχου) πρέπει να αθροίζουν σε 100%. Κανονικά δεν τα ορίζετε χειροκίνητα - ο επεξεργαστής μοιράζει αυτόματα την κίνηση καθώς προσθέτετε και αφαιρείτε παραλλαγές (δείτε παρακάτω) - και μπλοκάρει την αποθήκευση μέχρι να αθροίζουν σε 100.
• Η ανάθεση γίνεται μία φορά, κατά την είσοδο. Οι χρήστες που ήδη κινούνται μέσα στο journey παραμένουν καθηλωμένοι στην παραλλαγή με την οποία εισήλθαν - η μεταγενέστερη αλλαγή του διαχωρισμού επηρεάζει μόνο τους επόμενους εισερχόμενους.

Αν μια παραλλαγή δεν έχει συνδεθεί ακόμη

Κάθε παραλλαγή μεταχείρισης πρέπει να έχει την έξοδο εναύσματός της συνδεδεμένη με μια ροή. Αν η έξοδος μιας παραλλαγής δεν έχει συνδεθεί με αποκλειστικό κλάδο, οι εισερχόμενοι που της ανατίθενται καταλήγουν στον απλό πρώτο κλάδο του journey αντί να απορρίπτονται - έτσι μια μισο-ρυθμισμένη δοκιμή υποβαθμίζεται με ασφάλεια. Παρ' όλα αυτά, συνδέστε κάθε παραλλαγή πριν από την ενεργοποίηση: μια ασύνδετη παραλλαγή μετρά σιωπηλά την ίδια ροή με τον προεπιλεγμένο κλάδο, κάτι που δεν σας λέει τίποτα.

Δημιουργία παραλλαγών

1. Δημιουργήστε το journey σας με το μοναδικό του Έναυσμα ως συνήθως.
2. Ανοίξτε τις Παραλλαγές από τη γραμμή εργαλείων του journey. Κάθε journey ανοίγει ως μία Variant A στο 100% - ολόκληρο το journey είναι η Variant A μέχρι να το διαχωρίσετε.
3. Κάντε κλικ στην Προσθήκη παραλλαγής για διαχωρισμό. Κάθε νέα μεταχείριση ονομάζεται αυτόματα Variant A, Variant B κ.ο.κ., και τα ποσοστά ανακατανέμονται ομοιόμορφα για εσάς - δύο παραλλαγές γίνονται 50/50, τρεις γίνονται 34/33/33 κ.ο.κ. Μπορείτε πάντα να παρακάμψετε οποιαδήποτε τιμή πληκτρολογώντας στο πλαίσιο % της· το τρέχον Σύνολο στο κάτω μέρος πρέπει να φτάσει το 100%.
4. Προαιρετικά κάντε κλικ στην Προσθήκη ομάδας ελέγχου για να προσθέσετε μια παρακράτηση (δείτε παρακάτω). Ξεκινά στο 20% και οι μεταχειρίσεις ξαναμοιράζονται το υπόλοιπο 80%. Ένα journey μπορεί να έχει το πολύ μία ομάδα ελέγχου - το κουμπί εξαφανίζεται μόλις υπάρξει.
5. Αποθηκεύστε. Η αποθήκευση είναι ανενεργή όσο τα ποσοστά δεν αθροίζουν σε 100%. Το έναυσμα εμφανίζει πάντα τουλάχιστον τη Variant A - στην πρώτη αποθήκευση, η υπάρχουσα ροή του journey συνδέεται αυτόματα στην έξοδο της Variant A, ώστε να μη χρειαστεί ποτέ να επανασυνδέσετε τη γραμμή βάσης.
6. Ο κόμβος Εναύσματος εμφανίζει τώρα μία έξοδο ανά παραλλαγή, καθεμία με ετικέτα το % της - σύρετε από κάθε έξοδο προς τον πρώτο κόμβο της ροής της αντίστοιχης παραλλαγής στο canvas. Η ομάδα ελέγχου δεν λαμβάνει έξοδο· δεν έχει ροή εκ σχεδιασμού.

Μπορείτε να αφαιρέσετε μια παραλλαγή από το ίδιο παράθυρο οποιαδήποτε στιγμή - τα υπόλοιπα ποσοστά επανισορροπούν αυτόματα στο 100%. Η τελευταία εναπομένουσα μεταχείριση δεν μπορεί να αφαιρεθεί· ένα journey διατηρεί πάντα τουλάχιστον μία παραλλαγή.

Αντιγραφή παραλλαγής

Όταν δοκιμάζετε μια μικροαλλαγή σε μια υπάρχουσα παραλλαγή - ίδια ροή, ένα διαφορετικό μήνυμα ή αναμονή - είναι πολύ πιο γρήγορο να αντιγράψετε την παραλλαγή που έχετε ήδη φτιάξει, παρά να συνδέσετε μια νέα από την αρχή.

Στο παράθυρο Παραλλαγές, κάθε γραμμή μεταχείρισης έχει εικονίδιο Κλωνοποίησης (αντιγραφής). Κάνοντας κλικ:

• προστίθεται μια νέα παραλλαγή με όνομα βασισμένο στην πηγή και το επίθεμα "(copy)", με τα ποσοστά να ανακατανέμονται ακριβώς όπως στην Προσθήκη παραλλαγής, και
• κατά την Αποθήκευση, αντιγράφεται ολόκληρη η επόμενη ροή της παραλλαγής - κάθε κόμβος προσβάσιμος από την έξοδο του Εναύσματός της, μαζί με τις συνδέσεις μεταξύ τους - και τα αντίγραφα συνδέονται στην έξοδο Εναύσματος της νέας παραλλαγής.

Οι αντιγραμμένοι κόμβοι μετατοπίζονται στο canvas ώστε να μην κάθονται πάνω στους αρχικούς· σύρετέ τους όπου θέλετε και επεξεργαστείτε το ένα βήμα που θέλατε να αλλάξετε. Επειδή το αντίγραφο υλοποιείται μόνο κατά την Αποθήκευση, το πάτημα της Ακύρωσης απορρίπτει τόσο τη νέα παραλλαγή όσο και τα αντίγραφα των κόμβων της - δεν μένει τίποτα πίσω. Οι ομάδες ελέγχου δεν έχουν ροή, οπότε δεν έχουν ενέργεια Κλωνοποίησης.

Ορισμός του διαχωρισμού κίνησης

Ο επεξεργαστής κρατά τον διαχωρισμό στο 100% για εσάς (ακόμη και σε προσθήκη/αφαίρεση), αλλά μπορείτε πάντα να πληκτρολογήσετε ακριβείς τιμές. Μερικοί πρακτικοί εμπειρικοί κανόνες:

• Οι ισομερείς διαχωρισμοί καταλήγουν σε ετυμηγορία ταχύτερα. Για δοκιμή δύο παραλλαγών, το 50/50 (ή 45/45/10 με ομάδα ελέγχου) συσσωρεύει ενδείξεις και για τα δύο σκέλη με τον ίδιο ρυθμό.
• Οι ομάδες ελέγχου είναι συνήθως 5–20%. Αρκετά μεγάλες για να μετρήσετε απέναντί τους, αρκετά μικρές ώστε να μη στερείτε το journey από μεγάλο κομμάτι του κοινού σας. Τα journeys υψηλής κίνησης αντέχουν μικρότερες παρακρατήσεις.
• Αποφύγετε τα μικροσκοπικά μερίδια. Μια παραλλαγή μεταχείρισης 5% σε journey χαμηλής κίνησης μπορεί να χρειαστεί μήνες για να πει κάτι οριστικό.

Επειδή η ανάθεση είναι ντετερμινιστική ανά χρήστη, η αλλαγή του διαχωρισμού μετακινεί τα όρια μεταξύ των σκελών: οι νέοι εισερχόμενοι ακολουθούν τα νέα ποσοστά, ενώ όποιος έχει ήδη εγγραφεί κρατά την παραλλαγή με την οποία εισήλθε.

Ομάδα ελέγχου

Μια ομάδα ελέγχου είναι μια παραλλαγή που παρακρατείται: οι χρήστες που ανατίθενται σε αυτήν μετρώνται ως εισερχόμενοι αλλά δεν λαμβάνουν τίποτα. Δεν εισέρχονται ποτέ στη ροή - ούτε μηνύματα, ούτε αναμονές, ούτε παρενέργειες. Η σύγκριση του τι κάνει το κοινό που δέχτηκε μεταχείριση με αυτή τη γραμμή βάσης «μην κάνεις τίποτα» είναι ο μόνος τρόπος να γνωρίζετε την πραγματική προστιθέμενη επίδραση του journey.

Για να προσθέσετε μία, ανοίξτε τις Παραλλαγές και κάντε κλικ στην Προσθήκη ομάδας ελέγχου, και έπειτα δώστε της ένα μερίδιο (για παράδειγμα 10%). Δεν έχει έξοδο εναύσματος ούτε ροή - είναι καθαρή παρακράτηση, με σήμανση Σε παρακράτηση (Held out) στη λίστα παραλλαγών.

Στο παρασκήνιο, η ομάδα ελέγχου είναι απλώς μια παραλλαγή με τη σημαία control, οπότε ζει στον ίδιο επεξεργαστή Παραλλαγών με όλα τα υπόλοιπα - ένα μέρος για A/B/n και παρακρατήσεις. Όταν ένας χρήστης καταλήγει στην ομάδα ελέγχου, το Joryio εξακολουθεί:

• να τον μετρά στις συνολικές εισόδους του journey, και ξεχωριστά στις εισόδους ελέγχου, και
• να καταγράφει ένα συμβάν-δείκτη σκέλους ελέγχου για τον χρήστη, ώστε οι μεταγενέστερες αγορές του να μπορούν να αντιστοιχιστούν στο ίδιο παράθυρο μετατροπής με το κοινό που δέχτηκε μεταχείριση.

Αυτή η λογιστική είναι που κάνει την παρακράτηση μετρήσιμη αντί για απλώς παραλειμμένη.

Πώς εμφανίζονται οι αριθμοί

Ένα journey με παραλλαγές αναφέρει τις εισόδους του σε δύο μετρητές:

• Συνολικές είσοδοι - όλοι όσοι εισήλθαν στο journey, συμπεριλαμβανομένων των χρηστών που παρακρατήθηκαν στην ομάδα ελέγχου.
• Είσοδοι ελέγχου - το παρακρατημένο υποσύνολο, μετρημένο ξεχωριστά.

Το κοινό που δέχτηκε μεταχείριση είναι όλοι όσοι βρίσκονται στις συνολικές εισόδους και όχι στις εισόδους ελέγχου. Έχετέ το υπόψη όταν κοιτάτε τους αριθμούς αποστολών: ένα journey με ομάδα ελέγχου 10% θα δείχνει πάντα περίπου 10% λιγότερες αποστολές από εισόδους, εκ σχεδιασμού.

Ανάγνωση της ένδειξης uplift

Όταν ένα journey έχει ομάδα ελέγχου, η προβολή αναλυτικών στοιχείων του εμφανίζει μια ένδειξη uplift έναντι ελέγχου δίπλα στο ποσό εσόδων. Συγκρίνει τα έσοδα εντός παραθύρου ανά παραλήπτη για το κοινό που δέχτηκε μεταχείριση με την παρακρατημένη ομάδα ελέγχου και αναφέρει τη σχετική αύξηση - ή τα προστιθέμενα έσοδα όταν ο έλεγχος δεν αγόρασε τίποτα. Ένας αρνητικός αριθμός εμφανίζεται με ειλικρίνεια: σημαίνει ότι το journey απέδωσε χειρότερα από το να μη γίνει τίποτα για εκείνο το παράθυρο.

Πώς να τη διαβάσετε:

• Θετικό uplift - το journey παράγει έσοδα που δεν θα είχαν προκύψει από μόνα τους. Αυτός είναι ο αριθμός που αξίζει να αναφέρετε, όχι τα ακατέργαστα αποδιδόμενα έσοδα.
• Περίπου μηδέν - οι «μετατροπές» του journey είναι κυρίως αγορές που θα γίνονταν ούτως ή άλλως. Σκεφτείτε να αλλάξετε την προσφορά, τον χρονισμό ή το κοινό.
• Αρνητικό uplift - η ομάδα μεταχείρισης τα πήγε χειρότερα από την παρακράτηση. Σπάνιο, αλλά υπαρκτό (η υπερβολική αποστολή μηνυμάτων μπορεί να καταστείλει τις αγορές). Διερευνήστε πριν κλιμακώσετε.

Το uplift συμπληρώνεται μόλις υπάρξει πραγματική κίνηση: αποστολές μεταχείρισης, εισερχόμενοι ελέγχου και αγορές μέσα στο παράθυρο μετατροπής. Μέχρι να υπάρξουν και τα τρία, η ένδειξη μένει κενή αντί να δείχνει έναν παραπλανητικό πρώιμο αριθμό. Η αντιστοίχιση εσόδων χρησιμοποιεί την ίδια μηχανή απόδοσης εσόδων με τα υπόλοιπα αναλυτικά στοιχεία, ώστε τα σκέλη μεταχείρισης και ελέγχου να μετρώνται πανομοιότυπα.

Πότε να καταλήξετε

Αντισταθείτε στην παρόρμηση να ανακηρύξετε νικητή μετά το πρώτο καλό απόγευμα. Εδώ ισχύουν τα ίδια στατιστικά που διέπουν τις δοκιμές A/B των καμπανιών - δείτε τη Στατιστική σημαντικότητα για το πώς λειτουργούν στα Joryio τα διαστήματα εμπιστοσύνης και ο έλεγχος σημαντικότητας.

Πρακτικές οδηγίες:

• Τρέξτε τουλάχιστον έναν πλήρη επιχειρησιακό κύκλο (συνήθως μία εβδομάδα ή περισσότερο), ώστε η συμπεριφορά καθημερινών/σαββατοκύριακων να εκπροσωπείται σε κάθε σκέλος.
• Αποφασίστε τη μετρική πριν ξεκινήσετε - έσοδα ανά εισερχόμενο, ποσοστό μετατροπής ή ένα κύριο συμβάν μετατροπής - και κρίνετε μόνο βάσει αυτής.
• Μην «κρυφοκοιτάτε και σταματάτε». Ο καθημερινός έλεγχος είναι μια χαρά· το να σταματήσετε τη στιγμή που ένα σκέλος προηγείται οριακά σχεδόν εγγυάται ψευδείς νικητές. Περιμένετε μέχρι η διαφορά να σταθεροποιηθεί και οι αριθμοί εισερχομένων να είναι ουσιαστικοί.
• Καταλήξτε με επανεξισορρόπηση. Όταν έχετε ετυμηγορία, ανοίξτε τις Παραλλαγές και δρομολογήστε τους νέους εισερχόμενους στον νικητή - ορίστε τον στο 100% και αφαιρέστε τις ηττημένες παραλλαγές (ή κρατήστε μια μικρή ομάδα ελέγχου να τρέχει μόνιμα για να συνεχίσετε να μετράτε την προστιθέμενη αξία).

Παράδειγμα: δοκιμή ενός νέου journey καλωσορίσματος

Ας υποθέσουμε ότι το journey καλωσορίσματός σας μετατρέπει καλά, και θέλετε να μάθετε αν η προσθήκη ενός σημείου επαφής WhatsApp ξεπερνά την τρέχουσα αμιγώς email εκδοχή - και πόσα σας αποφέρει συνολικά το journey.

1. Ανοίξτε τις Παραλλαγές και κάντε Κλωνοποίηση της παραλλαγής της τρέχουσας ροής σας - έχετε πλέον Current (A) και Current (copy), καθεμία με ολόκληρη τη σειρά email συνδεδεμένη. Μετονομάστε το αντίγραφο σε Email+WhatsApp (B) και, στο canvas, αντικαταστήστε το email #2 του με ένα μήνυμα WhatsApp.
2. Πίσω στις Παραλλαγές, προσθέστε ομάδα ελέγχου και προσαρμόστε τον διαχωρισμό σε Current (A) 45%, Email+WhatsApp (B) 45%, έλεγχος 10%. Αποθηκεύστε.
3. Συνδέστε την έξοδο A του Εναύσματος με το πρώτο email της παλιάς σειράς, και την έξοδο B με τον πρώτο κόμβο του νέου συνδυασμού. Ο έλεγχος δεν χρειάζεται σύνδεση.
4. Ενεργοποιήστε και αφήστε το να τρέξει για δύο πλήρεις εβδομάδες.
5. Διαβάστε τα αποτελέσματα: η ένδειξη uplift σάς λέει τι αποφέρει το journey συνολικά σε σχέση με το να μη γίνει τίποτα· η σύγκριση των αριθμών μετατροπής και εσόδων των A και B (με τη Στατιστική σημαντικότητα κατά νου) σας λέει ποια παραλλαγή να κρατήσετε.
6. Καταλήξτε: ορίστε τον νικητή στο 90%, κρατήστε τον έλεγχο 10% αν θέλετε μόνιμη μέτρηση προστιθέμενης αξίας - ή ενσωματώστε τον ξανά και ορίστε τον νικητή στο 100%.

Συχνές ερωτήσεις

Μπορεί ένας χρήστης να καταλήξει σε δύο παραλλαγές του ίδιου journey; Όχι. Η ανάθεση είναι ντετερμινιστική ανά χρήστη ανά journey - ένας χρήστης, μία παραλλαγή, κάθε φορά.

Τι συμβαίνει αν αφαιρέσω την ομάδα ελέγχου στη μέση της δοκιμής; Η μέτρηση uplift υπολογίζεται μόνο όσο υπάρχει ρυθμισμένη παραλλαγή ελέγχου, οπότε η ένδειξη σταματά να ενημερώνεται για νέα δεδομένα. Οι εισερχόμενοι που έχουν ήδη παρακρατηθεί παραμένουν παρακρατημένοι για την εκτέλεση με την οποία εισήλθαν. Αν θέλετε μόνιμη μέτρηση προστιθέμενης αξίας, κρατήστε μια μικρή ομάδα ελέγχου να τρέχει επ' αόριστον.

Χρειάζομαι ομάδα ελέγχου για να τρέξω παραλλαγές; Όχι - οι παραλλαγές από μόνες τους σας δίνουν A/B/n. Η ομάδα ελέγχου απαιτείται μόνο αν θέλετε να μετρήσετε την προστιθέμενη επίδραση αντί απλώς να συγκρίνετε παραλλαγές μεταξύ τους.

Μπορώ να αλλάξω ονόματα και ποσοστά ενώ το journey είναι ζωντανό; Ναι, από το ίδιο παράθυρο Παραλλαγών. Οι χρήστες που βρίσκονται ήδη σε εξέλιξη κρατούν την παραλλαγή που τους ανατέθηκε· ο νέος διαχωρισμός ισχύει για τους νέους εισερχόμενους.

Εξατομικευμένες παραλλαγές (ML)

Αν θέλετε το σύστημα να μαθαίνει ποια παραλλαγή λειτουργεί καλύτερα ανά χρήστη αντί να ορίζετε εσείς τον διαχωρισμό, δείτε τις Εξατομικευμένες παραλλαγές στον κόμβο Πειράματος - εκπαιδεύει ένα ανά χρήστη μοντέλο μετά από μια φάση δοκιμής και δρομολογεί κάθε χρήστη στην προβλεπόμενη ως καλύτερη διαδρομή του, με holdout για τη μέτρηση της βελτίωσης του ML.