Οι ομάδες ελέγχου με απλά λόγια
Μια ομάδα ελέγχου είναι ένα κομμάτι του κοινού σας που αντιμετωπίζετε σκόπιμα διαφορετικά, ώστε να έχετε με τι να συγκρίνετε τα αποτελέσματά σας.
Χωρίς αυτήν ξέρετε μόνο τι συνέβη. Με αυτήν ξέρετε τι άλλαξε η δουλειά σας.
Αν στείλετε μια καμπάνια και αγοράσει το 4% των ανθρώπων, αυτό το 4% δεν είναι η αξία της καμπάνιας. Κάποιοι από αυτούς θα αγόραζαν έτσι κι αλλιώς. Η ομάδα ελέγχου είναι ο τρόπος να μάθετε πόσοι.
Ο ένας κανόνας
Υπάρχουν τέσσερις διαφορετικές ομάδες ελέγχου στο Joryio και συχνά θεωρείται ότι λειτουργούν το ίδιο. Δεν ισχύει - αλλά όλες ακολουθούν έναν κανόνα:
Μια ομάδα ελέγχου λαμβάνει ό,τι θα είχε συμβεί αν δεν είχατε κάνει το έξυπνο πράγμα.
Άρα το ερώτημα είναι πάντα: ποιο είναι το έξυπνο πράγμα εδώ και πώς μοιάζει το "χωρίς αυτό"; Η απάντηση διαφέρει, γι' αυτό και οι τέσσερις συμπεριφέρονται διαφορετικά.
Οι τέσσερις ομάδες ελέγχου
| Πού | Η ομάδα ελέγχου λαμβάνει | Απαντά στο |
|---|---|---|
| Καθολική ομάδα ελέγχου | Απολύτως τίποτα, μόνιμα | Αξίζει κάτι όλο το μάρκετινγκ μου; |
| Δοκιμή A/B καμπάνιας | Απολύτως τίποτα, γι' αυτή την αποστολή | Είναι καλύτερα να το στείλω ή να μην το στείλω; |
| Καμπάνια βελτιστοποιημένη με AI | Ένα τυχαία επιλεγμένο μήνυμα | Είναι το AI καλύτερο από το να διαλέγω στην τύχη; |
| Πείραμα σε ταξίδι (Εξατομικευμένο) | Τον δικό σας διαχωρισμό διαδρομών | Είναι η εξατομίκευση καλύτερη από τον δικό μου διαχωρισμό; |
Η ετικέτα στην εφαρμογή σας λέει ποια βλέπετε - καθεμία δηλώνει τι λαμβάνει αυτή η ομάδα.
Η πρώτη διαφέρει ως προς το είδος από τις άλλες τρεις: δεν συνδέεται με καμπάνια, ισχύει για ό,τι στέλνετε, και παραμένει τα ίδια άτομα για μήνες. Έχει τη δική της σελίδα - δείτε Καθολική ομάδα ελέγχου.
1. Δοκιμή A/B: "Έλεγχος - κανένα μήνυμα"
Τι είναι. Όταν φτιάχνετε μια δοκιμή A/B μπορείτε να προσθέσετε ομάδα ελέγχου δίπλα στις παραλλαγές σας. Οι άνθρωποι σε αυτήν δεν λαμβάνουν τίποτα.
Παράδειγμα. Στέλνετε email επανάκτησης σε 10.000 ανενεργούς πελάτες.
- Η παραλλαγή A πηγαίνει σε 4.500 άτομα
- Η παραλλαγή B πηγαίνει σε 4.500 άτομα
- Ο έλεγχος είναι 1.000 άτομα που δεν λαμβάνουν email
Δύο εβδομάδες μετά:
| Ομάδα | Αγόρασαν κάτι |
|---|---|
| Παραλλαγή A | 6,0% |
| Παραλλαγή B | 5,5% |
| Έλεγχος (χωρίς email) | 4,0% |
Τι μαθαίνετε. Η A νίκησε τη B - αλλά κυρίως, και οι δύο νίκησαν το "τίποτα". Η καμπάνια πρόσθεσε περίπου 2 ποσοστιαίες μονάδες. Χωρίς τον έλεγχο θα γιορτάζατε 6% μετατροπή χωρίς να ξέρετε ότι το 4% θα είχε συμβεί ούτως ή άλλως.
Πότε να τη χρησιμοποιήσετε. Όποτε θέλετε να δικαιολογήσετε ότι η καμπάνια αξίζει να υπάρχει - ιδίως σε επαναλαμβανόμενες αποστολές, προσφορές με έκπτωση και οτιδήποτε θα αγόραζαν ίσως έτσι κι αλλιώς.
Τι να περιμένετε. Οι βασικοί σας αριθμοί θα φαίνονται χειρότεροι με ομάδα ελέγχου, επειδή πλέον μετράτε την πραγματική σας συνεισφορά αντί για τη συνολική δραστηριότητα. Αυτός ακριβώς είναι ο σκοπός.
Το κόστος. Αυτά τα 1.000 άτομα δεν λαμβάνουν τίποτα. Αν το μήνυμα είναι πραγματικά χρήσιμο, αυτό είναι πραγματικό κόστος. Κρατήστε τον έλεγχο μικρό (5-10% είναι φυσιολογικό) και μην τον αφήνετε σε κάθε καμπάνια για πάντα.
2. Καμπάνια με AI: "Ομάδα ελέγχου % - λαμβάνει τυχαία επιλογή"
Τι είναι. Σε μια καμπάνια βελτιστοποιημένη με AI, το AI αποφασίζει ανά άτομο ποιο μήνυμα και ποιο κανάλι να σταλεί. Δεν υπάρχει διαχωρισμός που ορίσατε εσείς - το AI είναι όλη η υπόθεση.
Άρα το "χωρίς το έξυπνο πράγμα" δεν σημαίνει να μη σταλεί τίποτα. Σημαίνει να επιλεγεί κάτι στην τύχη. Οι άνθρωποι σε αυτή την ομάδα ελέγχου λαμβάνουν μήνυμα - απλώς τυχαία επιλεγμένο.
Παράδειγμα. Έχετε τέσσερις προσφορές και μια καμπάνια AI προς 20.000 άτομα, με ομάδα ελέγχου 10%.
- 18.000 άτομα λαμβάνουν την επιλογή του AI για αυτούς
- 2.000 άτομα λαμβάνουν μία από τις τέσσερις προσφορές στην τύχη
| Ομάδα | Αγόρασαν κάτι |
|---|---|
| Επιλογή του AI | 7,2% |
| Τυχαία επιλογή | 5,9% |
| Συνεισφορά του AI | +1,3 μονάδες |
Τι μαθαίνετε. Το AI αξίζει περίπου 1,3 μονάδες πάνω από την τυφλή επιλογή. Αν οι δύο αριθμοί ήταν ίδιοι, το AI δεν αποδίδει ακόμη - συνήθως επειδή δεν έχει δει αρκετά αποτελέσματα για να μάθει.
Πότε να περιμένετε διαφορά. Όχι αμέσως. Το AI μαθαίνει από αποτελέσματα, και αυτά αργούν - ώρες για κλικ, ημέρες για αγορές. Σε ένα εντελώς νέο σύνολο προσφορών ξεκινά ουσιαστικά τυχαία και βελτιώνεται καθώς έρχονται δεδομένα. Κρίνετέ το μετά από αρκετές αποστολές, όχι μετά την πρώτη.
Κάτι που εκπλήσσει. Κάποιος σε αυτή την ομάδα ελέγχου μπορεί να λάβει διαφορετικό μήνυμα σε κάθε αποστολή. Είναι σκόπιμο - "τυχαία επιλογή" σημαίνει να ρίχνετε το ζάρι κάθε φορά. Αν λάμβανε το ίδιο για πάντα, δεν θα συγκρίνατε με την τυχαία επιλογή αλλά με μία αυθαίρετη σταθερή λίστα.
3. Πείραμα σε ταξίδι, Εξατομικευμένο: "Ομάδα ελέγχου % - διατηρεί τον διαχωρισμό σας"
Τι είναι. Σε ένα ταξίδι μπορείτε να προσθέσετε κόμβο Πειράματος που μοιράζει τους ανθρώπους σε διαφορετικές διαδρομές - και εσείς ορίζετε τα ποσοστά. Αλλάζοντας σε Εξατομικευμένο, ένα μοντέλο αρχίζει να επιλέγει τη διαδρομή ανά άτομο, αγνοώντας τα ποσοστά σας.
Εδώ λοιπόν το "χωρίς το έξυπνο πράγμα" σημαίνει ο δικός σας διαχωρισμός. Οι άνθρωποι σε αυτή την ομάδα ελέγχου συνεχίζουν να λαμβάνουν τα ποσοστά που ορίσατε.
Παράδειγμα. Κόμβος πειράματος με τρεις διαδρομές και διαχωρισμό 40 / 30 / 30. Εξατομικευμένο ενεργό, ομάδα ελέγχου 20%.
- Το 80% λαμβάνει τη διαδρομή που επιλέγει το μοντέλο για τον καθένα
- Το 20% διατηρεί το απλό 40 / 30 / 30
| Ομάδα | Ολοκλήρωσαν το ταξίδι |
|---|---|
| Επιλογή του μοντέλου | 31% |
| Ο διαχωρισμός σας 40/30/30 | 26% |
| Τι πρόσθεσε η εξατομίκευση | +5 μονάδες |
Τι μαθαίνετε. Η εξατομίκευση νικά τον διαχωρισμό που θα τρέχατε έτσι κι αλλιώς. Αυτή ακριβώς είναι η απόφαση που σας ενδιαφέρει - όχι "είναι καλό το μοντέλο γενικά", αλλά "είναι καλύτερο από αυτό που ήδη έκανα".
Γιατί αυτή η ομάδα κρατά την ίδια διαδρομή κάθε φορά. Επειδή το κάνει και ο διαχωρισμός σας. Όποιον το 40/30/30 έβαλε στη διαδρομή έκπτωσης, εκεί μένει. Ο έλεγχος πρέπει να συμπεριφέρεται όπως ο διαχωρισμός σας, αλλιώς δεν συγκρίνετε με τον διαχωρισμό σας.
Πότε να περιμένετε διαφορά. Όπως και στην καμπάνια AI - το μοντέλο χρειάζεται αποτελέσματα. Ένα νέο πείραμα τρέχει αρχικά ως απλός διαχωρισμός και εξατομικεύει καθώς έρχονται δεδομένα. Ο κόμβος δείχνει σχετική σημείωση μέχρι τότε.
Τι είναι το holdback (και τι δεν είναι)
Θα δείτε επίσης τη λέξη holdback στις δοκιμές A/B. Δεν είναι ομάδα ελέγχου και δεν συγκρίνεται με τίποτα.
Όταν τρέχετε δοκιμή A/B με αυτόματη επιλογή νικητή:
- Η δοκιμή πηγαίνει σε μέρος της λίστας - ας πούμε 30%
- Το Joryio περιμένει και υπολογίζει ποια παραλλαγή κέρδισε
- Το νικητήριο μήνυμα πηγαίνει στο υπόλοιπο 70%
Αυτό το 70% είναι το holdback. Δεν εξαιρούνται από κάτι - περιμένουν την καλύτερη εκδοχή. Στο τέλος λαμβάνουν όλοι μήνυμα.
Γρήγορος τρόπος να τα ξεχωρίζετε: ο έλεγχος είναι ομάδα με την οποία συγκρίνετε. Το holdback είναι ομάδα στην οποία στέλνετε αργότερα.
Επιλογή μεγέθους
Μεγαλύτερη ομάδα ελέγχου = πιο αξιόπιστη απάντηση, λιγότερο κοινό που λαμβάνει την καλύτερη μεταχείριση. Η συνήθης ισορροπία:
| Μέγεθος κοινού | Προτεινόμενος έλεγχος |
|---|---|
| Κάτω από 5.000 | 15-20% - τα μικρά κοινά χρειάζονται μεγαλύτερο κομμάτι για ασφαλές συμπέρασμα |
| 5.000 - 50.000 | 10% |
| Πάνω από 50.000 | 5% |
Δύο πρακτικές προειδοποιήσεις:
- Πολύ μικρός και δεν μαθαίνετε τίποτα. Έλεγχος 2% σε λίστα 3.000 είναι 60 άτομα. Μία ή δύο αγορές αλλάζουν το αποτέλεσμα. Δείτε τη Στατιστική σημαντικότητα για το πώς αποφασίζει το Joryio ότι ένα αποτέλεσμα είναι πραγματικό.
- Μη συγκρίνετε ανάμεσα σε διαφορετικές δοκιμές. Μια ομάδα ελέγχου ανήκει στην καμπάνια ή στο πείραμα όπου ορίστηκε. Οι αριθμοί της μιας δεν είναι βάση για μια άλλη.
Συχνές ερωτήσεις
Ξέρουν τα μέλη της ομάδας ελέγχου ότι είναι σε αυτήν; Όχι. Απλώς δεν λαμβάνουν τίποτα (A/B) ή λαμβάνουν κανονικό μήνυμα επιλεγμένο με άλλον τρόπο (στις άλλες δύο περιπτώσεις).
Είναι τα ίδια άτομα κάθε φορά; Η συμμετοχή είναι σταθερή, ναι - και αυτό επιτρέπει να παρακολουθείτε την ίδια ομάδα διαχρονικά. Στην καμπάνια AI αλλάζει το μήνυμα που λαμβάνουν σε κάθε αποστολή, όχι το ποιοι είναι στην ομάδα.
Μπορώ να δω τα αποτελέσματα της ομάδας ελέγχου μόνα τους; Χρησιμεύουν κυρίως ως σύγκριση. Το "ο έλεγχος μετέτρεψε στο 4%" λέει λίγα - το "η καμπάνια ξεπέρασε τον έλεγχο κατά 2 μονάδες" είναι ο αριθμός που αξίζει να αναφερθεί.
Η ομάδα ελέγχου μου πάει καλύτερα από την καμπάνια. Τι κάνω; Πάρτε το σοβαρά - συμβαίνει και αξίζει να το ξέρετε. Ελέγξτε πρώτα ότι και οι δύο ομάδες είναι αρκετά μεγάλες ώστε η διαφορά να είναι πραγματική και όχι θόρυβος. Αν επιβεβαιωθεί, το μήνυμα όντως υποαποδίδει: κόπωση, λάθος κοινό ή λάθος προσφορά. Αυτό είναι εύρημα, όχι αποτυχία της δοκιμής.
Αν έχω και καθολική ομάδα ελέγχου, αθροίζονται τα ποσοστά; Όχι - εμφωλεύονται. Μια επαφή που εξαιρείται καθολικά αποκλείεται από την καμπάνια πριν κληρωθεί η ομάδα ελέγχου της, οπότε δεν μετριέται ποτέ δύο φορές. Με 10% καθολικό και 20% έλεγχο καμπάνιας, 1.000 επαφές χωρίζονται σε 100 καθολικές, 180 ελέγχου καμπάνιας (20% των υπόλοιπων 900) και 720 που λαμβάνουν την καμπάνια. Δηλαδή 280 δεν λαμβάνουν τίποτα, όχι 300. Δείτε Καθολική ομάδα ελέγχου.
Χρειάζομαι ομάδα ελέγχου σε κάθε καμπάνια; Όχι. Χρησιμοποιήστε την όταν αποφασίζετε κάτι: αν αξίζει η καμπάνια, αν αποδίδει το AI, αν η εξατομίκευση ξεπερνά τον διαχωρισμό σας. Σε συνηθισμένες αποστολές όπου ξέρετε ήδη την απάντηση, ο έλεγχος είναι απλώς κοινό στο οποίο δεν στείλατε.