Στατιστική σημαντικότητα για δοκιμές A/B

Όταν μια καμπάνια έχει 2 ή περισσότερες παραλλαγές, το Joryio υπολογίζει αυτόματα αν οι διαφορές απόδοσης είναι στατιστικά σημαντικές - ώστε να ξέρετε αν μια παραλλαγή είναι πραγματικά καλύτερη και όχι απλώς τυχαία μπροστά.

Τι θα δείτε

Διαστήματα εμπιστοσύνης

Κάθε μετρική ποσοστού (Ποσοστό ανοίγματος, Ποσοστό κλικ) εμφανίζει ένα εύρος από κάτω:

Open Rate: 24.90%
[21.3% - 28.8%]

Αυτό σημαίνει ότι το πραγματικό ποσοστό είναι 95% πιθανό να βρίσκεται εντός αυτού του εύρους. Στενότερα εύρη = πιο αξιόπιστα δεδομένα.

Σήματα σημαντικότητας

Δίπλα σε κάθε ποσοστό θα δείτε ένα χρωματιστό σήμα:

• Πράσινο +12.5% - Η παραλλαγή είναι σημαντικά καλύτερη από τη γραμμή αναφοράς
• Κόκκινο -5.2% - Η παραλλαγή είναι σημαντικά χειρότερη από τη γραμμή αναφοράς
• Γκρι p=0.234 - Δεν υπάρχουν ακόμη αρκετές ενδείξεις (χρειάζονται περισσότερα δεδομένα)

Ένα αποτέλεσμα είναι «σημαντικό» όταν p < 0.05, δηλαδή υπάρχει λιγότερο από 5% πιθανότητα η διαφορά να οφείλεται στην τύχη.

Ετικέτες Προηγείται και Νικητής

• «Προηγείται» (μπλε ετικέτα) - Η παραλλαγή με το υψηλότερο ποσοστό στην κύρια μετρική
• «Νικητής» (πράσινη ετικέτα + εικονίδιο τροπαίου) - Ένας στατιστικά επιβεβαιωμένος νικητής που έχει ανακηρυχθεί επίσημα

Ρύθμιση της στατιστικής ανάλυσης

Διαμόρφωση δοκιμής A/B

Κατά τη δημιουργία ή επεξεργασία μιας καμπάνιας με 2+ παραλλαγές, μπορείτε να ρυθμίσετε την ανάλυση:

Ρύθμιση	Περιγραφή	Προεπιλογή
Κύρια μετρική	Ποια μετρική καθορίζει τον νικητή	Ποσοστό ανοίγματος (In-app: CTR)
Ελάχιστο μέγεθος δείγματος	Ελάχιστοι παραλήπτες ανά παραλλαγή πριν υπολογιστεί η σημαντικότητα	100
Αυτόματος νικητής	Αυτόματη ανακήρυξη νικητή όταν επιτευχθεί σημαντικότητα	Ανενεργό
Αυτόματη προώθηση	Μεταφορά του 100% της κίνησης στον νικητή μετά την ανακήρυξη	Ανενεργό

Διαθέσιμες κύριες μετρικές

Μετρική	Κατάλληλη για	Τι μετρά
Ανοίγματα (ποσοστό ανοίγματος)	Δοκιμές γραμμής θέματος	Μοναδικά ανθρώπινα ανοίγματα / παραδόσεις
Κλικ (ποσοστό κλικ)	Δοκιμές περιεχομένου και CTA	Μοναδικά ανθρώπινα κλικ / παραδόσεις
Μετατροπή (ποσοστό μετατροπών)	Συνολική επίδραση	Μετατροπές του κύριου συμβάντος μετατροπής της καμπάνιας (Παρακολούθηση μετατροπών) / παραλήπτες
Έσοδα (ανά παραλήπτη)	Αξία παραγγελίας / AOV	Άθροισμα ποσών αγορών (purchase / Order Completed) στο παράθυρο απόδοσης / παραλήπτες
CTR	Μηνύματα in-app	Κλικ / εμφανίσεις

Η Μετατροπή χρησιμοποιεί το κύριο συμβάν μετατροπής της καμπάνιας από την Παρακολούθηση μετατροπών (ορίστε ένα εκεί, αλλιώς ο νικητής δεν μπορεί να βαθμολογηθεί βάσει μετατροπών). Τα Έσοδα είναι συνεχής μετρική σταθμισμένη με ποσά - δεν έχει έλεγχο σημαντικότητας, οπότε ένας νικητής εσόδων ανακηρύσσεται με βάση τα υψηλότερα έσοδα ανά παραλήπτη στη λήξη της προθεσμίας (δεν σταματά νωρίτερα).

Παράδειγμα διαμόρφωσης μέσω API

{
  "abTestConfig": {
    "primaryMetric": "openRate",
    "minSampleSizePerVariant": 200,
    "autoWinnerEnabled": true,
    "autoPromoteEnabled": false
  }
}

Πώς λειτουργεί η γραμμή αναφοράς

Κάθε υπολογισμός σημαντικότητας συγκρίνει μια παραλλαγή με μια γραμμή αναφοράς:

1. Ομάδα ελέγχου - Αν έχετε παραλλαγή ομάδας ελέγχου (χωρίς αποστολή μηνύματος), χρησιμοποιείται ως γραμμή αναφοράς
2. Καλύτερη επίδοση - Αν δεν υπάρχει ομάδα ελέγχου, χρησιμοποιείται η παραλλαγή με το υψηλότερο ποσοστό στην κύρια μετρική

Όλες οι άλλες παραλλαγές εμφανίζουν τη σχετική διαφορά τους σε σύγκριση με αυτή τη γραμμή αναφοράς.

Αυτόματη ανίχνευση νικητή

Όταν το autoWinnerEnabled είναι ενεργοποιημένο:

1. Μια εργασία παρασκηνίου ελέγχει κάθε 5 λεπτά
2. Επαληθεύει ότι όλες οι παραλλαγές έχουν φτάσει το ελάχιστο μέγεθος δείγματος
3. Αν μια παραλλαγή έχει p < 0.05 στην κύρια μετρική → ανακηρύσσεται νικητής
4. Αν το autoPromoteEnabled είναι επίσης ενεργό → η κίνηση μεταφέρεται 100% στον νικητή

Τι συμβαίνει μετά την ανάδειξη νικητή

• Ένα πράσινο banner εμφανίζεται στην κορυφή του πίνακα σύγκρισης παραλλαγών
• Η νικήτρια παραλλαγή λαμβάνει εικονίδιο τροπαίου και ετικέτα «Νικητής»
• Τα αρχικά βάρη κίνησης αποθηκεύονται (για επαναφορά αν χρειαστεί)
• Αν η αυτόματη προώθηση είναι ενεργή, όλοι οι νέοι παραλήπτες λαμβάνουν τη νικήτρια παραλλαγή

Όταν δεν βρίσκεται νικητής

Αν οι παραλλαγές αποδίδουν παρόμοια και δεν προκύπτει σημαντική διαφορά:

• Η ετικέτα «Προηγείται» δείχνει ποια παραλλαγή είναι προς το παρόν μπροστά
• Τα γκρι σήματα p=... δείχνουν πόσο κοντά στη σημαντικότητα βρίσκεται κάθε σύγκριση
• Σκεφτείτε να εκτελέσετε τη δοκιμή για περισσότερο χρόνο ή να αυξήσετε το μέγεθος του δείγματος

Κατανόηση των αριθμών

Διάστημα εμπιστοσύνης (CI)

Τι σημαίνει: «Είμαστε 95% βέβαιοι ότι το πραγματικό ποσοστό βρίσκεται εντός αυτού του εύρους.»

Example:
Variant A: Open Rate 20.0% [16.7% - 23.7%]
Variant B: Open Rate 24.9% [21.3% - 28.8%]

Εδώ τα CI επικαλύπτονται, υποδηλώνοντας ότι η διαφορά μπορεί να μην είναι σημαντική. Όταν τα CI δεν επικαλύπτονται, η διαφορά είναι σχεδόν σίγουρα σημαντική.

Τιμή p

Τι σημαίνει: «Η πιθανότητα να δούμε τόσο μεγάλη διαφορά (ή μεγαλύτερη) από καθαρή τύχη.»

• p = 0.03 → Μόνο 3% πιθανότητα να είναι τυχαίο → Σημαντικό (πράσινο/κόκκινο σήμα)
• p = 0.23 → 23% πιθανότητα να είναι τυχαίο → Μη σημαντικό (γκρι σήμα)
• p = 0.001 → Πολύ ισχυρές ενδείξεις → Ιδιαίτερα σημαντικό

Σχετική διαφορά

Τι σημαίνει: «Πόσο καλύτερη ή χειρότερη είναι αυτή η παραλλαγή σε σύγκριση με τη γραμμή αναφοράς, ως ποσοστό.»

Baseline: 20% open rate
Variant B: 25% open rate
Relative difference: +25% (not +5 percentage points)

Banner συλλογής δεδομένων

Όταν οι παραλλαγές δεν έχουν φτάσει ακόμη το ελάχιστο μέγεθος δείγματος, θα δείτε ένα κίτρινο banner:

«Συλλογή δεδομένων - κάθε παραλλαγή χρειάζεται τουλάχιστον 100 δείγματα πριν υπολογιστεί η σημαντικότητα.»

Αυτό σας προστατεύει από το να βγάλετε συμπεράσματα από υπερβολικά λίγα δεδομένα.

Μετρικές ανά κανάλι

Κανάλι	Προεπιλεγμένη μετρική	Διαθέσιμες
Email	Ποσοστό ανοίγματος	Ανοίγματα, Κλικ, Μετατροπή, Έσοδα
SMS	Ποσοστό ανοίγματος	Ανοίγματα, Κλικ, Μετατροπή, Έσοδα
Push	Ποσοστό ανοίγματος	Ανοίγματα, Κλικ, Μετατροπή, Έσοδα
In-app	CTR	CTR, Μετατροπή
Webhook	Ποσοστό κλικ	Κλικ, Μετατροπή
WhatsApp	Ποσοστό ανοίγματος	Ανοίγματα, Κλικ, Μετατροπή, Έσοδα

Εξατομικευμένη παραλλαγή (έναντι Νικήτριας παραλλαγής)

Οι δοκιμές A/B προσφέρουν δύο λειτουργίες, που επιλέγουν και οι δύο από τους ίδιους στόχους - Ανοίγματα · Κλικ · Μετατροπή · Έσοδα:

• Νικήτρια παραλλαγή - μέτρησε και μετά προώθησε. Στέλνει όλες τις παραλλαγές, τις βαθμολογεί στην παραπάνω μετρική και προωθεί τη μία καλύτερη σε όλους τους υπόλοιπους (όλη αυτή η σελίδα).
• Εξατομικευμένη παραλλαγή - πρόβλεψη ανά άτομο. Για κάθε παραλήπτη, το μοντέλο ML επιλέγει την παραλλαγή στην οποία το συγκεκριμένο άτομο είναι πιο πιθανό να ανταποκριθεί για τον επιλεγμένο σας στόχο - κανένας μοναδικός νικητής. Μαθαίνει από τα αποτελέσματα με τον χρόνο (χρησιμοποιήστε την Προθέρμανση (Warm up) για ολοκαίνουργιες παραλλαγές), και η Μετατροπή χρησιμοποιεί το ίδιο κύριο συμβάν μετατροπής της καμπάνιας. Τα Ανοίγματα και τα Κλικ είναι διακριτοί στόχοι· τα «Ανοίγματα» είναι ασθενέστερο σήμα, καθώς το Apple Mail Privacy Protection διογκώνει τα ποσοστά ανοίγματος.

Συμβουλές για αξιόπιστα αποτελέσματα

Οδηγίες μεγέθους δείγματος

Τι δοκιμάζετε	Ελάχιστο ανά παραλλαγή
Ποσοστό ανοίγματος (μεγάλη επίδραση)	100-500
Ποσοστό κλικ	500-1.000
Ποσοστό μετατροπών	1.000-5.000
Μικρές διαφορές (1-2%)	5.000+

Συνηθισμένες παγίδες

• Πρόωρες ματιές - Μην ελέγχετε τα αποτελέσματα κάθε ώρα και σταματάτε μόλις δείτε πράσινο. Αφήστε τη δοκιμή να φτάσει το ελάχιστο μέγεθος δείγματος.
• Υπερβολικά πολλές παραλλαγές - 2-3 παραλλαγές είναι το ιδανικό. Περισσότερες παραλλαγές = περισσότερα δεδομένα ανά παραλλαγή.
• Δοκιμές σε ασυνήθιστες περιόδους - Αποφύγετε αργίες, διακοπές λειτουργίας ή άλλες ασυνήθιστες περιόδους.
• Αγνόηση του CI - Ένα «σημαντικό» αποτέλεσμα με πολύ ευρύ CI μπορεί να μην έχει πρακτική σημασία.

Επόμενα βήματα

• Βασικές αρχές δοκιμών A/B - Πώς να δημιουργείτε και να εκτελείτε δοκιμές A/B
• Δημιουργία καμπανιών - Οδηγός ρύθμισης καμπανιών
• Αναλυτικά στοιχεία καμπανιών - Κατανόηση των αποτελεσμάτων σας