ML Models
Η σελίδα ML Models εμφανίζει τα μοντέλα machine learning που τροφοδοτούν προβλέψεις σε όλο το workspace σας - και σάς επιτρέπει να ελέγχετε την κατάστασή τους, πότε εκπαιδεύτηκαν τελευταία και να ενεργοποιείτε εκπαίδευση μη αυτόματα.
Μεταβείτε στις Ρυθμίσεις → ML Models από την πλαϊνή γραμμή.
Τα μοντέλα
Εμφανίζονται έξι μοντέλα επιπέδου workspace:
| Μοντέλο | Τι κάνει |
|---|---|
| Send-Time Optimization | Προβλέπει την καλύτερη ώρα και ημέρα αποστολής μηνυμάτων για μέγιστο engagement |
| Personalized Paths | Προβλέπει ποια διαδρομή experiment θα μετατρέψει καλύτερα για κάθε χρήστη |
| Churn Prediction | Εντοπίζει χρήστες που κινδυνεύουν να γίνουν ανενεργοί |
| Channel Preference | Προβλέπει το καλύτερο κανάλι messaging για κάθε χρήστη |
| Predicted CLV | Προβλέπει την αναμενόμενη δαπάνη κάθε πελάτη τις επόμενες 365 ημέρες, καθώς και την πιθανότητα να παραμένει ενεργός (predicted customer lifetime value) |
Κάθε μοντέλο εκπαιδεύεται ανά workspace, στα δικά σας δεδομένα συμβάντων workspace - όχι σε συγκεντρωμένα δεδομένα άλλων πελατών.
Ανάγνωση κάρτας μοντέλου
Κάθε κάρτα εμφανίζει:
-
Status - ένα από:
Κατάσταση Σημασία Not Trained Δεν υπάρχει ακόμη μοντέλο για αυτό το workspace Training... Εκτελείται αυτή τη στιγμή job εκπαίδευσης Trained Υπάρχει μοντέλο που εξυπηρετεί προβλέψεις Failed Η τελευταία προσπάθεια εκπαίδευσης απέτυχε· η κάρτα εμφανίζει μήνυμα σφάλματος -
Version - η τρέχουσα έκδοση μοντέλου, εμφανίζεται όταν υπάρχει μοντέλο.
-
Last Trained - σχετικός χρόνος τελευταίας επιτυχημένης εκπαίδευσης ή Never.
-
Accuracy - το metric αξιολόγησης μοντέλου από την τελευταία εκπαίδευση, όταν είναι διαθέσιμο. Για τα Personalized Paths μετριέται στο πιο πρόσφατο ένα πέμπτο των αποφάσεων, στο οποίο το μοντέλο δεν εκπαιδεύτηκε, ώστε να δείχνει την απόδοση σε νέες αποφάσεις και όχι σε αυτές από τις οποίες έμαθε. Η κάρτα δείχνει επίσης το AUC στο holdout και πόσες διαδρομές κρατήθηκαν· μια διαδρομή με AUC κάτω από το όριο δεν χρησιμοποιείται και το journey επιστρέφει γι' αυτήν στον απλό διαχωρισμό.
Οι καταστάσεις ανανεώνονται αυτόματα κάθε 30 δευτερόλεπτα όσο η σελίδα είναι ανοιχτή.
Πώς μετριούνται οι αριθμοί
Ένα μοντέλο δεν βαθμολογείται ποτέ στις γραμμές από τις οποίες έμαθε. Πριν την εκπαίδευση, ένα μέρος των δεδομένων κρατιέται στην άκρη· το μοντέλο εκπαιδεύεται στα υπόλοιπα και μετά του ζητείται να προβλέψει το μέρος που δεν έχει δει. Τα νούμερα στην κάρτα προέρχονται μόνο από αυτό το κρατημένο μέρος. Μετά τη μέτρηση, το μοντέλο επανεκπαιδεύεται σε όλα, ώστε το μοντέλο που εξυπηρετεί προβλέψεις να χρησιμοποιεί όλα τα δεδομένα σας.
- Ακρίβεια είναι το ποσοστό των κρατημένων ατόμων για τα οποία το μοντέλο είχε δίκιο. 87% σημαίνει ότι 87 στα 100 κρατημένα άτομα τοποθετήθηκαν στη σωστή ομάδα (π.χ. θα σιωπήσει / θα παραμείνει ενεργός).
- AUC είναι μια βαθμολογία κατάταξης από 0,5 έως 1. Πάρτε τυχαία ένα άτομο που έκανε την ενέργεια και ένα που δεν την έκανε: το AUC είναι πόσο συχνά το μοντέλο βαθμολογεί το πρώτο υψηλότερα. Το 0,5 είναι κορώνα-γράμματα, το 1,0 είναι τέλεια σειρά. Εμφανίζεται δίπλα στην ακρίβεια επειδή η ακρίβεια μόνη της μπορεί να φαίνεται καλή όταν σχεδόν όλοι ανήκουν στην ίδια ομάδα.
- Διαδρομές που κρατήθηκαν (Εξατομικευμένες διαδρομές) είναι πόσες διαδρομές πειράματος πέρασαν το κατώφλι 0,55 AUC. Μια διαδρομή κάτω από αυτό δεν χρησιμοποιείται· η διαδρομή πελάτη επιστρέφει στον απλό διαχωρισμό της για εκείνη τη διαδρομή.
Δύο πράγματα να θυμάστε:
- Η Πρόβλεψη αποχώρησης προβλέπει το μέλλον, όχι το παρόν: οι είσοδοί της είναι τι είχε κάνει ένα άτομο μέχρι ένα σημείο αποκοπής 30 ημέρες πριν, και η απάντηση είναι αν σιώπησε στις 30 ημέρες μετά από αυτό. Οι Εξατομικευμένες διαδρομές μετριούνται στις πιο πρόσφατες αποφάσεις τους, οπότε το τεστ είναι «θα είχε επιλέξει σωστά την τελευταία φορά».
- Ένας μικρός χώρος εργασίας δίνει ένα μικρό κρατημένο σύνολο, οπότε το νούμερο μετακινείται κατά λίγες μονάδες μεταξύ επανεκπαιδεύσεων. Δείτε το ως εύρος, όχι ως σταθερό βαθμό.
Βελτιωμένη δρομολόγηση και Επόμενο καλύτερο μήνυμα
Το Joryio μαθαίνει από όλα τα μηνύματά σας μαζί, όχι ένα-ένα. Αυτό επιτρέπει σε ένα ολοκαίνουργιο μήνυμα να πάρει λογική πρόβλεψη από την πρώτη αποστολή, και αυτό χρησιμοποιεί ο κόμβος Απόφασης AI για να δρομολογεί κάθε άτομο. Δεν επιλέγετε μοντέλο ούτε εκπαιδεύετε τίποτα: μαθαίνει μόνο του, κάθε νύχτα, από τα ώριμα αποτελέσματά σας.
Βελτιωμένη δρομολόγηση στους κόμβους Απόφασης AI. Μια μικρή ομάδα σύγκρισης (ένα άτομο στα πέντε) κρατά την παλιά δρομολόγηση, ώστε η βελτίωση να μετριέται και όχι να υποτίθεται. Η κάρτα δείχνει μετατροπές ανά απόφαση για τη βελτιωμένη δρομολόγηση και για την ομάδα σύγκρισης, με πιθανό εύρος η καθεμία, και λέει πότε η βελτιωμένη δρομολόγηση προηγείται. Μέχρι να ωριμάσουν αρκετές αποφάσεις λέει «πολύ νωρίς για συμπέρασμα».
Επόμενο καλύτερο μήνυμα, λειτουργία σκιάς. Όταν μια διαδρομή έχει κόμβο Επόμενου καλύτερου μηνύματος, η κάρτα δείχνει τι θα έστελνε ο κόμβος έναντι αυτού που έστειλε πράγματι η διαδρομή: πόσο συχνά συμφώνησαν στο κανάλι και στο πρότυπο, τα πιο επιλεγμένα πρότυπα, και αγορές στο παράθυρο όταν συμφώνησαν έναντι όταν όχι. Είναι έλεγχος υποδομής, όχι ελεγχόμενο αποτέλεσμα. Μόλις ένας κόμβος περάσει σε λειτουργία αποστολής, ένας δεύτερος πίνακας στην ίδια κάρτα συγκρίνει το σκέλος που έλαβε την επιλογή με την ομάδα ελέγχου, με πιθανό εύρος το καθένα και την ετυμηγορία «χωρίς απώλεια μετατροπών». Δείτε Κόμβοι Επόμενου καλύτερου μηνύματος.
Κρατημένα μηνύματα. Σε βήματα διαδρομής που επιτρέψατε να περιμένουν, το Joryio κρατά ένα μήνυμα χαμηλής αξίας όταν το άτομο μόλις έλαβε άλλο και το στέλνει αργότερα ή το παραλείπει· μια ομάδα σύγκρισης στέλνει πάντα. Η κάρτα δείχνει αγορές ανά άτομο για τις δύο ομάδες με πιθανό εύρος και λέει αν το κράτημα κόστισε κάτι. Δείτε Κρατήθηκε από το Joryio. Η ετυμηγορία παρακολουθεί και τις απεγγραφές και τα παράπονα: περνά μόνο όταν οι αγορές κράτησαν και η ομάδα που κρατήθηκε δεν απεγγράφηκε ή παραπονέθηκε περισσότερο από ένα μικρό επιτρεπόμενο περιθώριο πάνω από την ομάδα σύγκρισης.
Αν θελήσετε ποτέ μια διαδρομή ή έναν χώρο εργασίας πίσω στην παλιά δρομολόγηση, ζητήστε το από το Joryio: ο διακόπτης είναι ενέργεια υποστήριξης, ώστε τίποτα από την πλευρά σας να μην αφήνει μια διαδρομή μισο-ρυθμισμένη.
Τα μοντέλα ενεργοποιούνται καθώς συσσωρεύονται δεδομένα
Τα μοντέλα δεν μπορούν να εκπαιδευτούν σε άδειο workspace. Κάθε μοντέλο χρειάζεται αρκετό ιστορικό συμβάντων - και αρκετή ποικιλία σε αυτό - πριν παράξει κάτι:
- Αν δεν υπάρχουν αρκετά δεδομένα, η εκπαίδευση αποτυγχάνει με μήνυμα όπως «Not enough data to train - continue using the platform to generate training data.»
- Αν τα δεδομένα δεν έχουν ποικιλία (π.χ. το churn prediction χρειάζεται και ενεργούς και ανενεργούς χρήστες), η εκπαίδευση αποτυγχάνει με επεξηγηματικό σφάλμα.
Αυτό είναι αναμενόμενο για νέα workspaces. Συνεχίστε την παρακολούθηση συμβάντων και την αποστολή μηνυμάτων· τα μοντέλα ενεργοποιούνται και βελτιώνονται καθώς συσσωρεύεται πραγματική κίνηση. Κατάσταση Failed ή Not Trained νωρίς δεν είναι ελάττωμα.
Συχνότητα εκπαίδευσης
Μόλις το workspace έχει δραστηριότητα συμβάντων, τα μοντέλα επανεκπαιδεύονται αυτόματα σε σταθερό πρόγραμμα (όλες οι ώρες UTC):
| Μοντέλο | Πρόγραμμα |
|---|---|
| Personalized Paths | Καθημερινά στις 03:30 |
| Predicted CLV | Καθημερινά |
| Churn Prediction | Εβδομαδιαία, Δευτέρα στις 03:00 |
| Send-Time Optimization | Εβδομαδιαία, Τρίτη στις 03:00 |
| Channel Preference | Εβδομαδιαία, Τετάρτη στις 03:00 |
Μετά από κάθε προγραμματισμένη επανεκπαίδευση, τα scores επιπέδου χρήστη ανανεώνονται ώστε τα τμήματα που βασίζονται σε αυτά να παραμένουν ενημερωμένα.
Οι προγραμματισμένες εκτελέσεις καλύπτουν workspaces με δραστηριότητα συμβάντων τις τελευταίες 90 ημέρες· αδρανές workspace παραλείπεται μέχρι να αρχίσουν να ρέουν ξανά συμβάντα.
Μη αυτόματη εκπαίδευση
Δεν χρειάζεται να περιμένετε το πρόγραμμα. Επιλέξτε Train Now σε οποιαδήποτε κάρτα και επιβεβαιώστε για άμεση έναρξη εκπαίδευσης - χρήσιμο μετά από έκρηξη νέων δεδομένων ή για επανάληψη μετά από αποτυχία.
- Η εκπαίδευση εκτελείται στο παρασκήνιο και μπορεί να πάρει λίγα λεπτά.
- Το κουμπί απενεργοποιείται όσο αυτό το μοντέλο εκπαιδεύεται ήδη.
- Αν αποτύχει η εκπαίδευση, η κάρτα εμφανίζει το σφάλμα ώστε να ξέρετε αν είναι πρόβλημα δεδομένων (περιμένετε περισσότερη κίνηση) ή κάτι προς αναφορά.
Πού χρησιμοποιούνται οι προβλέψεις
- Send-Time Optimization - τροφοδοτεί βελτιστοποίηση χρόνου αποστολής κατά τον προγραμματισμό μηνυμάτων.
- Personalized Paths - οδηγεί τον κόμβο Experiment journey σε personalized mode, επιλέγοντας την καλύτερη διαδρομή ανά χρήστη. Μέχρι να εκπαιδευτεί το μοντέλο, το experiment επιστρέφει σε απλό random split.
- Churn Prediction, Engagement Scoring, Channel Preference - τα scores ανά χρήστη είναι διαθέσιμα ως φίλτρα τμημάτων (engagement score, churn risk, channel preference), ώστε να στοχεύετε κοινά απευθείας με αυτά.
- Predicted CLV - προβλέπει την πιθανή δαπάνη κάθε πελάτη τον επόμενο χρόνο· εκτίθεται ως e-commerce segment filters (Predicted CLV amount και Predicted CLV tier). Δείτε RFM Analysis.
Event-specific likelihood models (π.χ. «πιθανό να αγοράσει σε 30 ημέρες») ρυθμίζονται ξεχωριστά - δείτε Predictive Events.
Αντιμετώπιση προβλημάτων
- Όλα λένε Not Trained - φυσιολογικό για νέο workspace. Τα μοντέλα χρειάζονται πρώτα πραγματική κίνηση συμβάντων· περιμένετε τις προγραμματισμένες εκτελέσεις ή επιλέξτε Train Now όταν έχετε ουσιαστικά δεδομένα.
- Απέτυχε με σφάλμα ποικιλίας δεδομένων - το μοντέλο χρειάζεται αντιθετικά παραδείγματα (π.χ. και engaged και inactive χρήστες). Αυτό επιλύεται καθώς διαφοροποιείται η συμπεριφορά του κοινού.
- Αποτυχία φόρτωσης κατάστασης μοντέλου - η σελίδα δεν μπόρεσε να φτάσει την υπηρεσία ML· οι εμφανιζόμενες καταστάσεις ίσως είναι παρωχημένες. Ανανεώστε τη σελίδα.
Σημειώσεις
- Η προβολή αυτής της σελίδας απαιτεί πρόσβαση ρυθμίσεων στον ρόλο σας.
- Τα μοντέλα αποθηκεύονται και εξυπηρετούνται ανά workspace· η αλλαγή workspace εμφανίζει τις καταστάσεις μοντέλων αυτού του workspace.
Σχετικά
- Predictive Events - Εκπαιδεύστε likelihood models για συγκεκριμένα συμβάντα
- Δημιουργία τμημάτων - Χρησιμοποιήστε model scores σε φίλτρα τμημάτων