דלג לתוכן הראשי

מודלי ML

עמוד ML Models מציג את מודלי למידת המכונה שמפעילים את התחזיות בסביבת העבודה שלכם - ומאפשר לבדוק את הסטטוס שלהם, לראות מתי אומנו לאחרונה ולהפעיל אימון ידנית.

נווטו אל Settings → ML Models בסרגל הצד.

המודלים​

בעמוד מופיעים שישה מודלים ברמת סביבת העבודה:

מודלמה הוא עושה
Send-Time Optimizationחוזה את השעה והיום הטובים ביותר לשליחת הודעות למעורבות מרבית
Personalized Pathsחוזה איזה מסלול ניסוי ימיר הכי טוב עבור כל משתמש
Churn Predictionמזהה משתמשים בסיכון להפוך ללא-פעילים
Channel Preferenceחוזה את ערוץ ההודעות המתאים ביותר לכל משתמש
Predicted CLVחוזה את ההוצאה הצפויה של כל לקוח ב-365 הימים הבאים, וגם את הסבירות שהוא עדיין פעיל (ערך חיי לקוח חזוי)

כל מודל מתאמן בנפרד לכל סביבת עבודה, על נתוני האירועים שלה בלבד - לא על נתונים משותפים של לקוחות אחרים.

קריאת כרטיס מודל​

כל כרטיס מציג:

  • Status - אחד מאלה:

    Statusמשמעות
    Not Trainedעדיין לא קיים מודל בסביבת העבודה
    Training...משימת אימון רצה כעת
    Trainedקיים מודל והוא משרת תחזיות
    Failedניסיון האימון האחרון נכשל; הכרטיס מציג את הודעת השגיאה

  • Version - גרסת המודל הנוכחית, מוצגת ברגע שקיים מודל.

  • Last Trained - זמן יחסי של האימון המוצלח האחרון, או Never.

  • Accuracy - מדד ההערכה של המודל מריצת האימון האחרונה, כשהוא זמין. במסלולים מותאמים אישית הוא נמדד על החמישית האחרונה של ההחלטות, שהמודל לא אומן עליהן, ולכן הוא משקף את הביצועים על החלטות חדשות ולא על אלה שמהן למד. הכרטיס מציג גם את ה-AUC על ה-holdout וכמה מסלולים נשמרו; מסלול שה-AUC שלו נמוך מהסף אינו בשימוש, והמסע חוזר עבורו לחלוקה הרגילה.

הסטטוסים מתרעננים אוטומטית כל 30 שניות כשהעמוד פתוח.

איך המספרים נמדדים​

מודל אף פעם לא נבחן על השורות שמהן למד. לפני האימון מפרישים חלק מהנתונים; המודל מתאמן על השאר, ואז מתבקש לחזות את החלק שלא ראה. המספרים בכרטיס מגיעים רק מהחלק שהופרש. אחרי המדידה המודל מאומן מחדש על הכול, כך שהמודל שמשרת תחזיות משתמש בכל הנתונים שלכם.

  • דיוק הוא שיעור האנשים שהופרשו שהמודל צדק לגביהם. 87% פירושו ש-87 מכל 100 אנשים שהופרשו סווגו לקבוצה הנכונה (למשל, ישתתק / יישאר פעיל).
  • AUC הוא ציון דירוג בין 0.5 ל-1. קחו באקראי אדם אחד שעשה את הפעולה ואחד שלא: AUC הוא באיזו תדירות המודל נותן לראשון ציון גבוה יותר. 0.5 הוא הטלת מטבע, 1.0 הוא סדר מושלם. הוא מוצג ליד הדיוק כי דיוק לבדו יכול להיראות טוב כשכמעט כולם שייכים לאותה קבוצה.
  • מסלולים שנשמרו (מסלולים מותאמים אישית) הוא כמה מסלולי ניסוי עברו את רף ה-0.55 ב-AUC. מסלול מתחת לרף לא בשימוש; המסע חוזר לחלוקה הרגילה שלו עבור אותו מסלול.

שני דברים שכדאי לזכור:

  • חיזוי נטישה חוזה את העתיד, לא את ההווה: הקלט שלו הוא מה שאדם עשה עד נקודת חיתוך לפני 30 יום, והתשובה היא האם השתתק ב-30 הימים שאחריה. מסלולים מותאמים אישית נמדדים על ההחלטות האחרונות ביותר, כך שהמבחן הוא "האם היה בוחר נכון בפעם האחרונה".
  • סביבת עבודה קטנה נותנת קבוצה מופרשת קטנה, ולכן המספר זז בכמה נקודות בין אימונים. התייחסו אליו כטווח, לא כציון קבוע.

ניתוב משופר וההודעה הטובה הבאה​

Joryio לומד מכל ההודעות שלכם יחד, לא הודעה-הודעה. זה מה שמאפשר להודעה חדשה לגמרי לקבל תחזית סבירה מהשליחה הראשונה, וזה מה שצומת החלטת AI משתמש בו כדי לנתב כל אדם. אתם לא בוחרים מודל ולא מאמנים דבר: הוא לומד לבד, בכל לילה, מהתוצאות שהבשילו.

ניתוב משופר בצמתי החלטת AI. קבוצת השוואה קטנה (אחד מכל חמישה) שומרת על הניתוב הישן, כך שהשיפור נמדד ולא מונח. הכרטיס מציג המרות לכל החלטה עבור הניתוב המשופר ועבור קבוצת ההשוואה, כל אחת עם טווח סביר, ואומר מתי הניתוב המשופר מוביל. עד שיבשילו מספיק החלטות הוא אומר "מוקדם מדי לקבוע".

ההודעה הטובה הבאה, מצב צל. כשלמסע יש צומת הודעה טובה הבאה, הכרטיס הזה מציג מה הצומת היה שולח לעומת מה שהמסע שלח בפועל: כמה פעמים הסכימו על הערוץ ועל התבנית, התבניות שנבחרו הכי הרבה, ורכישות בחלון כשהסכימו לעומת כשלא. זו בדיקת צנרת, לא תוצאה מבוקרת. ברגע שצומת עובר למצב שליחה, טבלה שנייה באותו כרטיס משווה את הזרוע שקיבלה את הבחירה לקבוצת הביקורת, עם טווח סביר לכל אחת והכרעת "ללא אובדן המרות". ראו צמתי ההודעה הטובה הבאה.

הודעות מושהות. בשלבי מסע שאפשרתם להם להמתין, Joryio משהה הודעה בעלת ערך נמוך כשהאדם קיבל זה עתה הודעה אחרת ושולח אותה מאוחר יותר או מוותר עליה; קבוצת השוואה תמיד שולחת. הכרטיס מציג רכישות לכל אדם עבור שתי הקבוצות עם טווח סביר ואומר אם ההשהיה עלתה משהו. ראו מושהה על ידי Joryio. הפסק בודק גם ביטולי מנוי ותלונות: הוא עובר רק כשהרכישות החזיקו מעמד והקבוצה המושהית לא ביטלה מנוי או התלוננה יותר משולי הסטייה הקטנים המותרים מעל קבוצת ההשוואה.

אם תרצו אי פעם להחזיר מסע או מרחב עבודה לניתוב הישן, פנו ל-Joryio: המתג הוא פעולת תמיכה, כך ששום דבר בצד שלכם לא יכול להשאיר מסע מוגדר למחצה.

המודלים מופעלים ככל שנצברים נתונים​

מודלים לא יכולים להתאמן על סביבת עבודה ריקה. כל מודל צריך מספיק היסטוריית אירועים - ומספיק גיוון בתוכה - לפני שהוא מפיק משהו:

  • אם אין מספיק נתונים, האימון נכשל עם הודעה בסגנון "Not enough data to train - continue using the platform to generate training data".
  • אם לנתונים חסר גיוון (למשל, חיזוי נטישה צריך גם משתמשים פעילים וגם לא-פעילים), האימון נכשל עם שגיאה מסבירה.

זה צפוי בסביבות עבודה חדשות. המשיכו לעקוב אחרי אירועים ולשלוח הודעות; המודלים מופעלים ומשתפרים ככל שנצברת תעבורה אמיתית. סטטוס Failed או Not Trained בתחילת הדרך אינו תקלה.

תדירות האימון​

ברגע שיש בסביבת העבודה פעילות אירועים, המודלים מתאמנים מחדש אוטומטית בלוח זמנים קבוע (כל השעות ב-UTC):

מודללוח זמנים
Personalized Pathsיומי ב-03:30
Predicted CLVיומי
Churn Predictionשבועי, יום שני ב-03:00
Send-Time Optimizationשבועי, יום שלישי ב-03:00
Channel Preferenceשבועי, יום רביעי ב-03:00

אחרי כל אימון מתוזמן, הציונים ברמת המשתמש מתרעננים כך שסגמנטים שנבנו עליהם נשארים עדכניים.

הריצות המתוזמנות מכסות סביבות עבודה עם פעילות אירועים ב-90 הימים האחרונים; סביבת עבודה רדומה מדולגת עד שאירועים זורמים שוב.

אימון ידני​

לא חייבים לחכות ללוח הזמנים. לחצו על Train Now בכל כרטיס ואשרו כדי להתחיל ריצת אימון מיידית - שימושי אחרי גל של נתונים חדשים, או לניסיון חוזר אחרי כישלון.

  • האימון רץ ברקע ועשוי לקחת כמה דקות.
  • הכפתור מושבת בזמן שהמודל כבר מתאמן.
  • אם האימון נכשל, הכרטיס מציג את השגיאה כדי שתוכלו להבחין בין בעיית נתונים (המתינו לעוד תעבורה) לבין משהו שכדאי לדווח עליו.

היכן התחזיות משמשות​

  • Send-Time Optimization - מפעיל את אופטימיזציית זמן השליחה בעת תזמון הודעות.
  • Personalized Paths - מניע את צומת ה-Experiment במסע במצב מותאם אישית, ובוחר את המסלול הטוב ביותר לכל משתמש. עד שהמודל מאומן, הניסוי חוזר לפיצול אקראי רגיל.
  • Churn Prediction, Engagement Scoring, Channel Preference - הציונים שלהם לכל משתמש זמינים כמסננים בסגמנטים (ציון מעורבות, סיכון נטישה, העדפת ערוץ), כך שאפשר למקד קהלים לפיהם ישירות.
  • Predicted CLV - חוזה את ההוצאה הצפויה של כל לקוח בשנה הקרובה; נחשף כמסננים בסגמנט מסחר אלקטרוני (סכום ודרגת CLV חזוי). ראו ניתוח RFM.

מודלי סבירות לאירוע ספציפי (למשל "סבירות לרכישה ב-30 יום") מוגדרים בנפרד - ראו אירועים חזויים.

פתרון תקלות​

  • הכול מציג Not Trained - נורמלי בסביבת עבודה חדשה. המודלים צריכים קודם תעבורת אירועים אמיתית; המתינו לריצות המתוזמנות או לחצו על Train Now ברגע שיש נתונים משמעותיים.
  • Failed עם שגיאת גיוון נתונים - המודל צריך דוגמאות מנוגדות (למשל, גם משתמשים מעורבים וגם לא-פעילים). זה נפתר מעצמו ככל שהתנהגות הקהל מתגוונת.
  • Failed to load model status - העמוד לא הצליח להגיע לשירות ה-ML; הסטטוסים המוצגים עשויים להיות לא עדכניים. רעננו את העמוד.

הערות​

  • צפייה בעמוד דורשת הרשאת גישה להגדרות בתפקיד שלכם.
  • המודלים נשמרים ומשרתים לכל סביבת עבודה בנפרד; מעבר בין סביבות עבודה מציג את סטטוסי המודלים של אותה סביבה.

קשור​