העיקרון של בדיקות A/B הוא פשוט:
השווה שתי גרסאות שונות (או יותר) של משהו כדי לראות איזו מהן מתפקדת טוב יותר ולאחר מכן לפרוס את המנצחת לכל המשתמשים לקבלת החוויה הכוללת האופטימלית ביותר.
הפרקטיקה של צוותי A/B ו-CRO הייתה אפוא להשקיע משמעותית בהשקת כל מיני ניסויים כדי לשפר תחומים וחוויות שונים באתר, באפליקציה המקורית, בדוא"ל או בכל ערוץ דיגיטלי אחר, ולאחר מכן לבצע אופטימיזציה מתמדת שלהם כדי להניע עלייה הדרגתית בהמרות ובמדדי KPI ספציפיים עם הזמן.
עם זאת, אלא אם כן חברה מייצרת המון תנועה ויש לה נוף דיגיטלי עצום שממנו ניתן להתנסות, ייתכן שתגיע נקודה של תשואות פוחתות שבה התפוקה של הניסויים (לא משנה כמה בדיקות או כמה גדול ומתוחכם הניסוי) תגיע לתפוקה מקסימלית מבחינת הקלט של צוותים אלה.
זה קשור במידה רבה לעובדה שהגישה הקלאסית לבדיקות A/B מציעה תצוגה בינארית של העדפות המבקרים ולעתים קרובות נכשלת בללכוד את מלוא מגוון הגורמים וההתנהגויות המגדירים מי הם כפרטים.
יתר על כן, מבחני A/B מניבים תוצאות כלליות המבוססות על העדפות הרוב של פלח שוק. ובעוד שמותג עשוי לגלות שחוויית משתמש מסוימת מניבה בממוצע יותר הכנסות, פריסתה לכל המשתמשים תהיה עוול לחלק משמעותי מהצרכנים בעלי העדפות שונות.
הרשו לי להמחיש זאת באמצעות כמה דוגמאות:
אם השווי הנקי הממוצע שלי ושל וורן באפט היה 117.3 מיליארד דולר, האם יהיה הגיוני להמליץ לנו על אותם מוצרים?
כנראה שלא.
או מה דעתכם על קמעונאי שמציע מוצרים לגברים ולנשים כאחד, שמחליט להריץ מבחן A/B קלאסי בדף הבית שלו כדי לזהות את גרסת הבאנר הפותח בעלת הביצועים הגבוהים ביותר, אבל מכיוון ש-70% מהקהל שלו הן נשים, גרסת הנשים עולה על זו של הגברים.
מבחן זה היה מציע להחיל את דגל גיבורת הנשים על כלל האוכלוסייה, אך זו בוודאי לא תהיה ההחלטה הנכונה.
במילים פשוטות:
- ממוצעים לעיתים קרובות מטעים כאשר משתמשים בהם להשוואת קבוצות משתמשים שונות
- שינויי הווריאציה בעלי הביצועים הטובים ביותר עבור כל פלח לקוחות ומשתמש
- התוצאות יכולות להיות מושפעות גם מגורמים הקשריים כמו גיאוגרפיה, מזג אוויר ועוד.
אין פירוש הדבר, כמובן, שאין זמן ומקום למינוף תוצאות כלליות יותר. לדוגמה, אם אתם בודקים עיצוב חדש של אתר אינטרנט או אפליקציה, הגיוני לשאוף לממשק משתמש עקבי אחד שעובד בצורה הטובה ביותר בממוצע לעומת עשרות, מאות או אפילו אלפי וריאציות של ממשק משתמש עבור משתמשים שונים.
עם זאת, הימים של נקיטת גישת "המנצח לוקח הכל" לעיצוב העמוד, המסרים, התוכן, ההמלצות, ההצעות ואלמנטים יצירתיים אחרים חלפו - וזה בסדר כי זה אומר שלא יישאר עוד כסף על השולחן מהחמצת הזדמנויות התאמה אישית הקשורות לאי אספקת הגרסה הטובה ביותר לכל משתמש בנפרד.