Η προϋπόθεση των δοκιμών A/B είναι απλή:
Συγκρίνετε δύο (ή περισσότερες) διαφορετικές εκδόσεις κάποιου προϊόντος για να δείτε ποια αποδίδει καλύτερα και, στη συνέχεια, αναπτύξτε τη νικήτρια σε όλους τους χρήστες για τη βέλτιστη συνολική εμπειρία.
Η πρακτική των ομάδων δοκιμών A/B και CRO ήταν λοιπόν να επενδύουν σημαντικά στην έναρξη όλων των ειδών των πειραμάτων για τη βελτίωση διαφορετικών περιοχών και εμπειριών σε ολόκληρο τον ιστότοπο, την εγγενή εφαρμογή, το ηλεκτρονικό ταχυδρομείο ή οποιοδήποτε άλλο ψηφιακό κανάλι και στη συνέχεια να τα βελτιστοποιούν συνεχώς για να οδηγούν σε σταδιακή αύξηση των μετατροπών και των συγκεκριμένων KPIs με την πάροδο του χρόνου.
Ωστόσο, αν μια εταιρεία δεν παράγει τόνους επισκεψιμότητας και δεν διαθέτει ένα τεράστιο ψηφιακό τοπίο από το οποίο μπορεί να πειραματιστεί, μπορεί να έρθει ένα σημείο μειωμένων αποδόσεων, όπου η απόδοση του πειραματισμού (ανεξάρτητα από το πόσες δοκιμές ή πόσο μεγάλο και εξελιγμένο μπορεί να είναι ένα πείραμα) φτάνει σε μια μέγιστη απόδοση όσον αφορά την εισροή από αυτές τις ομάδες.
Αυτό έχει να κάνει σε μεγάλο βαθμό με το γεγονός ότι η κλασική προσέγγιση των δοκιμών Α/Β προσφέρει μια δυαδική άποψη των προτιμήσεων των επισκεπτών και συχνά αποτυγχάνει να καταγράψει το πλήρες φάσμα των παραγόντων και της συμπεριφοράς που καθορίζουν ποιοι είναι οι επισκέπτες ως άτομα.
Επιπλέον, οι δοκιμές Α/Β αποδίδουν γενικευμένα αποτελέσματα με βάση τις προτιμήσεις της πλειοψηφίας ενός τμήματος. Και ενώ μια μάρκα μπορεί να διαπιστώσει ότι μια συγκεκριμένη εμπειρία αποφέρει περισσότερα έσοδα κατά μέσο όρο, η εφαρμογή της σε όλους τους χρήστες θα ήταν κακή υπηρεσία για ένα σημαντικό μέρος των καταναλωτών με διαφορετικές προτιμήσεις.
Επιτρέψτε μου να σας το δείξω με μερικά παραδείγματα:
Αν η καθαρή αξία τόσο του εαυτού μου όσο και του Warren Buffet ήταν κατά μέσο όρο 117,3 δισεκατομμύρια δολάρια, θα είχε νόημα να μας προτείνουμε τα ίδια προϊόντα;
Μάλλον όχι.
Ή τι θα λέγατε αν ένας έμπορος λιανικής πώλησης που διαθέτει τόσο ανδρικά όσο και γυναικεία προϊόντα αποφασίσει να εκτελέσει μια κλασική δοκιμή Α/Β στην αρχική σελίδα του για να προσδιορίσει την παραλλαγή του πανό-ήρωα με τις καλύτερες επιδόσεις, αλλά δεδομένου ότι το 70% του κοινού του είναι γυναίκες, η γυναικεία παραλλαγή υπερτερεί της ανδρικής.
Αυτό το τεστ θα υποδείκνυε ότι το έμβλημα του γυναικείου ήρωα θα εφαρμοζόταν σε ολόκληρο τον πληθυσμό, αλλά σίγουρα δεν θα ήταν η σωστή απόφαση.
Για να το θέσω απλά:
- Οι μέσοι όροι είναι συχνά παραπλανητικοί όταν χρησιμοποιούνται για τη σύγκριση διαφορετικών ομάδων χρηστών.
- Η παραλλαγή με τις καλύτερες επιδόσεις αλλάζει για κάθε τμήμα πελάτη και χρήστη
- Τα αποτελέσματα μπορούν επίσης να επηρεαστούν από παράγοντες που σχετίζονται με το πλαίσιο, όπως γεωγραφικοί, καιρικές συνθήκες και άλλα.
Αυτό δεν σημαίνει, φυσικά, ότι δεν υπάρχει χρόνος και χώρος για την αξιοποίηση πιο γενικευμένων αποτελεσμάτων. Για παράδειγμα, αν δοκιμάζατε έναν νέο ιστότοπο ή ένα νέο σχεδιασμό εφαρμογών, θα ήταν λογικό να στοχεύατε σε ένα συνεπές περιβάλλον εργασίας που θα λειτουργούσε καλύτερα κατά μέσο όρο έναντι δεκάδων, εκατοντάδων ή ακόμη και χιλιάδων παραλλαγών του περιβάλλοντος εργασίας για διαφορετικούς χρήστες.
Ωστόσο, οι μέρες που ακολουθούσαμε πιστά την προσέγγιση "ο νικητής τα παίρνει όλα" όσον αφορά τη διάταξη μιας σελίδας, τα μηνύματα, το περιεχόμενο, τις συστάσεις, τις προσφορές και άλλα δημιουργικά στοιχεία έχουν τελειώσει - και αυτό δεν πειράζει, γιατί σημαίνει ότι δεν θα αφήνονται πλέον χρήματα στο τραπέζι από τις χαμένες ευκαιρίες εξατομίκευσης που σχετίζονται με τη μη παροχή της καλύτερης παραλλαγής σε κάθε χρήστη.