หลักการของ การทดสอบ A/B นั้นง่ายมาก:
เปรียบเทียบสอง (หรือมากกว่า) เวอร์ชันที่แตกต่างกันของสิ่งเดียวกัน เพื่อดูว่าเวอร์ชันใดทำงานได้ดีกว่า จากนั้นจึงนำเวอร์ชันที่ชนะไปใช้กับผู้ใช้ทั้งหมด เพื่อประสบการณ์โดยรวมที่ดีที่สุด
ด้วยเหตุนี้ การปฏิบัติงานของทีมทดสอบ A/B และ CRO จึงเป็นการลงทุนอย่างมากในการเปิดตัวการทดลองต่างๆ เพื่อปรับปรุงด้านต่างๆ และประสบการณ์ต่างๆ ทั่วทั้งเว็บไซต์ แอปพลิเคชัน อีเมล หรือช่องทางดิจิทัลอื่นๆ จากนั้นจึงทำการปรับปรุงอย่างต่อเนื่องเพื่อเพิ่มอัตรา การแปลง และตัวชี้วัดประสิทธิภาพเฉพาะ (KPI) อย่างต่อเนื่องเมื่อเวลาผ่านไป
อย่างไรก็ตาม เว้นแต่ว่าบริษัทนั้นจะสร้างปริมาณการเข้าชมเว็บไซต์มหาศาลและมีพื้นที่ดิจิทัลขนาดใหญ่ให้ใช้ในการทดลอง มิเช่นนั้นอาจถึงจุดที่ผลตอบแทนจากการทดลองเริ่มลดลง (ไม่ว่าจะทดสอบมากแค่ไหนหรือการทดลองจะใหญ่และซับซ้อนเพียงใด) ซึ่งผลลัพธ์จากการทดลองนั้นจะถึงจุดสูงสุดเมื่อเทียบกับต้นทุนที่ทีมลงทุนไป
สาเหตุหลักมาจากวิธีการทดสอบ A/B แบบดั้งเดิมนั้นให้มุมมองแบบไบนารีเกี่ยวกับความชอบของผู้เข้าชม และมักไม่สามารถจับภาพปัจจัยและพฤติกรรมทั้งหมดที่กำหนดตัวตนของพวกเขาในฐานะปัจเจกบุคคลได้
นอกจากนี้ การทดสอบ A/B ยังให้ผลลัพธ์โดยทั่วไปที่อิงตามความชอบส่วนใหญ่ของกลุ่มเป้าหมาย และถึงแม้ว่าแบรนด์อาจพบว่าประสบการณ์บางอย่างสร้างรายได้ เฉลี่ย ได้มากกว่า แต่การนำประสบการณ์นั้นไปใช้กับผู้ใช้ทุกคนจะเป็นการสร้างความไม่พอใจให้กับผู้บริโภคจำนวนมากที่มีความชอบแตกต่างกัน
ขออนุญาตยกตัวอย่างประกอบสักสองสามตัวอย่าง:
ถ้าหากมูลค่าสุทธิของทั้งตัวผมและวอร์เรน บัฟเฟตต์อยู่ที่ 117.3 พันล้านดอลลาร์สหรัฐโดยเฉลี่ย การแนะนำผลิตภัณฑ์เดียวกันให้กับเราทั้งสองคนจะสมเหตุสมผลหรือไม่?
อาจจะไม่ใช่
หรือลองนึกภาพว่าหากร้านค้าปลีกที่จำหน่ายทั้งสินค้าสำหรับผู้ชายและผู้หญิง ตัดสินใจทำการทดสอบ A/B แบบคลาสสิกบนหน้าแรกของเว็บไซต์เพื่อหาแบนเนอร์หลักที่ให้ผลลัพธ์ดีที่สุด แต่เนื่องจาก 70% ของกลุ่มเป้าหมายเป็นผู้หญิง แบนเนอร์สำหรับผู้หญิงจึงให้ผลลัพธ์ดีกว่าแบนเนอร์สำหรับผู้ชาย
การทดสอบนี้ชี้ให้เห็นว่าควรนำธงวีรสตรีหญิงไปใช้กับประชากรทั้งหมด แต่แน่นอนว่านั่นไม่ใช่การตัดสินใจที่ถูกต้อง
พูดให้เข้าใจง่ายๆ ก็คือ:
- ค่าเฉลี่ยอาจทำให้เข้าใจผิดได้เมื่อนำมาใช้เปรียบเทียบกลุ่มผู้ใช้ที่แตกต่างกัน
- รูปแบบที่ให้ผลลัพธ์ดีที่สุดจะแตกต่างกันไปตามกลุ่มลูกค้าและผู้ใช้งานแต่ละกลุ่ม
- ผลลัพธ์อาจได้รับอิทธิพลจากปัจจัยบริบทต่างๆ เช่น ภูมิศาสตร์ สภาพอากาศ และอื่นๆ อีกมากมาย
แน่นอนว่านี่ไม่ได้หมายความว่าไม่มีเวลาและสถานที่ที่เหมาะสมสำหรับการนำผลลัพธ์ในวงกว้างมาใช้ประโยชน์ ตัวอย่างเช่น หากคุณกำลังทดสอบการออกแบบเว็บไซต์หรือแอปใหม่ การเลือกใช้ UI ที่สม่ำเสมอเพียงแบบเดียวซึ่งใช้งานได้ดีที่สุดโดยเฉลี่ย ย่อมสมเหตุสมผลกว่าการออกแบบ UI หลายสิบ หลายร้อย หรือแม้แต่หลายพันแบบสำหรับผู้ใช้ที่แตกต่างกัน
อย่างไรก็ตาม ยุคของการยึดมั่นในแนวทาง "ผู้ชนะได้ทั้งหมด" ในการออกแบบหน้าเว็บ ข้อความ เนื้อหา คำแนะนำ ข้อเสนอ และองค์ประกอบสร้างสรรค์อื่นๆ นั้นจบลงแล้ว และนั่นก็เป็นเรื่องดี เพราะหมายความว่าต่อไปนี้จะไม่มีการเสียโอกาสในการปรับแต่งให้เหมาะสมกับผู้ใช้แต่ละรายอีกต่อไป