ทดสอบสคริปต์แอดมินใหม่แค่ 2 วันแล้วสรุปผล เร็วไปหรือยัง

ร้าน ‘Aow ลูกไม้บูติก’ ให้แอดมินลองสคริปต์เปิดแชทแบบใหม่ที่ทักทายอบอุ่นขึ้นแทนแบบเดิมที่ทักตรงๆ ผ่านไปสองวัน สคริปต์ใหม่ปิดได้ 6 จาก 15 คน (40%) ส่วนสคริปต์เดิมปิดได้ 4 จาก 15 คน (27%) เจ้าของร้านรีบประกาศในกลุ่มไลน์ทีมว่า ‘ใช้สคริปต์ใหม่ทั้งหมดตั้งแต่วันนี้’

คำถามที่ควรถามก่อนกดยืนยันคือ ‘15 คนต่อสคริปต์ มันพอจะบอกอะไรได้จริงไหม’ เพราะการทดสอบที่จบเร็วเกินไปมักให้ผลที่ ‘ดูเหมือน’ ชนะ แต่พอทดสอบยาวขึ้นอีกสัปดาห์ ตัวเลขกลับสลับข้างกันได้ง่ายๆ

เรื่องนี้ไม่ใช่ความรู้เฉพาะนักสถิติ แต่เป็นสามัญสำนึกที่ทุกคนที่รันแอดแล้วอ่านตัวเลขแชทควรมี คือรู้ว่าต้องมี ‘ฐานคนทักขั้นต่ำ’ เท่าไหร่ ก่อนจะเชื่อว่าความต่างที่เห็นเป็นของจริง

ทำไมทดสอบสองวันถึงเสี่ยงสรุปผิด

ปัญหาไม่ได้อยู่ที่ ‘สองวัน’ โดยตรง แต่อยู่ที่จำนวนคนทักที่สะสมได้ในสองวันนั้น ถ้าร้านมีคนทักเข้ามาวันละ 7-8 คน สองวันรวมกันได้ 15 คนต่อสคริปต์ ซึ่งเป็นฐานที่เล็กมากในทางสถิติ ผลลัพธ์ที่ได้จึงแกว่งได้ง่ายจากปัจจัยสุ่ม เช่น วันนั้นบังเอิญมีลูกค้าที่ตั้งใจซื้ออยู่แล้วทักเข้ามาพอดี

คนละมุมกับร้านที่มีคนทักวันละ 100 คน แค่วันเดียวก็อาจได้ฐานเท่ากับร้านแรกทดสอบทั้งสองวันรวมกัน ความเร็วในการ ‘ทดสอบเสร็จ’ จึงไม่ได้ขึ้นกับเวลาปฏิทิน แต่ขึ้นกับจำนวนคนทักสะสม

lift ยิ่งเล็ก ยิ่งต้องใช้ฐานใหญ่ขึ้นเยอะ

ตัวเลขในตารางนั้นบอกอะไรกับคนทำแอด

ถ้าคุณคาดหวังว่าสคริปต์ใหม่จะทำให้ conversion เพิ่มขึ้นแบบก้าวกระโดด (เช่นจาก 20% เป็น 40%) ฐานที่ต้องใช้ไม่เยอะมาก แต่ในความเป็นจริง การปรับสคริปต์เล็กๆ น้อยๆ มักให้ lift แค่ 5-10 จุด ซึ่งต้องใช้ฐานคนทักหลักร้อยถึงจะจับความต่างได้ชัด

นี่คือเหตุผลที่หลายร้านทดสอบแล้ว ‘เห็นตัวเลขต่าง’ แต่พอใช้จริงกลับไม่ต่างอย่างที่คิด เพราะฐานที่ใช้ทดสอบเล็กเกินกว่าที่ lift จริงจะโผล่ให้เห็นชัด ตัวเลขที่ต่างกันตอนทดสอบจึงเป็นแค่สัญญาณรบกวน ไม่ใช่ความแตกต่างจริง

กับดัก ‘แอบดูผลแล้วหยุดทันทีที่ชอบ’

• หลายคนเปิดดูผลทดสอบทุกวัน แล้วพอวันไหนตัวเลขออกมาดีก็รีบหยุดทดสอบและประกาศผลทันที ซึ่งเป็นการเลือกจังหวะที่ตัวเลขเข้าข้างตัวเองโดยไม่รู้ตัว
• การแอบดูผลระหว่างทางไม่ใช่เรื่องผิด แต่การ ‘หยุดทดสอบทันทีที่เห็นตัวเลขที่ต้องการ’ ต่างหากที่อันตราย เพราะเท่ากับเลือกจุดตัดที่เข้าข้างสมมติฐานตัวเอง
• วิธีที่ปลอดภัยกว่าคือกำหนดฐานคนทักขั้นต่ำล่วงหน้าก่อนเริ่มทดสอบ แล้วไม่เปลี่ยนกติกากลางทาง ต่อให้ระหว่างทางตัวเลขจะขึ้นๆ ลงๆ ก็ตาม
• ถ้าจำเป็นต้องรีบตัดสินใจจริงๆ ให้ยอมรับตรงๆ ว่าเป็นการตัดสินใจจากข้อมูลไม่ครบ ไม่ใช่หลอกตัวเองว่าเป็นข้อสรุปที่แน่นอนแล้ว

ขั้นตอนตั้งการทดสอบให้เชื่อผลได้

1. ประเมิน conversion เดิมของร้านคร่าวๆ ก่อน เพื่อใช้เป็นฐานเทียบ
2. ตั้งเป้าว่าอยากจับ lift ขนาดเท่าไหร่ ยิ่งเล็กยิ่งต้องเตรียมใจใช้ฐานใหญ่และเวลานานขึ้น
3. กำหนดจำนวนคนทักขั้นต่ำต่อกลุ่มก่อนเริ่ม แล้วยึดตามนั้นไม่เปลี่ยนกลางทาง
4. ปล่อยให้ทดสอบวิ่งจนถึงฐานที่ตั้งไว้ ค่อยเปิดดูผลสรุปครั้งเดียว แทนที่จะตัดสินใจจากการแอบดูระหว่างทาง

สรุป

ความเร็วในการสรุปผลทดสอบไม่ใช่เรื่องดีเสมอไป ถ้าฐานคนทักยังเล็กเกินกว่าจะจับ lift ที่คาดหวังได้ ตัวเลขที่ ‘ดูต่าง’ อาจเป็นแค่เสียงรบกวนที่หายไปเองเมื่อเก็บข้อมูลเพิ่ม

ก่อนเปลี่ยนสคริปต์ทั้งทีม ลองถามตัวเองว่าฐานที่ทดสอบมามันพอหรือยัง ถ้ายังไม่แน่ใจ การรอเก็บข้อมูลเพิ่มอีกสักหน่อยมักคุ้มกว่าการรีบเปลี่ยนแล้วต้องมาแก้ทีหลัง

• lift ที่คาดหวังยิ่งเล็ก ยิ่งต้องใช้ฐานคนทักใหญ่ขึ้นถึงจะจับความต่างได้จริง
• อย่าหยุดทดสอบทันทีที่เห็นตัวเลขที่ชอบ ให้ยึดฐานขั้นต่ำที่ตั้งไว้ล่วงหน้า
• กำหนดกติกาการทดสอบก่อนเริ่ม แล้วไม่เปลี่ยนกลางทางเพราะอารมณ์อยากรีบสรุป

คำถามที่พบบ่อย