บรอดคาสต์ข้อความใหม่ปิดยอดมากกว่าเดิม 8 จุด พอจะเลิกใช้ข้อความเก่าได้เลยไหม

ร้าน ‘Loomis เคสมือถือ’ ส่งบรอดคาสต์ LINE OA ให้ลูกค้าเก่า 500 คนที่เคยทักมาแต่ยังไม่ปิดการขาย แบ่งครึ่งแบบสุ่มเป็นสองกลุ่ม กลุ่มละ 250 คน กลุ่มแรกได้รับข้อความสไตล์ขายตรง เน้นโปรโมชันและราคา ปิดได้ 40 คน คิดเป็น 16% ส่วนกลุ่มสองได้รับข้อความสไตล์เล่าเคสลูกค้าจริงก่อนแล้วค่อยพูดถึงสินค้า ปิดได้ 60 คน คิดเป็น 24% ต่างกันถึง 8 จุด แอดมินรีบสรุปในกลุ่มไลน์ทีมว่า ‘เปลี่ยนมาใช้ข้อความเล่าเคสทั้งหมดเลยค่ะ ชนะขาดเลย’

คำถามที่ควรถามก่อนเปลี่ยนทั้งฐานคือ 8 จุดนี้ ‘เชื่อได้แค่ไหน’ ซึ่งไม่ใช่คำถามเดียวกับ ‘B ดีกว่า A กี่เปอร์เซ็นต์’ แต่เป็นคำถามว่า ถ้าสมมติสองข้อความนี้ปิดยอดได้เท่ากันจริงๆ ในระยะยาว โอกาสที่จะสุ่มทดสอบแล้วเจอผลต่างขนาด 8 จุดหรือมากกว่านี้จากความบังเอิญล้วนๆ มีอยู่เท่าไหร่ นี่คือสิ่งที่เรียกว่า p-value และคำตอบของมันจะบอกว่าควรเชื่อผลทดสอบนี้แค่ไหน

บทความนี้จะไม่มีสูตรคำนวณซับซ้อน แต่จะพาดูตัวอย่างตัวเลขว่าฐานทดสอบขนาดต่างกัน ผลต่างเท่ากันที่ 8 จุด ทำไมถึงเชื่อได้ไม่เท่ากัน แล้วจะใช้แนวคิดนี้ตัดสินใจเปลี่ยนบรอดคาสต์ทั้งฐานได้ยังไงโดยไม่เสี่ยงเกินไป

ก่อนตื่นเต้นกับ 8 จุด ต้องถามก่อนว่าฐานทดสอบพอไหม

ปัญหาของการดูแค่เปอร์เซ็นต์เปล่าๆ คือมันไม่บอกอะไรเรื่อง ‘ความมั่นใจ’ เลย 16% กับ 24% จากฐาน 250 คนต่อกลุ่ม ฟังดูมั่นคงกว่า 16% กับ 24% จากฐาน 25 คนต่อกลุ่มมาก ทั้งที่เปอร์เซ็นต์เท่ากันเป๊ะ เพราะฐานที่ใหญ่กว่าทำให้ความบังเอิญมีที่ว่างน้อยลงในการสร้างผลต่างปลอมๆ

แอดมินร้าน Loomis ไม่ได้ผิดที่ตื่นเต้น เพราะ 8 จุดคือตัวเลขที่มองด้วยตาแล้วรู้สึกว่า ‘ต่างชัดเจน’ แต่ความรู้สึกกับความเชื่อถือได้ทางสถิติเป็นคนละเรื่องกัน และการเปลี่ยนบรอดคาสต์ทั้งฐาน 5,000 คนของร้านจากผลทดสอบ 500 คน ถ้าตัดสินใจผิด ก็เสียโอกาสปิดยอดไปเต็มๆ

p-value ตอบคำถามอะไรกันแน่ (ไม่ใช่สิ่งที่คนส่วนใหญ่เข้าใจ)

ลองนึกภาพห้องพิจารณาคดี กฎเริ่มต้นคือ ‘สมมติว่าจำเลยบริสุทธิ์’ จนกว่าจะมีหลักฐานหนักแน่นพอที่จะหักล้าง ในทางสถิติก็เหมือนกัน จุดตั้งต้นคือ ‘สมมติว่าสองข้อความไม่ต่างกันเลย’ (เรียกว่า null hypothesis) แล้ว p-value คือตัวเลขที่บอกว่าหลักฐาน (ผลต่าง 8 จุดที่เห็น) หนักแน่นพอจะหักล้างสมมติฐานนั้นได้หรือยัง

สิ่งที่คนเข้าใจผิดบ่อยที่สุดคือคิดว่า p-value คือ ‘โอกาสที่ข้อความ B ดีกว่า A จริง’ ซึ่งไม่ใช่เลย ความหมายจริงคือ ‘ถ้า A กับ B ไม่ต่างกันจริงๆ โอกาสที่จะสุ่มทดสอบแล้วเจอผลต่างขนาดนี้หรือมากกว่านี้มีเท่าไหร่’ ยิ่งตัวเลขนี้ต่ำ ยิ่งแปลว่าผลต่างที่เห็นไม่น่าจะเป็นเรื่องบังเอิญ

เวลาคนพูดว่า ‘ผลนี้มีนัยสำคัญทางสถิติ’ ก็คือกำลังพูดว่า p-value ต่ำพอจนเชื่อได้ว่าผลต่างที่เห็นไม่ใช่แค่สัญญาณรบกวน ไม่ได้แปลว่าผลต่างนั้นใหญ่หรือสำคัญต่อธุรกิจเสมอไป สองเรื่องนี้แยกกันคนละแกน

ผลต่าง 8 จุดเท่ากัน แต่ฐานต่างกัน คำตัดสินกลับคนละแบบ

อ่านตารางนี้แล้วเห็นอะไร

แถวแรกกับแถวสองมีผลต่างเท่ากันเป๊ะที่ 8 จุด แต่คำตัดสินกลับตรงข้ามกันเลย ฐาน 25 คนต่อกลุ่มยังเล็กเกินกว่าจะแยกออกว่าผลต่างที่เห็นเป็นของจริงหรือแค่โชค เหมือนที่เคยพูดถึงเรื่องฐานตัวอย่างที่ต้องพอก่อนเชื่อผล ส่วนฐาน 250 คนต่อกลุ่มเริ่มมีน้ำหนักพอที่จะเชื่อได้ว่าข้อความใหม่ดีกว่าจริง

แถวที่สามยิ่งน่าสนใจ เพราะผลต่างแค่ 3 จุด ซึ่งดูเผินๆ น้อยกว่า 8 จุดในแถวบน กลับมีนัยสำคัญมากกว่ามาก เพราะฐานที่ใหญ่ถึง 3,000 คนต่อกลุ่มทำให้ตรวจจับผลต่างเล็กๆ ได้แม่นยำขึ้น นี่คือเหตุผลที่บอกว่า p-value กับขนาดผลต่างเป็นคนละเรื่องกัน ต้องดูควบคู่กันเสมอ

เกณฑ์ 0.05 มาจากไหน แล้วเป็นกฎเหล็กจริงไหม

ตัวเลข 0.05 ที่ใช้กันทั่วไปเป็นแค่ธรรมเนียมที่ยืมมาจากวงการวิจัยวิชาการ ไม่ได้มีกฎธรรมชาติข้อไหนบอกว่าต้องเป็นเลขนี้ ความหมายคร่าวๆ คือยอมรับความเสี่ยงที่จะเชื่อผลต่างผิด (ทั้งที่จริงไม่ต่างกัน) ได้ไม่เกิน 5 ใน 100 ครั้ง

สำหรับงานหน้างานอย่างการตัดสินใจเปลี่ยนบรอดคาสต์ คุณไม่จำเป็นต้องยึด 0.05 แบบตายตัว ถ้าการเปลี่ยนข้อความทำได้ง่ายและย้อนกลับได้ไว ต่อให้ p-value อยู่ที่ 0.1 ก็อาจยอมเสี่ยงเปลี่ยนดูได้ แต่ถ้าเป็นการตัดสินใจใหญ่ที่ย้อนกลับยาก เช่น เปลี่ยนสคริปต์หลักทั้งทีมถาวร ควรเข้มงวดกว่านั้น

แนวคิดเรื่องช่วงความเชื่อมั่นที่เคยพูดถึงในconfidence interval จริงๆ แล้วมาจากคณิตศาสตร์ชุดเดียวกับ p-value เพียงแต่มองคนละมุม อันหนึ่งบอกช่วงที่ค่าจริงน่าจะอยู่ อีกอันบอกว่าจะเชื่อผลต่างที่เห็นได้แค่ไหน ใช้คู่กันจะช่วยให้ตัดสินใจรอบด้านขึ้น

กับดักที่มองข้ามบ่อย: ทดสอบหลายข้อความพร้อมกัน ยิ่งเสี่ยง ‘ชนะปลอม’

• ถ้าทดสอบข้อความเดียวเทียบกับข้อความเดิม โอกาสที่จะเจอผลต่างปลอมๆ (ทั้งที่จริงไม่ต่างกัน) อยู่ที่ประมาณ 5% ตามเกณฑ์ 0.05 แต่ถ้าทดสอบพร้อมกัน 5 ข้อความ โอกาสที่อย่างน้อยหนึ่งข้อความจะดูเหมือนชนะจากความบังเอิญล้วนๆ จะสูงขึ้นกว่าเดิมมาก
• หลายทีมทดสอบข้อความสิบแบบพร้อมกันแล้วเลือกตัวที่ตัวเลขดีที่สุดมาใช้ โดยไม่รู้ตัวว่ากำลังเพิ่มโอกาสหยิบ ‘ตัวที่โชคดี’ ขึ้นมาโดยบังเอิญ แทนที่จะเป็นตัวที่ดีจริง
• ทางแก้ง่ายๆ คือลดจำนวนตัวเลือกที่ทดสอบพร้อมกันให้น้อยลง หรือถ้าจำเป็นต้องทดสอบหลายตัว ให้ตั้งเกณฑ์ที่เข้มงวดขึ้นกว่า 0.05 ปกติ
• อีกทางเลือกคือปรับมาใช้แนวคิดแบบBayesian ที่ปรับความเชื่อทีละนิดตามข้อมูลใหม่ แทนการฟันธงทีเดียวจากการทดสอบครั้งเดียว ซึ่งช่วยลดความเสี่ยงจากการทดสอบหลายตัวพร้อมกันได้ในระดับหนึ่ง

ขั้นตอนใช้งานจริงก่อนเปลี่ยนบรอดคาสต์ทั้งฐาน

1. กำหนดฐานทดสอบขั้นต่ำและเกณฑ์ p-value ที่ยอมรับได้ไว้ล่วงหน้า ก่อนเริ่มส่งบรอดคาสต์ทดสอบ อย่ากำหนดทีหลังตามที่ตัวเลขออกมาสวย
2. แบ่งกลุ่มทดสอบแบบสุ่มจริงๆ ไม่ใช่แบ่งตามความสะดวก เพราะถ้ากลุ่มไม่สุ่ม ผลต่างที่เห็นอาจมาจากความแตกต่างของกลุ่มลูกค้าเอง ไม่ใช่จากข้อความ
3. อย่ารีบสรุปจากบรอดคาสต์รอบเดียว โดยเฉพาะถ้าผลต่างมาจากฐานเล็ก เพราะอาจเป็นแค่จุดพุ่งชั่วคราวที่ไหลกลับเข้าค่าเฉลี่ยเองในรอบถัดไป
4. เมื่อผลต่างผ่านเกณฑ์ที่ตั้งไว้แล้ว ค่อยเปลี่ยนบรอดคาสต์ทั้งฐาน แต่ยังควรสุ่มเก็บกลุ่มเล็กไว้ทดสอบข้อความใหม่ต่อไปเรื่อยๆ เพราะพฤติกรรมลูกค้าเปลี่ยนได้ตามเวลา

สรุป

ผลต่างที่ดูเยอะอย่าง 8 จุด ไม่ได้แปลว่าเชื่อได้เสมอไป และผลต่างเล็กอย่าง 3 จุด ก็ไม่ได้แปลว่าไม่สำคัญเสมอไป ทุกอย่างขึ้นอยู่กับฐานที่ใช้ทดสอบ p-value คือเครื่องมือที่ช่วยแยกว่าผลต่างที่เห็นเป็นของจริงหรือแค่สัญญาณรบกวน

ครั้งหน้าที่เห็นบรอดคาสต์หรือข้อความสองแบบให้ผลต่างกัน ให้ถามตัวเองก่อนว่าฐานที่ทดสอบมันพอหรือยัง แล้วค่อยตัดสินใจเปลี่ยนทั้งฐานเมื่อมั่นใจจริงๆ ไม่ใช่ตัดสินใจจากความตื่นเต้นตอนเห็นตัวเลขครั้งแรก

• ผลต่างเท่ากันจากฐานต่างกัน อาจเชื่อได้ไม่เท่ากัน — ต้องดู p-value ควบคู่กับเปอร์เซ็นต์เสมอ
• เกณฑ์ 0.05 เป็นธรรมเนียม ไม่ใช่กฎตายตัว ปรับความเข้มงวดตามต้นทุนของการตัดสินใจผิด
• ทดสอบหลายข้อความพร้อมกันเพิ่มความเสี่ยงเจอ ‘ชนะปลอม’ ให้ระวังเป็นพิเศษ

คำถามที่พบบ่อย