ครีเอทีฟ B ปิดยอดดีกว่า A ถึง 20 จุด จริงไหม หรือแค่ตัวอย่างน้อยไปหลอกตา
สรุปสั้น ๆ
ตัวเลข conversion ที่ได้จากคนทักไม่กี่สิบคน ไม่ใช่ ‘ค่าจริง’ ของแคมเปญ มันเป็นแค่จุดประมาณที่มีช่วงคลาดเคลื่อนแฝงอยู่ ยิ่งกลุ่มตัวอย่างเล็ก ช่วงนี้ยิ่งกว้าง จนบางทีตัวเลขที่ดูต่างกันลิบ จริงๆ แล้วอาจไม่ต่างกันเลยในทางสถิติ
แอดมินร้าน ‘คั่วดี คราฟต์คอฟฟี่’ ทดสอบครีเอทีฟโฆษณาสองตัวพร้อมกันหนึ่งสัปดาห์ ครีเอทีฟ A มีคนทักเข้ามา 10 คน ปิดได้ 3 คน คิดเป็น 30% ส่วนครีเอทีฟ B มีคนทักเข้ามา 10 คนเหมือนกัน ปิดได้ 5 คน คิดเป็น 50% เจ้าของร้านเห็นตัวเลขแล้วรีบสั่งดับครีเอทีฟ A ทิ้งทันที เพราะ ‘B ดีกว่าเห็นๆ ตั้ง 20 จุด’
ฟังดูสมเหตุสมผลใช่ไหมครับ แต่ถ้าลองคิดเลขอีกมุม สมมติในสัปดาห์ถัดมาโชคช่วยให้ A ปิดได้เพิ่มอีกแค่ 1 คนจาก 10 คนใหม่ ตัวเลขของ A ก็ขยับเป็น 40% ทันที ในขณะที่ B อาจหล่นเหลือ 40% พอดีถ้าสัปดาห์นั้นมีคนที่ ‘เกือบซื้อ’ หลุดไปหนึ่งคน คำถามคือ แล้วตัวเลข 30% กับ 50% ของสัปดาห์แรก มันบอกอะไรได้จริงบ้าง
นี่คือเรื่องของ confidence interval หรือช่วงความเชื่อมั่น — แนวคิดที่ฟังดูวิชาการ แต่จริงๆ แล้วเป็นสามัญสำนึกที่ทุกคนที่อ่านตัวเลขจากแชทควรมีติดตัว บทความนี้จะไม่มีสูตรยากๆ แต่จะทำให้คุณเห็นว่าทำไมตัวเลขจากคนทักหลักสิบคนถึง ‘โกหก’ ได้ง่ายกว่าที่คิด
Confidence Interval คืออะไร พูดแบบไม่ต้องมีพื้นฐานสถิติ
ลองนึกภาพว่าคุณชั่งน้ำหนักตัวเองด้วยตาชั่งที่ไม่ค่อยนิ่ง เข็มมันแกว่งอยู่ระหว่าง 58-62 กิโลกรัมทุกครั้งที่ชั่ง คุณจะไม่พูดว่า ‘ผมหนัก 58 กิโลกรัมเป๊ะ’ เพราะรู้ว่าเครื่องมันไม่นิ่งพอ คุณจะพูดว่า ‘น่าจะอยู่ราวๆ 58-62’ นั่นแหละคือ confidence interval — ช่วงตัวเลขที่ ‘ค่าจริง’ น่าจะอยู่ในนั้น ไม่ใช่ตัวเลขเป๊ะตัวเดียว
conversion rate ที่คุณเห็นจากแชทก็เหมือนกัน 30% ที่ได้จากคนทัก 10 คน ไม่ใช่ ‘อัตราปิดการขายจริง’ ของครีเอทีฟนั้นตลอดไป มันเป็นแค่ตัวเลขที่วัดได้จากตัวอย่างเล็กๆ ก้อนหนึ่ง ถ้าคุณสุ่มคนอีก 10 คนมาทักใหม่ ตัวเลขจะขยับได้ง่ายมาก เพราะฐานมันเล็ก
ยิ่งกลุ่มตัวอย่างเล็กเท่าไหร่ ช่วงความเชื่อมั่นยิ่งกว้างเท่านั้น พูดง่ายๆ คือยิ่งมั่นใจได้น้อยว่าตัวเลขที่เห็นคือ ‘ตัวจริง’ ของแคมเปญ ส่วนกลุ่มตัวอย่างใหญ่ขึ้น ช่วงจะแคบลง ตัวเลขที่เห็นก็น่าเชื่อถือขึ้นตามลำดับ
ทำไม 10 คนต่อครีเอทีฟถึงบอกอะไรไม่ได้เลย
| จำนวนคนทัก | ปิดได้ | conversion rate | ช่วงที่เป็นไปได้จริง (โดยประมาณ) |
|---|---|---|---|
| 10 คน | 3 คน | 30% | ประมาณ 8% – 58% |
| 10 คน | 5 คน | 50% | ประมาณ 24% – 76% |
| 100 คน | 30 คน | 30% | ประมาณ 22% – 40% |
| 100 คน | 50 คน | 50% | ประมาณ 40% – 60% |
อ่านตารางนั้นแล้วเห็นอะไร
สังเกตสองแถวบนสุด — ช่วงของ A (8%-58%) กับช่วงของ B (24%-76%) มันทับซ้อนกันเยอะมาก พูดง่ายๆ คือด้วยข้อมูลแค่นี้ เราแยกไม่ออกจริงๆ ว่า A กับ B ตัวไหนดีกว่ากันในระยะยาว ตัวเลข 30% vs 50% ที่ดูต่างกันลิบ อาจเป็นแค่ความบังเอิญของกลุ่มตัวอย่างเล็ก
แต่พอฐานใหญ่ขึ้นเป็น 100 คนต่อครีเอทีฟ ช่วงมันแคบลงจนแทบไม่ทับกัน (22-40% กับ 40-60%) ตรงนี้แหละที่เริ่มพูดได้อย่างมั่นใจมากขึ้นว่าครีเอทีฟที่ 50% น่าจะดีกว่าจริง ไม่ใช่แค่โชคช่วย
บทเรียนตรงนี้ไม่ใช่ ‘ห้ามดูตัวเลขน้อย’ แต่คือ ‘อย่าตัดสินใจใหญ่จากตัวเลขน้อย’ ถ้าจะดับครีเอทีฟหรือเทงบเพิ่ม ให้รอจนฐานข้อมูลใหญ่พอที่ช่วงความเชื่อมั่นจะไม่ทับกันแล้ว
เช็กง่ายๆ ด้วยมือ ไม่ต้องเปิดโปรแกรมสถิติ
- หาค่าคร่าวๆ ของ margin of error ด้วยสูตรลัด: 1 หารด้วยรากที่สองของจำนวนตัวอย่าง แล้วคูณ 100 เช่น ตัวอย่าง 10 คน จะได้ประมาณ ±32 จุดเปอร์เซ็นต์ (กว้างมาก) ส่วนตัวอย่าง 100 คน จะได้ประมาณ ±10 จุด (แคบลงเยอะ)
- เอา margin of error บวก-ลบเข้ากับ conversion rate ที่วัดได้ เพื่อประมาณช่วงคร่าวๆ ว่าค่าจริงน่าจะอยู่ตรงไหน
- เทียบช่วงของสองครีเอทีฟ ถ้าช่วงยังทับกันเยอะ แปลว่ายังสรุปไม่ได้ว่าใครชนะ ต้องเก็บข้อมูลเพิ่มก่อน
- ถ้าช่วงไม่ทับกันแล้ว หรือทับกันน้อยมาก ค่อยเชื่อได้มากขึ้นว่าความต่างที่เห็นเป็นของจริง ไม่ใช่สัญญาณรบกวน
กฎที่ใช้หน้างานได้จริงเวลาเทียบแคมเปญ
- อย่าตัดสินจากคนทักต่ำกว่า 30 คนต่อครีเอทีฟ — ต่ำกว่านี้ช่วงความเชื่อมั่นมักกว้างจนใช้งานไม่ได้
- ถ้าสองแคมเปญมีคนทักใกล้เคียงกันแต่ conversion ต่างกันไม่เกิน 10-15 จุด ให้สงสัยไว้ก่อนว่าอาจเป็นความบังเอิญ ไม่ใช่ของจริง
- เมื่อจะเปรียบเทียบ ให้ดูจำนวนคนทักสะสมควบคู่กับ conversion rate เสมอ อย่าดู conversion rate ลอยๆ โดยไม่รู้ฐาน
- ถ้าอยากได้ผลชัวร์ขึ้นเร็ว ให้เพิ่มงบเพื่อดันจำนวนคนทักให้ถึงฐานที่พอสรุปได้ ไม่ใช่รีบสรุปจากฐานเล็ก
สรุป
ตัวเลข conversion ที่เห็นในหน้าแรกของรายงานไม่ใช่ ‘ความจริงสัมบูรณ์’ มันคือค่าประมาณที่แม่นยำมากหรือน้อยขึ้นอยู่กับขนาดตัวอย่าง การรู้จัก confidence interval ทำให้คุณเลิกตกใจ (หรือดีใจ) เร็วเกินไปกับตัวเลขที่เห็นแค่ครั้งเดียว
ครั้งหน้าที่เห็นแคมเปญหนึ่งดูดีกว่าอีกแคมเปญ ลองถามตัวเองก่อนว่า ‘ฐานคนทักตอนนี้ใหญ่พอจะเชื่อได้หรือยัง’ ถ้ายัง ก็แค่รอ อย่ารีบดับหรือรีบเทงบเพิ่มจากอารมณ์
- conversion rate จากฐานเล็กมีช่วงคลาดเคลื่อนกว้าง อย่าเพิ่งเชื่อร้อยเปอร์เซ็นต์
- เทียบช่วงความเชื่อมั่น ไม่ใช่แค่ตัวเลขเดี่ยวๆ ก่อนสรุปว่าใครชนะ
- ฐานยิ่งใหญ่ ยิ่งเชื่อได้มากขึ้น — รอให้ถึงจุดที่ช่วงไม่ทับกันแล้วค่อยตัดสินใจก้อนใหญ่
คำถามที่พบบ่อย
แล้วต้องมีคนทักกี่คนถึงจะเชื่อตัวเลขได้
ไม่มีเลขวิเศษที่ใช้ได้ทุกกรณี แต่หลักคร่าวๆ คือยิ่งฐานเล็กยิ่งต้องระวังการสรุปเร็ว ถ้าต่ำกว่า 30 คนต่อกลุ่มที่เทียบกัน ให้มองผลลัพธ์เป็นแค่สัญญาณเบื้องต้น ไม่ใช่ข้อสรุป
ถ้าไม่มีเวลารอเก็บข้อมูลเยอะ ควรทำยังไง
อาจต้องยอมรับความเสี่ยงที่จะสรุปผิด แล้วชดเชยด้วยการทดสอบซ้ำอีกรอบก่อนตัดสินใจเทงบก้อนใหญ่ อย่าตัดสินใจครั้งเดียวจบจากข้อมูลชุดแรก
แคมเปญที่ conversion สูงกว่าตลอด 3 สัปดาห์ติด ยังต้องระวังไหม
ความสม่ำเสมอแบบนั้นน่าเชื่อถือกว่าดูครั้งเดียวมาก เพราะเท่ากับสะสมฐานข้อมูลใหญ่ขึ้นทุกสัปดาห์ ยิ่งซ้ำกันหลายรอบยิ่งลดโอกาสที่จะเป็นเรื่องบังเอิญ
ตัวเลขที่ทับซ้อนกันแปลว่าสองครีเอทีฟดีเท่ากันใช่ไหม
ไม่จำเป็นเสมอไป แปลได้แค่ว่า ‘ข้อมูลตอนนี้ยังไม่พอจะฟันธง’ ครีเอทีฟหนึ่งอาจดีกว่าจริงก็ได้ แต่ต้องเก็บข้อมูลเพิ่มถึงจะเห็นความต่างชัดพอ
ต้องใช้โปรแกรมสถิติซับซ้อนไหมถึงจะคำนวณเรื่องนี้ได้
ไม่จำเป็นสำหรับการตัดสินใจหน้างานทั่วไป สูตรลัดแบบในบทความก็เพียงพอให้เห็นภาพคร่าวๆ ว่าควรเชื่อตัวเลขแค่ไหน
การเทียบแคมเปญที่มีฐานคนทักไม่เท่ากันทำได้ไหม
ทำได้ แต่ต้องระวังมากขึ้น เพราะฐานที่ต่างกันทำให้ช่วงความเชื่อมั่นกว้างไม่เท่ากัน ถ้าระบบอย่างlinliที่บันทึกจำนวนคนทักและจุดปิดการขายไว้ครบ ก็จะช่วยให้ดึงตัวเลขทั้งสองฝั่งมาเทียบกันได้ง่ายขึ้น
บทความที่เกี่ยวข้อง
