ไล่อ่านแชทเฉพาะลูกค้าที่ปิดการขายได้เพื่อหาสูตรลับ อาจกำลังเรียนจากบทเรียนผิดกลุ่ม
สรุปสั้น ๆ
การวิเคราะห์เฉพาะแชทที่ปิดการขายได้เพื่อหา ‘สูตรสำเร็จ’ มีความเสี่ยงแฝงอยู่ เพราะแพทเทิร์นที่เจอในแชทที่ปิดได้อาจปรากฏอยู่ในแชทที่หลุดไปพอๆ กัน ทำให้ไม่ใช่ตัวแปรที่สร้างความต่างจริง วิธีที่แม่นยำกว่าคือเทียบแชทที่ปิดได้กับแชทที่หลุดควบคู่กันเสมอ
ระหว่างสงครามโลกครั้งที่สอง กองทัพอากาศศึกษาเครื่องบินทิ้งระเบิดที่กลับมาถึงฐานหลังภารกิจ แล้วพบว่ารอยกระสุนกระจุกตัวหนาแน่นที่ปีกและลำตัวส่วนหลัง วิศวกรส่วนใหญ่จึงเสนอให้เสริมเกราะตรงจุดที่มีรอยกระสุนเยอะที่สุด จนกระทั่งนักสถิติชื่ออับราฮัม วอลด์ทักท้วงว่า จุดที่ควรเสริมเกราะคือจุดที่ ‘ไม่มี’ รอยกระสุนบนเครื่องที่รอดกลับมาต่างหาก เพราะเครื่องที่โดนยิงตรงจุดนั้น (เช่นเครื่องยนต์) น่าจะตกก่อนจะบินกลับมาให้ใครเห็นเลยด้วยซ้ำ
เรื่องนี้เป็นตัวอย่างคลาสสิกของ survivorship bias หรือการวิเคราะห์แค่กลุ่มที่ ‘รอด’ โดยลืมไปว่ากลุ่มที่ ‘ไม่รอด’ ต่างหากที่อาจซ่อนคำตอบที่แท้จริงไว้ และธุรกิจที่วิเคราะห์แชท LINE ก็ตกหลุมเดียวกันนี้บ่อยกว่าที่คิด
ร้าน ‘Aurora เครื่องประดับ’ หยิบแชทที่ปิดการขายได้ 50 บทมาไล่อ่านเพื่อหาแพทเทิร์นร่วม แล้วพบว่าเกือบทุกบทมีการพูดถึง ‘ส่งฟรีทั่วประเทศ’ และ ‘ของแท้ตรวจสอบได้’ เจ้าของร้านสรุปทันทีว่านี่คือสองประโยคเด็ดที่ทำให้ปิดยอดได้ แล้วสั่งให้แอดมินพูดสองประโยคนี้ทุกแชทเป็นมาตรฐาน
ปัญหาคือไม่มีใครเอาแชทที่ ‘หลุด’ มาเทียบด้วยเลย
การหยิบแชทที่ปิดได้มาหาแพทเทิร์นร่วมฟังดูสมเหตุสมผล แต่มันมีช่องโหว่สำคัญ นั่นคือถ้าประโยคที่เจอในแชทที่ปิดได้ ดันเป็นประโยคที่แอดมินพูดในแชททุกบทอยู่แล้วไม่ว่าจะปิดได้หรือไม่ได้ แปลว่าประโยคนั้นไม่ใช่ตัวสร้างความต่างเลย มันแค่เป็นเรื่องปกติที่มีอยู่ในทุกแชท
พูดอีกแบบคือ การเจอแพทเทิร์นในกลุ่มที่ ‘รอด’ อย่างเดียว บอกได้แค่ว่า ‘แพทเทิร์นนี้มีอยู่ในกลุ่มที่รอด’ แต่บอกไม่ได้เลยว่า ‘แพทเทิร์นนี้คือสาเหตุที่ทำให้รอด’ ต้องเทียบกับกลุ่มที่ไม่รอดด้วยเสมอถึงจะแยกสองเรื่องนี้ออกจากกันได้
พอดึงแชทที่หลุดมาเทียบด้วย ภาพถึงเปลี่ยน
| สิ่งที่พบในแชท | ปรากฏในแชทที่ปิดได้ (50 บท) | ปรากฏในแชทที่หลุด (50 บท) |
|---|---|---|
| พูดถึง ‘ส่งฟรีทั่วประเทศ’ | 44 บท (88%) | 42 บท (84%) |
| พูดถึง ‘ของแท้ตรวจสอบได้’ | 41 บท (82%) | 39 บท (78%) |
| ตอบกลับข้อความแรกภายใน 5 นาที | 38 บท (76%) | 11 บท (22%) |
ทำไมดูแค่ ‘คนที่รอด’ ถึงพาไปผิดทาง
จากตารางข้างบน จะเห็นว่า ‘ส่งฟรีทั่วประเทศ’ กับ ‘ของแท้ตรวจสอบได้’ ปรากฏอยู่ในแชทที่หลุดพอๆ กับแชทที่ปิดได้ (ต่างกันแค่ 4-6 จุด) แปลว่าสองประโยคนี้ไม่ใช่ตัวสร้างความต่างจริง มันเป็นแค่มาตรฐานที่แอดมินพูดอยู่แล้วในแทบทุกแชท ไม่ว่าลูกค้าจะปิดหรือไม่ปิด
ในขณะที่ ‘ตอบกลับภายใน 5 นาที’ ต่างกันชัดเจนมาก คือ 76% ในแชทที่ปิดได้ เทียบกับแค่ 22% ในแชทที่หลุด ตัวแปรนี้ต่างหากที่น่าจะเป็นสาเหตุจริงที่แยกแชทที่ปิดได้ออกจากแชทที่หลุด แต่ถ้าร้าน Aurora ไม่เคยดึงแชทที่หลุดมาเทียบเลย ก็จะไม่มีวันรู้ว่านี่คือตัวแปรสำคัญ แล้วยังคงหลงเชื่อว่าสองประโยคขายที่ท่องจำมาคือกุญแจสำเร็จ
ความคล้ายกับที่เคยพูดถึงเรื่องสหสัมพันธ์กับเหตุและผลคือทั้งคู่เตือนให้ระวังการด่วนสรุปจากข้อมูลที่เห็น แต่ survivorship bias เจาะจงกว่านั้น เพราะปัญหาไม่ได้อยู่ที่ตัวแปรแฝง แต่อยู่ที่ ‘ไม่ได้เก็บข้อมูลของกลุ่มที่ไม่รอดมาเทียบตั้งแต่แรก’
จุดอื่นที่ survivorship bias ชอบแฝงตัวในงานแอด
- ศึกษาเฉพาะลูกค้าที่มีLTV สูงสุดเพื่อหาว่าทำไมพวกเขาถึงภักดี โดยไม่เทียบกับลูกค้าที่เลิกซื้อไปแล้ว อาจทำให้พลาดสัญญาณเตือนที่ซ่อนอยู่ในกลุ่มที่หายไป
- ศึกษาเฉพาะแอดมินที่ผลงานดีที่สุดในทีมปัจจุบัน โดยลืมไปว่าแอดมินที่ผลงานแย่มักลาออกหรือถูกย้ายงานไปแล้ว ทำให้กลุ่มตัวอย่างที่เหลืออยู่มีแต่คนเก่งเป็นทุนเดิม
- ดูเฉพาะแคมเปญโฆษณาที่ยังรันอยู่ตอนนี้เพื่อหาสูตรที่ได้ผล โดยไม่นับแคมเปญที่ถูกปิดไปแล้วเพราะทำผลงานได้แย่ ซึ่งอาจมีบทเรียนสำคัญไม่แพ้กัน
วิธีตั้งการวิเคราะห์ให้ไม่ตกหลุม survivorship bias
- ทุกครั้งที่จะหาแพทเทิร์นจากกลุ่มที่ ‘สำเร็จ’ ให้ดึงตัวอย่างกลุ่มที่ ‘ไม่สำเร็จ’ ในขนาดใกล้เคียงกันมาเทียบเสมอ อย่าวิเคราะห์กลุ่มเดียวโดดๆ
- เปรียบเทียบเป็นเปอร์เซ็นต์ของแต่ละกลุ่ม ไม่ใช่แค่ดูว่าแพทเทิร์นนั้น ‘มีอยู่’ ในกลุ่มที่สำเร็จหรือไม่ เพราะการมีอยู่เฉยๆ ไม่ได้บอกว่าเป็นตัวสร้างความต่าง
- ถ้าเป็นไปได้ ให้ทดสอบไปข้างหน้าด้วย เช่นลองปรับเฉพาะตัวแปรที่สงสัยว่าเป็นสาเหตุจริง แล้ววัดผลกับกลุ่มควบคุมที่ไม่เปลี่ยนอะไรเลย แทนที่จะเชื่อจากการมองย้อนหลังอย่างเดียว
- จดบันทึกเหตุผลที่แชทหลุดหรือดีลเสีย ไม่ใช่แค่บันทึกตอนที่ปิดได้ เพื่อให้มีข้อมูลของกลุ่มที่ไม่รอดไว้เทียบในอนาคต
สรุป
การหาสูตรสำเร็จจากแชทที่ปิดการขายได้อย่างเดียว เหมือนการเสริมเกราะเครื่องบินตรงจุดที่มีรอยกระสุน โดยลืมไปว่าเครื่องที่ไม่รอดกลับมาต่างหากที่ถือคำตอบสำคัญไว้ ยิ่งวิเคราะห์แค่กลุ่มที่สำเร็จ ยิ่งเสี่ยงหลงเชื่อสิ่งที่ไม่ใช่สาเหตุจริง
ครั้งหน้าที่จะไล่หาแพทเทิร์นจากแชทที่ปิดได้ ให้ดึงแชทที่หลุดมาเทียบด้วยเสมอ บางทีสิ่งที่คุณคิดว่าเป็นจุดขายเด็ด อาจแค่เป็นเรื่องปกติที่ไม่ได้สร้างความต่างอะไรเลย
- วิเคราะห์แค่แชทที่ปิดการขายได้ บอกได้แค่ว่าแพทเทิร์นนั้น ‘มีอยู่’ ในกลุ่มที่สำเร็จ ไม่ได้บอกว่าเป็นสาเหตุจริง
- ต้องเทียบกับแชทที่หลุดเสมอ ถึงจะแยกออกว่าอะไรคือตัวสร้างความต่างจริงๆ
- ตัวแปรที่มีสัดส่วนต่างกันมากระหว่างสองกลุ่ม น่าสงสัยว่าเป็นสาเหตุมากกว่าตัวแปรที่ปรากฏพอๆ กันในทั้งคู่
คำถามที่พบบ่อย
แปลว่าห้ามดูแชทที่ปิดการขายได้เลยใช่ไหม
ไม่ใช่ ดูได้และควรดู แต่ไม่ควรดูอย่างเดียวโดยไม่เทียบกับแชทที่หลุด เพราะจะแยกไม่ออกว่าสิ่งที่เจอเป็นตัวสร้างความต่างจริงหรือแค่เรื่องปกติที่มีอยู่ในทุกแชท
ต้องเก็บแชทที่หลุดไว้เยอะแค่ไหนถึงจะพอเทียบ
ควรมีขนาดใกล้เคียงกับกลุ่มที่ปิดได้ ถ้าน้อยเกินไปการเทียบจะไม่แม่นยำพอ อย่างน้อยควรใกล้เคียงกันในระดับที่พอบอกแนวโน้มได้ ไม่จำเป็นต้องเท่ากันเป๊ะ
ทำไมประโยคที่ดูเหมือนเป็นจุดขายอย่าง ‘ของแท้ตรวจสอบได้’ ถึงไม่ใช่ตัวสร้างความต่าง
เพราะมันปรากฏอยู่ในแชทที่หลุดพอๆ กับแชทที่ปิดได้ แปลว่าแอดมินพูดประโยคนี้เป็นมาตรฐานอยู่แล้วไม่ว่าลูกค้าจะซื้อหรือไม่ จึงไม่ใช่สิ่งที่แยกสองกลุ่มออกจากกัน
แล้วจะรู้ได้ยังไงว่าตัวแปรไหนคือสาเหตุจริง
ให้ดูตัวแปรที่มีสัดส่วนต่างกันมากระหว่างกลุ่มที่ปิดได้กับกลุ่มที่หลุด ยิ่งต่างมากยิ่งน่าสงสัยว่าเป็นสาเหตุจริง แต่ถ้าต้องการความมั่นใจสูงสุดควรทดสอบไปข้างหน้าด้วยกลุ่มควบคุมประกอบ
survivorship bias ต่างจากการสุ่มตัวอย่างไม่ดียังไง
survivorship bias คือการเลือกวิเคราะห์เฉพาะกลุ่มที่ ‘รอด’ หรือ ‘สำเร็จ’ โดยไม่รู้ตัว ซึ่งเป็นรูปแบบหนึ่งของการสุ่มตัวอย่างที่มีอคติ แต่มีลักษณะเฉพาะตรงที่กลุ่มที่หายไปมักหายไปเพราะเหตุผลที่เกี่ยวข้องกับสิ่งที่กำลังศึกษาอยู่พอดี
มีวิธีเก็บข้อมูลแชทที่หลุดให้ครบโดยไม่ต้องนั่งจดเองไหม
มี ระบบอย่างlinliที่บันทึกทุกแชทตั้งแต่ต้นทางไม่ว่าจะปิดหรือไม่ปิดจะช่วยให้ดึงทั้งสองกลุ่มมาเทียบกันได้ง่ายกว่าการนั่งไล่จดเฉพาะแชทที่ปิดได้ย้อนหลัง
บทความที่เกี่ยวข้อง
