ภาพรวมบอกว่าแอดมิน A ปิดยอดแพ้ B แต่แยกดูทีละกลุ่มแล้ว A ชนะทุกกลุ่ม เกิดอะไรขึ้น
สรุปสั้น ๆ
ตัวเลขรวมบางครั้งให้ภาพตรงข้ามกับความจริงที่เกิดในแต่ละกลุ่มย่อยโดยสิ้นเชิง ปรากฏการณ์นี้เรียกว่า Simpson's Paradox เกิดจากสัดส่วนของกลุ่มย่อยที่แต่ละฝั่งดูแลไม่เท่ากัน ก่อนตัดสินใครเก่งกว่าใครจากตัวเลขรวม ต้องแยกดูตามกลุ่มที่เทียบกันได้จริงก่อนเสมอ
คลินิก ‘เดอร์มาพลัส’ เทียบผลงานแอดมินสองคนประจำเดือน แอดมิน A ดูแลแชทเข้ามาทั้งหมด 500 บท ปิดได้ 125 บท คิดเป็น 25% ส่วนแอดมิน B ดูแลแชท 500 บทเท่ากัน ปิดได้ 190 บท คิดเป็น 38% ผู้จัดการเห็นตัวเลขแล้วเรียก B ไปชมและวางแผนให้ B รับผิดชอบแชทเพิ่มขึ้นในเดือนหน้า
ก่อนประกาศผลอย่างเป็นทางการ ฝ่าย HR ขอลองแยกตัวเลขตามประเภทลูกค้าดูเผื่อเจออะไรน่าสนใจ พอแยกเป็น ‘ลูกค้าใหม่ที่ยังไม่เคยรู้จักคลินิก’ กับ ‘ลูกค้าเก่าที่เคยทักมาก่อน’ แล้วดูอัตราปิดของแต่ละคนในแต่ละกลุ่ม ผลที่ได้กลับตรงข้ามกับที่คิดไว้โดยสิ้นเชิง
A ปิดได้ดีกว่า B ในทั้งสองกลุ่มย่อย ทั้งกลุ่มลูกค้าใหม่และกลุ่มลูกค้าเก่า แต่พอรวมตัวเลขทั้งหมดเข้าด้วยกัน B กลับดูเก่งกว่า A อย่างชัดเจน นี่ไม่ใช่ความผิดพลาดในการนับ แต่เป็นปรากฏการณ์ทางสถิติที่มีชื่อเรียกว่า Simpson's Paradox ซึ่งพบได้บ่อยกว่าที่คิดในข้อมูลแชทที่มีหลายกลุ่มย่อยปนกันอยู่
ตัวเลขรวมที่เกือบทำให้ตัดสินใจผิด
| แอดมิน | แชททั้งหมดที่ดูแล | ปิดได้ | อัตราปิดรวม |
|---|---|---|---|
| A | 500 บท | 125 บท | 25% |
| B | 500 บท | 190 บท | 38% |
พอแยกตามประเภทลูกค้าที่แต่ละคนดูแล ภาพเปลี่ยนทันที
| ประเภทลูกค้า | แอดมิน A | แอดมิน B |
|---|---|---|
| ลูกค้าใหม่ (แชทหนัก แปลงยาก) | 400 บท ปิด 80 บท = 20% | 100 บท ปิด 18 บท = 18% |
| ลูกค้าเก่า (แชทเบา แปลงง่าย) | 100 บท ปิด 45 บท = 45% | 400 บท ปิด 172 บท = 43% |
ทำไมตัวเลขรวมถึง ‘โกหก’ ได้ทั้งที่ไม่มีใครโกงข้อมูลสักตัว
สังเกตว่า A ชนะ B ทั้งสองกลุ่มย่อย 20% > 18% ในกลุ่มลูกค้าใหม่ และ 45% > 43% ในกลุ่มลูกค้าเก่า แต่ตัวเลขรวมกลับให้ B ชนะขาด เหตุผลอยู่ที่ ‘สัดส่วนงานที่แต่ละคนได้รับ’ ไม่ใช่ฝีมือ A ถูกจัดให้ดูแลลูกค้าใหม่ที่ปิดยากถึง 400 บทจาก 500 บท ในขณะที่ B ได้ดูแลลูกค้าเก่าที่ปิดง่ายถึง 400 บทจาก 500 บท
เมื่อรวมตัวเลขเข้าด้วยกันโดยไม่สนใจว่าแต่ละคนดูแลกลุ่มไหนในสัดส่วนเท่าไหร่ กลุ่มที่ปิดง่ายกว่าของ B จะไปดึงค่าเฉลี่ยรวมของ B ขึ้นสูง ในขณะที่กลุ่มที่ปิดยากกว่าของ A จะไปฉุดค่าเฉลี่ยรวมของ A ลงต่ำ ทั้งที่ในแต่ละกลุ่มย่อยจริงๆ A ทำได้ดีกว่าตลอด (ยิ่งฐานแต่ละกลุ่มใหญ่พอจะเชื่อได้ตามหลัก confidence interval ยิ่งมั่นใจได้ว่าความต่างนี้ไม่ใช่เรื่องบังเอิญ)
นี่คนละเรื่องกับตัวแปรแฝงที่ทำให้ตัวเลขสองชุดขยับพร้อมกันแบบหลอกตาที่เคยพูดถึง เพราะ Simpson's Paradox ไม่ได้เกี่ยวกับความสัมพันธ์ระหว่างตัวแปรสองตัว แต่เกี่ยวกับ ‘การรวมกลุ่มที่มีสัดส่วนไม่เท่ากันเข้าด้วยกัน’ จนทิศทางของผลลัพธ์พลิกกลับ
จุดอื่นในงานแอดที่ Simpson's Paradox ชอบมาหลอก
- เทียบแคมเปญโฆษณาสองตัวโดยดู CTR รวม ทั้งที่แคมเปญหนึ่งยิงกับกลุ่มเป้าหมายที่เคยซื้อซ้ำอยู่แล้ว ส่วนอีกแคมเปญยิงกับกลุ่มที่ไม่เคยรู้จักแบรนด์เลย สัดส่วนกลุ่มเป้าหมายที่ต่างกันมากพอจะพลิกผลรวมได้
- เทียบอัตราปิดของสองสาขา โดยไม่ดูว่าสาขาไหนอยู่ในทำเลที่มีการแข่งขันสูงกว่าหรือลูกค้ามีกำลังซื้อต่างกัน
- เทียบความเร็วในการตอบแชทกับอัตราปิดรวมทั้งเดือน โดยไม่แยกช่วงเวลาที่คนทักเข้ามาหนาแน่นต่างจากช่วงที่โล่ง
- เทียบผลงานแคมเปญข้ามเดือนโดยไม่ปรับตามฤดูกาลหรือช่วงโปรโมชันที่ต่างกัน ซึ่งอาจทำให้เดือนที่ดูแย่กว่าจริงๆ แล้วทำได้ดีกว่าเมื่อเทียบในสภาพแวดล้อมเดียวกัน
เช็กยังไงก่อนสรุปว่าใครหรือแคมเปญไหนเก่งกว่าใคร
- ก่อนเทียบตัวเลขรวม ให้ถามก่อนว่าแต่ละฝั่งดูแลกลุ่มย่อยที่มี ‘ความยากง่ายในการปิด’ ต่างกันไหม เช่น ประเภทลูกค้า ช่วงเวลา หรือแหล่งที่มา
- ถ้าสงสัยว่ามีกลุ่มย่อยปนกันอยู่ ให้แยกตัวเลขตามกลุ่มนั้นก่อนเปรียบเทียบเสมอ อย่าเชื่อตัวเลขรวมเพียงอย่างเดียว
- ตรวจสอบว่าสัดส่วนงานของแต่ละฝั่งเท่ากันไหม ถ้าไม่เท่ากันมาก ให้ระวังเป็นพิเศษว่าตัวเลขรวมอาจถูกกลุ่มที่มีสัดส่วนเยอะกว่าดึงไปทางใดทางหนึ่ง
- ถ้าเป็นไปได้ ให้จัดงานให้แต่ละฝั่งดูแลสัดส่วนกลุ่มย่อยที่ใกล้เคียงกันก่อนเทียบผลงานรอบถัดไป เพื่อให้การเปรียบเทียบยุติธรรมขึ้น
สรุป
ตัวเลขรวมไม่ได้โกหก แต่มันซ่อนรายละเอียดที่สำคัญเอาไว้ เมื่อกลุ่มที่นำมารวมกันมีสัดส่วนไม่เท่ากัน ทิศทางของผลลัพธ์รวมอาจพลิกกลับจากความจริงในแต่ละกลุ่มย่อยได้ง่ายกว่าที่คิด
ก่อนสรุปว่าใครเก่งกว่าใครหรือแคมเปญไหนดีกว่ากัน ลองแยกตัวเลขตามกลุ่มที่น่าจะมีความยากง่ายต่างกันดูก่อนเสมอ บางครั้งภาพที่เห็นจะเปลี่ยนไปโดยสิ้นเชิง
- ตัวเลขรวมอาจให้ทิศทางตรงข้ามกับความจริงในแต่ละกลุ่มย่อย เมื่อสัดส่วนกลุ่มที่แต่ละฝั่งดูแลไม่เท่ากัน
- ก่อนเทียบผลงานคนหรือแคมเปญ ให้แยกตามกลุ่มที่มีความยากง่ายต่างกันก่อนเสมอ
- จัดสรรงานให้สัดส่วนกลุ่มย่อยใกล้เคียงกัน จะช่วยให้การเปรียบเทียบยุติธรรมขึ้นตั้งแต่ต้น
คำถามที่พบบ่อย
แปลว่าตัวเลขรวมใช้ไม่ได้เลยใช่ไหม
ไม่ใช่ ตัวเลขรวมยังมีประโยชน์ในการดูภาพกว้างของธุรกิจ เพียงแต่ไม่ควรใช้ตัดสินผลงานรายบุคคลหรือรายแคมเปญโดยไม่แยกกลุ่มย่อยที่มีความยากง่ายต่างกันก่อน
กรณีคลินิกเดอร์มาพลัส สุดท้ายควรให้ใครได้โบนัสมากกว่ากัน
ควรพิจารณาจากผลงานในแต่ละกลุ่มย่อยที่เทียบกันได้จริง ซึ่งในกรณีนี้ A ทำได้ดีกว่า B ทั้งสองกลุ่ม การให้รางวัลตามตัวเลขรวมเพียงอย่างเดียวจะไม่ยุติธรรมกับ A
Simpson's Paradox เกิดขึ้นได้บ่อยแค่ไหนในงานจริง
เกิดได้บ่อยกว่าที่คิด โดยเฉพาะเมื่อเทียบคนหรือแคมเปญที่ดูแลกลุ่มเป้าหมายในสัดส่วนต่างกันมาก ยิ่งธุรกิจมีการแบ่งงานตามประเภทลูกค้าชัดเจน ยิ่งมีโอกาสเจอปรากฏการณ์นี้
ต้องแยกกลุ่มย่อยละเอียดแค่ไหนถึงจะพอ
ไม่มีกฎตายตัว แต่ควรเริ่มจากปัจจัยที่รู้อยู่แล้วว่าส่งผลต่อความยากง่ายในการปิด เช่น ประเภทลูกค้าหรือแหล่งที่มา แล้วค่อยแยกละเอียดขึ้นถ้ายังเห็นความคลาดเคลื่อน
ถ้าแยกกลุ่มย่อยแล้วผลยังสลับไปมา ควรทำยังไงต่อ
อาจต้องแยกละเอียดขึ้นอีกชั้น หรือยอมรับว่าการเปรียบเทียบนี้ยังไม่ยุติธรรมพอ เพราะมีปัจจัยแฝงที่ยังไม่ได้ควบคุม ควรระมัดระวังการสรุปจนกว่าจะจัดสัดส่วนงานให้ใกล้เคียงกันได้
มีวิธีป้องกันปัญหานี้ตั้งแต่ต้นไหม
วิธีที่ช่วยได้คือจัดสรรงานให้แต่ละคนดูแลสัดส่วนกลุ่มลูกค้าใกล้เคียงกันตั้งแต่แรก ถ้าทำไม่ได้ ระบบอย่างlinliที่บันทึกที่มาและประเภทของแต่ละแชทไว้จะช่วยให้แยกตัวเลขย้อนหลังมาเทียบกันอย่างยุติธรรมได้ง่ายขึ้น
บทความที่เกี่ยวข้อง
