ยอด 40 ออร์เดอร์ที่ปิดในแชท มีกี่ออร์เดอร์ที่ ‘มาเพราะแอด’ จริงๆ
สรุปสั้น ๆ
ยอดปิดการขายในแชทไม่เท่ากับ ‘ยอดที่แอดสร้าง’ เพราะมีลูกค้าบางส่วนที่ตั้งใจซื้ออยู่แล้วไม่ว่าจะเห็นแอดหรือไม่ วิธีเดียวที่รู้ได้ว่าแอดสร้างยอดเพิ่มเท่าไหร่จริงๆ คือกันกลุ่มตัวอย่างส่วนหนึ่งไม่ให้เห็นแอดเลย แล้วเทียบผลสองกลุ่ม
ร้าน ‘NailLab สตูดิโอทำเล็บ’ ยิงแอดหาลูกค้าเข้าไลน์ตลอดเดือน ปิดยอดได้ 40 ออร์เดอร์ เจ้าของร้านดีใจแล้วสรุปว่า ‘แอดสร้างยอด 40 ออร์เดอร์’ ทั้งเดือน แต่คำถามที่ไม่มีใครถามคือ ถ้าเดือนนั้นไม่ยิงแอดเลย ลูกค้าประจำและคนที่บอกต่อกันมาจะยังทักเข้ามาซื้อกี่ออร์เดอร์อยู่ดี
สมมติร้านนี้มีฐานลูกค้าประจำที่ทักซื้อซ้ำอยู่แล้วเดือนละ 15 ออร์เดอร์โดยไม่ต้องพึ่งแอดเลย ถ้าเป็นแบบนั้น ยอด 40 ออร์เดอร์ในเดือนที่ยิงแอด ‘ส่วนที่แอดสร้างเพิ่มจริง’ ก็เหลือแค่ 25 ออร์เดอร์ ไม่ใช่ 40 ออร์เดอร์อย่างที่คิด
นี่คือสิ่งที่เรียกว่า incrementality — ผลที่เพิ่มขึ้นจริงจากการกระทำหนึ่ง ไม่ใช่ผลรวมทั้งหมดที่เกิดขึ้นพร้อมกัน และวิธีที่แม่นยำที่สุดในการวัดมันคือการทำ holdout test ซึ่งเป็นแนวคิดที่ไม่ซับซ้อนอย่างที่ชื่อฟังดู
ปัญหาของการนับยอดทั้งหมดว่าเป็นผลจากแอด
เวลาดูรายงาน คนส่วนใหญ่มองยอดขายทั้งก้อนที่เกิดขึ้นระหว่างที่ยิงแอด แล้วผูกความดีความชอบให้แอดทั้งหมด ทั้งที่ในความเป็นจริงมีลูกค้าอย่างน้อยสามกลุ่มปนกันอยู่: กลุ่มที่ซื้ออยู่แล้วไม่ว่าจะมีแอดหรือไม่ กลุ่มที่แอดกระตุ้นให้ซื้อเร็วขึ้นหรือซื้อเพิ่ม และกลุ่มที่ถ้าไม่เห็นแอดก็จะไม่ซื้อเลย
ยอดที่แอดสร้าง ‘จริง’ จึงควรนับแค่กลุ่มที่สองกับกลุ่มที่สาม ไม่ใช่กลุ่มแรกที่ซื้ออยู่แล้ว การเหมารวมทั้งหมดเข้าด้วยกันทำให้ประเมินประสิทธิภาพแอดสูงเกินจริงเสมอ
Holdout Group คือการเปรียบเทียบแบบมีกลุ่มควบคุม
หลักการง่ายๆ คือแบ่งกลุ่มเป้าหมายออกเป็นสองส่วนแบบสุ่ม ส่วนหนึ่งให้เห็นแอดตามปกติ อีกส่วนหนึ่ง (holdout group) กันไม่ให้เห็นแอดเลยในช่วงเวลาเดียวกัน แล้ววัดยอดขายของทั้งสองกลุ่มเทียบกัน
ความต่างของยอดขายระหว่างกลุ่มที่เห็นแอดกับกลุ่ม holdout คือผลที่แอดสร้างเพิ่มขึ้นจริง ไม่ใช่การเดาจากยอดรวมเฉยๆ วิธีนี้ตัดปัญหาที่ว่า ‘ยอดที่จะเกิดอยู่แล้ว’ ปนเข้ามาในตัวเลข เพราะกลุ่ม holdout เป็นตัวแทนของ ‘โลกที่ไม่มีแอด’ ให้เทียบตรงๆ
ตัวอย่างคำนวณแบบง่ายๆ
| กลุ่ม | จำนวนคนในกลุ่ม | ยอดที่ปิดได้ | อัตราซื้อ |
|---|---|---|---|
| เห็นแอดตามปกติ | 1,000 คน | 40 ออร์เดอร์ | 4.0% |
| Holdout (ไม่เห็นแอด) | 1,000 คน | 15 ออร์เดอร์ | 1.5% |
แปลผลจากตัวอย่างข้างบน
ความต่างของอัตราซื้อคือ 4.0% - 1.5% = 2.5 จุด นั่นแปลว่าจากคนทุก 1,000 คนที่เห็นแอด มีประมาณ 25 คนที่ซื้อ ‘เพราะแอด’ จริงๆ ส่วนอีก 15 คนที่เหลือในกลุ่มที่เห็นแอดคือคนที่น่าจะซื้ออยู่แล้วแม้ไม่มีแอด
ตัวเลข 25 ออร์เดอร์นี้ต่างหากที่ควรใช้ประเมินความคุ้มค่าของงบโฆษณา ไม่ใช่ตัวเลข 40 ออร์เดอร์ที่นับรวมทุกอย่างเข้าด้วยกัน ถ้าเอาต้นทุนแอดไปหารกับ 40 ออร์เดอร์ ต้นทุนต่อออร์เดอร์จะดูถูกเกินจริง
ออกแบบ holdout test แบบไม่พังธุรกิจ
- เลือกกันงบแค่ส่วนน้อย (เช่น 10-20% ของกลุ่มเป้าหมาย) ไว้เป็น holdout ไม่ต้องกันทั้งหมด เพื่อไม่ให้เสียยอดขายมากเกินไประหว่างทดสอบ
- สุ่มแบ่งกลุ่มแบบไม่มีอคติ อย่าเลือกกลุ่ม holdout จากคนที่ดูไม่น่าซื้ออยู่แล้ว เพราะจะทำให้ผลเทียบเพี้ยน
- รันคู่ขนานในช่วงเวลาเดียวกัน เพื่อตัดผลจากปัจจัยฤดูกาลหรือกระแสตลาดที่เปลี่ยนไปตามเวลา
- เทียบอัตราซื้อของสองกลุ่มเมื่อครบรอบที่วางแผนไว้ แล้วคำนวณส่วนต่างเพื่อได้ตัวเลข incremental lift ที่แท้จริง
สรุป
ยอดขายที่เกิดขึ้นระหว่างยิงแอด ไม่ใช่ทั้งหมดที่แอดสร้าง มีลูกค้าส่วนหนึ่งที่ตั้งใจซื้ออยู่แล้วไม่ว่าจะมีแอดหรือไม่ การรู้จักแยกสองส่วนนี้ออกจากกันคือหัวใจของการวัดผลที่ตรงกับความจริง
holdout test อาจฟังดูเป็นเรื่องใหญ่ แต่ในทางปฏิบัติแค่กันกลุ่มเล็กๆ ไว้เทียบก็เริ่มเห็นภาพได้แล้ว ลองเริ่มจากสเกลเล็กก่อน แล้วค่อยขยายเมื่อเห็นว่าข้อมูลที่ได้มีประโยชน์จริง
- ยอดขายรวมระหว่างยิงแอด ≠ ยอดที่แอดสร้างเพิ่มจริง
- holdout group คือกลุ่มควบคุมที่ไม่เห็นแอด ใช้เทียบเพื่อหาส่วนต่างที่แท้จริง
- เริ่มทดสอบในสเกลเล็กก่อน แล้วขยายเมื่อเห็นว่าคุ้มกับข้อมูลที่ได้
คำถามที่พบบ่อย
ทำ holdout test แล้วเสียยอดขายไปเยอะไหม
เสียบางส่วนจริงในช่วงทดสอบ แต่ถ้ากันแค่สัดส่วนน้อยและทำในช่วงสั้นๆ ความเสียหายมักน้อยกว่าคุณค่าของข้อมูลที่ได้ โดยเฉพาะถ้าธุรกิจใช้งบโฆษณาก้อนใหญ่ต่อเนื่อง
ธุรกิจเล็กที่งบไม่เยอะ ยังคุ้มทำ holdout test ไหม
ทำได้ในสเกลเล็กลง เช่น สลับปิด-เปิดแอดเป็นช่วงเวลาแทนการแบ่งกลุ่มคน แล้วเทียบยอดขายช่วงที่ปิดกับเปิด วิธีนี้หยาบกว่าแต่พอให้เห็นภาพ incremental lift ได้บ้าง
ถ้ากลุ่ม holdout ดันมียอดสูงพอๆ กับกลุ่มที่เห็นแอด แปลว่าแอดไม่ได้ผลเลยใช่ไหม
เป็นสัญญาณว่าแอดชุดนั้นอาจสร้างผลเพิ่มได้น้อยจริง หรืออาจเป็นเพราะฐานลูกค้าประจำแข็งแรงมากจนซื้อเองอยู่แล้ว ควรพิจารณาทั้งสองมุมก่อนสรุป
incrementality กับ attribution ต่างกันยังไง
attribution คือการพยายามผูกยอดขายเข้ากับช่องทางหรือแคมเปญที่พาเข้ามา ส่วน incrementality คือการวัดว่าถ้าไม่มีสิ่งนั้นเลย ยอดขายจะหายไปเท่าไหร่ ทั้งสองแนวคิดเสริมกัน แต่ incrementality ตอบคำถาม ‘ควรใช้งบต่อไหม’ ได้ตรงกว่า
ต้องทำ holdout test บ่อยแค่ไหน
ไม่จำเป็นต้องทำตลอดเวลา อาจทำเป็นระยะ เช่น ทุกไตรมาส หรือเมื่อเปลี่ยนกลยุทธ์ครั้งใหญ่ เพื่อเช็กว่าสมมติฐานเรื่องประสิทธิภาพแอดยังใช้ได้อยู่หรือเปลี่ยนไปแล้ว
มีระบบที่ช่วยแยกยอดที่มาจากแอดกับยอดที่เกิดเองอยู่แล้วไหม
มีบางส่วน เช่น ระบบอย่างlinliที่ผูกที่มาของแชทกับผลปิดการขายช่วยให้เห็นว่ายอดไหนมาจากแคมเปญไหน แต่การจะรู้ ‘ส่วนเพิ่มที่แท้จริง’ ยังต้องอาศัยการออกแบบ holdout test ควบคู่ไปด้วย
บทความที่เกี่ยวข้อง
