Incrementality Test: พิสูจน์ว่ายอดที่ปิดใน LINE เพิ่มเพราะโฆษณาจริงหรือแค่บังเอิญ
สรุปสั้น ๆ
Incrementality Test คือการกันกลุ่มเป้าหมายหรือพื้นที่ส่วนหนึ่งไม่ให้เห็นแอด (holdout) แล้วเทียบยอดที่ปิดใน LINE ระหว่างกลุ่มที่เห็นกับกลุ่มที่ไม่เห็น ถ้ายอดต่างกันจริงและต่างมากพอ แปลว่าแอดสร้างยอดเพิ่มจริง ไม่ใช่แค่ไปดักคนที่จะซื้ออยู่แล้ว
เดือนก่อนลูกค้าผมคนหนึ่งเพิ่มงบ Facebook Ads จาก 40,000 เป็น 85,000 บาท แล้วยอดที่ปิดในแชท LINE ก็ขยับจาก 62 ออเดอร์เป็น 79 ออเดอร์ ฟังดูดี แอดดัน แต่พอผมถามกลับว่า ‘รู้ได้ไงว่า 17 ออเดอร์ที่เพิ่มมาเป็นเพราะแอด ไม่ใช่เพราะเข้าเดือนเงินเดือนออกพอดี’ เขาตอบไม่ได้ และนั่นคือปัญหาที่คนทำแอดเกือบทุกคนมองข้าม
รายงานในหน้า Ads Manager หรือ Google Ads บอกได้แค่ว่า ‘คนกลุ่มนี้เห็นแอดแล้วซื้อ’ แต่ไม่เคยบอกว่าถ้าไม่มีแอด คนกลุ่มนี้จะซื้ออยู่ดีหรือเปล่า นี่คือความต่างระหว่าง Attribution (ใครได้เครดิต) กับ Incrementality (ยอดเพิ่มขึ้นจริงกี่บาท) ซึ่งสองอย่างนี้ตอบคนละคำถาม และธุรกิจส่วนใหญ่ดูแต่ตัวแรกทั้งที่ตัวหลังสำคัญกว่าเวลาต้องตัดสินใจเพิ่ม-ลดงบ
บทความนี้ผมจะเล่าวิธีทำ Holdout Test แบบที่ทำได้จริงในระดับ SME ไม่ต้องมีนักวิทยาศาสตร์ข้อมูล ไม่ต้องใช้เครื่องมือแพง ใช้แค่สเปรดชีตกับความอดทนรอผลสัก 2-3 สัปดาห์
ทำไมยอดที่ ‘ดูเหมือนเพิ่ม’ อาจไม่ใช่ยอดที่เพิ่มจริง
ลองนึกภาพร้านขายเครื่องกรองน้ำที่มีลูกค้าประจำทักมาซื้อไส้กรองทุกเดือนอยู่แล้วประมาณ 50 ออเดอร์ ต่อให้ไม่ยิงแอดเลยสักบาท ยอดตรงนี้ก็จะเกิดขึ้นอยู่ดีเพราะเป็นพฤติกรรมซื้อซ้ำ ทีนี้ถ้าเดือนนี้ยิงแอดแล้วยอดรวมขึ้นเป็น 68 ออเดอร์ คำถามคือ 18 ออเดอร์ที่เพิ่มมานั้นเป็นคนใหม่ที่แอดพามาจริง หรือเป็นลูกค้าประจำที่บังเอิญเห็นแอดระหว่างที่ตั้งใจจะซื้ออยู่แล้ว
กรณีแบบนี้พบบ่อยมากกับสินค้าที่มี ฐานลูกค้าซื้อซ้ำ สูง เพราะแอด Retargeting จะไปเจอคนที่ ‘จะซื้ออยู่แล้ว’ ได้ง่ายกว่าคนใหม่มาก ระบบโฆษณาก็จะรายงานว่าคนกลุ่มนี้ ‘คอนเวิร์ต’ ทั้งที่ความจริงแอดแค่ไปยืนอยู่ตรงทางที่เขาจะเดินผ่านอยู่แล้ว ไม่ได้สร้างการตัดสินใจใหม่ขึ้นมา
ผมไม่ได้บอกว่าแอด Retargeting ไม่มีประโยชน์ แต่การจะรู้ว่ามันคุ้มค่าจริงแค่ไหน ต้องแยกให้ออกระหว่าง ‘ยอดที่แอดช่วยเร่งให้เกิดเร็วขึ้น’ กับ ‘ยอดที่เกิดขึ้นเองอยู่แล้ว’ ซึ่งวิธีเดียวที่จะแยกได้ชัดคือทดลองแบบมีกลุ่มเทียบ ไม่ใช่ดูตัวเลขคอนเวอร์ชันเฉย ๆ
ทำ Holdout Test แบบ SME 4 ขั้นตอน
- เลือกมิติแบ่งกลุ่ม — ถ้ายิงหลายจังหวัด ใช้ Geo Holdout ปิดแอดในบางจังหวัดที่ยอดขายใกล้เคียงกับจังหวัดที่เปิดแอด ถ้าขายทั่วประเทศ ใช้ Audience Holdout กันกลุ่มเป้าหมาย 10-20% ออกจากการยิงแอด (Facebook มีฟีเจอร์ Conversion Lift ในตัว ส่วน Google Ads ทำผ่าน Campaign Draft & Experiment ได้)
- กำหนดช่วงเวลาให้นานพอ — อย่างน้อย 2-3 สัปดาห์ ถ้าสั้นกว่านี้ Noise จากวันธรรมดา/วันหยุดจะกลบผลต่างที่แท้จริง
- เก็บยอดที่ปิดจริงใน LINE ของทั้งสองกลุ่มแยกกัน ไม่ใช่แค่ยอดคลิกหรือยอดทัก เพราะสิ่งที่อยากรู้คือเงินที่โอนเข้าจริง ไม่ใช่ความสนใจผิวเผิน
- เทียบผลต่างเป็นเปอร์เซ็นต์ แล้วถามตัวเองว่าต่างมากพอจะคุ้มค่าแอดที่จ่ายไปไหม ไม่ใช่แค่ ‘ต่างกว่า 0’ เพราะต้นทุนแอดก็ต้องหักออกจากยอดที่เพิ่มมาด้วย
ตัวอย่างตัวเลข (สมมติเพื่อให้เห็นภาพ ไม่ใช่สถิติทางการ)
| กลุ่ม | ยอดออเดอร์/2 สัปดาห์ | มูลค่าเฉลี่ย/ออเดอร์ | ยอดรวม |
|---|---|---|---|
| เห็นแอด (Test) | 112 | 690 บาท | 77,280 บาท |
| ไม่เห็นแอด (Holdout) | 94 | 670 บาท | 62,980 บาท |
| ผลต่างที่นับเป็นยอดเพิ่มจากแอด | 18 | - | 14,300 บาท |
อ่านผลอย่างไม่หลอกตัวเอง
จากตัวอย่างด้านบน ถ้างบแอดที่จ่ายในช่วงนั้นคือ 20,000 บาท แปลว่าแอดสร้างยอดเพิ่มจริง 14,300 บาท ซึ่งยังไม่คุ้มทุนด้วยซ้ำถ้ามองแค่ Incremental Revenue อย่างเดียว แต่ถ้ามองในมุม LTV ของลูกค้าใหม่ที่เข้ามาในกลุ่มนี้ อาจจะคุ้มระยะยาวก็ได้ ตรงนี้ต้องเอาไปคุยกับตัวเลข LTV/CAC ต่ออีกที ไม่ใช่ตัดสินจากเดือนเดียว
สิ่งที่ผมเตือนลูกค้าเสมอคือ อย่าเอาผลจากช่วงพีคของปี (เทศกาล, มีโปรโมชันใหญ่) มาสรุปเป็นค่ามาตรฐาน เพราะช่วงนั้นทั้งกลุ่ม Test และ Holdout จะขยับขึ้นพร้อมกันด้วยเหตุผลอื่นที่ไม่ใช่แอด ทำให้ผลต่างดูเพี้ยนได้ทั้งสูงเกินไปและต่ำเกินไป
อีกจุดที่พลาดกันบ่อยคือรีบยกเลิกการทดลองกลางคันเพราะเห็นกลุ่ม Holdout ‘ยอดตก’ แล้วรีบเปิดแอดกลับ ทั้งที่ความผันผวนแบบนั้นเป็นเรื่องปกติของธุรกิจรายวัน ต้องรอให้ครบช่วงเวลาที่ตั้งไว้ก่อนสรุปผลเสมอ
ควรทำ Incrementality Test ตอนไหน
- งบแอดต่อเดือนเริ่มมีนัยสำคัญ (หลักหมื่นขึ้นไป) และอยากรู้ว่าคุ้มจริงไหมก่อนเพิ่มงบต่อ
- สงสัยว่าแอด Retargeting กำลังไป ‘แย่งเครดิต’ จากยอดที่จะเกิดขึ้นเองอยู่แล้ว
- กำลังจะตัดสินใจเรื่องใหญ่ เช่น เพิ่มงบเท่าตัวหรือขยายไปแพลตฟอร์มใหม่ อยากมีหลักฐานมากกว่าความรู้สึก
- ไม่จำเป็นต้องทำถ้างบยังน้อย เพราะการแบ่ง Holdout จะทำให้ปริมาณข้อมูลในแต่ละกลุ่มน้อยเกินจะเห็นผลต่างที่มีนัยสำคัญ
สรุป
ผมเข้าใจว่าการหยุดยิงแอดกับบางกลุ่มเพื่อ ‘ทดลอง’ ฟังดูขัดสัญชาตญาณ เพราะรู้สึกเหมือนเสียโอกาสขายไปฟรี ๆ แต่ถ้าไม่เคยทำเลย คุณจะไม่มีทางรู้เลยว่าเงินที่เพิ่มงบไปทุกเดือนนั้น กำลังซื้อยอดขายใหม่จริง หรือแค่จ่ายเพื่อไปยืนขวางทางคนที่จะซื้ออยู่แล้ว
- Incrementality Test ตอบคำถามที่ Attribution ตอบไม่ได้: ยอดที่เพิ่มมาเป็นของใหม่จริงกี่บาท
- ทำได้ด้วย Geo Holdout หรือ Audience Holdout โดยไม่ต้องมีทีม Data Science
- ต้องรันอย่างน้อย 2-3 สัปดาห์ และเทียบยอดที่ปิดจริง ไม่ใช่แค่ยอดคลิก
- ควรทำซ้ำเป็นระยะ โดยเฉพาะก่อนตัดสินใจเพิ่มงบก้อนใหญ่
คำถามที่พบบ่อย
ต้องหยุดแอดทั้งหมดเพื่อทำ Holdout Test ไหม
ไม่ต้อง หยุดแค่บางส่วน เช่น 10-20% ของกลุ่มเป้าหมายหรือบางพื้นที่ ส่วนที่เหลือยังยิงแอดตามปกติ เพื่อไม่ให้ธุรกิจเสียโอกาสทั้งหมดระหว่างทดลอง
ถ้าไม่มี Facebook Conversion Lift หรืองบไม่พอทำ Experiment ใน Google Ads จะทำยังไง
ทำแบบ Manual Geo Holdout ได้ เลือก 2 จังหวัดหรือ 2 กลุ่มที่ลักษณะลูกค้าใกล้เคียงกัน ปิดแอดในจังหวัดหนึ่ง เปิดอีกจังหวัดตามปกติ แล้วเทียบยอดที่ปิดใน LINE ระหว่างสองพื้นที่ วิธีนี้หยาบกว่าเครื่องมือในแพลตฟอร์มแต่ทำได้จริงโดยไม่มีค่าใช้จ่ายเพิ่ม
ผลต่างที่ได้ต้องมากแค่ไหนถึงเรียกว่ามีนัยสำคัญ
ไม่มีตัวเลขตายตัว แต่หลักคิดคร่าว ๆ คือผลต่างต้องมากกว่าความผันผวนปกติของธุรกิจในช่วงเวลาเดียวกันของเดือนก่อนหน้าอย่างชัดเจน ถ้าต่างกันแค่ 2-3% ในขณะที่ยอดขายปกติผันผวน 5-10% อยู่แล้ว แปลว่ายังสรุปอะไรไม่ได้
Incrementality Test ต่างจากการดู ROAS ในแดชบอร์ดยังไง
ROAS คำนวณจากยอดที่ระบบแอดอ้างว่าตัวเองปิดได้ ซึ่งรวมทั้งคนที่จะซื้ออยู่แล้วและคนที่แอดพามาจริง ส่วน Incrementality Test แยกสองกลุ่มนี้ออกจากกันด้วยการทดลองจริง ทำให้เห็นว่าเงินที่จ่ายเพิ่มไปสร้างยอดใหม่ได้กี่บาท ไม่ใช่แค่ตัวเลขที่แพลตฟอร์มเคลมเอง
ทำครั้งเดียวพอไหม หรือต้องทำซ้ำ
ควรทำซ้ำเป็นระยะ อย่างน้อยปีละ 1-2 ครั้งหรือทุกครั้งที่จะปรับงบก้อนใหญ่ เพราะพฤติกรรมลูกค้าและการแข่งขันเปลี่ยนไปเรื่อย ๆ ผลจากการทดลองเมื่อ 8 เดือนก่อนอาจใช้ไม่ได้กับสถานการณ์ตอนนี้แล้ว
มีเครื่องมือที่ช่วยเก็บยอดที่ปิดจริงใน LINE ระหว่างทดลองไหม
ถ้าใช้ระบบส่ง Conversion กลับแพลตฟอร์มอย่าง linli อยู่แล้ว ก็ดึงรายงานยอดที่ปิดจริงแยกตามแคมเปญ/กลุ่มเป้าหมายมาเทียบได้เลยโดยไม่ต้องนับมือ ซึ่งช่วยลดความผิดพลาดจากการกรอกตัวเลขเองได้มาก
บทความที่เกี่ยวข้อง
