ส่งแบบ Narrowcast แยกกลุ่ม แล้ววัดว่ากลุ่มไหนสร้างยอดจริง

สมมติร้านหนึ่งแบ่งฐานเพื่อนเป็น 4 กลุ่ม แล้วส่งโปรเดียวกันไปทุกกลุ่มพร้อมกัน ทั้งสัปดาห์มีออเดอร์ 180 รายการ ทีมถามว่ารอบหน้าควรส่งให้กลุ่มไหนก่อน แต่ข้อมูลที่มีคืออัตราเปิดอ่านต่อกลุ่ม ซึ่งไม่ได้บอกว่าใครซื้อ

Narrowcast คือการส่งข้อความเฉพาะกลุ่มผู้รับที่เรากำหนด ต่างจาก Broadcast ที่ส่งทั้งลิสต์ รายละเอียดทางเทคนิค เช่น การสร้างกลุ่มผู้รับ เงื่อนไขกรอง ขนาดกลุ่มขั้นต่ำ และชื่อเมนูในหน้าจัดการ ตรวจจากเอกสารล่าสุดของ LINE บทความนี้เน้นวิธีวัดผลซึ่งใช้ได้ไม่ว่ากลไกส่งจะเปลี่ยนไปแบบไหน

LINE รายงานอะไร และยังขาดอะไร

รายงานสถิติข้อความของ LINE บอกจำนวนที่ส่งถึง การเปิดอ่าน และการคลิกลิงก์ในข้อความ ตามที่เอกสารระบุ มีตัวเลือกให้ตั้งชื่อหน่วยรวมสถิติ (ชื่อฟิลด์ที่เอกสารใช้คือ customAggregationUnits ตรวจรูปแบบและข้อจำกัดของชื่อกับเอกสารล่าสุด) เพื่อรวมสถิติของข้อความหลายชุดที่เป็นแคมเปญเดียวกัน แต่รายงานเหล่านี้ไม่รู้ว่าใครซื้ออะไรในแชท ยอดขายอยู่ในระบบของคุณเท่านั้น และกลุ่มที่เล็กมากอาจมีสถิติที่ถูกจำกัดการแสดงผล ให้ตรวจเงื่อนไขนี้ก่อนออกแบบกลุ่มย่อย

ห้าอย่างที่ต้องติดตั้งไว้ก่อนกดส่ง

1. นิยามกลุ่มให้ไม่ซ้อนกัน คนหนึ่งคนอยู่กลุ่มเดียวเท่านั้น แล้วจดนิยามกับวันที่ดึงรายชื่อไว้ ดูวิธีแบ่งกลุ่มจากประวัติแชทใน แบ่งกลุ่มจากประวัติแชท
2. ให้แต่ละกลุ่มมีลิงก์ของตัวเอง ที่ติดรหัสกลุ่มและรหัสรอบ ผ่านรหัสสั้นตามแนวทางใน ส่งต่อ Click ID เข้า LINE จะได้รู้ว่าคลิกมาจากกลุ่มไหน
3. ตั้งชื่อหน่วยรวมสถิติของ LINE ให้ตรงกับรหัสกลุ่มและรอบ เพื่อให้ตัวเลขฝั่ง LINE กับฝั่งเราเทียบกันได้
4. สุ่มกันกลุ่มควบคุมราว 10% จากแต่ละกลุ่มไว้โดยไม่ส่งข้อความ และเก็บ userId ของกลุ่มนี้ไว้
5. กำหนดหน้าต่างนับออเดอร์ล่วงหน้า เช่น 7 วัน (สมมติ) ให้สอดคล้องกับรอบตัดสินใจซื้อของสินค้าคุณ แล้วใช้เท่ากันทุกกลุ่ม

ตัวอย่างสี่กลุ่มที่ผลจริงต่างจากยอดดิบ

ตัวเลขในตารางเป็นตัวอย่างสมมติ ถ้าดูแค่ออเดอร์ดิบ สองกลุ่มแรกได้เท่ากันที่ 54 และกลุ่มที่สามได้ 63 จากคนเพียง 900 คน แต่ส่วนต่างอัตราบอกอีกเรื่อง กลุ่ม “ทักแต่ยังไม่ซื้อ” เล็กที่สุดแต่ข้อความสร้างออเดอร์เพิ่มราว 36 รายการ มากที่สุด ส่วนกลุ่ม “เพิ่งเพิ่มเพื่อน” ซื้อในอัตราเท่ากันไม่ว่าจะได้ข้อความหรือไม่ ข้อความรอบนี้ไม่ได้เพิ่มอะไรให้เขา

ถ้าค่าข้อความสมมติ 0.10 บาท การส่ง 5,850 ข้อความรวมเป็น 585 บาท ได้ออเดอร์เพิ่มรวม 72 รายการ หรือราว 8 บาทต่อออเดอร์ที่เพิ่ม โดยกลุ่มสุดท้ายใช้ไป 45 บาทแล้วไม่ได้อะไรกลับมา แนวคิดคำนวณต้นทุนข้อความเทียบกับออเดอร์อ่านเพิ่มได้ใน วัดผล Broadcast LINE ที่สร้างออเดอร์

กลุ่มควบคุมเล็กเกินไปทำให้ผลแกว่ง

ดูที่ช่องออเดอร์กลุ่มควบคุมในตาราง ได้ 5, 3, 3 และ 2 รายการ ถ้ามีคนซื้อเพิ่มหรือหายไปเพียงหนึ่งหรือสองคน ส่วนต่างอัตราก็เปลี่ยนไปเกือบครึ่ง เช่นกลุ่มแรกที่ส่วนต่าง 0.5 จุด อาจกลายเป็น 0 หรือ 1 ได้ง่าย ๆ ผมถือว่าถ้าออเดอร์ในกลุ่มควบคุมต่ำกว่าราว 10 รายการ ผลที่ได้เป็นทิศทาง ไม่ใช่ข้อสรุป นี่เป็นดุลยพินิจของผม ไม่ใช่เกณฑ์ทางสถิติ

ทางแก้มีสองทาง คือกันกลุ่มควบคุมเป็น 20% ในกลุ่มที่เล็ก หรือทำซ้ำสองถึงสามรอบแล้วรวมผล วิธีออกแบบการทดสอบแบบกันกลุ่มอยู่ใน ออกแบบ Holdout Test

สี่ข้อผิดพลาดในการอ่านผลรายกลุ่ม

• กลุ่มซ้อนกัน: คนหนึ่งอยู่สองกลุ่มจึงได้ข้อความสองชุด ผลของกลุ่มปนกันและแยกไม่ได้ว่าชุดไหนได้ผล
• เปลี่ยนนิยามระหว่างรอบ: ย้ายคนเข้าออกกลุ่มหลังส่งไปแล้ว ทำให้เทียบก่อนหลังไม่ได้
• นับเฉพาะคนที่เปิดอ่าน: ต้องนับทุกคนที่ถูกส่ง เพราะคนที่เปิดอ่านคือคนที่สนใจอยู่แล้ว การนับเฉพาะพวกเขาทำให้ผลดูดีเกินจริง
• เทียบข้ามกลุ่มแทนกลุ่มควบคุม: กลุ่ม “ทักแต่ยังไม่ซื้อ” ซื้อได้ 7% ส่วนกลุ่ม “หายไปเกิน 90 วัน” ได้ 2% แต่ฐานซื้อของสองกลุ่มต่างกันตั้งแต่ต้น ต้องเทียบกับกลุ่มควบคุมของตัวเองเท่านั้น

เอาผลไปตัดสินรอบหน้า

จากตัวอย่าง ข้อความของกลุ่มที่ส่วนต่างเป็นศูนย์ควรถูกลดหรือเปลี่ยนเนื้อหา ส่วนกลุ่มที่ส่วนต่างสูงควรได้ความถี่เพิ่มอย่างระมัดระวัง เพราะความถี่ที่สูงเกินไปเพิ่มยอดบล็อก ดูข้อจำกัดใน Broadcast Remarketing กับการวัดผล อย่าตัดสินใจจากรอบเดียวถ้ากลุ่มควบคุมเล็ก ให้ทำซ้ำอย่างน้อยอีกหนึ่งรอบก่อนย้ายงบข้อความ

สรุป

รอบถัดไปที่จะส่ง Narrowcast ให้ลงมือสามอย่างก่อนกดส่ง คือนิยามกลุ่มไม่ซ้อนกัน ใส่รหัสกลุ่มในลิงก์ และสุ่มกันกลุ่มควบคุมไว้ แค่สามอย่างนี้ ผลรอบนั้นก็จะตอบได้ว่ากลุ่มไหนควรได้รับข้อความต่อ

ที่เหลือคือวินัยในการอ่านผล ใช้อัตราออเดอร์ของกลุ่มที่ส่งเทียบกลุ่มควบคุมของตัวเอง และอย่าด่วนสรุปเมื่อกลุ่มควบคุมมีออเดอร์ไม่ถึงสิบรายการ

• รายงานของ LINE บอกการส่งถึง เปิด คลิก แต่ไม่บอกยอดขาย
• ติดรหัสกลุ่มในลิงก์และตั้งชื่อหน่วยรวมสถิติให้ตรงกัน
• กันกลุ่มควบคุมราว 10% ในทุกกลุ่ม และนับทุกคนที่ถูกส่ง
• กลุ่มควบคุมเล็กเกินไป ให้เพิ่มสัดส่วนหรือทำซ้ำหลายรอบ
• ย้ายงบข้อความจากกลุ่มที่ส่วนต่างเป็นศูนย์ไปกลุ่มที่ส่วนต่างสูง

คำถามที่พบบ่อย