โมเดลแบ่งเครดิตแบบ Markov กับ Shapley ต่างกันยังไงในภาษาคนทำแอด

ลูกค้าส่งภาพรายงานมาถามผมว่า last-click ให้ Google 35 ราย Meta 10 ราย แต่หน้าจอของแพลตฟอร์มที่เขาเปิดเห็นเขียนว่าใช้โมเดลแบบอัลกอริทึมและแบ่งเป็น 20 กับ 25 ‘มันคิดจากอะไร’ เป็นคำถามที่ควรได้คำตอบ ไม่ควรได้คำว่า ‘ระบบคำนวณให้’

สองวิธีที่คนพูดถึงบ่อยคือ Shapley กับ Markov ทั้งคู่เป็นคณิตศาสตร์ที่อธิบายได้ด้วยตารางเล็ก ๆ ผมจึงใช้ข้อมูลสมมติ 120 เส้นทางลูกค้าชุดเดียว แล้วคิดเลขให้ดูทีละขั้น

ข้อมูลตัวอย่าง 120 เส้นทางที่ใช้ตลอดบทความนี้

ตัวเลขทั้งหมดเป็นข้อมูลสมมติเพื่อสอนวิธีคิด ไม่ได้มาจากธุรกิจจริง ลูกค้า 120 รายเห็นโฆษณา แบ่งเป็นสามแบบตามช่องทางที่เจอ ซื้อรวม 45 ราย

ถ้าใช้กฎง่าย ๆ ผลต่างกันมาก first-touch ให้เครดิตช่องทางแรกของทุกเส้นทาง Meta ได้ 10 บวก 20 เท่ากับ 30 ราย Google ได้ 15 ราย ส่วน last-touch ให้เครดิตช่องทางสุดท้าย Meta ได้ 10 ราย Google ได้ 15 บวก 20 เท่ากับ 35 ราย ดูความต่างของสองกฎนี้ใน first-click กับ last-click

Shapley ถามว่าช่องทางหนึ่งเพิ่มผลเท่าไรเมื่อเข้ามาร่วมทีม

แนวคิดมาจากทฤษฎีเกม แบ่งผลงานของทีมให้สมาชิกอย่างยุติธรรมโดยดูว่าแต่ละคนเพิ่มผลเท่าไรเมื่อเข้าร่วม แล้วเฉลี่ยทุกลำดับการเข้าร่วม ในงานโฆษณา ผมใช้เวอร์ชันง่ายที่นับเฉพาะเส้นทางที่ช่องทางทั้งหมดอยู่ในกลุ่มนั้น

1. มูลค่าของแต่ละกลุ่ม Meta อย่างเดียวได้ 10 ซื้อ Google อย่างเดียวได้ 15 ซื้อ สองช่องทางรวมกันได้ 45 ซื้อ
2. Meta เข้าก่อน เพิ่ม 10 ซื้อ Meta เข้าหลัง Google เพิ่ม 45 ลบ 15 เท่ากับ 30 ซื้อ เฉลี่ยสองลำดับได้ 20
3. Google เข้าก่อน เพิ่ม 15 ซื้อ Google เข้าหลัง Meta เพิ่ม 45 ลบ 10 เท่ากับ 35 ซื้อ เฉลี่ยได้ 25
4. ผลรวม 20 บวก 25 เท่ากับ 45 พอดี ซึ่งเป็นคุณสมบัติของ Shapley ว่าเครดิตทั้งหมดถูกแจกครบไม่มีส่วนเกิน

Markov ถามว่าถ้าตัดช่องทางนี้ออก โอกาสซื้อหายไปเท่าไร

วิธีนี้มองเส้นทางเป็นการเดินระหว่างสถานะ จากจุดเริ่มไปยัง Meta หรือ Google แล้วจบที่ซื้อหรือไม่ซื้อ โดยแต่ละก้าวมีความน่าจะเป็น จากข้อมูลตัวอย่าง โอกาสซื้อโดยรวมคือ 45 ใน 120 เท่ากับ 0.375

ขั้น removal effect คือเอาช่องทางหนึ่งออก ทุกเส้นทางที่ผ่านช่องทางนั้นถือว่าไม่ซื้อ แล้วคิดโอกาสซื้อโดยรวมใหม่ ถ้าตัด Meta เหลือ 0.146 ลดลง 61 เปอร์เซ็นต์ ถ้าตัด Google เหลือ 0.083 ลดลง 78 เปอร์เซ็นต์ จากนั้นปรับให้ผลรวมเป็น 100 เปอร์เซ็นต์ Meta ได้ 44 Google ได้ 56 คูณกับ 45 ซื้อได้ 19.8 กับ 25.2

สี่วิธีบนข้อมูลชุดเดียวกัน

ในตัวอย่างเล็กนี้ Shapley กับ Markov ให้คำตอบเกือบเท่ากัน เพราะมีแค่สองช่องทางและลำดับยังไม่ค่อยมีผล ที่น่าสนใจคือสองกฎง่ายต่างจากสองโมเดลมาก first-touch ให้ Meta เกือบสองเท่าของ Google ส่วน last-touch ให้ Google เกือบสามเท่าของ Meta

สองวิธีนี้ต่างกันตรงไหนเมื่อข้อมูลจริงใหญ่ขึ้น

• ลำดับ Shapley แบบง่ายดูแค่ว่าช่องทางไหนอยู่ในเส้นทาง ไม่สนว่าใครมาก่อน Markov แบบอันดับหนึ่งดูแค่ขั้นก่อนหน้าขั้นเดียว ในตัวอย่าง โอกาสซื้อของ Google ถูกเฉลี่ยเป็น 0.4375 ไม่ว่า Meta จะมาก่อนหรือไม่ จึงมองลำดับยาว ๆ ไม่ได้
• จำนวนช่องทาง Shapley ต้องคิดทุกกลุ่มย่อย จำนวนกลุ่มเพิ่มเป็นสองยกกำลังจำนวนช่องทาง หลายสิบช่องต้องประมาณ ส่วน Markov คิดจากตารางการเปลี่ยนสถานะ ขยายง่ายกว่า
• ข้อมูลน้อย ทั้งสองแกว่งเมื่อเส้นทางบางแบบมีไม่กี่ราย ลองรันซ้ำบนข้อมูลสุ่มครึ่งหนึ่ง ถ้าเครดิตเปลี่ยนมากแสดงว่าข้อมูลยังไม่พอ
• ความโปร่งใส ทั้งสองอธิบายได้ด้วยตารางด้านบน ต่างจากโมเดล data-driven ของแพลตฟอร์มที่เห็นแค่ผลลัพธ์ ดูพื้นฐานใน data-driven attribution และตัวเลขเทียบกับ last-click ใน คณิตของ last-click กับ data-driven

ข้อมูลจาก LINE ใช้กับโมเดลพวกนี้ได้แค่ไหน และควรเริ่มเมื่อไร

ธุรกิจที่ปิดการขายผ่านแชทมักมีเส้นทางสั้น คือแอดหนึ่งตัวแล้วเข้าแชทแล้วซื้อ โมเดลเหล่านี้จึงยุบเป็นกฎง่าย ๆ ประโยชน์จะเกิดเมื่อมีจุดสัมผัสหลายจุดต่อคน เช่น แอดสองแพลตฟอร์ม บวกข้อความออกอากาศ บวกการตามต่อในแชท ซึ่งต้องมีข้อมูลระดับรายบุคคลและยอดซื้อจริง

เครดิตที่โมเดลคำนวณคือการแบ่งผลที่เกิดแล้ว ไม่ได้บอกว่าถ้าเพิ่มงบช่องทางนั้นยอดจะเพิ่มเท่านั้น คำถามนั้นต้องใช้ holdout test ดูเหตุผลที่สองเรื่องนี้แยกกันใน attribution กับ incrementality กฎมือของผมคือถ้ายังมียอดซื้อที่มีหลายจุดสัมผัสไม่ถึงหลักร้อยต่อเดือน ใช้ last-touch คู่ first-touch เทียบกันไปก่อน

สรุป

ถ้าต้องเลือกวิธีอธิบายให้เจ้าของธุรกิจฟัง ผมเริ่มจาก Shapley เพราะแสดงเป็นตารางสิบบรรทัดได้ และผลรวมเครดิตตรงกับยอดซื้อพอดี Markov น่าใช้เมื่อมีหลายช่องทางและมีเครื่องมือคำนวณอยู่แล้ว

ไม่ว่าเลือกวิธีไหน ให้ตั้งกติกาไว้ก่อนดูผล และอย่าเทงบตามเปอร์เซ็นต์เครดิตโดยไม่ทดสอบ

• ข้อมูลชุดเดียวกัน ให้ผลต่างกันมากระหว่างกฎง่ายกับโมเดล แต่ Shapley กับ Markov ใกล้กัน
• Shapley ถามว่าเพิ่มผลเท่าไรเมื่อเข้าทีม Markov ถามว่าตัดออกแล้วโอกาสซื้อหายเท่าไร
• Markov อันดับหนึ่งมองเห็นแค่ขั้นก่อนหน้าขั้นเดียว Shapley แบบง่ายไม่มองลำดับเลย
• ธุรกิจแชทที่เส้นทางสั้นได้ประโยชน์น้อย รอให้มีหลายจุดสัมผัสต่อคนก่อน
• เครดิตไม่ใช่ผลตอบแทนของงบ ต้องทดสอบด้วย holdout ก่อนย้ายงบ

คำถามที่พบบ่อย