ยอดขายพุ่งช่วงสิ้นปี แล้วรีบสรุปว่าที่ตั้งค่าใหม่ไปเดือนก่อนได้ผล ทั้งที่อาจไม่เกี่ยวกันเลย

ทีมการตลาดของร้านหนึ่ง (สมมติชื่อ 'ร้านของขวัญพรีเมียม') เพิ่งปรับปรุงระบบส่ง Conversion API ใหม่ในช่วงกลางเดือนพฤศจิกายน แล้วพอถึงเดือนธันวาคมยอดขายพุ่งขึ้นสามเท่าจากเดือนก่อนหน้า ทุกคนในทีมตื่นเต้นและสรุปทันทีว่า 'การปรับระบบวัดผลใหม่ได้ผลจริง ทำให้แพลตฟอร์มโฆษณาหาลูกค้าได้แม่นขึ้นมาก'

แต่มีคนหนึ่งในทีมถามคำถามที่ทำให้ทุกคนเงียบไปครู่หนึ่งว่า 'เดือนธันวาคมปีที่แล้ว ก่อนที่เราจะปรับอะไรเลย ยอดขายเป็นยังไงบ้าง' พอไปเปิดข้อมูลย้อนหลังดู พบว่าเดือนธันวาคมปีก่อนก็พุ่งขึ้นสามเท่าเหมือนกันแบบไม่มีการปรับระบบใด ๆ เลย นั่นแปลว่าสิ่งที่เพิ่งเกิดขึ้นอาจเป็นแค่ผลของเทศกาลสิ้นปีตามปกติ ไม่ได้เกี่ยวกับการปรับระบบวัดผลเลย

กับดักของการตีความยอดพุ่งช่วงเทศกาลผิดทาง

ช่วงเวลาที่มีเทศกาลหรือแคมเปญสำคัญ เช่นสิ้นปี วันแม่ วันเปิดเทอม หรือแม้แต่ช่วงเงินเดือนออก ยอดขายของหลายธุรกิจจะพุ่งขึ้นเองตามธรรมชาติของพฤติกรรมผู้บริโภค ไม่เกี่ยวกับว่าคุณทำอะไรกับระบบวัดผลหรือแคมเปญโฆษณาเลย

ปัญหาคือถ้าคุณบังเอิญปรับอะไรบางอย่างในช่วงเวลาใกล้เคียงกับเทศกาล แล้วยอดขายพุ่งขึ้นพอดี สมองมนุษย์มีแนวโน้มธรรมชาติที่จะเชื่อมโยงสองเหตุการณ์นี้เข้าด้วยกัน ทั้งที่ในความเป็นจริงอาจไม่มีความสัมพันธ์เชิงเหตุผลกันเลย

วิธีแยกผลของฤดูกาลออกจากผลของสิ่งที่คุณทำจริง

1. เทียบตัวเลขช่วงเวลาเดียวกันกับปีก่อนหน้า ไม่ใช่แค่เดือนก่อนหน้าของปีเดียวกัน เพราะการเทียบเดือนต่อเดือนจะไม่เห็นผลของฤดูกาลที่เกิดซ้ำทุกปี
2. ดูว่าคู่แข่งหรือธุรกิจในหมวดเดียวกันที่ไม่ได้ทำอะไรเปลี่ยนแปลง มียอดขายพุ่งขึ้นในช่วงเวลาเดียวกันไหม ถ้าพุ่งเหมือนกันหมด แปลว่าน่าจะเป็นผลของฤดูกาลมากกว่าสิ่งที่คุณทำ (คล้ายกับกรณีความต้องการตามฤดูกาลของธุรกิจอื่นที่พุ่งขึ้นเองโดยไม่เกี่ยวกับแคมเปญ)
3. ถ้าเป็นไปได้ ให้ปรับการเปลี่ยนแปลงทีละอย่างและเว้นระยะห่างจากช่วงเทศกาลสำคัญ เพื่อให้เห็นผลของการเปลี่ยนแปลงนั้นแบบไม่ปนกับปัจจัยฤดูกาล
4. ใช้ข้อมูลราคาโฆษณาช่วงเทศกาลประกอบการวิเคราะห์ด้วย เพราะช่วงที่คนแย่งยิงแอดกันเยอะ ต้นทุนต่อผลลัพธ์มักสูงขึ้นตามไปด้วย แม้ยอดขายรวมจะดูดีขึ้นก็ตาม

ตัวอย่างสมมติ: การเทียบปีต่อปีที่เผยความจริง

ลองดูตัวอย่างสมมติที่แสดงให้เห็นว่าทำไมการเทียบปีต่อปีถึงสำคัญกว่าการเทียบเดือนต่อเดือน:

แล้วจะรู้ได้ยังไงว่าการปรับระบบวัดผลช่วยจริง

ไม่ได้แปลว่าการปรับระบบวัดผลใหม่ไม่มีประโยชน์เลย เพียงแต่ต้องแยกผลของมันออกจากผลของฤดูกาลให้ชัดก่อนสรุป วิธีที่น่าเชื่อถือกว่าคือดูว่าอัตราการเติบโตปีนี้เทียบกับปีก่อน (ในช่วงเวลาเดียวกัน) สูงกว่าปกติไหม ถ้าปีก่อนโตจากเทศกาล 3 เท่า แต่ปีนี้โตถึง 4.5 เท่าในช่วงเทศกาลเดียวกัน นั่นถึงจะเป็นสัญญาณที่น่าเชื่อว่าการปรับระบบมีส่วนช่วยจริง

การอดทนรอเทียบข้อมูลข้ามปีอาจดูช้ากว่าการรีบสรุป แต่ป้องกันการเข้าใจผิดที่อาจนำไปสู่การตัดสินใจลงทุนซ้ำในสิ่งที่ไม่ได้ช่วยอะไรจริง ๆ หากมีงบพอ การเปิดดูโมเดลการให้เครดิตแบบแบ่งสัดส่วนควบคู่กันไปด้วยจะช่วยยืนยันภาพให้ชัดขึ้นอีกชั้น

สรุป

ความอยากรีบเชื่อมโยงว่า 'สิ่งที่เพิ่งทำ' คือสาเหตุของ 'ผลลัพธ์ที่ดีขึ้น' เป็นกับดักทางความคิดที่เกิดขึ้นได้กับทุกทีม โดยเฉพาะเมื่อจังหวะเวลาบังเอิญตรงกับช่วงเทศกาลที่ยอดขายพุ่งขึ้นเองตามธรรมชาติอยู่แล้ว

การฝึกนิสัยเทียบข้อมูลข้ามปีก่อนสรุปผลทุกครั้ง ไม่ใช่แค่ป้องกันการเข้าใจผิด แต่ยังช่วยให้ทีมเชื่อมั่นในข้อสรุปของตัวเองมากขึ้น เพราะรู้ว่าผ่านการตรวจสอบมาอย่างรอบคอบแล้ว ไม่ใช่แค่ตื่นเต้นไปกับตัวเลขที่ดูดีในช่วงเวลาสั้น ๆ

• ยอดพุ่งช่วงเทศกาลอาจเป็นผลธรรมชาติ ไม่เกี่ยวกับสิ่งที่คุณเพิ่งปรับ
• เทียบข้อมูลช่วงเวลาเดียวกันกับปีก่อนหน้า ไม่ใช่แค่เดือนก่อนหน้า
• ดูอัตราการเติบโตเทียบปีต่อปีเพื่อยืนยันว่าการปรับระบบช่วยจริงหรือแค่ผลของฤดูกาล

คำถามที่พบบ่อย