รีวิวเวอร์สองคนให้คะแนนแชทเดียวกันคนละเบอร์: ทำไมทีม QA ต้องมีประชุม Calibration
สรุปสั้น ๆ
ปัญหาที่พบบ่อยเมื่อทีมมี QA มากกว่าหนึ่งคนคือ คนละมาตรฐาน แชทเดียวกันได้คะแนนต่างกันจนแอดมินเริ่มไม่เชื่อผลประเมิน ทางแก้ไม่ใช่หาคนเก่งขึ้นมาแทน แต่คือจัดประชุม Calibration ให้ QA มานั่งให้คะแนนแชทชุดเดียวกันแล้วคุยกันจนมาตรฐานใกล้เคียงกัน
ทีมแอดมินของร้านขายอุปกรณ์ตกแต่งบ้านแห่งหนึ่งขยายจนต้องมี QA สองคนช่วยกันตรวจแชท เดือนแรกที่เริ่มใช้ระบบใหม่ แอดมินคนหนึ่งบ่นกับหัวหน้าทีมว่า ‘แชทแบบเดียวกันเป๊ะ ทำไมสัปดาห์นี้ QA คนหนึ่งให้ผ่าน อีกคนให้ตก’
หัวหน้าทีมลองเอาแชทสองเคสที่คล้ายกันไปให้ QA ทั้งสองคนดูพร้อมกัน ผลคือให้คะแนนต่างกันจริงในบางหมวด ไม่ใช่เพราะใครทำงานไม่ตั้งใจ แต่เพราะแต่ละคนตีความเกณฑ์เดียวกันไม่เหมือนกัน
ปัญหานี้เกิดขึ้นทุกที่ที่มีคนให้คะแนนมากกว่าหนึ่งคน บทความนี้เล่าว่าประชุม Calibration คืออะไร ทำไมถึงจำเป็น และควรจัดยังไงให้ได้ผลจริง
ตอนที่คะแนนสองรีวิวเวอร์ห่างกันจนเชื่อไม่ได้
ผลกระทบของคะแนนที่ไม่ตรงกันไม่ได้จบแค่ความสับสน แต่ลามไปถึงความเชื่อใจทั้งระบบ เมื่อแอดมินเห็นว่าคะแนนขึ้นอยู่กับว่าใครเป็นคนตรวจในวันนั้น เขาจะเริ่มมองว่าการประเมินทั้งหมดเป็นเรื่องดวง ไม่ใช่เรื่องมาตรฐาน แล้วก็จะเลิกใส่ใจกับข้อเสนอแนะที่ QA ให้ไป
ที่แย่กว่านั้นคือถ้าคะแนนไปผูกกับการประเมินผลงานหรือค่าตอบแทน ความไม่สอดคล้องนี้จะกลายเป็นความไม่เป็นธรรมจริง ๆ ไม่ใช่แค่ความรู้สึก
ทำไมคนสองคนอ่านแชทเดียวกันแล้วให้คะแนนไม่ตรงกัน
- เกณฑ์ที่เขียนไว้กว้างเกินไป เช่น ‘จัดการข้อโต้แย้งได้ดี’ โดยไม่มีตัวอย่างว่า ‘ดี’ หน้าตาเป็นแบบไหน
- แต่ละคนมีประสบการณ์เดิมต่างกัน คนที่เคยขายสินค้าราคาสูงมักคาดหวังการอธิบายที่ละเอียดกว่าคนที่เคยขายสินค้าราคาถูก
- อารมณ์ของวันที่ตรวจมีผล ถ้าเพิ่งอ่านแชทแย่มาหลายเคส แชทที่กลาง ๆ อาจดูดีขึ้นเพราะเทียบกับของก่อนหน้า
รูปแบบประชุม Calibration ที่ใช้ได้จริง
| ขั้นตอน | สิ่งที่เกิดขึ้น | เวลาโดยประมาณ |
|---|---|---|
| 1. เลือกแชทร่วมกัน | หยิบแชท 5-8 เคสที่มีความยากง่ายหลากหลาย มาให้ QA ทุกคนให้คะแนนแยกกันก่อนล่วงหน้า | เตรียมล่วงหน้า |
| 2. เทียบคะแนน | เปิดคะแนนของแต่ละคนพร้อมกัน ดูว่าเคสไหนต่างกันมากที่สุด | 10 นาที |
| 3. ถกเหตุผล | คนที่ให้คะแนนต่างอธิบายว่าทำไมถึงให้แบบนั้น ไม่ใช่แค่บอกว่าใครถูกใครผิด | 20 นาที |
| 4. สรุปตัวอย่างมาตรฐาน | เก็บเคสที่ถกกันแล้วไว้เป็นตัวอย่างอ้างอิงสำหรับครั้งถัดไป | 10 นาที |
ตัวอย่างบทสนทนาช่วง Calibration ที่ปรับมุมมองรีวิวเวอร์
ที่ร้านขายอุปกรณ์ตกแต่งบ้าน ช่วง Calibration รอบแรกมีเคสหนึ่งที่คะแนนต่างกันเยอะที่สุด
QA คนที่ 1: ‘เคสนี้ผมให้ผ่าน เพราะแอดมินตอบคำถามลูกค้าครบทุกข้อ’
QA คนที่ 2: ‘ผมให้ตก เพราะลูกค้าถามเรื่องการรับประกัน แล้วแอดมินตอบว่าไม่แน่ใจ เดี๋ยวเช็กให้ แล้วก็เงียบไปเลยไม่กลับมาตอบ’
QA คนที่ 1: ‘อ๋อ ผมมองข้ามจุดนั้นไปจริง ๆ งั้นเกณฑ์ควรเพิ่มว่า ถ้ารับปากจะเช็กแล้วไม่กลับมาตอบ ต้องหักคะแนนเสมอ’
การถกแบบนี้ทำให้ครั้งต่อไปทั้งสองคนมีมาตรฐานเดียวกันมากขึ้น โดยไม่ต้องมีใครเป็นฝ่ายถูกหรือผิดทั้งหมด
ควรจัด Calibration บ่อยแค่ไหน
ช่วงเริ่มมี QA หลายคนใหม่ ๆ ควรจัดทุกสัปดาห์จนกว่าคะแนนของแต่ละคนจะเริ่มใกล้เคียงกันเอง หลังจากนั้นลดความถี่ลงเหลือเดือนละครั้งก็เพียงพอ แต่ไม่ควรหยุดไปเลย เพราะมาตรฐานมักค่อย ๆ เคลื่อนออกจากกันอีกถ้าไม่มีจุดเช็คร่วมกันเป็นระยะ
สัญญาณที่บอกว่าถึงเวลาต้อง Calibration เพิ่มคือ เมื่อแอดมินเริ่มถามว่า ‘ทำไมรอบนี้คะแนนต่างจากรอบที่แล้วทั้งที่ทำเหมือนเดิม’ นั่นแปลว่ามาตรฐานของทีม QA เริ่มเคลื่อนไปแล้ว
สรุป
คะแนน QA ที่ไม่สอดคล้องกันระหว่างคนตรวจ ไม่ใช่แค่ปัญหาเรื่องความแม่นยำ แต่กัดกร่อนความเชื่อใจที่แอดมินมีต่อระบบประเมินทั้งหมด
ประชุม Calibration ไม่ใช่การหาว่าใครให้คะแนนถูกกว่าใคร แต่คือพื้นที่ที่ทำให้มาตรฐานของทีมค่อย ๆ บรรจบกัน จนคะแนนที่ออกมามีความหมายพอให้ทุกคนเชื่อและนำไปใช้ปรับปรุงจริง
- คะแนน QA ที่ต่างกันมากในแชทคล้ายกัน เป็นสัญญาณว่าเกณฑ์ยังตีความไม่ตรงกัน
- จัดประชุม Calibration ให้ QA ให้คะแนนแชทชุดเดียวกันแล้วถกเหตุผลร่วมกัน
- ถี่ในช่วงเริ่มต้น แล้วลดความถี่ลงเมื่อคะแนนเริ่มสอดคล้องกัน แต่อย่าหยุดไปเลย
คำถามที่พบบ่อย
ถ้ามี QA แค่คนเดียวยังต้องทำ Calibration ไหม
ยังมีประโยชน์ในรูปแบบอื่น เช่น ให้ QA คนเดียวกันกลับมาให้คะแนนแชทเดิมที่เคยให้ไว้เมื่อสองสามเดือนก่อนอีกครั้ง เพื่อเช็กว่ามาตรฐานของตัวเองเปลี่ยนไปหรือไม่
ควรให้หัวหน้าทีมเป็นคนตัดสินว่าใครถูกในการถกช่วง Calibration ไหม
ไม่จำเป็นต้องมีคนถูกคนผิดเสมอไป เป้าหมายคือหาข้อสรุปร่วมที่ทั้งสองฝ่ายเข้าใจตรงกัน บางครั้งคำตอบที่ได้คือปรับเกณฑ์ให้ชัดขึ้น ไม่ใช่ตัดสินว่าใครให้คะแนนผิด
ใช้เวลานานไหมกว่าคะแนนของ QA หลายคนจะเริ่มตรงกัน
ไม่มีตัวเลขตายตัว ขึ้นกับความซับซ้อนของสินค้าและจำนวนเกณฑ์ แต่ส่วนใหญ่เริ่มเห็นคะแนนใกล้กันขึ้นภายในสองสามรอบ Calibration ถ้าทำต่อเนื่อง
ควรเก็บบันทึกผลการถกในแต่ละครั้งไหม
ควรเก็บไว้เป็นเอกสารอ้างอิง โดยเฉพาะเคสที่ถกกันนาน เพราะจะเป็นตัวอย่างที่ช่วย QA คนใหม่เข้าใจมาตรฐานได้เร็วกว่าการอ่านเกณฑ์เฉย ๆ
ถ้า QA สองคนถกกันแล้วยังไม่ลงรอย ควรทำยังไง
ให้บันทึกไว้เป็นเคสกำกวมที่ต้องทบทวนเกณฑ์เพิ่มเติม แทนที่จะฝืนบังคับให้เห็นตรงกันในวันนั้น บางเกณฑ์ต้องการตัวอย่างมากกว่าหนึ่งรอบถึงจะชัดพอ
การทำ Calibration ช่วยเรื่องอื่นนอกจากความสอดคล้องของคะแนนไหม
ช่วยด้วย เพราะระหว่างถกกัน QA มักเจอจุดที่เกณฑ์เดิมเขียนไม่ชัด ทำให้ได้ปรับปรุงสกอร์การ์ดไปพร้อมกันโดยไม่ต้องรอรอบทบทวนใหญ่
บทความที่เกี่ยวข้อง
