ทำไมรวม Keyword กับ Vector Search เข้าด้วยกันแล้วผลลัพธ์ค้นหามักดีขึ้นกว่าใช้อย่างเดียว

ทีมพัฒนาระบบค้นหาเอกสารเทคนิคของบริษัทซอฟต์แวร์แห่งหนึ่งเปลี่ยนจาก Keyword Search มาใช้ Semantic Search เต็มรูปแบบ หลังจากพบว่าผู้ใช้ค้นหาด้วยประโยคปลายเปิดแล้วหาไม่เจอบ่อยครั้ง ผลลัพธ์ช่วงแรกดีขึ้นชัดเจนสำหรับคำถามทั่วไป แต่ไม่นานทีมซัพพอร์ตก็เริ่มร้องเรียนว่าค้นหารหัส Error เฉพาะ เช่น 'ERR_CONN_4092' แล้วระบบกลับไม่เจอเอกสารที่มีรหัสนั้นอยู่ตรง ๆ ทั้งที่เอกสารมีคำนั้นปรากฏชัดเจน เพราะโมเดล Embedding มองรหัส Error เป็นแค่ตัวอักษรสุ่มที่ไม่มีความหมายชัดเจนพอจะจับคู่ได้แม่น

นี่คือสถานการณ์คลาสสิกที่ทำให้ทีมพัฒนาจำนวนมากเปลี่ยนใจกลับมาใช้ทั้งสองวิธีพร้อมกัน แทนที่จะเลือกอย่างใดอย่างหนึ่งเด็ดขาด เพราะ Keyword Search กับ Semantic Search ไม่ได้เป็นคู่แข่งที่ต้องเลือกฝ่ายใดฝ่ายหนึ่ง แต่เป็นสองมุมมองที่เก่งคนละแบบ Keyword Search เก่งเรื่องจับคู่ตัวอักษรที่แม่นยำ ส่วน Semantic Search เก่งเรื่องจับความหมายที่คำไม่ตรงกันตรง ๆ Hybrid Search คือแนวทางที่เอาจุดแข็งของทั้งสองมารวมกันในคำค้นเดียว

บทความนี้จะพาดูว่า Hybrid Search รวมคะแนนจากสองวิธีนี้ได้อย่างไรในทางเทคนิค สถาปัตยกรรมที่ใช้งานจริงหน้าตาเป็นแบบไหน และจุดที่ทีมพัฒนามักตั้งค่าน้ำหนักผิดจนผลลัพธ์แย่ลงกว่าการใช้วิธีเดียวเสียอีก

Hybrid Search คืออะไร ต่างจากการใช้ Semantic Search เพียงอย่างเดียวตรงไหน

Hybrid Search คือสถาปัตยกรรมการค้นหาที่รันสองกระบวนการค้นหาพร้อมกันสำหรับคำค้นเดียวกัน กระบวนการแรกคือ Keyword Search แบบดั้งเดิมที่จับคู่คำหรือรูปแบบตัวอักษร ส่วนกระบวนการที่สองคือ Vector Search ที่แปลงคำค้นเป็น Embedding แล้วค้นด้วยความใกล้เคียงเชิงความหมาย จากนั้นระบบจะนำผลลัพธ์และคะแนนจากทั้งสองฝั่งมารวมกันด้วยสูตรคำนวณเฉพาะ เพื่อให้ได้รายการผลลัพธ์สุดท้ายที่มาจากทั้งสองมุมมอง ไม่ใช่แค่เลือกใช้วิธีใดวิธีหนึ่งแล้วทิ้งอีกวิธีไป

จุดที่ทำให้ Hybrid Search ต่างจากการรัน Keyword Search กับ Semantic Search แยกกันแล้วให้ผู้ใช้เลือกเองคือ การรวมคะแนนเกิดขึ้นในระบบเบื้องหลังโดยอัตโนมัติ ผู้ใช้พิมพ์คำค้นครั้งเดียว ไม่ต้องรู้ว่าเบื้องหลังมีสองกระบวนการทำงานอยู่ ระบบจะจัดอันดับผลลัพธ์สุดท้ายให้เอง โดยเอกสารที่ได้คะแนนสูงทั้งจากมุม Keyword และมุม Semantic มักถูกดันขึ้นมาอยู่อันดับต้น ๆ ส่วนเอกสารที่ได้คะแนนดีจากมุมใดมุมหนึ่งเป็นพิเศษก็ยังมีโอกาสติดอันดับได้เช่นกัน

แนวคิดนี้ไม่ใช่เรื่องใหม่ทั้งหมด ระบบค้นหาระดับ Enterprise หลายเจ้าใช้แนวทางคล้ายกันมานานก่อนที่ Vector Search จะแพร่หลาย เพียงแต่เดิมอาจรวมคะแนนจากปัจจัยอื่น เช่น ความนิยมหรือความใหม่ของเอกสาร สิ่งที่เปลี่ยนไปในยุคที่มี Embedding คือมีมุมมองใหม่ที่ทรงพลังกว่าเดิมมาเสริมเข้าไปในสมการเดียวกัน

รวมคะแนนจากสองวิธีเข้าด้วยกันได้อย่างไร เบื้องหลัง Reciprocal Rank Fusion

ปัญหาทางเทคนิคที่สำคัญที่สุดของ Hybrid Search คือคะแนนจาก Keyword Search กับ Vector Search มักอยู่คนละสเกลกัน คะแนน Keyword Search อาจคำนวณจากความถี่ของคำและความยาวเอกสาร ในขณะที่คะแนน Vector Search มักเป็นค่า Cosine Similarity ที่อยู่ระหว่าง -1 ถึง 1 การนำสองค่านี้มาบวกกันตรง ๆ โดยไม่ปรับสเกลก่อนจะทำให้ผลลัพธ์เพี้ยน เพราะค่าที่มีสเกลใหญ่กว่าจะครอบงำคะแนนรวมโดยไม่ตั้งใจ

เทคนิคที่นิยมใช้แก้ปัญหานี้คือ Reciprocal Rank Fusion หรือ RRF ซึ่งไม่ใช้คะแนนดิบจากแต่ละวิธีมารวมกันโดยตรง แต่ใช้ 'อันดับ' ของเอกสารในแต่ละรายการผลลัพธ์แทน สูตรคร่าว ๆ คือให้คะแนนแต่ละเอกสารเท่ากับ 1 หารด้วยค่าคงที่บวกอันดับของมันในรายการนั้น แล้วรวมคะแนนจากทั้งสองรายการเข้าด้วยกัน เอกสารที่ติดอันดับต้น ๆ ทั้งสองรายการจะได้คะแนนรวมสูงที่สุด วิธีนี้ข้ามปัญหาเรื่องสเกลคะแนนที่ไม่เท่ากันไปได้เพราะใช้อันดับแทนค่าดิบ

อีกแนวทางที่ใช้กันคือ Weighted Sum หรือการถ่วงน้ำหนัก โดยปรับคะแนนทั้งสองฝั่งให้อยู่ในสเกลเดียวกันก่อน (Normalization) แล้วคูณด้วยน้ำหนักที่กำหนดไว้ก่อนรวมกัน วิธีนี้ให้ความยืดหยุ่นมากกว่าเพราะทีมสามารถปรับน้ำหนักให้เอนเอียงไปทาง Keyword หรือ Semantic ได้ตามลักษณะของข้อมูล แต่ก็ต้องการการปรับแต่งและทดสอบมากกว่า RRF ที่ใช้งานได้ทันทีโดยแทบไม่ต้องปรับค่าอะไรเพิ่ม

ขั้นตอนการทำงานของระบบ Hybrid Search ในทางปฏิบัติ

1. รับคำค้นจากผู้ใช้ แล้วส่งเข้าสองเส้นทางพร้อมกัน เส้นทางแรกคือ Full-text Search ที่จับคู่คำตรง ๆ เส้นทางที่สองคือแปลงคำค้นเป็น Embedding เพื่อค้นด้วยความหมาย
2. ดึงผลลัพธ์อันดับต้น ๆ จากทั้งสองเส้นทางแยกกัน โดยทั่วไปดึงมาฝั่งละหลายสิบรายการเพื่อให้มีข้อมูลพอสำหรับขั้นตอนรวมคะแนน
3. รวมคะแนนหรืออันดับของทั้งสองรายการด้วยเทคนิคอย่าง Reciprocal Rank Fusion หรือ Weighted Sum เพื่อจัดอันดับใหม่เป็นรายการเดียว
4. อาจเพิ่มขั้นตอน Reranking ด้วยโมเดลเฉพาะทางอีกชั้นหนึ่ง เพื่อคัดกรองผลลัพธ์อันดับต้น ๆ ให้แม่นยิ่งขึ้นก่อนแสดงผลจริง
5. แสดงผลลัพธ์สุดท้ายให้ผู้ใช้ พร้อมเก็บ Log ว่าผลลัพธ์ที่ผู้ใช้คลิกมาจากฝั่ง Keyword ฝั่ง Semantic หรือทั้งสองฝั่ง เพื่อใช้ปรับปรุงระบบต่อ

เทียบวิธีรวมคะแนนแบบต่าง ๆ ที่ใช้ในระบบ Hybrid Search

แต่ละวิธีรวมคะแนนมีข้อดีข้อเสียต่างกัน การเลือกใช้ควรพิจารณาจากทรัพยากรที่ทีมมีและความจำเป็นในการปรับแต่งละเอียด

สถานการณ์ที่ Hybrid Search ช่วยได้ชัดเจนที่สุด

• ฐานข้อมูลมีทั้งเนื้อหาที่เป็นภาษาธรรมชาติและข้อมูลที่ต้องแม่นยำเป๊ะ เช่น รหัสสินค้า รหัส Error หรือชื่อไฟล์ ซึ่งพบร่วมกันในระบบเอกสารเทคนิคและอีคอมเมิร์ซ
• ผู้ใช้มีพฤติกรรมค้นหาหลากหลาย บางกลุ่มพิมพ์คำสั้น ๆ ตรงประเด็น บางกลุ่มพิมพ์ประโยคยาวอธิบายปัญหา ทำให้ต้องรองรับทั้งสองรูปแบบพร้อมกัน
• ระบบเดิมใช้ Keyword Search อยู่แล้วและทำงานได้ดีในหลายกรณี การเพิ่ม Semantic Search เข้าไปแบบ Hybrid มีความเสี่ยงน้อยกว่าการเปลี่ยนทั้งระบบไปใช้ Semantic Search ล้วน
• ข้อมูลมีคำเฉพาะทางหรือศัพท์เทคนิคที่โมเดล Embedding ทั่วไปอาจไม่เข้าใจความสำคัญดีพอ การมี Keyword Search เป็นตัวช่วยสำรองจึงลดความเสี่ยงที่คำสำคัญจะถูกมองข้าม

ปรับน้ำหนักระหว่าง Keyword กับ Semantic อย่างไรให้เหมาะกับข้อมูลจริง

ไม่มีน้ำหนักตายตัวที่ใช้ได้กับทุกระบบ ทีมที่เริ่มต้นมักตั้งน้ำหนักเท่ากันระหว่างสองฝั่งก่อน แล้วค่อยปรับตามผลการทดสอบจริง ถ้าข้อมูลของระบบเป็นเอกสารเทคนิคที่มีรหัสหรือคำเฉพาะเยอะ อาจต้องเพิ่มน้ำหนักฝั่ง Keyword มากขึ้น ในขณะที่ระบบที่เน้นคำถามปลายเปิดจากผู้ใช้ทั่วไป อาจเพิ่มน้ำหนักฝั่ง Semantic แทน

วิธีทดสอบที่ได้ผลจริงคือเตรียมชุดคำถามที่รู้คำตอบถูกต้องอยู่แล้ว (Golden Set) ที่ครอบคลุมทั้งคำค้นแบบเป๊ะและคำค้นแบบปลายเปิด แล้ววัดว่าน้ำหนักแบบไหนให้ผลลัพธ์อันดับต้น ๆ ตรงกับคำตอบที่คาดหวังมากที่สุดในภาพรวม ไม่ใช่ปรับตามความรู้สึกจากการลองพิมพ์คำค้นไม่กี่คำแล้วตัดสินใจ

ทีมที่มีทรัพยากรมากพอควรพิจารณาปรับน้ำหนักแบบไดนามิกตามลักษณะของคำค้นแต่ละครั้ง เช่น ถ้าคำค้นสั้นและมีรูปแบบคล้ายรหัสสินค้า ระบบอาจให้น้ำหนักฝั่ง Keyword มากขึ้นโดยอัตโนมัติ ในขณะที่คำค้นยาวเป็นประโยคคำถามอาจให้น้ำหนักฝั่ง Semantic มากขึ้น แนวทางนี้ซับซ้อนกว่าการตั้งน้ำหนักคงที่ แต่ให้ผลลัพธ์ที่แม่นยำกว่าในระบบที่มีคำค้นหลากหลายรูปแบบมาก

จุดที่ทีมมักตั้งค่า Hybrid Search ผิดจนผลลัพธ์แย่กว่าเดิม

• ทำแบบนี้แล้วพัง เพราะดึงผลลัพธ์จากแต่ละฝั่งมาน้อยเกินไปก่อนรวมคะแนน เช่น ดึงมาฝั่งละ 5 รายการ ทำให้เอกสารที่ควรติดอันดับจากมุมใดมุมหนึ่งไม่มีโอกาสถูกพิจารณาตั้งแต่ต้น
• ทำแบบนี้แล้วพัง เพราะรวมคะแนนดิบจากสองวิธีโดยไม่ปรับสเกลก่อน ทำให้ฝั่งที่มีค่าคะแนนตัวเลขใหญ่กว่าครอบงำผลลัพธ์ทั้งหมดโดยไม่ตั้งใจ
• ทำแบบนี้แล้วพัง เพราะตั้งน้ำหนักครั้งเดียวตอนเริ่มระบบแล้วไม่เคยกลับมาทบทวนอีก ทั้งที่พฤติกรรมการค้นหาของผู้ใช้เปลี่ยนไปเมื่อเวลาผ่านไปและเนื้อหาในระบบเพิ่มขึ้น
• ทำแบบนี้แล้วพัง เพราะไม่ทดสอบ Latency รวมของทั้งสองเส้นทางค้นหาพร้อมกัน ทำให้ระบบช้าลงกว่าตอนใช้วิธีเดียวจนผู้ใช้รู้สึกได้ชัดเจน

เริ่มทำ Hybrid Search อย่างไรเมื่อมีระบบ Semantic Search อยู่แล้ว

ทีมที่มี Semantic Search ทำงานอยู่แล้วมักเริ่มทำ Hybrid Search ได้ง่ายกว่าเริ่มจากศูนย์ เพราะมี Embedding และ Vector Database พร้อมอยู่แล้ว สิ่งที่ต้องเพิ่มคือเส้นทาง Keyword Search แบบดั้งเดิม ซึ่งฐานข้อมูล SQL ส่วนใหญ่มีฟีเจอร์ Full-text Search ในตัวอยู่แล้ว จากนั้นค่อยเพิ่มขั้นตอนรวมคะแนนเข้าไปเป็นชั้นสุดท้าย

ก่อนลงมือทำ ควรทำความเข้าใจพื้นฐานของ Embeddings ให้ชัดเจนก่อน เพราะคุณภาพของฝั่ง Semantic ในระบบ Hybrid ยังขึ้นอยู่กับคุณภาพของ Embedding เช่นเดิม การเพิ่มฝั่ง Keyword เข้าไปไม่ได้แปลว่าคุณภาพฝั่ง Semantic จะไม่สำคัญอีกต่อไป ทั้งสองฝั่งยังต้องได้รับการดูแลคุณภาพอย่างต่อเนื่องเหมือนก่อนทำ Hybrid

สรุป

Hybrid Search แก้ช่องว่างที่ Semantic Search อย่างเดียวทำได้ไม่ดี คือกรณีคำค้นที่ต้องแม่นยำเป๊ะอย่างรหัสสินค้าหรือรหัส Error ด้วยการรวมคะแนนจาก Keyword Search และ Vector Search เข้าด้วยกัน ผ่านเทคนิคอย่าง Reciprocal Rank Fusion หรือ Weighted Sum ที่แต่ละแบบมีจุดแข็งต่างกัน

ทีมที่จะทำ Hybrid Search ให้ได้ผลต้องดูแลคุณภาพทั้งสองฝั่งควบคู่กัน ทั้งคุณภาพของ Keyword Index และคุณภาพของ Embedding พร้อมทดสอบน้ำหนักการรวมคะแนนด้วยชุดคำถามจริงอย่างสม่ำเสมอ แทนที่จะตั้งค่าครั้งเดียวแล้วปล่อยทิ้งไว้โดยไม่ทบทวน

• Hybrid Search รวมผลลัพธ์จาก Keyword Search และ Vector Search เข้าด้วยกันในคำค้นเดียวโดยอัตโนมัติ
• Reciprocal Rank Fusion ใช้อันดับแทนคะแนนดิบ ทำให้ทนทานต่อความต่างของสเกลคะแนนระหว่างสองวิธี
• เหมาะเป็นพิเศษกับระบบที่มีทั้งเนื้อหาภาษาธรรมชาติและข้อมูลที่ต้องแม่นยำเป๊ะ เช่น รหัสสินค้าหรือรหัส Error
• ต้องทดสอบและปรับน้ำหนักด้วยชุดคำถามจริงอย่างสม่ำเสมอ ไม่ใช่ตั้งค่าครั้งเดียวแล้วปล่อยทิ้งไว้

คำถามที่พบบ่อย