Judging the Judges: A Systematic Investigation of Position Bias in Pairwise Comparative Assessments by LLMs
Judging the Judges: A Systematic Investigation of Position Bias in Pairwise Comparative Assessments by LLMs Judging the Judges: A Systematic Investigation of Position Bias in Pairwise Comparative Assessments by LLMs Judging the Judges: A Systematic Investigation of Position Bias in Pairwise Comparative Assessments by LLMs ในยุคที่เทคโนโลยีปัญญาประดิษฐ์ (AI) และแบบจำลองภาษาใหญ่ (Large Language Models: LLMs) เข้ามามีบทบาทสำคัญในการตัดสินใจและประเมินผล การศึกษาความเอนเอียง (bias) ในกระบวนการเหล่านี้จึงเป็นเรื่องที่สำคัญอย่างยิ่ง หนึ่งในประเด็นที่น่าสนใจคือ Position Bias หรือความเอนเอียงที่เกิดจากตำแหน่งของข้อมูลในการประเมินแบบเปรียบเทียบคู่ (Pairwise Comparative Assessments) Position Bias คืออะไร? Position Bias หมายถึง ความเอนเอียงที่เกิดขึ้นเมื่อลำดับหรือตำแหน่งของข้อมูลส่งผลต่อการตัดสินใจของผู้ประเมิน ตัวอย่างเช่น หากมีสองตัวเลือกที่ถูกนำเสนอในลำดับที่ต่างกัน ผู้ประเมินอาจมีแนวโน้มที่จะเลือกตัวเลือกแรกหรือตัวเลือกที่สองมากกว่า โดยไม่คำนึงถ...