ข้ามไปที่เนื้อหาหลัก

บทความ

กำลังแสดงโพสต์ที่มีป้ายกำกับ InstructionFineTuning

การศึกษาช่องโหว่ Backdoor ในแบบจำลองภาษาแบบ Instruction Fine-tuned

การศึกษาช่องโหว่ Backdoor ในแบบจำลองภาษาแบบ Instruction Fine-tuned การศึกษาช่องโหว่ Backdoor ในแบบจำลองภาษาแบบ Instruction Fine-tuned บทนำ ในยุคที่แบบจำลองภาษา (Language Models) ขนาดใหญ่ถูกนำมาใช้อย่างแพร่หลาย ทั้งในรูปแบบของ ChatGPT, Bard และอื่นๆ ความปลอดภัยของระบบเหล่านี้กลายเป็นประเด็นสำคัญที่น่ากังวล โดยเฉพาะช่องโหว่ประเภท "Backdoor" ที่อาจถูกฝังไว้ในระหว่างกระบวนการฝึกฝนแบบจำลอง Backdoor ในแบบจำลองภาษา คืออะไร? Backdoor ในบริบทของแบบจำลองภาษา หมายถึงชุดคำสั่งหรือรูปแบบการป้อนข้อมูลที่ถูกออกแบบมาเป็นพิเศษ เพื่อให้แบบจำลองผลิตผลลัพธ์ที่ผู้ไม่หวังดีกำหนดไว้ล่วงหน้า โดยที่ผู้ใช้ทั่วไปไม่ทราบถึงการมีอยู่ของช่องโหว่นี้ Fun Fact: การศึกษาในปี 2023 พบว่า แบบจำลองภาษาขนาด 6B พารามิเตอร์ สามารถถูกฝัง Backdoor ได้โดยใช้ข้อมูลฝึกเพียง 0.1% ของชุดข้อมูลทั้งหมด สถิติที่น่าสนใจเกี่ยวกับ Backdoor ในแบบจำลองภาษา 📊 งานวิจัยจากมหาวิทยาล...