ในตอนที่ผ่านมาของซีรีย์ Reinforcement Learning (RL) เราได้เรียนรู้เกี่ยวกับวิธีการหาค่าฟังก์ชันค่า (Value Function) และฟังก์ชันนโยบาย (Policy Function) ด้วยวิธีการแบบตาราง (Tabular Methods) ซึ่งเหมาะสมกับสภาพแวดล้อมที่มีสถานะและการกระทำที่ไม่ซับซ้อนมาก อย่างไรก็ตาม เมื่อต้องเผชิญกับปัญหาที่มีสถานะและการกระทำจำนวนมาก หรือแม้กระทั่งสถานะและการกระทำที่ต่อเนื่อง วิธีการแบบตารางก็จะไม่สามารถใช้งานได้จริงเนื่องจากข้อจำกัดด้านหน่วยความจำและเวลาในการคำนวณ ในตอนที่ 7 นี้ เราจะมาทำความรู้จักกับเทคนิคสำคัญที่ช่วยให้ RL สามารถจัดการกับปัญหาที่มีความซับซ้อนสูงได้ นั่นคือ "การประมาณค่าฟังก์ชันค่า (Value-Function Approximation)"
ทำไมต้องใช้การประมาณค่าฟังก์ชันค่า?
ลองนึกภาพเกม Go ซึ่งมีสถานะที่เป็นไปได้มากกว่าจำนวนอะตอมในจักรวาลที่สังเกตได้! การสร้างตารางเพื่อเก็บค่าของทุกสถานะเป็นเรื่องที่เป็นไปไม่ได้เลย การประมาณค่าฟังก์ชันค่าจึงเป็นทางออก ด้วยการใช้ฟังก์ชัน เช่น ฟังก์ชันเชิงเส้น, โครงข่ายประสาทเทียม หรือ ต้นไม้ตัดสินใจ เพื่อประมาณค่าของสถานะหรือสถานะ-การกระทำ แทนที่จะเก็บค่าไว้ในตารางขนาดใหญ่ เราเพียงแค่ปรับพารามิเตอร์ของฟังก์ชันเหล่านี้ให้เหมาะสมเพื่อให้ได้ค่าประมาณที่ใกล้เคียงกับค่าจริงมากที่สุด
เทคนิคการประมาณค่าฟังก์ชันค่า
มีหลายเทคนิคที่นิยมใช้ในการประมาณค่าฟังก์ชันค่า เช่น:
- Linear Function Approximation: ใช้วิธีการถดถอยเชิงเส้นเพื่อประมาณค่าฟังก์ชันค่า เป็นวิธีที่เข้าใจง่ายและคำนวณได้เร็ว
- Neural Network Approximation: ใช้อาร์คิเทคเจอร์ของโครงข่ายประสาทเทียม เช่น Deep Q-Network (DQN) มีความสามารถในการเรียนรู้ความสัมพันธ์ที่ซับซ้อนได้ดี
- Decision Tree Approximation: ใช้ต้นไม้ตัดสินใจในการแบ่งสถานะออกเป็นกลุ่มๆ และประมาณค่าฟังก์ชันค่าสำหรับแต่ละกลุ่ม
ข้อดีและข้อเสียของการประมาณค่าฟังก์ชันค่า
| ข้อดี | ข้อเสีย |
|---|---|
| จัดการกับสถานะและการกระทำจำนวนมากได้ | อาจเกิดปัญหา overfitting หรือ underfitting ได้ |
| สามารถ generalize ไปยังสถานะที่ไม่เคยพบเจอมาก่อนได้ | การเลือกฟังก์ชัน approximator และการปรับพารามิเตอร์ให้เหมาะสมเป็นเรื่องที่ท้าทาย |
สรุป
การประมาณค่าฟังก์ชันค่าเป็นเทคนิคสำคัญที่ช่วยให้ RL สามารถแก้ไขปัญหาที่ซับซ้อนได้ ถึงแม้จะมีความท้าทายในการเลือกและปรับแต่งฟังก์ชัน approximator แต่ก็เป็นพื้นฐานสำคัญในการพัฒนาอัลกอริธึม RL ที่มีประสิทธิภาพสูง ในตอนต่อไป เราจะเจาะลึกการใช้งานโครงข่ายประสาทเทียมในการประมาณค่าฟังก์ชันค่า ซึ่งเป็นเทคนิคที่ได้รับความนิยมอย่างแพร่หลายในปัจจุบัน
Fun Fact: DeepMind ใช้อัลกอริธึม Deep Q-Network (DQN) ซึ่งใช้การประมาณค่าฟังก์ชันค่าด้วยโครงข่ายประสาทเทียม ในการเอาชนะมนุษย์ในเกม Atari หลายเกม (แหล่งอ้างอิง)
บทความ
