AI-SEEYOU

กฎการปรับขนาดโครงข่ายประสาทเทียมมีอยู่จริงหรือไม่ในการเรียนรู้แบบมีผู้สอนด้วยตัวเองบนกราฟ? กฎการปรับขนาดโครงข่ายประสาทเทียมมีอยู่จริงหรือไม่ในการเรียนรู้แบบมีผู้สอนด้วยตัวเองบนกราฟ? ในช่วงไม่กี่ปีที่ผ่านมา การเรียนรู้เชิงลึก (Deep Learning) ได้ปฏิวัติวงการปัญญาประดิษฐ์ไปอย่างมาก โดยเฉพาะอย่างยิ่ง โครงข่ายประสาทเทียมแบบคอนโวลูชัน (Convolutional Neural Networks - CNN) และโครงข่ายประสาทเทียมแบบเรียกซ้ำ (Recurrent Neural Networks - RNN) ได้แสดงให้เห็นถึงประสิทธิภาพอันโดดเด่นในงานต่างๆ เช่น การรู้จำภาพ การประมวลผลภาษาธรรมชาติ และการรู้จำเสียงพูด ความสำเร็จเหล่านี้ส่วนใหญ่ได้รับแรงผลักดันจากชุดข้อมูลขนาดใหญ่ โครงสร้างแบบจำลองที่มีประสิทธิภาพ และทรัพยากรการประมวลผลที่เพิ่มขึ้น ปรากฏการณ์ที่น่าสนใจอย่างหนึ่งที่สังเกตได้ในการเรียนรู้เชิงลึกคือ "กฎการปรับขนาด" (Scaling Laws) ซึ่งระบุว่าประสิทธิภาพของแบบจำลองมักจะดีขึ้นอย่างคาดการณ์ได้เมื่อขนาดของแบบจำลอง ชุดข้อมูล หรือทรัพยากรการคำนวณเพิ่มขึ้น ตัวอย่างเช่น งานวิจัยหลายชิ้นแสดงให้เห็นว่าความถูกต้องของแบบจำลองภาษาขน...

Consistency Based Weakly Self-Supervised Learning for Human Activity Recognition with Wearables Consistency Based Weakly Self-Supervised Learning สำหรับการจดจำกิจกรรมมนุษย์ด้วยอุปกรณ์ Wearables ในยุคที่เทคโนโลยี Wearables หรืออุปกรณ์สวมใส่ได้กำลังเติบโตอย่างรวดเร็ว การจดจำกิจกรรมมนุษย์ (Human Activity Recognition: HAR) ถือเป็นหนึ่งในหัวข้อวิจัยที่ได้รับความสนใจอย่างมาก เนื่องจากสามารถนำไปประยุกต์ใช้ในหลายด้าน เช่น การดูแลสุขภาพ การออกกำลังกาย และการติดตามพฤติกรรมประจำวันของผู้ใช้ อย่างไรก็ตาม การพัฒนาระบบ HAR ที่แม่นยำมักต้องการข้อมูลที่ถูกต้องและมีป้ายกำกับ (labeled data) ซึ่งกระบวนการสร้างชุดข้อมูลเหล่านี้มักใช้เวลานานและมีค่าใช้จ่ายสูง Weakly Self-Supervised Learning คืออะไร? Weakly Self-Supervised Learning (การเรียนรู้แบบกึ่งกำกับตนเอง) เป็นเทคนิคการเรียนรู้ของเครื่องที่ใช้ข้อมูลที่มีป้ายกำกับเพียงเล็กน้อยหรือไม่มีเลย เพื่อฝึกโมเดลให้สามารถเรียนรู้จากข้อมูลได้ด้วยตัวเอง เทคนิคนี้ช่วยลดความจำเป็นในการใช้ข้อมูลที่มีป้ายกำกับจำนวนมาก ซึ่งเป็นข้...

NeCo: ยกระดับการเรียนรู้ Spatial Representations ของ DINOv2 ด้วย Patch Neighbor Consistency ภายในเวลาเพียง 19 ชั่วโมงบน GPU NeCo: ยกระดับการเรียนรู้ Spatial Representations ของ DINOv2 ด้วย Patch Neighbor Consistency ภายในเวลาเพียง 19 ชั่วโมงบน GPU ในโลกของ Computer Vision การเรียนรู้แบบ Self-supervised Learning (SSL) ได้รับความนิยมอย่างมาก เนื่องจากสามารถเรียนรู้ข้อมูลภาพจำนวนมหาศาลได้โดยไม่จำเป็นต้องมีข้อมูลที่ถูก label ไว้ก่อน DINOv2 เป็นหนึ่งในโมเดล SSL ที่โดดเด่น มันสามารถเรียนรู้ spatial representations คุณภาพสูงจากภาพ ซึ่งเป็นประโยชน์ต่องาน downstream ต่างๆ เช่น Image Classification และ Object Detection อย่างไรก็ตาม กระบวนการฝึกฝน DINOv2 จำเป็นต้องใช้ทรัพยากรคอมพิวเตอร์มหาศาล โดยเฉพาะเวลาในการฝึกฝนบน GPU ที่อาจใช้เวลานานหลายร้อยชั่วโมง เพื่อแก้ปัญหานี้ งานวิจัย NeCo: Improving DINOv2’s spatial representations in 19 GPU hours with Patch Neighbor Consistency [1] ได้เสนอเทคนิคใหม่ที่เรียกว่า "Patch Neighbor Consistency" หรือ "NeCo" เพื่...