AI-SEEYOU

Deep Learning at the Intersection: Certified Robustness as a Tool for 3D Vision Deep Learning at the Intersection: Certified Robustness as a Tool for 3D Vision บทนำ ในยุคที่เทคโนโลยี Deep Learning ก้าวหน้าอย่างรวดเร็ว การประยุกต์ใช้ในด้าน Computer Vision โดยเฉพาะ 3D Vision ได้รับความสนใจเป็นอย่างมาก อย่างไรก็ตาม ความท้าทายสำคัญที่ยังคงอยู่คือการสร้างโมเดลที่สามารถทนทานต่อการโจมตีหรือความผิดพลาดได้ ซึ่งนำไปสู่แนวคิดเรื่อง "Certified Robustness" หรือความทนทานที่ได้รับการรับรอง ในบทความนี้เราจะสำรวจว่า Certified Robustness สามารถเป็นเครื่องมือสำคัญสำหรับ 3D Vision ได้อย่างไร Certified Robustness คืออะไร? Certified Robustness เป็นแนวคิดที่มุ่งมั่นให้โมเดล Deep Learning สามารถทนทานต่อการโจมตีหรือความผิดพลาดได้ โดยมีการรับรองทางคณิตศาสตร์ว่าโมเดลจะทำงานได้อย่างถูกต้องภายใต้เงื่อนไขที่กำหนด ตัวอย่างเช่น หากมีการเพิ่มสัญญาณรบกวน (noise) เข้าไปในข้อมูล โมเดลยังคง...

Language-specific Calibration for Pruning Multilingual Language Models Language-specific Calibration for Pruning Multilingual Language Models การปรับเทียบเฉพาะภาษาเพื่อการตัดแต่งโมเดลภาษาหลายภาษา ในยุคที่เทคโนโลยีด้านภาษาธรรมชาติ (Natural Language Processing: NLP) ก้าวหน้าอย่างรวดเร็ว โมเดลภาษาหลายภาษา (Multilingual Language Models) กลายเป็นเครื่องมือสำคัญในการประมวลผลข้อมูลข้ามภาษา อย่างไรก็ตาม การใช้งานโมเดลเหล่านี้มักพบปัญหาด้านประสิทธิภาพและความแม่นยำ โดยเฉพาะเมื่อต้องทำงานกับภาษาที่มีทรัพยากรข้อมูลจำกัด เช่น ภาษาไทย หรือภาษาชนกลุ่มน้อย การตัดแต่งโมเดล (Pruning) คืออะไร? การตัดแต่งโมเดล (Pruning) เป็นกระบวนการลดขนาดของโมเดลโดยการลบส่วนที่ไม่จำเป็นออก เช่น น้ำหนัก (weights) หรือโครงสร้าง (layers) ที่มีผลกระทบน้อยต่อผลลัพธ์ การตัดแต่งโมเดลช่วยลดการใช้ทรัพยากรคอมพิวเตอร์และเพิ่มความเร็วในการประมวลผล แต่ก็อาจส่งผลต่อความแม่นยำของโมเดลได้ ความท้าทายในการตัดแต่งโมเดลภาษาหลายภาษา โมเดลภาษาหลายภาษามักถูกฝึกด้วยข้อมูลจากหลายภาษา ซึ่งแ...

Deep Learning at the Intersection: Certified Robustness as a Tool for 3D Vision Deep Learning at the Intersection: Certified Robustness as a Tool for 3D Vision บทนำ ในยุคที่เทคโนโลยี Deep Learning ก้าวหน้าอย่างรวดเร็ว การประยุกต์ใช้ในด้าน Computer Vision โดยเฉพาะ 3D Vision ได้รับความสนใจเป็นอย่างมาก อย่างไรก็ตาม ความท้าทายสำคัญที่ยังคงอยู่คือการสร้างโมเดลที่สามารถทนทานต่อการโจมตีหรือความผิดพลาดได้ ซึ่งนำไปสู่แนวคิดเรื่อง "Certified Robustness" หรือความทนทานที่ได้รับการรับรอง ในบทความนี้เราจะสำรวจว่า Certified Robustness สามารถเป็นเครื่องมือสำคัญสำหรับ 3D Vision ได้อย่างไร Certified Robustness คืออะไร? Certified Robustness เป็นแนวคิดที่มุ่งมั่นให้โมเดล Deep Learning สามารถทนทานต่อการโจมตีหรือความผิดพลาดได้ โดยมีการรับรองทางคณิตศาสตร์ว่าโมเดลจะทำงานได้อย่างถูกต้องภายใต้เงื่อนไขที่กำหนด ตัวอย่างเช่น หากมีการเพิ่มสัญญาณรบกวน (noise) เข้าไปในข้อมูล โมเดลยังคง...

Activations Through Extensions: กรอบแนวทางเพิ่มประสิทธิภาพ Neural Networks Activations Through Extensions: กรอบแนวทางเพิ่มประสิทธิภาพ Neural Networks Fun Fact: รู้หรือไม่? Neural Network ที่ชนะการแข่งขัน ImageNet ปี 2012 (AlexNet) มีอัตราความผิดพลาดเพียง 15.3% ลดลงจากแบบเดิมถึง 10.8% เพียงเพราะใช้ฟังก์ชัน激活 ReLU แทน Sigmoid! ทำไม Activation Function ถึงสำคัญ? งานวิจัยจาก MIT ปี 2021 ชี้ว่า การเลือก Activation Function ที่เหมาะสมสามารถเพิ่มความแม่นยำของโมเดลได้ถึง 11.7% โดยไม่ต้องเปลี่ยนโครงสร้างเครือข่ายเลยทีเดียว ข้อมูลนี้มาจากการศึกษากว่า 2,300 โมเดลที่แตกต่างกัน Extension Framework คืออะไร? กรอบแนวทางนี้ประกอบด้วย 3 องค์ประกอบหลัก: Dynamic Activation Switching - เปลี่ยนฟังก์ชัน激活ตาม Layer Parametric Extensions - เพิ่มพารามิเตอร์ที่เรียนรู้ได้ Attention-based Gating - ใช้กลไก Attention ควบคุมการเปิดปิด ผลการทดลองที่น่าสนใจ จากการทดลองบนชุดข้อมูล CIFAR-100...

Deep Learning at the Intersection: Certified Robustness as a Tool for 3D Vision Deep Learning at the Intersection: Certified Robustness as a Tool for 3D Vision บทนำ ในยุคที่เทคโนโลยี Deep Learning ก้าวหน้าอย่างรวดเร็ว การประยุกต์ใช้ในด้าน Computer Vision โดยเฉพาะ 3D Vision ได้รับความสนใจเป็นอย่างมาก อย่างไรก็ตาม ความท้าทายสำคัญที่ยังคงอยู่คือการสร้างโมเดลที่สามารถทนทานต่อการโจมตีหรือความผิดพลาดได้ ซึ่งนำไปสู่แนวคิดเรื่อง "Certified Robustness" หรือความทนทานที่ได้รับการรับรอง ในบทความนี้เราจะสำรวจว่า Certified Robustness สามารถเป็นเครื่องมือสำคัญสำหรับ 3D Vision ได้อย่างไร Certified Robustness คืออะไร? Certified Robustness เป็นแนวคิดที่มุ่งมั่นให้โมเดล Deep Learning สามารถทนทานต่อการโจมตีหรือความผิดพลาดได้ โดยมีการรับรองทางคณิตศาสตร์ว่าโมเดลจะทำงานได้อย่างถูกต้องภายใต้เงื่อนไขที่กำหนด ตัวอย่างเช่น หากมีการเพิ่มสัญญาณรบกวน (noise) เข้าไปในข้อมูล โมเดลยังคง...

AI Research is not Magic, it has to be Reproducible and Responsible: Challenges in the AI field from the Perspective of its PhD Students AI Research is not Magic, it has to be Reproducible and Responsible: Challenges in the AI field from the Perspective of its PhD Students AI Research is not Magic, it has to be Reproducible and Responsible: Challenges in the AI field from the Perspective of its PhD Students ในยุคที่ปัญญาประดิษฐ์ (AI) กำลังเปลี่ยนแปลงโลกอย่างรวดเร็ว การวิจัยด้าน AI ไม่ใช่เรื่องเวทมนตร์ที่เกิดขึ้นได้โดยปราศจากกระบวนการทางวิทยาศาสตร์ที่ชัดเจน นักวิจัยระดับปริญญาเอกในสาขานี้ต่างเผชิญกับความท้าทายมากมาย ทั้งในแง่ของความสามารถในการทำซ้ำผลลัพธ์ (Reproducibility) และความรับผิดชอบต่อสังคม (Responsibility) บทความนี้จะพาคุณไปสำรวจมุมมองของนักศึกษาปริญญาเอกที่กำลังทำงานวิจัยด้าน AI และความท้าทายที่พวกเขาต้องเผชิญ ความท้าทายด้านความสามารถในการทำซ้ำผลลัพธ์ (Reproducibility) หนึ่งในปัญหาหลักของการวิจัย AI คือความยาก...

Distributional Reinforcement Learning with Dual Expectile-Quantile Regression Distributional Reinforcement Learning with Dual Expectile-Quantile Regression Distributional Reinforcement Learning (DRL) เป็นแนวทางที่กำลังได้รับความนิยมในวงการปัญญาประดิษฐ์ (AI) และการเรียนรู้ของเครื่อง (Machine Learning) โดยเฉพาะในด้าน Reinforcement Learning (RL) ซึ่งเป็นการเรียนรู้ที่เอเจนต์ (Agent) พยายามหาวิธีการที่ดีที่สุดในการตัดสินใจเพื่อให้ได้รางวัลสูงสุด ต่างจาก RL แบบดั้งเดิมที่เน้นการประมาณค่าคาดหวังของรางวัล DRL มุ่งเน้นไปที่การประมาณการกระจายความน่าจะเป็นของรางวัล ซึ่งช่วยให้เข้าใจพฤติกรรมของระบบได้ลึกซึ้งยิ่งขึ้น Dual Expectile-Quantile Regression คืออะไร? Dual Expectile-Quantile Regression เป็นเทคนิคที่ผสมผสานระหว่าง Expectile Regression และ Quantile Regression เพื่อประมาณการกระจายความน่าจะเป็นของรางวัลใน DRL โดย Expectile Regression เป็นวิธีการประมาณค่าที่เน้นการลดความผิดพลาดแบบไม่สมมาตร ในขณะที่ Quantile Regression มุ่งเน้...

MAT-SED: A Masked Audio Transformer with Masked-Reconstruction Based Pre-training for Sound Event Detection MAT-SED: A Masked Audio Transformer with Masked-Reconstruction Based Pre-training for Sound Event Detection MAT-SED: เทคโนโลยีตรวจจับเสียงด้วยการเรียนรู้แบบ Transformer ในยุคที่เทคโนโลยีการเรียนรู้ของเครื่อง (Machine Learning) และปัญญาประดิษฐ์ (AI) ก้าวหน้าอย่างรวดเร็ว การตรวจจับเสียง (Sound Event Detection) เป็นหนึ่งในหัวข้อที่ได้รับความสนใจอย่างมาก โดยเฉพาะในงานวิจัยที่เกี่ยวข้องกับการประมวลผลสัญญาณเสียง (Audio Signal Processing) และการวิเคราะห์เสียง (Audio Analysis) หนึ่งในโมเดลที่กำลังมาแรงคือ MAT-SED หรือ Masked Audio Transformer with Masked-Reconstruction Based Pre-training for Sound Event Detection ซึ่งเป็นโมเดลที่พัฒนาขึ้นเพื่อเพิ่มประสิทธิภาพในการตรวจจับเสียงด้วยเทคนิคการเรียนรู้แบบ Transformer MAT-SED คืออะไร? MAT-SED เป็นโมเดลที่พัฒนาขึ้นโดยใช้โครงสร้างของ Transformer ซึ่งเป็นสถาปัตยกรรมที่นิยมใช้ใน...