کنفرانس بین المللی محاسبات نرم

صفحه اصلی / ششمین کنفرانس بین المللی محاسبات نرم

بهینه‌ساز مرتبه کسری آدام با رویکرد فرایادگیری مبتنی بر یادگیری تقویتی

نویسندگان :

حسین ضحاکی منصور¹ هادی دلاوری²

1- دانشگاه صنعتی همدان 2- دانشگاه صنعتی همدان

کلمات کلیدی :

بهینه‌ساز مرتبه کسری آدام،یادگیری تقویتی،فرایادگیری،حسابان کسری،ترانسفورمر،مکانیزم توجه

چکیده :

در این پژوهش، بهینه‌ساز مبتنی بر حسابان مرتبه کسری روی توابع هدف تصادفی ارائه شده که که بر اساس برآوردهای تطبیقی از ممان ‌های مرتبه پایین بنا شده است که عامل یادگیری تقویتی با سیاست‌گذاری قطعی عمیق و شبکه سیاست مبتنی بر مکانیزم توجه مرتبه ممان‌های کسری را به صورت پویا تنظیم می‌کند. این روش نسبت به تغییر مقیاس مستقل هر مؤلفه گرادیان تغییرناپذیر است و برای توابع هدف ناایستا ، مسائلی با گرادیان‌های نویزی و یا پراکنده، و در کاربردهایی که سرعت یادگیری بر اندازه حافظه اشغال‌شده اولیت دارند مناسب است. نتایج نشان‌دهنده سرعت بالاتر یادگیری و مقاومت بیشتر در برابر نویز نسبت به سایر روش‌های بهینه‌سازی آدام، آدا-گارد و SGD با مومنتوم می‌باشد.