کنفرانس بین المللی محاسبات نرم

صفحه اصلی / پنجمین کنفرانس بین المللی محاسبات نرم

بهبود یادگیری شبکه‌های عصبی با استفاده از ضرایب بهینه در الگوریتم لونبرگ-مارکوارت

نویسندگان :

رضا یظهری کرمانی¹ محمد ملائی امام زاده²

1- دانشگاه شهید باهنر کرمان 2- دانشگاه شهید باهنر کرمان

کلمات کلیدی :

یادگیری شبکه‌های عصبی،الگوریتم‌های بهینه‌سازی،الگوریتم‌های مبتنی بر گرادیان مرتبه دوم،الگوریتم لونبرگ-مارکوارت

چکیده :

انعطاف‌پذیری، قابلیت و کارایی بالای شبکه‌های‌عصبی سبب شده که در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرند. استفاده از یادگیری مناسب برای شبکه‌عصبی اهمیت بسیار بالایی دارد و برای این منظور می‌توان از روش‌های بهینه‌سازی استفاده کرد که می‌توان آن‌ها را به دو دسته کلی: مبتنی بر هوش و مبتنی بر گرادیان، تقسیم کرد. در روش‌های مبتنی بر گرادیان معمولا از گرادیان مرتبه اول (روش متداول) و گرادیان مرتبه دوم (روش نیوتن) استفاده می‌شود. در روش‌های مبتنی بر گرادیان مرتبه دوم سعی شده که سرعت همگرایی نسبت به روش گرادیان متداول افزایش یابد، منتهی حجم محاسبات (ماتریس هسین) نیز افزایش می‌یابد. برای جبران مسئله محاسبات ماتریس هسین روش‌هایی ارائه شده است، از جمله روش لونبرگ-مارکوارت که در آن به جای محاسبه ماتریس هسین، فقط قسمتی از آن که دارای محاسبات کم است استفاده می‌شود که با این ایده حجم محاسبات کاهش یافته ولی همچنان سرعت همگرایی بسیار مناسب است. در این روش با افزودن پارامتری به نام ضریب همبستگی، ترکیبی از روش‌های گرادیان مرتبه اول و مرتبه دوم ارائه شده است. در این مقاله مسئله یادگیری شبکه عصبی با استفاده از روش لونبرگ-مارکوارت حل شده‌است و همچنین سعی شده که با ایده گرفتن از روش روزن‌بروک، روشی مناسب برای تعیین ضریب همبستگی ارائه شود. نهایتا روش پیشنهادی برای یادگیری شبکه‌عصبی به منظور شناسایی یا مدلسازی یک تابع غیرخطی استفاده شده است و نتایج بدست آمده با نتایج حاصل از روش ازدحام‌ذرات (مبتنی بر هوش جمعی) و روش گرادیان متداول مقایسه شده است که برتری روش پیشنهادی را نشان می‌دهد.