کنفرانس بین المللی محاسبات نرم

صفحه اصلی / چهارمین کنفرانس بین المللی محاسبات نرم

بررسی و ارزیابی الگوریتم‌های تطبیق‌دهنده در حل مسئله استنتاج متن

نویسندگان :

محمد صادق جهانی¹ حمیدرضا احمدی فر² سید ابوالقاسم میرروشندل³

1- دانشگاه گیلان 2- دانشگاه گیلان 3- دانشگاه گیلان

کلمات کلیدی :

Adapter، Natural Language Processing، BERT، Natural Language Inference، Deep Learning

چکیده :

یکی از مهم‌ترین تمایز‌هایی که بین انسان و کامپیوتر وجود دارد قدرت تحلیل و استنتاج از داده و دانشی است که اختیار دارند. امروزه کامپیوترها مقدار زیادی فضای نگهداری داده‌های باارزش و قدرت پردازشی بسیار بالا در اختیار دارند. اگر قدرت استنتاج به کامپیوتری که به این منابع دسترسی دارد، اضافه شود شاید در آینده‌ای نزدیک بتوان با کمک آن‌ها به تصمیماتی بهتر و جامع‌تر از تصمیمات امروز انسانی رسید. استنتاج متن یکی از مسائلی است که به فهم کامپیوترها از متن کمک می‌کند. استنتاج متن جزء مسائل کلاسیک در پردازش زبان طبیعی است. در سال‌های اخیر راه‌کار رایج برای حل این مسائل استفاده از روش انتقال دانش از طریق شبکه از پیش آموزش دیده است. درحالی که این روش دقتی مطابق با آخرین پیشرفت‌های حاصل شده را به‌همراه دارد اما دارای معایبی است. از جمله این معایب می‌توان به حجم بالای پارامترهایی که باید یادگیری و نگهداری شوند، هزینه‌بر بودن یادگیری مناسب این پارامترها و زمان‌بر بودن آن اشاره کرد. در این مقاله سعی بر این است مسئله استنتاج متن با تکیه بر روش‌های مبتنی بر تطبیق‌دهنده‌ها حل شود که از این طریق هم بتوان از مزایای شبکه‌های از پیش آموزش دیده بهره برد و هم معایب آن را برطرف کرد. استفاده از این الگوریتم‌ها در مسئله استنتاج متن این نتیجه را حاصل کرد که تنها با استفاده از 3.6% پارامترهای موجود در شبکه‌های مبتنی بر مبدل به دقتی بیشتر از آموزش کل پارامترهای شبکه، دست پیدا کرد و دقت شبکه را 5.07% افزایش داد.