کنفرانس بین المللی محاسبات نرم

صفحه اصلی / ششمین کنفرانس بین المللی محاسبات نرم

شناسایی لغات بازدارنده در متون فارسی با استفاده ازیک یادگیر تقویتی دو لایه

نویسندگان :

عمران یونسی¹

1- دانشگاه پیام نور

کلمات کلیدی :

یادگیری تقویتی،یادگیری ماشین،دسته‌بندی،لغات بازدارنده،پردازش زبان طبیعی

چکیده :

شناسایی کلمات بازدارنده یکی از مهمترین مراحل پیش پردازش متون در همه زبان هاست. تعیین ارزش اطلاعاتی و آماری هر لغت نه تنها در ساخت لیستی از کلمات بازدارنده بلکه در سایر فرآیندهای پردازش متن نیز از جمله استخراج کلمات کلیدی , تعیین شباهت متون , خلاصه سازی متون و . . . بسیار حائز اهمیت است. در این مقاله متدی مبتنی بر یادگیری تقویتی جهت شناسایی این لغات پیشنهاد می گردد به نحوی که از سایر لیست های دست ساز آماده موجود در زبان فارسی بازده پردازشی و دقت بالاتری ارائه دهد. این یادگیر تقویتی در دو لایه یکی در سطح لغات و دیگری در سطح پیکره متنی عمل می نماید. لایه نخست در سطح لغات بر شمول یا عدم شمول هر لغت در لیست لغات بازدارنده تصمیم گیری نموده و پس از پردازش همه لغات پیکره، لایه دوم در سطح پیکره میزان اثر حذف لغاتِ برچسب خورده در لایه اول را بر دقت فرآیند دسته بندیِ اسناد , ارزیابی و پاداش یا جزایی را در پاسخ بر می گرداند. این اپیزود در مرحله بعد در سطح لغات توسط لایه اول دوباره انجام شده و لیست حاصله به داوری لایه دوم گذاشته می شود . بازخورد لایه دوم در دقت فرآیند شناسایی لغات بازدارنده در لایه اول تاثیر گذار بوده و این فرآیند تا همگرایی و عدم تغییر کلی دقت دسته بندی اسناد ادامه می یابد.