کنفرانس بین المللی محاسبات نرم

صفحه اصلی / ششمین کنفرانس بین المللی محاسبات نرم

استنتاج علی در یادگیری تقویتی چندعاملی

نویسندگان :

مهدی محمدیان¹

1- دانشگاه پیام نور

کلمات کلیدی :

یادگیری تقویتی چندعاملی (MARL)،یادگیری تقویتی چندعاملی علی،استنتاج علی،کشف علیت،استدلال خلاف واقع،مدل‌های علی ساختاری (SCMs)

چکیده :

یادگیری تقویتی چندعاملی نوین به‌طور بنیادین به دلیل اتکای آن بر الگوهای همبستگی کاذب، با محدودیت‌هایی جدی روبروست؛ امری که منجر به فقدان استواری، تعمیم‌پذیری ضعیف در محیط‌های گوناگون و تخصیص اعتبار ناکارآمد میان عامل‌ها می‌شود. این مقاله مروری، استنتاج علی را به‌عنوان یک چارچوب اصولی برای پرداختن به این کاستی‌های حیاتی معرفی می‌کند و با ارائه اولین نمای جامع از حوزه نوظهور Causal MARL، شکاف میان استدلال علی و یادگیری تقویتی را پر می‌کند. مهم‌ترین دستاورد ما، ارائه یک طبقه‌بندی نوین و مسئله-محور است که روش‌های موجود Causal MARL را بر اساس چالش‌های کلیدی‌ای که به آن‌ها می‌پردازند، دسته‌بندی می‌کند: کشف علیت، تخصیص اعتبار، تعمیم‌پذیری و ارتباطات. فراتر از این طبقه‌بندی، ما مبرم‌ترین چالش‌های بازی را که مانع پیشرفت هستند، مانند مسائل مقیاس‌پذیری و نحوه مدیریت مخدوش‌گرهای مشاهده‌نشده، جمع‌بندی می‌کنیم. علاوه بر این، با تشریح جهت‌گیری‌های پژوهشی تأثیرگذار که می‌توانند این حوزه را به پیش برانند، مسیر روشنی را برای تحقیقات آینده ترسیم می‌نماییم. در نهایت، بر این نکته تأکید می‌کنیم که ادغام استدلال علی، صرفاً یک بهبود تدریجی نیست، بلکه یک ضرورت تحول‌آفرین برای خلق سیستم‌های چندعاملی حقیقتاً هوشمند، استوار و تعمیم‌پذیر است که قادر به شکوفایی در محیط‌های پیچیده و پویا باشند.