کنفرانس بین المللی محاسبات نرم

صفحه اصلی / پنجمین کنفرانس بین المللی محاسبات نرم

استفاده از یادگیری کیو مبتنی بر فرآیندهای تصمیم گیری مارکوف به منظور تشخیص و بازیابی حفرههای پوشش در شبکههای حسگر بیسیم

نویسندگان :

اکرم سادات مصطفوی¹ نستوه طاهری جوان²

1- دانشگاه بین‌المللی امام خمینی (ره) 2- دانشگاه بین‌المللی امام خمینی (ره)

کلمات کلیدی :

شبكه حسگر بیسیم،تشخیص و بازیابی حفرههای پوشش،یادگیری کیو،فرآیندهای تصمیمم گیری مارکوف.

چکیده :

در شبكههای حسگر بیسیم، ناهنجاریهای مختلفی ممكن است ایجاد شود و قابلیت اطمینان و کارایی شبكه را کاهش دهد. یكی از این ناهنجاریها، حفره پوشش است که به دلایل مختلفی مانند استقرار تصادفی گرههای حسگر در محیط، حوادث آسیب رسان محیطی، تخلیه باتری حسگرها، خرابیهای سخت افزاری، اشكالات نرم افزاری و حملات امنیتی در شبكه، ممكن است ایجاد شود. در شبكههای حسگر بیسیم، انواع چالشهای فنی باید شناسایی شود و واکنش مناسب به هریک از آنها داده شود. استفاده از روشهای قدیمی به منظور پاسخگویی مناسب به چنین چالشهای پویایی، عمدتا سخت است. یكی از این راهحلها به منظور رفع چالش ها، استفاده از روشهای یادگیریتقویتی است. یادگیری کیو یكی از روش- های یادگیری تقویتی است که مبتنی بر فرآیندهای تصمیم گیری مارکوف است. فرآیندهای تصمیم گیری مارکوف، یک مدل تصمیم گیری در محیطهای گسسته، تصادفی و متوالی است. ماهیت مدل این است که، یک تصمیم گیرنده یا عامل در محیطی زندگی می کند که حالت خود را به طور تصادفی در پاسخ به انتخابهای تصمیم گیرنده، تغییر میدهد، هدف عامل این است که اقداماتی را انجام دهد تا معیار پاداش خود را به حداکثر برساند. در این مقاله، از روش یادگیری کیو مبتنی بر فرآیندهای تصمیم گیری مارکوف به منظور تشخیص و بازیابی حفرههای پوشش در شبكههای حسگر بیسیم استفاده کردیم. ما روش پیشنهادی خود را با نرم افزار 2NS شبیه سازی کردیم و سپس نتایج شبیه سازی را با روش پایه یادگیری کیو مبتنی بر نظریه بازی به منظور تشخیص و بازیابی حفرههای پوشش در شبكههای حسگر بیسیم، مقایسه کردیم و نتایج شبیه سازی نشان داد که روش پیشنهادی ما از نظر میانگین تعداد حفرههای ایجاد شده، میانگین تعداد تصمیم گیریهای اشتباه توسط گرههای حسگر در حین فرایند یادگیری، میانگین زمان موردنیاز برای بازیابی حفرهها، میانگین زمان همگرایی، میانگین مصرف انرژی و در نتیجه طول عمر شبكه، نسبت به روش پایه، بهبود داشته است