کنفرانس بین المللی محاسبات نرم

صفحه اصلی / چهارمین کنفرانس بین المللی محاسبات نرم

شبکه مولدتخاصمی چند توجه نظارت‌نشده برای ترجمه تصویر به تصویر

نویسندگان :

فرزانه مقصودی قمبوانی¹ محمدجواد فدائی اسلام² فرزین یغمایی³

1- دانشگاه سمنان 2- دانشگاه سمنان 3- دانشگاه سمنان

کلمات کلیدی :

ترجمه تصویر به تصویر، توجه چندکاناله، انتقال سبک، انتقال محتوا

چکیده :

در این مقاله یک روش جدید برای ترجمه تصویر به تصویر نظارت‌نشده ارائه شده است که شامل دو ماژول توجه جدید و یک تابع نرمال‌سازی قابل یادگیری به‌صورت سر به سر است. ماژول توجه داخلی، مدل را راهنمایی می‌کند تا بین مناطق مهم‌تر بین حوزه منبع و هدف تمایز قائل شود. ابتدا به‌صراحت اطلاعات معنایی و نتایج اولیه درشت حاصل می‌شود، سپس با استفاده از مکانیسم توجه چند کاناله نتایج اولیه اصلاح می‌شود. علاوه بر این نقشه‌های عدم قطعیت به‌طور خودکار از نقشه‌های توجه‌ آموخته می‌شود تا برای بهینه‌سازی بهتر شبکه استفاده شود. برخلاف روش‌های قبلی توجه که نمی‌تواند تغییرات هندسی بین حوزه‌ها را کنترل کند مدل ما می‌تواند تصاویری که نیاز به تغییرات جامع دارند و تصاویری که نیاز به تغییرات بزرگ دارند را ترجمه کند و منجر به حفظ هم‌زمان سبک و محتوا گردد. همچنین با استفاده از توجه مجزا، از تغییرات شدید پس‌زمینه جلوگیری می‌کند و منجر به کیفیت بهتر پس‌زمینه و تصویر می‌شود. درنهایت با ترکیب نقاط قوت چند روش برگزیده یک شبکه مولد باقابلیت بهتر ارائه شده است. مدل ترکیبی منجر به حفظ محتوا و اعمال تغییرات هندسی می‌گردد. با استفاده از ترکیب 7 تابع اتلاف معرفی شده در این روش‌ها به آموزش قدرتمند مدل پرداخته شده است. آزمایش‌هایی بر روی مجموعه داده‌های ارائه‌شده در pix2pix با استفاده از معیارهای ارزیابی IS، FID و KID انجام شد نشان می‌دهد مدل ما قادر به تولید نتایج بهتری نسبت به روش‌های موجود است.