کامپیوتر عصبی دیفرانسیل‌پذیر

در هوش مصنوعی، یک کامپیوتر عصبی دیفرانسیل‌پذیر (DNC) یک معماری شبکه عصبی تقویت‌شده حافظه (MANN) است که معمولاً (اما نه همیشه) به صورت بازگشتی پیاده‌سازی می‌شود. این مدل در سال ۲۰۱۶ توسط Alex Graves و همکاران از شرکت دیپ‌مایند منتشر شد.^[۱]

کاربردها

کامپیوتر عصبی دیفرانسیل‌پذیر به‌طور غیرمستقیم از معماری فون نویمان ایده گرفته است. از این رو، این معماری می‌تواند در کارهایی که اساساً الگوریتمی هستند و در آنها پیدا کردن مرز تصمیم‌گیری نمی‌تواند یادگیری تلقی شود، از معماری‌های معمولی بهتر عمل می‌کند.

در حال حاضر، DNCها تنها وظایف نسبتاً ساده را می‌توانند انجام دهند که انجام این کارها با استفاده از برنامه‌نویسی معمولی نیز قابل حل هستند. اما مزیت DNCها این است که آنها برای هر مسئلهٔ جدید نیازی به برنامه‌ریزی جداگانه ندارند، بلکه می‌توانند روی مسئله آموزش ببینند. این ویژگی از کامپیوترهای عصبی دیفرانسیل‌پذیر به کاربر اجازه می‌دهد تا ساختارهای داده‌ای پیچیده‌ای مانند گراف‌ها را به صورت متوالی به این معماری به عنوان ورودی بدهد و آنها را برای استفاده بعدی فراخواند. علاوه بر این، آنها می‌توانند جنبه‌های استدلال نمادین را بیاموزند و آن را در حافظه فعال به کار ببرند. محققانی که این روش را منتشر کردند، وعده می‌دهند که DNCها می‌توانند برای انجام وظایف پیچیده و ساختار یافته^[۱]^[۲] و رسیدگی به برنامه‌های کاربردی کلان داده که به نوعی استدلال نیاز دارند، آموزش ببینند، مثلاً، تولید تفسیر و شرح برای ویدئو یا تجزیه و تحلیل معنایی متن.^[۳]^[۴]

یک کامپیوتر عصبی دیفرانسیل‌پذیر می‌تواند بر روی داده‌های یک سیستم حمل و نقل آموزش داده شود تا سیستم‌هایی مانند مترو را هدایت کند. پس از یادگیری شبکه بر روی داده‌های یک سیستم حمل و نقل می‌توان آن را یه یک سیستم دیگر انتقال کند. این در حالی است که یک شبکه عصبی بدون حافظه باید یادگیری خود را از ابتدا برای یک سیستم حمل و نقل جدید از صفر شروع کند. در مسائلی مانند پیمایش گراف و پردازش دنباله‌ها به صورت یادگیری نظارت شده، DNCها بهتر از جایگزین‌هایی مانند حافظه کوتاه مدت طولانی یا ماشین تورینگ عصبی عمل می‌کنند.^[۵] با یک رویکرد یادگیری تقویتی برای مسئلهٔ پازل بلوکی که از SHRDLU الهام گرفته شده است، DNC به روش یادگیری برنامه درسی آموزش داده شد که برنامه‌ریزی کند. در نتیجه این روش عملکرد بهتری نسبت به یک شبکه عصبی بازگشتی برای حل مسئلهٔ پازل از خود نشان داد.^[۵]

معماری

نمودار سیستم عملکرد کامپیوتر عصبی دیفرانسیل پذیر

شبکه‌های DNC به عنوان توسعه‌ای از ماشین تورینگ عصبی (NTM) معرفی شدند. در حقیقت کامپیوتر عصبی دیفرانسیل‌پذیر با اضافه کردن مکانیسم‌های توجه حافظه به NTM امکاناتی مانند کنترل مکان ذخیره‌سازی حافظه و توجه زمانی ترتیب رویدادها را فراهم می‌آورد. این ساختار معماری، نه تنها شبکه‌های DNC راتوانمندتر و انتزاعی تر از NTM می‌سازد، بلکه به آن‌ها امکان انجام وظایفی که وابستگی‌های طولانی مدتی زمانی دارند را می‌دهد. این امکان از ویژگی‌های شبکه‌های حافظه بلند مدت کوتاه مدت (LSTM) است. حافظهٔ این شبکه‌ها، که به زبان ساده یک ماتریس است، می‌تواند به صورت پویا تخصیص داده شود و به‌طور نامحدود قابل دسترس باشد. شبکه‌های DNC به صورت سرتاسر دیفرانسیل‌پذیر است (هر بخشی از مدل دیفرانسیل‌پذیر است، بنابراین کل مدل نیز دیفرانسیل‌پذیر است). این ویژگی دیفرانسیل‌پذیری در این شبکه‌ها، بهینه‌سازی کارآمد آنها را با استفاده از گرادیان کاهشی امکان‌پذیر می‌کند.^[۳]^[۶]^[۷]

معماری در مدل کامپیوتر عصبی دیفرانسیل‌پذیر شبیه معماری فون نویمان است و همچنین به دلیل قابلیت تغییر اندازه حافظه، تورینگ کامل است.^[۸]

کامپیوتر عصبی دیفرانسیل‌پذیر سنتی

کامپیوتر عصبی دیفرانسیل‌پذیر در ابتدا به صورت زیر فرموله و مدل‌سازی شد.


	متغییرهای مستقل
بردار ورودی	$\mathbf {x} _{t}$
بردار هدف	$\mathbf {z} _{t}$

منابع

1 2 Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (2016-10-12). "Hybrid computing using a neural network with dynamic external memory". Nature (in English). 538 (7626): 471–476. Bibcode:2016Natur.538..471G. doi:10.1038/nature20101. ISSN 1476-4687. PMID 27732574.
↑ "Differentiable neural computers | DeepMind". DeepMind. Retrieved 2016-10-19.
1 2 Burgess, Matt. "DeepMind's AI learned to ride the London Underground using human-like reason and memory". WIRED UK (in British English). Retrieved 2016-10-19.
↑ Jaeger, Herbert (2016-10-12). "Artificial intelligence: Deep neural reasoning". Nature (in English). 538 (7626): 467–468. Bibcode:2016Natur.538..467J. doi:10.1038/nature19477. ISSN 1476-4687. PMID 27732576.
1 2 James, Mike. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. Retrieved 2016-10-20.
↑ "DeepMind AI 'Learns' to Navigate London Tube". PCMAG. Retrieved 2016-10-19.
↑ Mannes, John. "DeepMind's differentiable neural computer helps you navigate the subway with its memory". TechCrunch. Retrieved 2016-10-19.
↑ "RNN Symposium 2016: Alex Graves - Differentiable Neural Computer". YouTube.

[DNCnature2016-1] 1 2 Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (2016-10-12). "Hybrid computing using a neural network with dynamic external memory". Nature (in English). 538 (7626): 471–476. Bibcode:2016Natur.538..471G. doi:10.1038/nature20101. ISSN 1476-4687. PMID 27732574.

[2] "Differentiable neural computers | DeepMind". DeepMind. Retrieved 2016-10-19.

[:0-3] 1 2 Burgess, Matt. "DeepMind's AI learned to ride the London Underground using human-like reason and memory". WIRED UK (in British English). Retrieved 2016-10-19.

[4] Jaeger, Herbert (2016-10-12). "Artificial intelligence: Deep neural reasoning". Nature (in English). 538 (7626): 467–468. Bibcode:2016Natur.538..467J. doi:10.1038/nature19477. ISSN 1476-4687. PMID 27732576.

[:1-5] 1 2 James, Mike. "DeepMind's Differentiable Neural Network Thinks Deeply". www.i-programmer.info. Retrieved 2016-10-20.

[6] "DeepMind AI 'Learns' to Navigate London Tube". PCMAG. Retrieved 2016-10-19.

[7] Mannes, John. "DeepMind's differentiable neural computer helps you navigate the subway with its memory". TechCrunch. Retrieved 2016-10-19.

[8] "RNN Symposium 2016: Alex Graves - Differentiable Neural Computer". YouTube.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]