شبکه عصبی اسپایکی

شبکه‌های عصبی اسپایکی (انگلیسی: Spiking Neural Networks)، شبکه‌های عصبی مصنوعی هستند که به‌طور دقیق تری از شبکه‌های عصبی زیستی الهام می‌گیرند.^[۱] در شبکه‌های عصبی اسپایکی علاوه بر متغیرهای حالت نورونی و سیناپسی، مفهوم زمان نیز در مدل در نظر گرفته می‌شود. در شبکه‌های عصبی معمولی (مانند شبکه‌های پرسپترونی چند لایه)، خروجی هر نورون در هر تکرار محاسبه و به روز رسانی می‌شود، اما در شبکه‌های عصبی اسپایکی، هر نورون تنها زمانی اسپایک تولید می‌کند که پتانسیل غشای آن از یک حد آستانه بیشتر شده باشد. اندازه پتانسیل غشا توسط غلظتهای یونی دو طرف غشای سلولی تعیین می‌شود. در شبکه‌های عصبی زیستی، نورون تحریک پذیر با تولید اسپایک، سیگنالی را تولید می‌کند که اطلاعات را به سایر نورونها منتقل می‌نماید. پتانسیل غشای نورونهای گیرنده با توجه به نوع این سیگنال، افزایش یا کاهش می‌یابد.

نورون‌ها در این شبکه‌های عصبی توسط معادلات دیفرانسیل جریانی یا ولتاژی مدل می‌شوند. در مدل جریانی، اندازهٔ جریان به عنوان متغیر حالت مدل نورون در نظر گرفته می‌شود. با دریافت هر اسپایک یا سطح این جریان افزایش می‌یابد و نورون دریافت کننده در نهایت یک اسپایک تولید می‌کند یا اینکه جریان دریافتی مکانیسم‌های کاهش جریان را درنورون دریافت کننده فعال نموده و سبب مهار آن می‌شود. اسپایک‌ها به صورت قطارهای اسپایکی (متغیر گسسته در زمان) تولید و منتشر می‌شوند و برای تبدیل آنها به متغیر پیوسته در زمان، روش‌های کدگذاری متنوعی وجود دارد. محاسبه فرکانس اسپایک‌ها یا فاصلهٔ زمانی بین دو اسپایک متوالی از روشهایی هستند که برای این منظور به کار گرفته می‌شوند.

تاریخچه

ساختار شبکه‌های عصبی مصنوعی معمولاً به گونه ای طراحی می‌شود که تمامی نورونها به یکدیگر متصل هستند و یک شبکه fully connected را ایجاد می‌کنند. این نورونها از تمامی نورونهای لایهٔ قبل ورودی گرفته و خروجی خود را به تمامی نورونهای لایهٔ بعد ارسال می‌کنند. اگرچه این شبکه‌ها کاربردهای یادگیری ماشین در زمینه‌های مختلف را به طرز چشمگیری دگرگون نموده و منجر به نتایج فوق‌العاده ای شده‌اند، مکانیسم یادگیری و انتشار اطلاعات در آنها دقیقاً منطبق با مکانیسم‌های شناخته شده در شبکه‌های عصبی زیستی نیستند.^[۲]

اولین مدل محاسباتی نورونهای اسپایکی توسط هاجکین و هاکسلی در سال ۱۹۵۲ ارایه شد. این مدل با در نظر گرفتن کانالهای سدیمی و پتاسیمی روی غشای سلول، نشان می‌دهد که پتانسیل عمل چگونه ایجاد شده، در طول سلول منتشر می‌شود وهمچنین به سلولهای مجاور منتقل می‌گردد. در این مدل، نورونها اسپایک تولید نمی‌کنند و پیام خود را از طریق تغییر غلظت مواد شیمیایی موجود در فاصلهٔ بین دو نورون که نوروترنزمیتر نامیده می‌شوند به یکدیگر منتقل می‌کنند. پس از معرفی این مدل، مدل‌های پیچیده تری که متغیرهای حالت بیشتری را در نظر می‌گیرند معرفی شده‌اند که هر یک جنبه ای از تولید و انتشار اسپایک در نورون‌ها را بازنمایی می‌کنند. مدلهای integrate-and-fire, FitzHugh–Nagumo، و Hindmarsh–Rose مثالهایی از این مدل‌های زیستی هستند.

شبکه‌های عصبی اسپایکی علاوه بر شبیه‌سازی نرم‌افزاری، روی سخت‌افزارها نیز پیاده‌سازی می‌شوند و شاخه ای از تکنولوژی که به دنبال طراحی و پیاده‌سازی سخت‌افزاری شبکه‌های عصبی اسپایکی است با عنوان مهندسی نورومورفیک شناخته می‌شود. BrainChip اولین تراشه تجاری است که یه سیستم مبتنی بر شبکه‌های عصبی اسپایکی بر روی آن پیاده‌سازی شده‌است.

کاربردها

شبکه‌های عصبی اسپایکی معمولاً در کاربردهایی مورد استفاده قرار می‌گیرند که پیش از این شبکه‌های عصبی غیر اسپایکی به کار گرفته شده‌اند.^[۳] علاوه بر این کابردهای مربوط به یادگیری ماشین، شبکه‌های عصبی اسپایکی در مدلسازی سیستم عصبی مرکزی ارگانیسم‌های زیستی، مانند سیستم جستجوی غذا در حشرات بدون دانش اولیه نسبت به محیط،^[۴] نیز کاربرد دارند. به دلیل مشابهت نسبی آنها با شبکه‌های عصبی زیستی، از شبکه‌های عصبی اسپایکی برای مطالعهٔ مدارهای نورونی زیستی نیز استفاده می‌شود. در این کاربردها ابتدا فرضیه ای درمورد ارتباط توپولوژی مدارهای نورونی زیستی با عملکرد (function) این مدارها (شبکه‌ها) مطرح می‌گردد، سپس، این مدل محاسباتی شبیه‌سازی شده و فعالیت نورون‌ها (و یا سایر متغیرهای حالت) در مدت زمان اجرا ثبت می‌شوند. سیگنال‌های ثبت شده در نهایت با سیگنال‌های ثبت شده از سیستم زنده مقایسه می‌شوند و فرضیه ابتدایی تأیید یا رد می‌گردد.

شبکه‌های عصبی اسپایکی بیشتر از اینکه کاربردهای مهندسی داشته باشند در نوروساینس مورد استفاده قرار میگرند. در کاربردهای مهندسی معمولاً شبکه ای تصادفی با تعداد بسیار زیادی از نورون‌ها طراحی می‌شود و قطارهای اسپایکی ثبت شده از نورون‌های این شبکه، با میانگین‌گیری زمانی (-مکانی) به کمیت‌های عددی پیوسته تبدیل شده و برای تعلیم وزنهای یک لایهٔ خروجی خطی مورد استفاده قرار می‌گیرند. این ساختار و روش تعلیم شبکه‌های عصبی بازگشتی با عنوان | Reservoir Computing شناخته می‌شود. این شبکه ها که معمولا با عنوان مخازن حالت مایع (Liquid State Machine^[۱]) شناخته می‌شوند متشکل از یک لایه‌ی ورودی، یک لایه‌ی بازگشتی و یک لایه‌ی خروجی هستند. لایه‌ی ورودی، اطلاعات دریافتی را به قطارهای اسپایکی تبدیل نموده و به لایه‌ی بازگشتی ارسال میکند. لایه‌ی بازگشتی در پاسخ به این ورودی متغیر با زمان، مانند یک سیستم دینامیک غیرخطی ثابت عمل کرده و دینامیک ورودی را در یک فضای با بعد بالاتر بازنمایی میکند. لایه‌ی خروجی که معمولا یک یادگیرنده‌ی خطی است، از این بازنمایی در بعد بالا برای حل مساله استفاده می‌کند. این مدل ها که فقط لایه‌ی خروج در آنها آموزش می‌بیند برای پردازش داده‌های زمانی ساده و یا برای بررسی تاثیر ساختار و ویژگی‌های نورونی و سیناپسی در لایه‌ی میانی بر توانایی شبکه در حل مساله مورد استفاده قرار می‌گیرند. علاوه بر این روش، روش‌های یادگیری مبتنی بر گرادیان در شبکه های اسپایکی، به‌ویژه با الهام از شبکه‌های عصبی عمیق، معرفی شده‌اند که امکان آموزش سرتاسری شبکه‌های اسپایکی را فراهم کرده است^[۵]. در این روش‌ها همه‌ی وزن‌های داخلی نورون‌ها و سیناپس‌ها بهینه می‌شوند، در نتیجه، دقت شبکه‌های اسپایکی در مسائل بینایی و گفتار بهبود یافته‌است.

شبیه‌سازی نرم‌افزاری

برای شبیه‌سازی شبکه‌های عصبی اسپایکی روی کامپیوترهای دیجیتال، نرم‌افزارهای و ابزارهای متنوعی توسعه داده شده‌اند. از میان کتابخانه‌ها و نرم‌افزارهای موجود می‌توان به برايان (Brian)، نست (NEST)، نورون (NEURON) و snnTorch اشاره کرد که برای شبیه‌سازی شبکه‌های عصبی اسپایکی و مدل‌سازی نورون‌های زیستی به‌کار می‌روند. این کتابخانه‌ها با اهداف متفاوتی طراحی شده‌اند؛ به‌طور کلی، برايان (Brian) برای شبیه‌سازی شبکه‌های عصبی اسپایکی در مقیاس کوچک و آموزش آسان مناسب است، نست (NEST) برای شبیه‌سازی شبکه‌های بزرگ با نورون‌های ساده بهینه‌سازی شده است، نورون (NEURON) بیشتر در مدل‌سازی دقیق نورون‌های زیستی و مدارهای عصبی واقعی کاربرد دارد و snnTorch برای پیاده‌سازی شبکه‌های عصبی اسپایکی در چارچوب یادگیری عمیق و آموزش مبتنی بر گرادیان طراحی شده است.

پیاده‌سازی روی سخت‌افزار

تلاش‌ها برای پیاده‌سازی سخت‌افزاری شبکه‌های عصبی اسپایکی (SNN) از دهه ۱۹۸۰ آغاز شد ^[۶]، زمانی که دانشمندان به دنبال توسعه سامانه‌های نورومورفیک الهام‌گرفته از مغز بودند. در طول دهه‌های بعد، با پیشرفت فناوری‌های نیمه‌هادی، پروژه‌های متعددی شکل گرفتند. از جمله می‌توان به SpiNNaker (دانشگاه منچستر) اشاره کرد که میلیون‌ها هسته پردازشی را برای شبیه‌سازی گسترده نورون‌های اسپایکی به‌کار می‌گیرد. TrueNorth (IBM) نیز یکی از نخستین تراشه‌های نورومورفیک تجاری است که برای پردازش موازی و کم‌مصرف طراحی شده است. همچنین پروژه Loihi (اینتل) با تمرکز بر یادگیری آنلاین و انعطاف‌پذیری در مدل‌های نورومورفیک شناخته می‌شود. در سطح تحقیقاتی، سامانه‌هایی مانند BrainScaleS در اروپا از ترکیب مدارات آنالوگ و دیجیتال برای شتاب‌دهی شبیه‌سازی‌ها بهره می‌برند. Neurogrid (دانشگاه استنفورد) نیز با هدف شبیه‌سازی کارآمد نورون‌ها و سیناپس‌های زیستی توسعه یافته است. همچنین DYNAP-SE (iniLabs) ^[۷] به‌عنوان یک تراشه نورومورفیک کم‌مصرف برای پردازش رویدادمحور به‌ویژه در کاربردهای رباتیک و اینترنت اشیا طراحی شده است. علاوه بر این، توسعه سخت‌افزارهای مبتنی بر ممریستور و فناوری‌های emerging memory، امیدبخش پیاده‌سازی شبکه‌های عصبی اسپایکی با مصرف انرژی بسیار پایین و سازگاری بیشتر با مدل‌های زیستی است.^[۸]

1 2 Maass, Wolfgang (1997). "Networks of spiking neurons: The third generation of neural network models". Neural Networks. 10 (9): 1659–1671.
↑ «Spiking Neural Networks, the Next Generation of Machine Learning». Towards Data Science.
↑ Alnajjar, F. ; Murase, K. (2008). "A simple Aplysia-like spiking neural network to generate adaptive behavior in autonomous robots". Adaptive Behavior. 14 (5): 306–324.
↑ X Zhang; Z Xu; C Henriquez; S Ferrari (Dec 2013). Spike-based indirect training of a spiking neural network-controlled virtual insect. IEEE Decision and Control. pp. 6798–6805
↑ Eshraghian, Jason K.; Ward, Max; Neftci, Emre O.; Wang, Xinxin; Lenz, Gregor; Dwivedi, Girish; Bennamoun, Mohammed; Jeong, Doo Seok; Lu, Wei D. (2023 September). "Training Spiking Neural Networks Using Lessons From Deep Learning". Proceedings of the IEEE. 111 (9): 1016–1054. doi:10.1109/JPROC.2023.3308088. ISSN 0018-9219. {{cite journal}}: Check date values in: |date= (help)
↑ Valle, Maurizio (2002-12). "Analog VLSI Implementation of Artificial Neural Networks with Supervised On-Chip Learning". Analog Integrated Circuits and Signal Processing (به انگلیسی). 33 (3): 263–287. doi:10.1023/A:1020717929709. ISSN 0925-1030. {{cite journal}}: Check date values in: |date= (help)
↑ Richter, Ole; Wu, Chenxi; Whatley, Adrian M; Köstinger, German; Nielsen, Carsten; Qiao, Ning; Indiveri, Giacomo (2024-03-01). "DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous spiking neural network processor". Neuromorphic Computing and Engineering. 4 (1): 014003. doi:10.1088/2634-4386/ad1cd7. ISSN 2634-4386.
↑ James, Conrad D.; Aimone, James B.; Miner, Nadine E.; Vineyard, Craig M.; Rothganger, Fredrick H.; Carlson, Kristofor D.; Mulder, Samuel A.; Draelos, Timothy J.; Faust, Aleksandra (2017-01-01). "A historical survey of algorithms and hardware architectures for neural-inspired and neuromorphic computing applications". Biologically Inspired Cognitive Architectures. 19: 49–64. doi:10.1016/j.bica.2016.11.002. ISSN 2212-683X.

[:0-1] 1 2 Maass, Wolfgang (1997). "Networks of spiking neurons: The third generation of neural network models". Neural Networks. 10 (9): 1659–1671.

[2] «Spiking Neural Networks, the Next Generation of Machine Learning». Towards Data Science.

[3] Alnajjar, F. ; Murase, K. (2008). "A simple Aplysia-like spiking neural network to generate adaptive behavior in autonomous robots". Adaptive Behavior. 14 (5): 306–324.

[4] X Zhang; Z Xu; C Henriquez; S Ferrari (Dec 2013). Spike-based indirect training of a spiking neural network-controlled virtual insect. IEEE Decision and Control. pp. 6798–6805

[5] Eshraghian, Jason K.; Ward, Max; Neftci, Emre O.; Wang, Xinxin; Lenz, Gregor; Dwivedi, Girish; Bennamoun, Mohammed; Jeong, Doo Seok; Lu, Wei D. (2023 September). "Training Spiking Neural Networks Using Lessons From Deep Learning". Proceedings of the IEEE. 111 (9): 1016–1054. doi:10.1109/JPROC.2023.3308088. ISSN 0018-9219. {{cite journal}}: Check date values in: |date= (help)

[6] Valle, Maurizio (2002-12). "Analog VLSI Implementation of Artificial Neural Networks with Supervised On-Chip Learning". Analog Integrated Circuits and Signal Processing (به انگلیسی). 33 (3): 263–287. doi:10.1023/A:1020717929709. ISSN 0925-1030. {{cite journal}}: Check date values in: |date= (help)

[7] Richter, Ole; Wu, Chenxi; Whatley, Adrian M; Köstinger, German; Nielsen, Carsten; Qiao, Ning; Indiveri, Giacomo (2024-03-01). "DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous spiking neural network processor". Neuromorphic Computing and Engineering. 4 (1): 014003. doi:10.1088/2634-4386/ad1cd7. ISSN 2634-4386.

[8] James, Conrad D.; Aimone, James B.; Miner, Nadine E.; Vineyard, Craig M.; Rothganger, Fredrick H.; Carlson, Kristofor D.; Mulder, Samuel A.; Draelos, Timothy J.; Faust, Aleksandra (2017-01-01). "A historical survey of algorithms and hardware architectures for neural-inspired and neuromorphic computing applications". Biologically Inspired Cognitive Architectures. 19: 49–64. doi:10.1016/j.bica.2016.11.002. ISSN 2212-683X.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]