نرمال‌سازی (یادگیری ماشین)

شبکه به مرور یاد میگیرد که در صورت نیاز با استفاده از پارامترهای ${\displaystyle \gamma }$ و ${\displaystyle \beta }$ نرمال‌سازی را «خنثی» کند.^[۳] بَچ‌نُرم را می‌توان اینگونه تفسیر کرد: در مسیر آموزش، بَچ‌نُرم روشی است که بار عملکرد صرفاً خطی را به دوش می‌کشد، تا لایه‌ها فقط بر مدل‌سازی جنبه‌های غیرخطی داده تمرکز کنند. این موضوع می‌تواند مفید باشد، زیرا همواره به سادگی می‌توان یک لایه تبدیل خطی بعد از لایه‌های شبکه عصبی اضافه کرد.^[۴][۳]

در مقاله اصلی ادعا شده است که عملکرد بَچ‌نُرم،^[۵] کاهش لغزش کوواریانس (هم‌پراکندگی) درونی است، هرچند این ادعا هم طرفداران ^[۶][۷] و هم منتقدانی دارد.^[۸][۹]

مقاله اصلی^[۲] توصیه می‌کند که بَچ‌نُرم فقط پس از یک تبدیل خطی استفاده شود و نه پس از یک فعال‌سازی غیرخطی. یعنی ${\displaystyle \phi (\mathrm {BN} (Wx+b))}$ و نه ${\displaystyle \mathrm {BN} (\phi (Wx+b))}$. همچنین، جمله بایاس ${\displaystyle b}$ اهمیتی ندارد، زیرا با کم کردن میانگین در مراحل بعدی حذف می‌شود، بنابراین فرم کلی به صورت ${\displaystyle \mathrm {BN} (Wx)}$ خواهد بود. یعنی اگر بَچ‌نُرم پیش از یک تبدیل خطی قرار گیرد، جمله بایاس آن تبدیل خطی صفر در نظر گرفته می‌شود.^[۲]

برای شبکه‌های عصبی پیچشی (کوته‌نوشت: CNN)، بَچ‌نُرم باید ناوردایی نسبت به تبدیل را حفظ کند. به این معنا که باید تمام خروجی‌های یک هسته یکسان را به عنوان نقاط داده متفاوتی درون یک دسته در نظر بگیرد.^[۲] به این حالت گاهی نرمال‌سازی دسته‌ای مکانی^[ت]، بَچ‌نُرم2D^[ث] یا بَچ‌نُرم به‌ازای هر کانال^[ج] گفته می‌شود.^[۱۰][۱۱]

به‌طور مشخص، فرض کنید یک لایه کانولوشنی دوبعدی به صورت زیر تعریف شده باشد:

$${\displaystyle x_{h,w,c}^{(l)}=\sum _{h',w',c'}K_{h'-h,w'-w,c,c'}^{(l)}x_{h',w',c'}^{(l-1)}+b_{c}^{(l)}}$$که در آن:

• ${\displaystyle x_{h,w,c}^{(l)}}$ فعال‌سازی نورون در موقعیت ${\displaystyle (h,w)}$ در کانال ${\displaystyle c}$-ام از لایه ${\displaystyle l}$-ام است.

• ${\displaystyle K_{\Delta h,\Delta w,c,c'}^{(l)}}$ یک تنسور کرنل است. هر کانال ${\displaystyle c}$ متناظر با یک کرنل ${\displaystyle K^{(l)}{h'-h,w'-w,c,c'}}$ با اندیس‌های ${\displaystyle \Delta h,\Delta w,c'}$ است.

• ${\displaystyle b_{c}^{(l)}}$ جمله بایاس برای کانال ${\displaystyle c}$-ام از لایه ${\displaystyle l}$-ام است.

برای حفظ ناوردایی انتقالی، بَچ‌نُرم تمام خروجی‌های حاصل از یک کرنل یکسان در یک دسته را به عنوان داده‌های بیشتری در همان دسته در نظر می‌گیرد. به عبارت دیگر، این نرمال‌سازی برای هر «کرنل» ${\displaystyle c}$ (یا به‌طور معادل، برای هر کانال ${\displaystyle c}$) تنها یک مرتبه اعمال می‌شود، نه برای هر «فعال‌سازی» ${\displaystyle x_{h,w,c}^{(l+1)}}$ به صورت جداگانه:

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{(b),h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\end{aligned}}}$$

که در آن ${\displaystyle B}$ اندازه دسته، ${\displaystyle H}$ ارتفاع نگاشت ویژگی و ${\displaystyle W}$ عرض نگاشت ویژگی است.

یعنی با وجود آنکه تنها ${\displaystyle B}$ نقطه داده در یک دسته وجود دارد، تمام ${\displaystyle BHW}$ خروجی حاصل از کرنل در این دسته بطور یکسان در نظر گرفته می‌شوند.^[۲]

در ادامه، نرمال‌سازی و تبدیل خطی نیز به صورت «به‌ازای هر کرنل» انجام می‌شود:

$${\displaystyle {\begin{aligned}{\hat {x}}_{(b),h,w,c}^{(l)}&={\frac {x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{(b),h,w,c}^{(l)}&=\gamma _{c}{\hat {x}}_{(b),h,w,c}^{(l)}+\beta _{c}\end{aligned}}}$$

ملاحظات مشابهی برای نرمال‌سازی دسته‌ای در کانولوشن‌های با بعد ${\displaystyle n}$ نیز برقرار است.

در ادامه، یک پیاده‌سازی پایتونی از نرمال‌سازی دسته‌ای برای کانولوشن‌های دوبعدی آورده شده است:

import numpy as np

def batchnorm_cnn(x, gamma, beta, epsilon=1e-9):
    # Calculate the mean and variance for each channel.
    mean = np.mean(x, axis=(0, 1, 2), keepdims=True)
    var = np.var(x, axis=(0, 1, 2), keepdims=True)

    # Normalize the input tensor.
    x_hat = (x - mean) / np.sqrt(var + epsilon)

    # Scale and shift the normalized tensor.
    y = gamma * x_hat + beta

    return y

برای شبکه‌های عصبی بازگشتی (کوته‌نوشت: RNN) چندلایه، نرمال‌سازی دسته‌ای معمولاً فقط برای بخش ورودی به حالت پنهان اعمال می‌شود و نه برای بخش حالت پنهان به حالت پنهان.^[۱۲] فرض کنید حالت پنهان لایه ${\displaystyle l}$-ام در زمان ${\displaystyle t}$ برابر ${\displaystyle h_{t}^{(l)}}$ باشد. شبکه عصبی بازگشتی استاندارد، بدون نرمال‌سازی، رابطه زیر را ارضا می‌کند:$${\displaystyle h^{(l)}t=\phi (W^{(l)}h_{t}^{l-1}+U^{(l)}h{t-1}^{l}+b^{(l)})}$$که در آن ${\displaystyle W^{(l)},U^{(l)},b^{(l)}}$ به‌ترتیب وزن‌ها و بایاس‌ها هستند و ${\displaystyle \phi }$ تابع فعال‌سازی است. با اعمال نرمال‌سازی دسته‌ای، این رابطه به شکل زیر در می‌آید:$${\displaystyle h^{(l)}t=\phi (\mathrm {BN} (W^{(l)}h_{t}^{l-1})+U^{(l)}h{t-1}^{l})}$$دو روش ممکن برای تعریف «دسته» در نرمال‌سازی دسته‌ای برای آراِن‌اِن‌ها وجود دارد: «فریم‌به‌فریم» و «دنباله‌محور». به‌طور مشخص، پردازش یک دسته از جمله‌ها توسط یک آراِن‌اِن را در نظر بگیرید. فرض کنید ${\displaystyle h_{b,t}^{(l)}}$ حالت پنهان لایه ${\displaystyle l}$-ام برای توکن ${\displaystyle t}$-ام از جمله ورودی ${\displaystyle b}$-ام باشد. در این صورت، نرمال‌سازی دسته‌ای فریم‌به‌فریم به معنای نرمال‌سازی روی ${\displaystyle b}$ است:$${\displaystyle {\begin{aligned}\mu _{t}^{(l)}&={\frac {1}{B}}\sum _{b=1}^{B}h_{i,t}^{(l)}\\(\sigma _{t}^{(l)})^{2}&={\frac {1}{B}}\sum _{b=1}^{B}(h_{t}^{(l)}-\mu _{t}^{(l)})^{2}\end{aligned}}}$$و نرمال‌سازی دنباله‌محور به معنای نرمال‌سازی روی ${\displaystyle (b,t)}$ است:$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}h_{i,t}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}(h_{t}^{(l)}-\mu ^{(l)})^{2}\end{aligned}}}$$نرمال‌سازی دسته‌ای فریم‌به‌فریم برای وظایف علّی مانند پیش‌بینی نویسه بعدی مناسب است، جایی که فریم‌های آینده در دسترس نیستند و این موضوع نرمال‌سازی به ازای هر فریم را الزامی می‌کند. نرمال‌سازی دسته‌ای دنباله‌محور برای وظایفی مانند بازشناسی گفتار مناسب است، که در آن کل دنباله‌ها در دسترس هستند، اما طول‌های متغیر دارند. در یک دسته، دنباله‌های کوتاه‌تر با صفر پُر می‌شوند تا با طول بلندترین دنباله دسته یکسان شوند. در چنین تنظیماتی، روش فریم‌به‌فریم توصیه نمی‌شود، زیرا تعداد فریم‌های بدون پَدشدگی در امتداد محور زمان کاهش می‌یابد و این امر به برآوردهای آماری هرچه ضعیف‌تر منجر می‌شود.^[۱۲]

همچنین امکان اعمال نرمال‌سازی دسته‌ای بر حافظه‌های طولانی کوتاه مدت (کوته‌نوشت: LSTM) نیز وجود دارد.^[۱۳]

تاکنون نرمال‌سازی دسته‌ای (بَچ‌نُرم) بسیار محبوب بوده است و تلاش‌های متعددی برای بهبود آن انجام شده است. برخی از این نمونه‌ها عبارت‌اند از:^[۱۴]

• بچینگ شبح‌گونه^[چ]: تقسیم تصادفی یک دسته به زیردسته‌ها و اعمال نرمال‌سازی دسته‌ای به صورت جداگانه روی هر زیردسته
• افت وزن^[ح] روی ${\displaystyle \gamma }$ و ${\displaystyle \beta }$؛
• و ترکیب نرمال‌سازی دسته‌ای با نرمال‌سازی گروهی.

یکی از مشکلات خاص نرمال‌سازی دسته‌ای این است که در طول آموزش، میانگین و واریانس برای هر دسته به صورت برخط محاسبه می‌شوند (معمولاً بصورت یک میانگین متحرک نمایی)، اما در مرحله استنتاج، میانگین و واریانس روی مقادیری که در طول آموزش محاسبه شده‌اند ثابت (فریز) می‌شوند. این نابرابری میان آموزش و آزمون باعث افت عملکرد می‌شود. این نابرابری را می‌توان با شبیه‌سازی میانگین متحرک در زمان استنتاج کاهش داد:^[۱۴]$${\displaystyle {\begin{aligned}\mu &=\alpha E[x]+(1-\alpha )\mu _{x,{\text{ train}}}\\\sigma ^{2}&=(\alpha E[x]^{2}+(1-\alpha )\mu _{x^{2},{\text{ train}}})-\mu ^{2}\end{aligned}}}$$که در آن ${\displaystyle \alpha }$ یک ابرپارامتر است که باید روی یک مجموعه اعتبارسنجی بهینه‌سازی شود.

راهکارهای دیگر تلاش می‌کنند نرمال‌سازی دسته‌ای را به‌طور کامل حذف کنند، مانند رزنت بدون نرمال‌ساز.^[۱۵]

برای مثال، در شبکه‌های عصبی کانولوشنی (کوته‌نوشت: CNN)، نرمال‌سازی لایه‌ای بر روی تمام فعال‌سازی‌های یک لایه اعمال می‌شود. با توجه به نمادگذاری پیشین، خواهیم داشت:$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}x_{h,w,c}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}(x_{h,w,c}^{(l)}-\mu ^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu ^{(l)}}{\sqrt {(\sigma ^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma ^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta ^{(l)}\end{aligned}}}$$توجه کنید که اندیس دسته ${\displaystyle b}$ حذف شده است، در حالی که اندیس کانال ${\displaystyle c}$ اضافه شده است.

در شبکه‌های عصبی بازگشتی^[۱۶] و ترنسفورمرها^[۱۷]، نرمال‌سازی لایه‌ای به صورت مجزا برای هر گام زمانی اعمال می‌شود. برای مثال، اگر بردار پنهان در یک شبکه عصبی بازگشتی در گام زمانی ${\displaystyle t}$ برابر با ${\displaystyle x^{(t)}\in \mathbb {R} ^{D}}$ باشد، که در آن ${\displaystyle D}$ بُعد بردار پنهان است، آنگاه لِیرنُرم به صورت زیر اعمال می‌شود:$${\displaystyle {\hat {x_{i}}}^{(t)}={\frac {x_{i}^{(t)}-\mu ^{(t)}}{\sqrt {(\sigma ^{(t)})^{2}+\epsilon }}},\quad y_{i}^{(t)}=\gamma _{i}{\hat {x_{i}}}^{(t)}+\beta _{i}}$$که در آن:$${\displaystyle \mu ^{(t)}={\frac {1}{D}}\sum _{i=1}^{D}x_{i}^{(t)},\quad (\sigma ^{(t)})^{2}={\frac {1}{D}}\sum _{i=1}^{D}(x_{i}^{(t)}-\mu ^{(t)})^{2}}$$

نرمال‌سازی لایه‌ای با میانگین مربعات ریشه‌ای^[د] (کوته‌نوشت: RMSNorm):^[۱۸]$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\sqrt {{\frac {1}{D}}\sum _{i=1}^{D}x_{i}^{2}}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$در اصل، این روش نوعی لِیرنُرم است که در آن ${\displaystyle \mu }$ و ${\displaystyle \epsilon }$ برابر با صفر در نظر گرفته می‌شوند. به این روش همچنین نرمال‌سازی L2 نیز گفته می‌شود. این حالت یک مورد خاص از نرمال‌سازی Lp یا نرمال‌سازی توانی است:$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\left({\frac {1}{D}}\sum _{i=1}^{D}|x_{i}|^{p}\right)^{1/p}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$که در آن ${\displaystyle p>0}$ یک ثابت است.

نرمال‌سازی لایه‌ای تطبیقی^[ذ] (کوته‌نوشت: adaLN) مقادیر ${\displaystyle \gamma }$ و ${\displaystyle \beta }$ را در لِیرنُرم نه از روی فعال‌سازی‌های خود لایه، بلکه از داده‌های دیگر محاسبه می‌کند. این روش نخستین بار برای شبکه‌های عصبی کانولوشنی پیشنهاد شد،^[۱۹] و به طور مؤثری در ترنسفورمرهای مبتنی بر مدل‌های انتشاری (کوته‌نوشت: DiT) به کار رفته است.^[۲۰] برای مثال، در یک DiT، اطلاعات شرطی (مانند یک بردار کدگذاری متن) توسط یک پرسپترون چندلایه به مقادیر ${\displaystyle \gamma }$ و ${\displaystyle \beta }$ تبدیل می‌شود و سپس این مقادیر در ماژول لِیرنُرم یک ترنسفورمر اعمال می‌گردند.

نرمال‌سازی پاسخ محلی^{[ش] [۲۳]} در الکس‌نت مورد استفاده قرار گرفت. این روش در یک لایه کانولوشنی، بلافاصله پس از یک تابع فعال‌سازی غیرخطی اعمال می‌شد و به صورت زیر تعریف می‌گردید:

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

که در آن ${\displaystyle a_{x,y}^{i}}$ فعال‌سازی نورون در مکان ${\displaystyle (x,y)}$ و کانال ${\displaystyle i}$ است. به‌عبارت دیگر، هر پیکسل در یک کانال تحت تأثیر (سرکوب) فعال‌سازی‌های همان پیکسل در کانال‌های مجاور خود قرار می‌گیرد.

پارامترهای${\displaystyle k,n,\alpha ,\beta }$ ابرپارامترهایی هستند که با استفاده از یک مجموعه اعتبارسنجی انتخاب می‌شوند.

این روش گونه‌ای از روش قدیمی‌تر نرمال‌سازی کنتراست محلی^[ص] بود.

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}-{\bar {a}}_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

که در آن ${\displaystyle {\bar {a}}_{x,y}^{j}}$ میانگین فعال‌سازی در یک پنجره کوچکِ متمرکز بر مکان ${\displaystyle (x,y)}$ و کانال ${\displaystyle i}$ است. ابرپارامترهای ${\displaystyle k,n,\alpha ,\beta }$ و همچنین اندازه این پنجره کوچک، با استفاده از یک مجموعه اعتبارسنجی انتخاب می‌شوند.

روش‌های مشابه با عنوان نرمال‌سازی تقسیمی شناخته می‌شدند، زیرا فعال‌سازی‌ها را بر مقداری وابسته به خودِ فعال‌سازی‌ها تقسیم می‌کردند. این روش‌ها در اصل از زیست‌شناسی الهام گرفته شده بودند، جایی که برای توضیح پاسخ‌های غیرخطی نورون‌های قشری مغز و پدیده پوشانندگی غیرخطی در ادراک بینایی به‌کار می‌رفتند.^[۲۴]

هر دو نوع نرمال‌سازی محلی، بعدها با نرمال‌سازی دسته‌ای جایگزین شدند، که شکلی جهانی‌تر از نرمال‌سازی محسوب می‌شود.^[۲۵]

نرمال‌سازی پاسخ بعدها در ConvNeXT-2 با عنوان نرمال‌سازی پاسخ سراسری^[ض] دوباره مطرح شد.^[۲۶]

نرمال‌سازی گروهی^[ط] (کوته‌نوشت: GroupNorm)^[۲۷] روشی است که آن هم صرفاً برای شبکه‌های عصبی کانولوشنی (سی‌ان‌ان‌ها) به‌کار می‌رود. این روش را می‌توان به صورت نرمال‌سازی لایه‌ای (لِیرنُرم) برای سی‌ان‌ان‌ها در نظر گرفت که به‌ازای هر گروه از کانال‌ها یک مرتبه اعمال می‌شود.

فرض کنید در یک لایه ${\displaystyle l}$، کانال‌هایی با اندیس‌های ${\displaystyle 1,2,\dots ,C}$ وجود داشته باشند. این کانال‌ها به گروه‌هایی به صورت ${\displaystyle g_{1},g_{2},\dots ,g_{G}}$ تقسیم می‌شوند. سپس نرمال‌سازی لایه‌ای به‌طور جداگانه روی هر گروه اعمال می‌شود.

نرمال‌سازی نمونه‌ای^[ظ] (کوته‌نوشت: InstanceNorm) یا نرمال‌سازی کنتراست، روشی است که نخستین بار برای انتقال سبک با شبکه‌های عصبی توسعه داده شد و آن نیز فقط برای سی‌ان‌ان‌ها استفاده می‌شود.^[۲۸] این روش را می‌توان به صورت نرمال‌سازی لایه‌ای برای سی‌ان‌ان‌ها در نظر گرفت که به‌ازای هر کانال یک‌بار اعمال می‌شود، یا به‌طور معادل، به عنوان نرمال‌سازی گروهی که در آن هر گروه تنها شامل یک کانال است:$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma _{c}^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta _{c}^{(l)}\end{aligned}}}$$

نرمال‌سازی نمونه‌ای تطبیقی^[ع] (کوته‌نوشت: AdaIN) گونه‌ای از نرمال‌سازی نمونه‌ای است که به‌طور ویژه برای انتقال سبک عصبی با استفاده از سی‌ان‌ان‌ها طراحی شده است، و نه صرفاً برای سی‌ان‌ان‌ها به‌طور کلی.^[۲۹]

در روش انتقال سبک AdaIN، یک سی‌ان‌ان و دو تصویر ورودی در نظر گرفته می‌شود: یکی برای محتوا و دیگری برای سبک. هر دو تصویر از طریق همان سی‌ان‌ان پردازش می‌شوند و در یک لایه مشخص ${\displaystyle l}$، نرمال‌سازی نمونه‌ای تطبیقی اعمال می‌شود.

فرض کنید ${\displaystyle x^{(l),{\text{ content}}}}$ فعال‌سازی مربوط به تصویر محتوا و ${\displaystyle x^{(l),{\text{ style}}}}$ فعال‌سازی مربوط به تصویر سبک باشد. در این حالت، AdaIN ابتدا میانگین و واریانس فعال‌سازی‌های تصویر سبک ${\displaystyle x'^{(l)}}$ را محاسبه می‌کند و سپس از آن‌ها به عنوان پارامترهای ${\displaystyle \gamma ,\beta }$ برای نرمال‌سازی نمونه‌ای روی ${\displaystyle x^{(l),{\text{ content}}}}$ استفاده می‌کند. توجه داشته باشید که خود ${\displaystyle x^{(l),{\text{ style}}}}$ بدون تغییر باقی می‌ماند. به‌طور صریح، رابطه زیر برقرار است: