ایکس‌ال‌نت

ایکس‌ال‌نت (به انگلیسی: XLNet) یک ترنسفورمر خودهمبسته است که به عنوان روش بهبود یافته نسبت به برت طراحی و معرفی شد. این مدل حداکثر دارای ۳۴۰ میلیون پارامتر است و بر روی ۳۳ میلیارد واژه آموزش داده شده‌است. ایکس‌ال‌نت در ۱۹ ژوئن ۲۰۱۹ تحت مجوز آپاچی ۲٫۰ منتشر شد.^[۱] این مدل در طیف گسترده‌ای از وظایف پردازش زبان طبیعی، از جمله مدل‌سازی زبان، پاسخ‌گویی به پرسش و استنتاج زبان طبیعی، به نتایج پیشرفته در زمان خود دست یافت.

ایده اصلی ایکس‌ال‌نت این است که زبان را به صورت خودهمبسته و مشابه مدل‌های جی‌پی‌تی مدل‌سازی کند، اما در عین حال اجازه دهد که تمامی جایگشت‌های ممکن یک جمله نیز در نظر گرفته شوند.^[۲] به طور مشخص، جمله زیر را در نظر بگیرید:

سگ من بامزه است.

در مدل‌سازی زبانی خودهمبسته استاندارد، مدل وظیفه دارد با قرار دادن واژه‌های قبلی به عنوان زمینه موضوع کاری (به انگلیسی: context) احتمال هر واژه را پیش‌بینی کند:

احتمال توأم دنباله‌ای از واژه‌های ${\displaystyle x_{1},\ldots ,x_{T}}$ با استفاده از قاعده زنجیره‌ای به شکل زیر خواهد بود:$${\displaystyle \Pr(x_{1},\ldots ,x_{T})=\Pr(x_{1})\Pr(x_{2}|x_{1})\Pr(x_{3}|x_{1},x_{2})\ldots \Pr(x_{T}|x_{1},\ldots ,x_{T-1}).}$$برای مثال، جمله «سگ من بامزه است.» به صورت زیر تجزیه می‌شود:$${\displaystyle \Pr({\text{My}},{\text{dog}},{\text{is}},{\text{cute}})=\Pr({\text{My}})\Pr({\text{dog}}|{\text{My}})\Pr({\text{is}}|{\text{My}},{\text{dog}})\Pr({\text{cute}}|{\text{My}},{\text{dog}},{\text{is}}).}$$به صورت شماتیک، می‌توان این فرایند را به شکل زیر نوشت:$${\displaystyle {\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\text{My }}{\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\text{My dog }}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\text{My dog is }}{\texttt {<MASK>}}\to {\text{My dog is cute}}.}$$با این حال، در اکس‌ال‌نت مدل ملزم است واژه‌ها را در یک ترتیب تصادفی تولیدشده پیش‌بینی کند. فرض کنید یک ترتیب تصادفی برابر با ۳۲۴۱ نمونه‌برداری شده باشد؛ در این صورت، مدل باید به صورت شماتیک وظیفه پیش‌بینی زیر را انجام دهد:$${\displaystyle {\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\texttt {<MASK>}}{\texttt {<MASK>}}{\text{is }}{\texttt {<MASK>}}\to {\texttt {<MASK>}}{\text{dog is }}{\texttt {<MASK>}}\to {\texttt {<MASK>}}{\text{dog is cute}}\to {\text{My dog is cute}}}$$با در نظر گرفتن تمامی جایگشت‌ها، اکس‌ال‌نت قادر است وابستگی‌های دوربردتر را بهتر ثبت کند و زمینه دوسویه واژه‌ها را به طور مؤثرتری مدل‌سازی نماید.

دو مدل منتشر شدند:^[۱][۲]

• XLNet-Large، حساس به حروف بزرگ و کوچک^[چ]: دارای ۱۱۰ میلیون پارامتر، ۲۴ لایه، بُعد پنهان ۱۰۲۴ و ۱۶ سر توجه
• XLNet-Base، حساس به حروف بزرگ و کوچک: دارای ۳۴۰ میلیون پارامتر، ۱۲ لایه، بُعد پنهان ۷۶۸ و ۱۲ سر توجه

این مدل بر روی مجموعه داده‌ای آموزش داده شد که پس از توکن‌سازی با استفاده از سنتنس‌پیس^[ح]، شامل ۳۲٫۸۹ میلیارد توکن بود. این مجموعه‌داده از بوک‌کورپوس، ویکی‌پدیای انگلیسی، Giga5، ClueWeb 2012-B و کامن کرال تشکیل شده بود.

آموزش مدل بر روی ۵۱۲ تراشه تی‌پی‌یو نسخه ۳ و به‌مدت ۵٫۵ روز انجام شد. در پایان فرایند آموزش، مدل همچنان نسبت به داده‌ها کم‌برازش^[خ] بود؛ به این معنا که با آموزش بیشتر می‌توانست به مقدار خطای کمتری دست یابد. آموزش در مجموع شامل ۰٫۵ میلیون گام با استفاده از بهینه‌ساز آدام، کاهش خطی نرخ یادگیری و اندازه بچ برابر با ۸۱۹۲ بود.^[۳]

• برت
• ترنسفورمر (مدل یادگیری ماشین)
• ترنسفورمر تولیدگر از پیش آموزش‌دیده

1. ↑ Two-Stream Self-Attention
2. ↑ Content stream
3. ↑ standard causally masked self-attention
4. ↑ Query stream
5. ↑ masked cross-attention mechanism
6. ↑ forward pass
7. ↑ cased
8. ↑ SentencePiece
9. ↑ underfitting