اس‌جی‌لنگ
 | |
| توسعه‌دهنده(ها) | LMSYS |
|---|---|
| انتشار اولیه | ۱۷ ژانویه ۲۰۲۴ |
| نوشته‌شده با | پایتون، راست، کودا، سی++ |
| نوع | موتور استنتاج مدل زبانی بزرگ |
| مجوز | مجوز آپاچی |
| وبگاه | |
| مخزن | github |
اس‌جی‌لنگ (به انگلیسی: SGLang) (مخفف Structured Generation Language) یک چارچوب متن‌باز برای برنامه‌نویسی و ارائهٔ مدل‌های زبانی بزرگ و مدل‌های چندوجهی است. این چارچوب توسط پژوهشگرانی وابسته به LMSYS[۱] و مؤسسات دیگر معرفی شد و سامانه‌ای را ارائه می‌کند که یک زبان تعبیه‌شده در پایتون برای تولید ساختاریافته را با یک زمان‌اجرا برای استنتاج با توان عملیاتی بالا ترکیب می‌کند.[۲][۳][۴]
این پروژه برای بارهای کاری استنتاج با تأخیر کم و توان عملیاتی بالا طراحی شده است و مستندات آن پشتیبانی از قابلیت‌هایی مانند خروجی‌های ساختاریافته، رمزگشایی حدسی، پردازش دسته‌ای پیوسته، کوانتیزه‌سازی و سازگاری با رابط‌های برنامه‌نویسی کاربردی مشابه اوپن‌ای‌آی را توصیف می‌کنند.[۵]
تاریخچه
اس‌جی‌لنگ در ژانویهٔ ۲۰۲۴ به‌صورت عمومی توسط پژوهشگرانی وابسته به دانشگاه استنفورد، دانشگاه کالیفرنیا، برکلی، دانشگاه ای‌اندام تگزاس و دانشگاه جیائوتونگ شانگهای معرفی شد.[۲] توصیف دانشگاهی آن بعدتر در مجموعه مقالات NeurIPS 2024 منتشر شد.[۳]
در ژانویهٔ ۲۰۲۶، تک‌کرانچ گزارش داد که مشارکت‌کنندگان مرتبط با این پروژه شرکت نوپای RadixArk را با هدف تجاری‌سازی خدمات پیرامون SGLang تشکیل داده‌اند و در عین حال توسعهٔ متن‌باز آن را ادامه می‌دهند.[۶][۷]
معماری
بر اساس مقالهٔ NeurIPS، اس‌جی‌لنگ از دو مؤلفهٔ اصلی تشکیل شده است: یک زبان سمت‌کاربر که در پایتون تعبیه شده و یک زمان‌اجرای سمت‌سرور برای اجرای کارآمد برنامه‌های مدل زبانی.[۳] بخش سمت‌کاربر سازوکارهایی برای تولید، انتخاب و جریان کنترل موازی فراهم می‌کند، در حالی که زمان‌اجرا از مجموعه‌ای از بهینه‌سازی‌ها برای کاهش محاسبات تکراری و بهبود توان عملیاتی استفاده می‌کند.[۳]
از جمله تکنیک‌های توصیف‌شده در پروژه می‌توان به RadixAttention برای استفادهٔ مجدد از وضعیت حافظهٔ کلید–مقدار در چندین فراخوانی تولید، ماشین‌های متناهی فشرده برای رمزگشایی محدودشدهٔ سریع‌تر، و اجرای حدسی برای مدل‌های مبتنی بر رابط برنامه‌نویسی کاربردی اشاره کرد.[۳] مستندات فعلی همچنین پشتیبانی از ارائهٔ مدل‌های زبانی و مدل‌های چندوجهی را بر روی طیف گسترده‌ای از بسترهای سخت‌افزاری توصیف می‌کنند.[۵]
جستارهای وابسته
منابع
- ↑ «LMSYS». GitHub. GitHub, Inc. دریافت‌شده در ۲۲ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - 1 2 «Fast and Expressive LLM Inference with RadixAttention and SGLang». LMSYS Org. ۱۷ ژانویه ۲۰۲۴. دریافت‌شده در ۱۹ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - 1 2 3 4 5 .
- ↑ «SGLang». UC Berkeley Sky Computing Lab. ۲۵ آوریل ۲۰۲۴. دریافت‌شده در ۲۲ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - 1 2 «SGLang Documentation». SGLang. دریافت‌شده در ۱۹ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - ↑ Krystal Hu (۲۱ ژانویه ۲۰۲۶). «Sources: Project SGLang spins out as RadixArk with $400M valuation as inference market explodes». TechCrunch. دریافت‌شده در ۱۹ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - ↑ Vignesh R (۲۳ ژانویه ۲۰۲۶). «From Berkeley lab to $400M startup: SGLang becomes RadixArk». TFN. دریافت‌شده در ۲۲ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده)
پیوند به بیرون
- نرم‌افزارهای ۲۰۲۴ (میلادی)
- نرم‌افزارهای یادگیری عمیق
- نرم‌افزارهای آزاد نوشته‌شده با پایتون