وی‌ال‌ال‌ام
 | |
| نویسنده(های) اصلی | آزمایشگاه رایانش ابری، دانشگاه کالیفرنیا، برکلی |
|---|---|
| توسعه‌دهنده(ها) | مشارکت‌کنندگان وی‌ال‌ال‌ام |
| انتشار اولیه | ۲۰۲۳ |
| انتشار پایدار | ۰٫۲۸٫۰
/ ۲۶ اوت ۲۰۲۶ |
| نوشته‌شده با | پایتون، کودا، سی++، راست |
| نوع | موتور استنتاج مدل زبانی بزرگ |
| مجوز | مجوز آپاچی |
| وبگاه | |
| مخزن | github |
وی‌ال‌ال‌ام (به انگلیسی: vLLM) یک چارچوب نرم‌افزاری متن‌باز برای استنتاج و ارائهٔ مدل‌های زبانی بزرگ و مدل‌های چندوجهی مرتبط با آن‌ها است. این پروژه که در ابتدا در آزمایشگاه رایانش ابری دانشگاه کالیفرنیا، برکلی توسعه یافت، بر روش توجه صفحه‌بندی‌شده (به انگلیسی: PagedAttention) متمرکز است؛ روشی برای مدیریت حافظهٔ حافظهٔ کلید–مقدار ترنسفورمر. وی‌ال‌ال‌ام از قابلیت‌هایی مانند پردازش دسته‌ای پیوسته، استنتاج توزیع‌شده، کوانتیزه‌سازی و رابط‌های برنامه‌نویسی کاربردی سازگار با اوپن‌ای‌آی پشتیبانی می‌کند.[۱][۲][۳]
تاریخچه
وی‌ال‌ال‌ام در سال ۲۰۲۳ توسط پژوهشگرانی وابسته به آزمایشگاه رایانش ابری دانشگاه کالیفرنیا، برکلی معرفی شد.[۲][۱] ایده‌های اصلی آن در مقاله‌ای در سال ۲۰۲۳ با عنوان مدیریت کارآمد حافظه برای سرویس‌دهی مدل‌های زبانی بزرگ با استفاده از توجه صفحه‌بندی‌شده تشریح شد. این مقاله وی‌ال‌ال‌ام را به‌عنوان یک موتور ارائهٔ مدل‌های زبانی بزرگ با توان عملیاتی بالا و بهره‌وری حافظه معرفی کرد.[۲]
به گفتهٔ یکی از نگه‌دارندگان پروژه، حرف «v» در نام وی‌ال‌ال‌ام در ابتدا به معنای «virtual» (مجازی) بوده و از مفهوم حافظهٔ مجازی الهام گرفته شده است.[۴]
بر اساس صفحهٔ پای‌تورچ پروژهٔ، دانشگاه کالیفرنیا، برکلی وی‌ال‌ال‌ام را در ژوئیهٔ ۲۰۲۴ به بنیاد لینوکس اهدا کرد.[۵][۳] در سال ۲۰۲۵، بنیاد پای‌تورچ اعلام کرد که وی‌ال‌ال‌ام به یکی از پروژه‌های میزبانی‌شده توسط این بنیاد تبدیل شده است.
در ژانویهٔ ۲۰۲۶، تک‌کرانچ گزارش داد که سازندگان وی‌ال‌ال‌ام شرکت نوپای Inferact را با هدف تجاری‌سازی این پروژه راه‌اندازی کرده‌اند و این شرکت ۱۵۰ میلیون دلار سرمایهٔ اولیه جذب کرده است.[۶]
معماری
بر اساس مقالهٔ سال ۲۰۲۳، وی‌ال‌ال‌ام با هدف بهبود کارایی ارائهٔ مدل‌های زبانی بزرگ از طریق کاهش هدررفت حافظه در حافظهٔ کلید–مقدار مورد استفاده هنگام استنتاج ترنسفورمر طراحی شد.[۲] این مقاله توجه صفحه‌بندی‌شده (به انگلیسی: PagedAttention) را معرفی کرد؛ الگوریتمی که از حافظهٔ مجازی و روش‌های صفحه‌بندی در سیستم‌عاملها الهام گرفته است. در این مقاله، وی‌ال‌ال‌ام به‌عنوان سامانه‌ای توصیف شده است که با استفاده از مدیریت حافظه در سطح بلوک و زمان‌بندی درخواست‌ها، توان عملیاتی را افزایش می‌دهد و در عین حال تأخیر مشابهی را حفظ می‌کند.[۲]
مستندات و مخزن پروژه پشتیبانی از پردازش دسته‌ای پیوسته، پیش‌پرکردن قطعه‌ای، رمزگشایی حدسی، ذخیره‌سازی پیشوند، کوانتیزه‌سازی و چندین شکل از استنتاج توزیع‌شده را توصیف می‌کنند.[۱][۳] بنیاد پای‌تورچ، وی‌ال‌ال‌ام را یک موتور استنتاج و ارائه با توان عملیاتی بالا و بهره‌وری حافظه توصیف کرده است که از طیف گسترده‌ای از سخت‌افزارها، از جمله واحدهای پردازش گرافیکی انویدیا و ای‌ام‌دی، واحدهای پردازش تانسوری گوگل، Trainium شرکت آمازون و پردازنده‌های اینتل پشتیبانی می‌کند.[۵][۳]
جستارهای وابسته
منابع
- 1 2 3 «GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs». GitHub. GitHub, Inc. ۲۲ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - 1 2 3 4 5 .
- 1 2 3 4 «vLLM». PyTorch. PyTorch Foundation. ۲۲ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - ↑ «vLLM full name». GitHub. GitHub, Inc. ۲۳ اوت ۲۰۲۳. دریافت‌شده در ۲۲ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - 1 2 «PyTorch Foundation Welcomes vLLM as a Hosted Project». PyTorch. PyTorch Foundation. ۷ مه ۲۰۲۵. دریافت‌شده در ۲۲ آوریل ۲۰۲۶.
{{cite web}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده) - ↑ Marina Temkin (۲۲ ژانویه ۲۰۲۶). «Inference startup Inferact lands $150M to commercialize vLLM». TechCrunch. دریافت‌شده در ۲۲ آوریل ۲۰۲۶.
{{cite news}}: نگهداری یادکرد:تاریخ به‌طور خودکار ترجمه‌شده (رده)
پیوند به بیرون
- مدل‌های زبانی بزرگ
- نرم‌افزارهای دهه ۲۰۲۰ (میلادی)