ال‌ام‌آرنا
گونه وبگاه | هوش مصنوعی |
|---|---|
| کشور | ایالات متحده |
| بنیانگذار(ان) |
|
| وبگاه | |
| نیاز به ثبت نام | اختیاری |
| راه‌اندازی | ۲۴ آوریل ۲۰۲۳ |
آرِنا (با نام‌های پیشین اِل‌اِم‌آرِنا و چت‌بات آرنا) (به انگلیسی: Arena) یک بستر همگانی و مبتنی بر وب است که به سنجش مدل‌های زبانی بزرگ می‌پردازد. کاربران دستورهایی (پرامپت) را وارد می‌کنند تا دو مدل ناشناس به آن‌ها پاسخ دهند و سپس به مدلی که پاسخ بهتری داده رأی می‌دهند؛ پس از آن هویت هر دو مدل آشکار می‌شود. همچنین کاربران می‌توانند از راه بخش «مستقیم»، مدل‌ها را خودشان برای بررسی و آزمایش برگزینند.[۱][۲]
شرکت‌هایی که مدل‌های زبانی بزرگ خود را در دسترس این مجموعه گذاشته‌اند شامل اوپن‌ای‌آی، گوگل دیپ‌مایند[۳] و انتروپیک[۴] هستند.
این وبگاه برای پیش‌نمایش و ارائهٔ آزمایشی مدل‌های آینده نیز به کار رفته است. شرکت چینی دیپ‌سیک ماه‌ها پیش از آنکه مدل R1 آن در رسانه‌های غربی مورد توجه قرار گیرد، مدل‌های اولیهٔ خود را در آرنا آزمایش کرد.[۵] از دیگر مدل‌های برجستهٔ پیش از عرضه می‌توان به جی‌پی‌تی ۵ از اوپن‌ای‌آی با نام رمز «سامیت» (summit) و جمینای ۲٫۵ فلش ایمیج از گوگل دیپ‌مایند (یک مدل ساخت و ویرایش تصویر) با نام رمز «نانو بنانا» اشاره کرد.[۶][۷]
پژوهش‌ها کاستی‌ها و محدودیت‌های ویژه‌ای را در روش‌شناسی آرنا نشان داده‌اند.[۸][۹]
منابع
- ↑ Hart, Robert (July 18, 2024). "What AI Is The Best? Chatbot Arena Relies On Millions Of Human Votes". Forbes. Retrieved April 21, 2025.
- ↑ Kruppa, Miles (December 5, 2024). "The UC Berkeley Project That Is the AI Industry's Obsession". The Wall Street Journal. Retrieved April 21, 2025.
- ↑ Nuñez, Michael (November 15, 2024). "Google Gemini unexpectedly surges to No. 1, over OpenAI, but benchmarks don't tell the whole story". VentureBeat. Retrieved April 21, 2025.
- ↑ Edwards, Benj (March 27, 2024). ""The king is dead"—Claude 3 surpasses GPT-4 on Chatbot Arena for the first time". Ars Technica. Retrieved April 21, 2025.
- ↑ Metz, Rachel (February 18, 2025). "Before DeepSeek Blew Up, Chatbot Arena Announced Its Arrival". Bloomberg News. Retrieved April 21, 2025.
- ↑ Ziff, Maxwell (Aug 26, 2025). "Google Gemini's AI image model gets a 'bananas' upgrade". TechCrunch. Retrieved August 27, 2025.
- ↑ Langley, Hugh (Aug 19, 2025). "Is Google behind a mysterious new AI image generator? These bananas might confirm it". Business Insider. Retrieved August 27, 2025.
- ↑ Stokel-Walker, Chris (February 6, 2025). "Hundreds of rigged votes can skew AI model rankings on Chatbot Arena, study finds". Fast Company. Retrieved April 21, 2025.
- ↑ Wiggers, Kyle (September 5, 2024). "The AI industry is obsessed with Chatbot Arena, but it might not be the best benchmark". TechCrunch. Retrieved April 21, 2025.
پیوند به بیرون
- چت‌بات
- دانشگاه کالیفرنیا، برکلی
- متعلقات اینترنت بنیانگذاریشده در ۲۰۲۳ (میلادی)
- مدل‌های زبانی بزرگ