آزمون نهایی بشریت

آزمون نهایی بشریت (به انگلیسی: Humanity's Last Exam یا HLE) یک معیار برای مدل زبانی است که شامل ۲٬۵۰۰ سؤال در حوزه‌های متنوع می‌باشد. این آزمون به‌صورت مشترک توسط «مرکز ایمنی هوش مصنوعی» (Center for AI Safety) و «Scale AI» ایجاد شده است.[۱]

خلق آزمون

در گزارش سالانهٔ «AI Index 2025» از دانشگاه استنفورد، «آزمون نهایی بشریت» به‌عنوان یکی از «معیارهای چالش‌برانگیزتر» معرفی شده که در واکنش به اشباع معیارهای محبوب هوش مصنوعی ایجاد شده‌ است.[۲] دن هندریکس (Dan Hendrycks)، پژوهشگر یادگیری ماشینی و مدیر مرکز ایمنی هوش مصنوعی، پس از گفت‌وگویی با ایلان ماسک که معیارهای موجود مانند MMLU را آسان می‌دانست، الهام‌بخش خلق این آزمون شد.[۳] او با همکاری Scale AI سؤالات را گردآوری کرد؛ ابتدا توسط مدل‌های پیشرفته فیلتر شدند، و اگر مدل‌ها نتوانستند به سؤال پاسخ دهند یا بهتر از حد تصادفی نبودند، در دو مرحله توسط کارشناسان انسانی بازبینی و تأیید شدند.[۴] برای ارائه‌دهندگان بهترین سؤالات، جوایزی از یک بودجهٔ ۵۰۰٬۰۰۰ دلاری در نظر گرفته شد: ۵٬۰۰۰ دلار برای هر یک از ۵۰ سؤال برتر، و ۵۰۰ دلار برای ۵۰۰ سؤال بعدی. پس از انتشار اولیه، برنامه‌ای با عنوان «community feedback bug bounty» راه‌اندازی شد تا خطاهای مهم مجموعه‌شناخته و اصلاح شوند.[۵]

ترکیب آزمون

این مجموعه شامل ۲٬۵۰۰ سؤال است. توزیع موضوعی آن‌ها به این ترتیب است: ریاضی (۴۱٪)، فیزیک (۹٪)، زیست‌شناسی/پزشکی (۱۱٪)، علوم انسانی/اجتماعی (۹٪)، علوم کامپیوتر/هوش مصنوعی (۱۰٪)، مهندسی (۴٪)، شیمی (۷٪) و سایر (۹٪). حدود ۱۴٪ از سؤالات نیازمند فهم هم‌زمان متن و تصویر (چند‌وجهی) هستند.[۶] ۲۴٪ سؤالات چندگزینه‌ای هستند؛ باقی در قالب پاسخ کوتاه با تطابق دقیق ارائه می‌شوند. همچنین مجموعه‌ای خصوصی برای آزمایش بیش‌برازش وجود دارد.[۷]

نمونه پرسش:

Hummingbirds within Apodiformes uniquely have a bilaterally paired oval bone, a sesamoid embedded in the caudolateral portion of the expanded, cruciate aponeurosis of insertion of m. depressor caudae. How many paired tendons are supported by this sesamoid bone? Answer with a number.

[۸]

طبق بررسی مستقل FutureHouse (ژوئیه ۲۰۲۵)، تقریباً ۳۰٪ پاسخ‌های سؤالات شیمی و زیست‌شناسی متن‌محور در HLE احتمالاً نادرست هستند.[۹]

منابع

  1. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  2. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  3. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  4. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  5. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  6. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  7. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  8. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.
  9. ↑ "Humanity's Last Exam – Wikipedia (en)". Retrieved 25 August 2025.

پیوندهای بیرونی

This page is issued from ویکی‌پدیا. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.