مدل زبانی بزرگ به عنوان داور

مدل زبانی بزرگ به‌عنوان داور (به انگلیسی: LLM-as-a-Judge که با نام‌های «ارزیابی مبتنی بر مدل زبانی بزرگ»، «داورهای LLM» یا «مدل‌های زبانی بزرگ به‌عنوان داور» نیز شناخته می‌شود) به مجموعه‌ای از روش‌ها در حوزهٔ پردازش زبان طبیعی گفته می‌شود که در آن‌ها از مدل‌های زبانی بزرگ (LLMها) به‌عنوان ارزیاب‌های خودکار برای متن‌ها یا سایر خروجی‌های مدل‌ها استفاده می‌شود. در این رویکرد، به‌جای اتکا صرف به برچسب‌گذاران انسانی، یک مدل زبانی بزرگ به‌صورت هدایت‌شده یا پس از ریزتنظیم آموزش داده می‌شود تا بر اساس معیارهای مشخصی مانند سودمندی، واقع‌گرایی، ایمنی یا سبک نگارش، امتیاز، برچسب یا ترجیح ارائه کند.[۱] [۲]

ارزیابی مبتنی بر مدل زبانی بزرگ برای سنجش دستیارهای مکالمه‌ای و دیگر مدل‌های مولد به‌کار می‌رود و از آن برای ایجاد رتبه‌بندی‌ها و معیارهای سنجش خودکار، انتخاب مدل‌ها برای به‌کارگیری عملی، و تولید داده‌های ترجیحی استفاده می‌شود؛ داده‌هایی که می‌توانند دوباره در فرایند آموزش مدل‌ها مورد استفاده قرار گیرند.[۳] [۴][۵]همین ایده به محیط‌های چندوجهی نیز گسترش یافته است؛ جایی که مدل‌های بینایی–زبانی (VLMها) به‌عنوان داورِ تصاویر یا ویدئوها عمل می‌کنند (که گاهی «مدل بینایی–زبانی به‌عنوان داور» یا VLM-as-a-Judge نامیده می‌شود) و خروجی‌های تولیدشده توسط سامانه‌های دیگر را رتبه‌بندی، توصیف یا بررسی می‌کنند.[۶] [۷]

مطالعات تجربی نشان می‌دهند که داورهای قدرتمند مبتنی بر مدل‌های زبانی بزرگ می‌توانند در بسیاری از وظایف، همبستگی نزدیکی با داوری‌های انسانی داشته باشند و در برخی موارد به سطح توافقی مشابه با میزان توافق میان چند داور انسانی دست یابند.[۸] [۹] [۱۰]

با این حال، پژوهش‌های بعدی وجود سوگیری‌ها و حالت‌های شکست نظام‌مند را مستند کرده‌اند؛ از جمله سوگیری جایگاه، ترجیح طول متن، سوگیری خودتقویتی زمانی که یک داور خروجی‌های متعلق به همان خانوادهٔ مدل خود را ارزیابی می‌کند، و آسیب‌پذیری در برابر دست‌کاری دستوری (Prompt Hacking).[۱۱] [۱۲] [۱۳] [۱۴] [۱۵]

این نگرانی‌ها موجب شکل‌گیری پژوهش‌هایی دربارهٔ فراارزیابی داورهای مبتنی بر مدل‌های زبانی بزرگ، تدوین راهنماهایی برای استفادهٔ مسئولانه، و توسعهٔ روش‌های تجمعی مانند «هیئت داوران مدل زبانی بزرگ» (LLM juries) شده است که در آن‌ها چندین ارزیاب با یکدیگر ترکیب می‌شوند.[۱۶] [۱۴] [۱۷]

زمینه

ارزیابی خودکار تولید زبان طبیعی (NLG) به‌طور تاریخی بر معیارهای شباهت رشته‌ای مانند BLEU، ROUGE و METEOR متکی بوده است که خروجی‌های سیستم را با یک یا چند متن مرجع مقایسه می‌کنند.[۱۸] این معیارها کارآمد و شفاف هستند، اما اغلب در وظایف با پاسخ‌های باز مانند گفتگو، خلاصه‌سازی یا نویسندگی خلاقانه، با داوری‌های انسانی همبستگی ضعیفی دارند، زیرا در این وظایف پاسخ‌های معتبر متعددی وجود دارد و ظرافت‌های سبک نگارش، صحت اطلاعات و ایمنی اهمیت دارند.[۱۹] [۲۰]

با ظهور مدل‌های زبانی بزرگ چندمنظوره، پژوهشگران شروع به بررسی استفادهٔ مستقیم از آن‌ها به‌عنوان ارزیاب کردند. نمونه‌های اولیه شامل GPT-judge، یک مدل GPT-3 ریزتنظیم شده برای طبقه‌بندی پاسخ‌های TruthfulQA به صحیح یا نادرست،[۲۱]و G-Eval است که GPT-4 را با دستورالعمل‌های صریح و زنجیرهٔ استدلال برای ارزیابی خلاصه‌ها و پاسخ‌های گفتگو هدایت می‌کند.[۸] بررسی‌های مربوط به ارزیابی NLG مبتنی بر LLM خانواده‌های گسترده‌ای از روش‌ها را توصیف می‌کنند، از جمله معیارهای استخراج‌شده از احتمال یا جاسازی‌های مدل، داوران هدایت‌شده با دستور زبان طبیعی، مدل‌های ارزیابی ریزتنظیم‌شده، و پروتکل‌های همکاری انسان–مدل زبانی بزرگ.[۲۲] [۲۳]

تاریخچه

در سال ۲۰۲۱، Lin و همکاران معیار TruthfulQA را معرفی کردند، یک بنچمارک برای سنجش صحت اطلاعات که شامل GPT-judge به‌عنوان یک معیار خودکار نیز بود؛ مدلی که بر اساس برچسب‌های انسانی «صحیح» یا «نادرست» آموزش دیده بود. گزارش شد که GPT-judge توانایی پیش‌بینی برچسب‌های صحت انسانی را با دقتی در محدودهٔ پایین تا میانهٔ ۹۰٪ روی مدل‌های نگه‌داشته‌شده دارد و به‌عنوان یک جایگزین مقیاس‌پذیر برای ارزیابی انسانی در این بنچمارک پیشنهاد شد.[۹]

مطالعات بعدی به بررسی استفاده از مدل‌های زبانی بزرگ برای شناسایی «هالوسینیشن» در خروجی‌های خودشان پرداختند. برای مثال، SelfCheckGPT چند پاسخ مختلف برای یک پرسش مشخص تولید می‌کند و ناسازگاری میان آن‌ها را اندازه‌گیری می‌کند و جملاتی که در نمونه‌ها با یکدیگر اختلاف دارند را به‌عنوان هالوسینیشن احتمالی علامت‌گذاری می‌کند.[۲۴]

در سال ۲۰۲۳، Liu و همکاران چارچوب G-Eval را پیشنهاد کردند؛ یک روش هدایت (prompting) که GPT-4 را برای پاسخ به پرسشنامه‌های ارزیابی هدایت می‌کند و سپس امتیازات عددی استخراج می‌کند. این روش نشان داد که با توجه به خلاصه‌سازی و گفتگو، همبستگی بهتری با داوری انسانی نسبت به معیارهای خودکار قبلی دارد.[۸]

عبارت «مدل زبانی بزرگ به‌عنوان داور» (LLM-as-a-Judge) پس از آن رایج شد که Zheng و همکاران به‌طور سیستماتیک GPT-4 و مدل‌های مرتبط را به‌عنوان داور در MT-Bench، مجموعه‌ای چندمرحله‌ای از پرسش‌ها، و در پلتفرم جمع‌سپاری Chatbot Arena ارزیابی کردند.آن‌ها گزارش دادند که داورهای قدرتمند مبتنی بر مدل‌های زبانی بزرگ می‌توانند در بیش از هشتاد درصد مقایسه‌های جفتی با ترجیحات انسانی مطابقت داشته باشند و به سطح توافق میان داوران انسانی نزدیک شوند.[۳]

بنچمارک‌هایی برای مدل‌های پیروی از دستورالعمل، مانند AlpacaEval و Arena-Hard-Auto، بعداً داورهای مبتنی بر مدل‌های زبانی بزرگ (معمولاً GPT-4) را به‌عنوان مکانیزم امتیازدهی اصلی خود پذیرفتند.[۵][۲۵][۴] تا اواسط دههٔ ۲۰۲۰، ارزیابی مبتنی بر مدل‌های زبانی بزرگ به یک گزینهٔ استاندارد در پژوهش‌های علمی و پلتفرم‌های صنعتی تبدیل شد و چندین مرور و راهنما برای سیستماتیک کردن روش‌ها، کاربردها و محدودیت‌های داورهای مبتنی بر LLM منتشر شد.[۱] [۲][۲۶]

روش‌شناسی

یک ساختار معمول «مدل زبانی بزرگ به‌عنوان داور» (LLM-as-a-Judge) شامل سه عنصر است: ورودی که شامل زمینهٔ وظیفه و خروجی‌های نامزد برای ارزیابی است، یک پرامپت که معیارهای ارزیابی را توضیح می‌دهد، و یک قالب پاسخ که تصمیم داور را کدگذاری می‌کند.[۱] [۲]

داور می‌تواند یک مدل چندمنظوره باشد که از طریق پرامپت مورد دسترسی قرار می‌گیرد، یا یک مدل ریزتنظیم شده بر روی داده‌های ارزیابی، همانند GPT-judge و نسخه‌های تخصصی بعدی مانند Mistral-judge یاLlama-judge که در دسترس هستند.[۱] [۹]

حالت‌های رایج ارزیابی

حالت‌های رایج ارزیابی شامل موارد زیر است:

  1. تصمیمات باینری «قبول» یا «رد» (برای مثال «هالوسینیشن وجود دارد» در مقابل «هالوسینیشن وجود ندارد»)؛
  2. امتیازدهی به سبک لیکرت در یک یا چند بعد مانند ارتباط، انسجام، روانی یا ایمنی؛
  3. ترجیح‌های جفتی بین دو پاسخ نامزد؛
  4. فهرست‌های رتبه‌بندی شده از چندین خروجی.[۲][۳]

همچنین ممکن است از داور خواسته شود تا همراه با امتیازات، نقدها، دسته‌بندی خطاها یا توضیحاتی به زبان طبیعی ارائه دهد که سپس می‌توان آن‌ها را به معیارهای ساختاری تبدیل کرد.[۸]

برای وظایفی که پاسخ مرجع دارند، مانند ترجمه یا پاسخ به پرسش، می‌توان داور را هدایت کرد تا پاسخ نامزد را با پاسخ مرجع مقایسه کند، گاهی با ترتیب مخفیانهٔ مرجع‌ها و پاسخ‌ها برای کاهش سوگیری موقعیت. برای وظایف باز با پاسخ‌های متنوع، مانند نویسندگی خلاق یا گفتگو، پرامپت‌ها به‌جای آن ویژگی‌های سطح بالا مانند مفید بودن، آسیب نرساندن و انسجام را توصیف می‌کنند.[۳][۲۷]

کیفیت یک داور مبتنی بر مدل زبانی بزرگ معمولاً با میزان توافق آن با داوران انسانی یا توانایی‌اش در بازتولید رتبه‌بندی‌های موجود سنجیده می‌شود. مطالعات، داوران را از طریق همبستگی با نمرات انسانی، دقت پیش‌بینی برنده، منحنی‌های کالیبراسیون و آزمون‌های استحکام مانند تغییر پرامپت یا مثال‌های خصمانه ارزیابی می‌کنند[۱] [۲][۳]

کاربردها

تولید زبان طبیعی

داورهای مبتنی بر مدل‌های زبانی بزرگ به‌طور گسترده برای ارزیابی سیستم‌های تولید زبان طبیعی (NLG) در زمینه‌های خلاصه‌سازی، ترجمه ماشینی، گفتگو، تولید داستان و دیگر وظایف استفاده می‌شوند. در چارچوب G-Eval، GPT-4 با دستورالعمل‌های ویژهٔ هر وظیفه هدایت می‌شود تا خلاصه‌ها و پاسخ‌های مکالمه‌ای را در ابعاد مختلفی مانند ارتباط، انسجام و صحت اطلاعات امتیازدهی کند. این روش در چندین مجموعه داده، همبستگی بالاتری با داوری انسانی نسبت به معیارهایی مانند BLEU، ROUGE یا معیارهای جاسازی جمله نشان می‌دهد.[۲][۸]

روش‌های ارزیابی NLG مبتنی بر مدل‌های زبانی بزرگ اکنون شامل معیارهای استخراج‌شده از احتمال مدل، هدایت مستقیم برای تولید نمره، مدل‌های ارزیابی ریزتنظیم‌شده و پروتکل‌های ترکیبی انسان–LLM هستند.[۲]

بنچمارک‌ها و جدول‌های رتبه‌بندی

چندین بنچمارک برجسته برای مدل‌های زبانی بزرگ چندمنظوره عمدتاً به «مدل زبانی بزرگ به‌عنوان داور» (LLM-as-a-Judge) متکی هستند. Chatbot Arena ترجیحات جفتی جمع‌آوری‌شده از کاربران را میان خروجی‌های مدل‌ها گردآوری می‌کند؛ MT-Bench و Arena-Hard-Auto این داده‌ها را به بنچمارک‌های آفلاین تبدیل می‌کنند که توسط داوران مبتنی بر GPT-4 امتیازدهی می‌شوند.[۳] [۴] AlpacaEval و نسخهٔ بعدی آن Length-Controlled AlpacaEval از GPT-4 برای مقایسه مدل‌های پیروی از دستورالعمل استفاده می‌کنند و اصلاحاتی برای سوگیری طول در داوری‌های LLM ارائه می‌دهند.[۲۸][۲۹] در بسیاری از موارد، رتبه‌بندی‌های جدول‌های تولیدشده توسط داوران LLM به‌طور نزدیکی با رتبه‌بندی انسانی هم‌راستا هستند، به‌ویژه زمانی که داوران مدل‌های پیشرفته و قدرتمند باشند.[۳] [۴]

صحت اطلاعات و شناسایی هالوسینیشن

مدل‌های زبانی بزرگ به‌عنوان داور در تشخیص صحت اطلاعات و هالوسینیشن‌ها استفاده می‌شوند. در TruthfulQA، GPT-judge بر اساس برچسب‌های انسانی آموزش داده شده است تا پاسخ‌ها را به «صحیح» یا «نادرست» طبقه‌بندی کند و در پیش‌بینی داوری انسانی در مورد صحت پاسخ‌ها دقت بالایی دارد.[۳۰] SelfCheckGPT از یک مدل زبانی بزرگ برای تولید چند نمونه از یک پرامپت استفاده می‌کند و سپس آن‌ها را داخلی مقایسه کرده و جملاتی که در نمونه‌ها متفاوت هستند را به‌عنوان هالوسینیشن احتمالی علامت‌گذاری می‌کند.[۳۱] پژوهش‌های بعدی تکنیک‌های مشابه را برای شناسایی هالوسینیشن در حوزه‌هایی مانند پاسخ به پرسش، خلاصه‌سازی و تولید کد به‌کار گرفته‌اند.[۳۲]

ایمنی و هم‌راستایی

یک خط پژوهشی مرتبط از داورهای مبتنی بر مدل‌های زبانی بزرگ نه تنها برای ارزیابی، بلکه به‌عنوان منبع بازخورد در طول آموزش استفاده می‌کند. Constitutional AI دستیاران را برای پیروی از مجموعه‌ای از اصول مکتوب آموزش می‌دهد و از یک مدل منتقد جداگانه برای انتخاب میان پاسخ‌های نامزد بر اساس آن اصول استفاده می‌کند؛ برچسب‌های ترجیح AI برای تطبیق یک مدل پاداش به‌کار می‌روند که آموزش تقویتی از بازخورد AI (RLAIF) را هدایت می‌کند..[۳۳][۳۴] مطالعات پی‌آمد RLAIF را با آموزش تقویتی استاندارد مبتنی بر بازخورد انسانی مقایسه کرده و بررسی کرده‌اند که چه زمانی بازخورد AI به هم‌راستایی کمک می‌کند یا آسیب می‌رساند.[۳۵]کاربردهای دیگر، داورهای بازخورد AI را در وظایفی مانند سیستم‌های پیشنهاددهی و خلاصه‌سازی گزارش‌های رادیولوژی ادغام می‌کنند.[۳۶]

آموزش، کدنویسی و حوزه‌های دیگر

داورهای حوزه‌محور مبتنی بر LLM در بازخورد آموزشی، بازبینی کد و توضیحات توصیه‌ها به‌کار رفته‌اند. برای مثال، معیارهای مبتنی بر مدل‌های زبانی بزرگ برای ارزیابی کیفیت توضیحات تولیدشده توسط سیستم‌های پیشنهاددهی و بررسی پاسخ‌های دانش‌آموزان یا راه‌حل‌های برنامه‌نویسی از نظر صحت و وضوح استفاده شده‌اند.[۳۷][۳۸]مطالعات در مهندسی نرم‌افزار و بازیابی اطلاعات گزارش می‌دهند که داورهای مبتنی بر LLM می‌توانند در برخی وظایف به نرخ توافق نزدیک به داوران انسانی دست یابند، اگرچه عملکرد آن‌ها بسته به حوزه و ساختار ارزیابی متفاوت است.[۱]

ارزیابی چندرسانه‌ای و مدل‌های جهان

در حوزهٔ بینایی-زبان، VLMها می‌توانند به‌عنوان داور برای تصاویر و ویدیوها عمل کنند. Hendriksen و همکاران یک VLM عمومی را در قالب UNIVERSE، یک ارزیاب یکپارچه برای شبیه‌سازی خروجی مدل‌های جهان ویدیویی، تطبیق دادند و نشان دادند که می‌تواند در وظایف شناسایی عمل و شخصیت با داوری انسانی مطابقت داشته باشد.[۶]پژوهش‌های دیگر از GPT-4V یا مدل‌های چندرسانه‌ای مشابه برای رتبه‌بندی یا امتیازدهی خروجی مدل‌های بینایی خودران و دیگر مدل‌های بزرگ بینایی-زبان استفاده می‌کنند و گزارش می‌دهند که هماهنگی قوی با داوری انسانی در سناریوهای بصری پیچیده وجود دارد. [۷]

مزایا

«مدل زبانی بزرگ به‌عنوان داور» (LLM-as-a-Judge) چندین مزیت عملی نسبت به ارزیابی سنتی ارائه می‌دهد. داوران قدرتمند مبتنی بر LLM می‌توانند ترجیحات انسانی را با هزینهٔ حاشیه‌ای نسبتاً پایین تقریب بزنند و بدون نیاز به جذب برچسب‌زن برای هر وظیفهٔ جدید، ارزیابی انجام دهند.[۳][۲]برخلاف معیارهای مبتنی بر شکل سطحی متن، داوران می‌توانند دستورالعمل‌ها، متن‌های مرجع و محدودیت‌های حوزه را در نظر بگیرند و با ویرایش پرامپت، سریعاً برای معیارهای جدید مورد استفاده قرار گیرند؛ برای مثال بررسی محدودیت‌های ایمنی، راهنمای سبک یا الزامات خاص حوزه.[۲][۳۹]

مدل‌های داور همچنین می‌توانند دلایل به زبان طبیعی، برچسب‌های خطا یا بخش‌هایی از متن که در امتیاز نهایی مؤثرند را تولید کنند. این خروجی‌های ساختاریافته می‌توانند به توسعه‌دهندگان در رفع اشکال سیستم‌ها و طراحی آزمون‌های هدفمند کمک کنند.[۸][۲]

از آنجا که داوران خود مدل‌های عصبی هستند، می‌توان آن‌ها را در خطوط خودکار به‌کار گرفت تا ارزیابی مداوم روی مجموعه داده‌های بزرگ انجام شود، که این ویژگی آن‌ها را برای آزمون بازگشتی برنامه‌های مبتنی بر LLM و رصد تغییرات عملکرد در طول زمان جذاب می‌کند.[۱]

محدودیت‌ها و سوگیری‌ها

با وجود مزایای عملی، داورهای مبتنی بر مدل‌های زبانی بزرگ محدودیت‌های مهمی دارند. میزان توافق آن‌ها با داوران انسانی می‌تواند در حوزه‌های تخصصی که داور تجربهٔ کافی ندارد کاهش یابد، مانند پزشکی، حقوق یا زبان‌های با منابع کم.[۲][۱۲] در برخی موارد مشاهده شده است که داورهای LLM خطاهای ظریف اما حیاتی را نادیده می‌گیرند و در عین حال بر روانی سطحی متن تأکید بیش از حد دارند که منجر به امتیازات بیش‌ازحد خوشبینانه می‌شود.[۱۲]

مطالعات متعدد سوگیری‌های سیستماتیک را مستند کرده‌اند. Zheng و همکاران نشان دادند که داوران GPT-4 سوگیری موقعیتی دارند، پاسخ‌های ظاهرشده در جایگاه خاص را ترجیح می‌دهند، و سوگیری طولانی‌نویسی دارند، یعنی پاسخ‌های طولانی‌تر را ترجیح می‌دهند، همچنین سوگیری خود‌افزایی وجود دارد زمانی که داور خروجی‌های تولیدشده توسط خانوادهٔ مدل خود را ارزیابی می‌کند.[۳] Liu و همکاران اصطلاح «ارزیاب‌های خودشیفته» را برای توصیف داورانی به‌کار بردند که امتیازات پاسخ‌ها از مدل‌هایی که ساختاری مشابه خود دارند را اغراق‌آمیز افزایش می‌دهند، به‌ویژه وقتی داور و پاسخ نامزد داده‌های آموزشی یا روش‌های هم‌راستایی مشترک دارند.Chen و همکاران دریافتند که هر دو نوع داور، انسانی و مبتنی بر LLM، سوگیری‌های سیستماتیک در داوری نشان می‌دهند و داورهای LLM می‌توانند با پرامپت‌های به‌دقت طراحی‌شده دستکاری شوند.[۱۱]

مطالعات دیگر به عدالت و استحکام می‌پردازند. Stureborg و همکاران داورهای مبتنی بر LLM را در چندین وظیفه تحلیل کردند و حساسیت آن‌ها به تغییرات در واژگان پرامپت و تغییر حوزه را برجسته کردند، در حالی که مطالعهٔ Justice or Prejudice سوگیری‌های گروهی را کمّی‌سازی می‌کند و نشان می‌دهد که LLM-as-a-Judge می‌تواند کلیشه‌های اجتماعی را به ارث برده و تقویت کند.[۱۲] [۱۳] Faggioli و همکاران استدلال می‌کنند که داوری‌های کاملاً خودکار مبتنی بر LLM در بنچمارک‌های بازیابی اطلاعات باید با احتیاط استفاده شوند و روش‌های ترکیبی انسان–ماشین توصیه می‌شوند.[۱۴]

بهینه‌سازی مدل برای یک داور LLM ثابت نیز می‌تواند به اثرات Goodhart منجر شود: اگر توسعه‌دهندگان مدل صریحاً سیستم‌ها را برای بیشینه‌کردن امتیاز یک داور خاص تنظیم کنند، رفتار یادگرفته شده ممکن است از ترجیحات انسانی پایه‌ای فاصله بگیرد. نویسندگان TruthfulQA، برای مثال، توصیه می‌کنند که مستقیماً روی برچسب‌های GPT-judge آموزش داده نشود، زیرا تطبیق بیش از حد با معیار ممکن است قابلیت اعتماد آن را به‌عنوان جایگزینی برای صحت کاهش دهد.[۹]

داورهای LLM می‌توانند در مقیاس بزرگ هزینه‌بر باشند، به‌ویژه هنگام استفاده از مدل‌های بزرگ اختصاصی، و فرآیند تصمیم‌گیری داخلی آن‌ها نسبت به معیارهای شفاف مبتنی بر قوانین دشوار برای تفسیر یا حسابرسی است.[۱۴][۱]

ارزیابی متا، مرورها و راهنماها

پژوهش‌ها در زمینهٔ ارزیابی متا تلاش می‌کنند تا درک کنند که چه زمانی داورهای مبتنی بر LLM می‌توانند به‌طور ایمن جایگزین یا مکمل ارزیابی انسانی شوند. مرورهای Gao و همکاران و Li و همکاران روش‌های موجود را بر اساس عملکرد، روش‌شناسی، حوزه‌های کاربرد، تکنیک‌های ارزیابی متا و محدودیت‌های شناخته‌شده دسته‌بندی کرده و مسائل باز مانند استحکام، عدالت و ریسک وابستگی بیش از حد به داوران با منبع بسته را برجسته می‌کنند.[۲][۱]

Dietz و همکاران مجموعه‌ای از اصول و راهنماها برای استفاده از داورهای LLM در بازیابی اطلاعات ارائه می‌دهند، از جمله جداسازی طراحی ارزیابی از پیاده‌سازی داور، انتشار پرامپت‌ها و پیکربندی‌ها، استفاده از چند داور در صورت امکان، و کالیبره کردن منظم داوران با برچسب‌های تازهٔ انسانی.[۱۴]

مطالعات دیگر ترکیب بازخورد انسانی و هوش مصنوعی را بررسی می‌کنند. Sharma و همکاران دریافتند که در برخی خطوط هم‌راستایی، بخش بزرگی از سود ظاهری آموزش تقویتی از بازخورد AI ناشی از استفاده از یک مدل معلم قدرتمند برای ریزتنظیم نظارت‌شده است، نه از مرحلهٔ یادگیری تقویتی خود.[۲۳]

رویکردهای مبتنی بر ترکیب و هیئت داوری

در پاسخ به نگرانی‌ها دربارهٔ سوگیری داورهای تک‌تایی، چندین پژوهشگر روش‌های ترکیبی (ensemble) را پیشنهاد کرده‌اند که از چند داور مبتنی بر LLM استفاده می‌کنند. Koc و همکاران چارچوبی را توصیف می‌کنند که در آن چند داور مستقل LLM همان خروجی‌ها را امتیازدهی می‌کنند و امتیازات آن‌ها برای بهبود عدالت و کاهش واریانس تجمیع می‌شود.[۱۵]Badshah و همکاران داوران مبتنی بر GPT را با داوران Mistral و Llama در زمینهٔ پاسخ‌گویی آزاد مقایسه کرده و مشاهده کردند که مدل‌ها دارای نقاط قوت مکمل هستند.[۲۰]

ابزارهای صنعتی اصطلاح «هیئت داوری LLM» (LLM jury) را برای ساختارهای ارزیابی‌ای که چند داور کوچک‌تر را به‌طور موازی اجرا می‌کنند و آرای آن‌ها را از طریق اکثریت یا سیستم‌های رأی‌گیری وزنی تجمیع می‌کنند، رایج کرده‌اند.[۱۶] گزارش‌های تجربی نشان می‌دهند که چنین هیئت‌هایی می‌توانند در برابر ویژگی‌های خاص پرامپت یا مدل مقاوم‌تر باشند، البته با هزینهٔ محاسباتی اضافی.[۱۵][۱]

ارتباط با یادگیری تقویتی از بازخورد انسانی و هوش مصنوعی

«مدل زبانی بزرگ به‌عنوان داور» (LLM-as-a-Judge) ارتباط نزدیکی با یادگیری تقویتی از بازخورد انسانی (RLHF) و یادگیری تقویتی از بازخورد AI (RLAIF) دارد. در RLHF، برچسب‌زن‌های انسانی خروجی‌های مدل را جفت‌جفت مقایسه می‌کنند و یک مدل پاداش برای پیش‌بینی ترجیحات آن‌ها آموزش داده می‌شود. در RLAIF و روش‌های مرتبط با «یادگیری از بازخورد AI»، یک داور LLM جایگزین برچسب‌زن انسانی در ارائهٔ برچسب‌های ترجیح می‌شود.[۲۱][۲۲]

Constitutional AI از یک قانون اساسی مکتوب و یک مدل منتقد برای ارزیابی پاسخ‌های نامزد بر اساس آن قوانین استفاده می‌کند؛ داده‌های ترجیحی حاصل از AI برای آموزش مدل‌های پاداش در زمینهٔ عدم آسیب‌رسانی و اهداف دیگر به‌کار می‌روند.[۲۱] پژوهش‌های بعدی بررسی می‌کنند که چه زمانی بازخورد AI واقعاً نسبت به معلمان نظارت‌شدهٔ قدرتمند ارزش افزوده دارد و چگونه می‌توان ترجیحات انسانی و AI را برای رفتار ایمن و مفید متعادل کرد.[۲۲] [۲۳]

همچنین ببینید

منابع

  1. 1 2 3 4 5 6 7 8 9 10 Li, Haitao; Dong, Qian; Chen, Junjie; Su, Huixue; Zhou, Yujia; Ai, Qingyao; Ye, Ziyi; Liu, Yiqun (2024-12-10), LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods, arXiv:2412.05579, archived from the original on 2025-08-10, retrieved 2025-12-17
  2. 1 2 3 4 5 6 7 8 9 10 11 12 Gao, Mingqi; Hu, Xinyu; Yin, Xunjian; Ruan, Jie; Pu, Xiao; Wan, Xiaojun (June 2025). "LLM-based NLG Evaluation: Current Status and Challenges". Computational Linguistics. 51 (2): 661–687. doi:10.1162/coli_a_00561. Archived from the original on 2025-09-11.
  3. 1 2 3 4 5 6 7 8 9 Zheng, Lianmin; Chiang, Wei-Lin; Sheng, Ying; Zhuang, Siyuan; Wu, Zhanghao; Zhuang, Yonghao; Lin, Zi; Li, Zhuohan; Li, Dacheng (2023-12-24), Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv:2306.05685, archived from the original on 2025-08-08, retrieved 2025-12-17
  4. 1 2 3 4 Li, Tianle; Chiang, Wei-Lin; Frick, Evan; Dunlap, Lisa; Wu, Tianhao; Zhu, Banghua; Gonzalez, Joseph E.; Stoica, Ion (2024-10-14), From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline, arXiv:2406.11939, archived from the original on 2025-08-10, retrieved 2025-12-17
  5. 1 2 "AlpacaEval Leaderboard". tatsu-lab.github.io. Archived from the original on 2025-08-08. Retrieved 2025-12-17.
  6. 1 2 Hendriksen, Mariya; Rashid, Tabish; Bignell, David; Georgescu, Raluca; Lemkhenter, Abdelhak; Hofmann, Katja; Devlin, Sam; Parisot, Sarah (2025-11-24), Adapting Vision-Language Models for Evaluating World Models, arXiv:2506.17967, archived from the original on 2025-08-10, retrieved 2025-12-17
  7. 1 2 Chen, Kai; Li, Yanze; Zhang, Wenhua; Liu, Yanxin; Li, Pengxiang; Gao, Ruiyuan; Hong, Lanqing; Tian, Meng; Zhao, Xinhai (February 2025). "Automated Evaluation of Large Vision-Language Models on Self-Driving Corner Cases". 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV): 7817–7826. doi:10.1109/WACV61041.2025.00759. ISBN 979-8-3315-1083-1.
  8. 1 2 3 4 5 6 Zheng, Lianmin; Chiang, Wei-Lin; Sheng, Ying; Zhuang, Siyuan; Wu, Zhanghao; Zhuang, Yonghao; Lin, Zi; Li, Zhuohan; Li, Dacheng (2023-12-24), Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv:2306.05685, archived from the original on 2025-08-08, retrieved 2025-12-17
  9. 1 2 3 4 Lin, Stephanie; Hilton, Jacob; Evans, Owain (May 2022). Muresan, Smaranda; Nakov, Preslav; Villavicencio, Aline (eds.). "TruthfulQA: Measuring How Models Mimic Human Falsehoods". Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Dublin, Ireland: Association for Computational Linguistics: 3214–3252. doi:10.18653/v1/2022.acl-long.229. Archived from the original on 2025-08-15.
  10. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain (May 2022). Muresan, Smaranda; Nakov, Preslav; Villavicencio, Aline (eds.). "TruthfulQA: Measuring How Models Mimic Human Falsehoods". Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Dublin, Ireland: Association for Computational Linguistics: 3214–3252. doi:10.18653/v1/2022.acl-long.229. Archived from the original on 2025-08-15.
  11. 1 2 Zheng, Lianmin; Chiang, Wei-Lin; Sheng, Ying; Zhuang, Siyuan; Wu, Zhanghao; Zhuang, Yonghao; Lin, Zi; Li, Zhuohan; Li, Dacheng (2023-12-24), Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv:2306.05685, archived from the original on 2025-08-08, retrieved 2025-12-17
  12. 1 2 3 4 Liu, Yiqi; Moosavi, Nafise; Lin, Chenghua (August 2024). Ku, Lun-Wei; Martins, Andre; Srikumar, Vivek (eds.). "LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores". Findings of the Association for Computational Linguistics: ACL 2024. Bangkok, Thailand: Association for Computational Linguistics: 12688–12701. doi:10.18653/v1/2024.findings-acl.753. Archived from the original on 2025-06-15.
  13. 1 2 Ye, Jiayi; Wang, Yanbo; Huang, Yue; Chen, Dongping; Zhang, Qihui; Moniz, Nuno; Gao, Tian; Geyer, Werner; Huang, Chao (2024-10-04), Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge, arXiv:2410.02736, archived from the original on 2025-08-10, retrieved 2025-12-17
  14. 1 2 3 4 5 Dietz, Laura; Zendel, Oleg; Bailey, Peter; Clarke, Charles L. A.; Cotterill, Ellese; Dalton, Jeff; Hasibi, Faegheh; Sanderson, Mark; Craswell, Nick (2025-07-18). "Principles and Guidelines for the Use of LLM Judges". Proceedings of the 2025 International ACM SIGIR Conference on Innovative Concepts and Theories in Information Retrieval (ICTIR). ICTIR '25. New York, NY, USA: Association for Computing Machinery. pp. 218–229. arXiv:2504.19076. doi:10.1145/3731120.3744588. ISBN 979-8-4007-1861-8. Archived from the original on 2025-07-26.
  15. 1 2 3 Ye, Jiayi; Wang, Yanbo; Huang, Yue; Chen, Dongping; Zhang, Qihui; Moniz, Nuno; Gao, Tian; Geyer, Werner; Huang, Chao (2024-10-04), Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge, arXiv:2410.02736, archived from the original on 2025-08-10, retrieved 2025-12-17
  16. 1 2 Morgan, Abby (2025-02-24). "LLM Juries for Evaluation". Comet (in American English). Archived from the original on 2025-08-19. Retrieved 2025-12-17.
  17. ↑ Morgan, Abby (2025-02-24). "LLM Juries for Evaluation". Comet (in American English). Archived from the original on 2025-08-19. Retrieved 2025-12-17.
  18. ↑ Gao, Mingqi; Hu, Xinyu; Yin, Xunjian; Ruan, Jie; Pu, Xiao; Wan, Xiaojun (June 2025). "LLM-based NLG Evaluation: Current Status and Challenges". Computational Linguistics. 51 (2): 661–687. doi:10.1162/coli_a_00561. Archived from the original on 2025-09-11.
  19. ↑ Gao, Mingqi; Hu, Xinyu; Yin, Xunjian; Ruan, Jie; Pu, Xiao; Wan, Xiaojun (June 2025). "LLM-based NLG Evaluation: Current Status and Challenges". Computational Linguistics. 51 (2): 661–687. doi:10.1162/coli_a_00561. Archived from the original on 2025-09-11.
  20. 1 2 Faggioli, Guglielmo; Dietz, Laura; Clarke, Charles; Demartini, Gianluca; Hagen, Matthias; Hauff, Claudia; Kando, Noriko; Kanoulas, Evangelos; Potthast, Martin (2023-11-18), "Perspectives on Large Language Models for Relevance Judgment", Proceedings of the 2023 ACM SIGIR International Conference on Theory of Information Retrieval, pp. 39–50, arXiv:2304.09161, doi:10.1145/3578337.3605136, ISBN 979-8-4007-0073-6, archived from the original on 2025-08-10, retrieved 2025-12-17
  21. 1 2 3 Lin, Stephanie; Hilton, Jacob; Evans, Owain (May 2022). Muresan, Smaranda; Nakov, Preslav; Villavicencio, Aline (eds.). "TruthfulQA: Measuring How Models Mimic Human Falsehoods". Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Dublin, Ireland: Association for Computational Linguistics: 3214–3252. doi:10.18653/v1/2022.acl-long.229. Archived from the original on 2025-08-15.
  22. 1 2 3 Gao, Mingqi; Hu, Xinyu; Yin, Xunjian; Ruan, Jie; Pu, Xiao; Wan, Xiaojun (June 2025). "LLM-based NLG Evaluation: Current Status and Challenges". Computational Linguistics. 51 (2): 661–687. doi:10.1162/coli_a_00561. Archived from the original on 2025-09-11.
  23. 1 2 3 Li, Haitao; Dong, Qian; Chen, Junjie; Su, Huixue; Zhou, Yujia; Ai, Qingyao; Ye, Ziyi; Liu, Yiqun (2024-12-10), LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods, arXiv:2412.05579, archived from the original on 2025-08-10, retrieved 2025-12-17
  24. ↑ Manakul, Potsawee; Liusie, Adian; Gales, Mark J. F. (2023-10-11), SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models, arXiv:2303.08896, archived from the original on 2025-09-04, retrieved 2025-12-17
  25. ↑ Dubois, Yann; Galambosi, Balázs; Liang, Percy; Hashimoto, Tatsunori B. (2025-03-10), Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators, arXiv:2404.04475, archived from the original on 2025-08-10, retrieved 2025-12-17
  26. ↑ Dietz, Laura; Zendel, Oleg; Bailey, Peter; Clarke, Charles L. A.; Cotterill, Ellese; Dalton, Jeff; Hasibi, Faegheh; Sanderson, Mark; Craswell, Nick (2025-07-18). "Principles and Guidelines for the Use of LLM Judges". Proceedings of the 2025 International ACM SIGIR Conference on Innovative Concepts and Theories in Information Retrieval (ICTIR). ICTIR '25. New York, NY, USA: Association for Computing Machinery. pp. 218–229. arXiv:2504.19076. doi:10.1145/3731120.3744588. ISBN 979-8-4007-1861-8. Archived from the original on 2025-07-26.
  27. ↑ Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia (2022-12-15), Constitutional AI: Harmlessness from AI Feedback, arXiv:2212.08073, archived from the original on 2025-08-09, retrieved 2025-12-17
  28. ↑ Dubois, Yann; Galambosi, Balázs; Liang, Percy; Hashimoto, Tatsunori B. (2025-03-10), Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators, arXiv:2404.04475, archived from the original on 2025-08-10, retrieved 2025-12-17
  29. ↑ "AlpacaEval Leaderboard". tatsu-lab.github.io. Archived from the original on 2025-08-08. Retrieved 2025-12-17.
  30. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain (May 2022). Muresan, Smaranda; Nakov, Preslav; Villavicencio, Aline (eds.). "TruthfulQA: Measuring How Models Mimic Human Falsehoods". Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Dublin, Ireland: Association for Computational Linguistics: 3214–3252. doi:10.18653/v1/2022.acl-long.229. Archived from the original on 2025-08-15.
  31. ↑ Manakul, Potsawee; Liusie, Adian; Gales, Mark J. F. (2023-10-11), SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models, arXiv:2303.08896, archived from the original on 2025-09-04, retrieved 2025-12-17
  32. ↑ Gao, Mingqi; Hu, Xinyu; Yin, Xunjian; Ruan, Jie; Pu, Xiao; Wan, Xiaojun (June 2025). "LLM-based NLG Evaluation: Current Status and Challenges". Computational Linguistics. 51 (2): 661–687. doi:10.1162/coli_a_00561. Archived from the original on 2025-09-11.
  33. ↑ Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia (2022-12-15), Constitutional AI: Harmlessness from AI Feedback, arXiv:2212.08073, archived from the original on 2025-08-09, retrieved 2025-12-17
  34. ↑ Lee, Harrison; Phatale, Samrat; Mansoor, Hassan; Mesnard, Thomas; Ferret, Johan; Lu, Kellie; Bishop, Colton; Hall, Ethan; Carbune, Victor (2024-09-03), RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback, arXiv:2309.00267, archived from the original on 2025-08-08, retrieved 2025-12-17
  35. ↑ Sharma, Archit; Keh, Sedrick; Mitchell, Eric; Finn, Chelsea; Arora, Kushal; Kollar, Thomas (2024-12-10). "A critical evaluation of AI feedback for aligning large language models". Proceedings of the 38th International Conference on Neural Information Processing Systems. NIPS '24. 37. Red Hook, NY, USA: Curran Associates Inc.: 29166–29190. ISBN 979-8-3313-1438-5.{{cite journal}}: نگهداری یادکرد:خدمت بایگانی منسوخ (رده)
  36. ↑ Lee, Harrison; Phatale, Samrat; Mansoor, Hassan; Mesnard, Thomas; Ferret, Johan; Lu, Kellie; Bishop, Colton; Hall, Ethan; Carbune, Victor (2024-09-03), RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback, arXiv:2309.00267, archived from the original on 2025-08-08, retrieved 2025-12-17
  37. ↑ Du, Haoze; Li, Richard; Gehringer, Edward (2025-08-01), Mills, Caitlin; Alexandron, Giora; Taibi, Davide; Lo Bosco, Giosuè; Paquette, Luc (eds.), Objective Metrics for Evaluating Large Language Models Using External Data Sources, arXiv:2508.08277, doi:10.5281/zenodo.15870300, archived from the original on 2025-12-17, retrieved 2025-12-17
  38. ↑ Badshah, Sher; Sajjad, Hassan (2025-11-10), Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form QA, arXiv:2408.09235, archived from the original on 2025-12-17, retrieved 2025-12-17
  39. ↑ Stureborg, Rickard; Alikaniotis, Dimitris; Suhara, Yoshi. "Limitations of Large Language Models as Automatic Evaluators" (PDF). South NLP Symposium 2024. Archived from the original (PDF) on 2024-05-26. Retrieved 2025-12-17.
This page is issued from ویکی‌پدیا. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.