Методология OenoBench

Корпус OenoBench строится по четырёхэтапному конвейеру на основе ИИ, который сочетает мульти-модельную генерацию, автоматическую валидацию и выборочный человеческий контроль. Кратко этапы выглядят так: (1) сбор источников — отбор авторитетных материалов о винных регионах, сортах, законодательстве и практиках; (2) генерация вопросов — несколько ведущих LLM формируют черновые вопросы и эталонные ответы по сегментированному контенту, чтобы избежать перекоса в сторону одной модели; (3) кросс- валидация — независимые модели и эвристики проверяют корректность, однозначность и сложность каждого вопроса, отсеивая дубли и спорные формулировки; (4) оценка моделей — все включённые LLM прогоняются по финальному корпусу с фиксированными промптами, и результаты публикуются на лидерборде. Подробное описание этапов, метрики сложности и доменной разбивки появятся здесь по мере стабилизации MVP-набора.