Бенчмарки

Этот раздел собирает бенчмарки, измеряющие, насколько хорошо современные ИИ-системы — прежде всего большие языковые модели — справляются с задачами винной отрасли: фактологией о регионах, сортах и стилях, сенсорным анализом, рекомендациями, винной торговлей и регуляторикой. Цель раздела — зафиксировать воспроизводимые методики и публиковать обновляемые результаты, чтобы можно было отслеживать прогресс моделей во времени, а не полагаться на разовые демонстрации. Первый и базовый бенчмарк проекта — OenoBench: около пяти тысяч вопросов о вине, охватывающих основные домены знаний. Со временем здесь появятся дополнительные бенчмарки — по сенсорному описанию, парингу с едой и прикладным рабочим задачам сомелье и виноделов.