WEIRD

B待确认Benchmark

多模态视觉语言开放cc-by-4.0

发布方：MERA-evaluation

热度12.2▼ 0.4

Hugging Face

下载量 · 30天

337

Hugging Face

GitHub Stars

—

代码仓库

论文被引

—

Semantic Scholar

跑分模型 · 30天

—

Leaderboard results

简介

WEIRD Описание задачи WEIRD – это расширенная версия подзадачи бинарной классификации оригинального английского бенчмарка WHOOPS!. Датасет оценивает, способна ли мультимодальная модель обнаруживать нарушения здравого смысла в изображениях. Здесь нарушение здравого смысла – это ситуации, противоречащие типичным нормам реальности. Например, пингвины не могут летать, дети не водят автомобили, посетители не накладывают еду официантам, и так далее. В датасете поровну… See the full description on the dataset page: https://huggingface.co/datasets/MERA-evaluation/WEIRD.