Центр бенчмарков PhotoProof Labs

Почему узкие бенчмарки по отдельным генераторам, а не одно число

Единый усреднённый показатель точности скрывает больше, чем раскрывает: сложность обнаружения существенно различается в зависимости от генератора, типа изображения и условий деградации. Центр бенчмарков ограничивает каждый бенчмарк конкретным сценарием обнаружения — общее обнаружение ИИ-изображений, дипфейки и манипуляции с личностью, а также (начиная с Midjourney) обнаружение по отдельным генераторам, — чтобы читатель мог найти число, действительно соответствующее его случаю использования, а не маркетинговое среднее.

К чему обязуется каждый бенчмарк на этом сайте

Каждая страница бенчмарка документирует свой протокол оценки (размер тестового набора, порог оценки, обработку ничьих, воспроизводимость) и состав набора данных (какие категории изображений включены и почему) как полноценную часть страницы, а не приложение. Это сделано намеренно: методологию бенчмарка должно быть можно проверить до того, как доверять его числам, и эта проверка не должна требовать чтения отдельного документа.

Текущие бенчмарки

Бенчмарк общего обнаружения ИИ-изображений и бенчмарк обнаружения дипфейков определяют свои оценочные фреймворки и ожидают завершения тестового прогона. Бенчмарк обнаружения Midjourney распространяет это на конкретный, широко используемый генератор, поскольку сложность обнаружения выходов одного генератора не обязательно распространяется на другой.

Почему результаты помечены как «В ожидании», а не показывают число?

Потому что ни одно число ещё не было получено в результате реального, задокументированного тестового прогона. Публикация правдоподобно звучащего заглушечного числа была бы неотличима для читателя от сфабрикованного заявления — сначала честно публикуется оценочный фреймворк, а результаты добавляются только после завершения реального тестирования.

Получит ли в итоге каждый ИИ-генератор собственный бенчмарк?

Цель — расставлять приоритеты для генераторов со значимым поисковым спросом и различиями в сложности обнаружения, а не создавать исчерпывающий бенчмарк для каждой существующей модели — см. Исследовательский центр для более широкого технического контекста по генераторам, у которых ещё нет отдельного бенчмарка.