Основа бенчмарка

Фреймворк бенчмарка обнаружения ИИ-изображений

Фреймворк бенчмарка для оценки обнаружения ИИ-изображений по генераторам, уровням качества изображения, состояниям сжатия и сценариям риска.

Сведения о публикации

Автор
PhotoProof Labs Research
Рецензент
PhotoProof Labs Editorial Review
Опубликовано
2026-08-04
Последнее обновление
2026-08-04

История изменений

  • 2026-08-04 — Expanded the benchmark foundation into a complete evaluation framework and disclosure policy.

Быстрый ответ

Надёжный бенчмарк обнаружения ИИ-изображений должен измерять производительность по генераторам, уровням сжатия, реальным фото, отредактированным фото, скриншотам и неоднозначным изображениям смешанного происхождения.

Ключевые факты

  • Бенчмарки должны включать ложноположительные результаты
  • Охват генераторов имеет значение
  • Сжатие и загрузка в соцсети меняют производительность

Назначение бенчмарка

Страницы бенчмарков дают PhotoProof Labs будущий исследовательский актив, который может заслужить цитирования и подкрепить заявления о доверии, не полагаясь на расплывчатый маркетинг точности.

Измерения оценки

Полезный бенчмарк должен тестировать несколько источников изображений и условий качества.

  • Реальные фото с камеры
  • Изображения, созданные ИИ
  • Изображения, отредактированные ИИ
  • Скриншоты
  • Сжатые копии из соцсетей
  • Лица в стиле дипфейк

Метрики

Бенчмарк должен сообщать об истинно положительных, ложноположительных, ложноотрицательных результатах, качестве калибровки, распределении уверенности и пограничных случаях.

Охваченные модели

Closed text-to-image servicesOpen diffusion model familiesLegacy GAN-based generatorsImage-to-image and inpainting systemsAI upscalers and restoration tools
  • Closed text-to-image services: Version, generation date, interface, settings, and automatic post-processing must be recorded for each run.
  • Open diffusion model families: Coverage should include multiple checkpoints, samplers, adapters, and output pipelines rather than one default configuration.
  • Legacy GAN-based generators: Included for historical continuity, but results must not be treated as representative of modern generator performance.
  • Image-to-image and inpainting systems: Evaluated separately as mixed-origin or AI-edited content rather than merged with fully synthetic images.
  • AI upscalers and restoration tools: Used to test whether enhancement pipelines produce detector errors on otherwise authentic content.

Протокол оценки

Размер тестового набора
To be published with each versioned run; no final public sample count is claimed yet.
Порог оценки
Thresholds must be selected on validation data and frozen before test evaluation. Multiple operating points may be reported.
Обработка ничьих
Ambiguous, unsupported, and inconclusive responses are retained and reported; they are not silently removed or counted as correct.
Воспроизводимость
Each release should record dataset revision, source categories, collection dates, detector versions, label mappings, transformation parameters, and metric code.

Состав данных

Реальные фото с камерыНеотредактированные фотографии, снятые непосредственно камерой или смартфоном, используемые для измерения ложноположительных результатов.
Изображения, созданные ИИРезультаты нескольких семейств генераторов (на основе диффузии и GAN), используемые для измерения доли истинно положительных результатов.
Изображения, отредактированные ИИРеальные фотографии с правками с помощью ИИ (дорисовка, увеличение масштаба, удаление объектов) — более сложный промежуточный случай.
Скриншоты и пересъёмкиИзображения, потерявшие метаданные камеры из-за создания скриншота или пересъёмки, — частый триггер ложноположительных результатов.
Сжатые копии из соцсетейИзображения, перекодированные через типичные конвейеры загрузки социальных платформ, для измерения устойчивости к реальной деградации.

Метрики бенчмарка

Реальные фото с камерыВ ожиданииКатегория оценки определена; результаты ещё не протестированы.
Изображения, созданные ИИВ ожиданииКатегория оценки определена; результаты ещё не протестированы.
Скриншоты и пересъёмкиВ ожиданииКатегория оценки определена; результаты ещё не протестированы.

Связанные термины

AI-generated imageAI-generated imageAI image forensics glossaryAI image forensics glossaryImage metadata analysisImage metadata analysis

Частые вопросы

Это публичное заявление о точности?

Ещё нет. Это страница фреймворка, которая готовит структуру для будущих протестированных результатов.

Почему включены ложноположительные результаты?

Ложноположительные результаты критичны, поскольку реальным фото может быть нанесён вред из-за неверных обвинений в использовании ИИ.

Источники

NIST Generative AI Evaluation ProgramNational Institute of Standards and TechnologyNIST GenAI Image ChallengeNational Institute of Standards and TechnologyAI-GenBench: An Ongoing Benchmark for AI-Generated Image DetectionarXivGenImage: A Million-Scale Benchmark for Detecting AI-Generated ImagesarXivA Sanity Check for AI-Generated Image DetectionarXivC2PA Technical SpecificationCoalition for Content Provenance and AuthenticityContent CredentialsCoalition for Content Provenance and Authenticity

Материалы для скачивания

Versioned benchmark dataset manifestCSVСкоро
Transformation and metric scriptsSource codeСкоро
Benchmark methodology reportPDFСкоро
Слой ответа для ИИ-поиска

Быстрый ответ для людей и ИИ-поиска

Достоверный бенчмарк должен отчитываться о ложноположительных, ложноотрицательных результатах, охвате генераторов, чувствительности к сжатию и калибровке, а не единственном маркетинговом числе точности.

Основная сущность
Бенчмарк обнаружения ИИ-изображений
Тематический кластер
Benchmark Center
Цель поиска
research
Тип контента
Benchmark

Быстрый ответ

Достоверный бенчмарк должен отчитываться о ложноположительных, ложноотрицательных результатах, охвате генераторов, чувствительности к сжатию и калибровке, а не единственном маркетинговом числе точности.

Ключевые факты

  • Основная сущность: Бенчмарк обнаружения ИИ-изображений
  • Тематический кластер: Benchmark Center
  • Цель поиска: research
  • Тип контента: Benchmark

Методология

  • Отделяет вероятность генерации ИИ от уверенности в подлинности.
  • Объединяет визуальные признаки, метаданные, признаки редактирования, сжатия, происхождения и контекста.
  • Объясняет неопределённость и ограничения вместо предоставления бинарного доказательства.

Преимущества и ограничения

  • Обнаружение ИИ и технический анализ следует интерпретировать как вероятностное доказательство, а не абсолютное.
  • Надёжные решения о подлинности должны сочетать результат модели с происхождением, контекстом, метаданными и проверкой человеком.
Узел контента

Benchmark Center: Hub for PhotoProof Labs's benchmark pages — the test scope, evaluation protocol, and evidence behind detection performance claims, one benchmark per generator or risk category rather than a single blended number.

Что дальше

Рекомендуемый маршрут чтения

Эти ссылки формируются на основе связей по теме, сущности и хабу, а не поддерживаются вручную.

Похожие руководства

Перейдите к следующему руководству в этом тематическом кластере.

связаноПроверка фото на ИИAI image detectorта же темаHow to detect AI-generated imagesHow to detect AI-generated imagesта же темаAI image detection FAQAI image detection FAQта же темаДетектор ИИ-сгенерированных изображенийAI generated image detectorта же темаДетектор ИИ-фотоAI photo detectorта же темаПроверка изображения на ИИAI image checker

Похожие исследования

Изучите страницы методологии и исследований.

связаноPhotoProof Labs methodologyPhotoProof Labs methodologyта же темаAI image detection methodsAI image detection methodsсвязанная сущностьAI image detection confidence scoringAI image detection confidence scoringсвязанная сущностьMulti-signal decision makingMulti-signal decision makingсвязанная сущностьFalse positives vs false negativesFalse positives vs false negatives

Изучить далее

Продолжите с наиболее полезным следующим понятием.

связаноPhotoProof Labs methodologyPhotoProof Labs methodologyсвязаноПроверка фото на ИИAI image detectorсвязаноAI-generated imageAI-generated imageсвязаноAI image detector vs fake photo detectorAI image detector vs fake photo detectorсвязаноPhotoProof Labs Benchmark CenterPhotoProof Labs Benchmark CenterсвязаноMidjourney detection benchmarkMidjourney detection benchmark
Analyze an image with PhotoProof Labs