Основа на бенчмарка

Рамка за бенчмарк за откриване на ИИ изображения

Name: Рамка за бенчмарк за откриване на ИИ изображения модел на сигналите
Creator: PhotoProof Labs
License: https://photoproof.co/bg/terms

Рамка за бенчмарк за оценка на откриването на ИИ изображения в различни генератори, нива на качество на изображението, състояния на компресия и рискови сценарии.

Детайли за публикацията

Автор: PhotoProof Labs Research
Рецензент: PhotoProof Labs Editorial Review
Публикувано: 2026-08-04
Последна актуализация: 2026-08-04

История на промените

2026-08-04 — Expanded the benchmark foundation into a complete evaluation framework and disclosure policy.

Бърз отговор

Силен бенчмарк за откриване на ИИ изображения трябва да измерва производителността в различни генератори, нива на компресия, реални снимки, редактирани снимки, скрийншоти и двусмислени изображения със смесен произход.

Ключови факти

Бенчмарковете трябва да включват фалшиво положителни резултати
Обхватът на генераторите има значение
Компресията и качванията в социални мрежи променят производителността

Цел на бенчмарка

Страниците с бенчмаркове дават на PhotoProof Labs бъдещ изследователски актив, който може да спечели цитирания и да подкрепи твърдения за доверие, без да разчита на неясен маркетинг за точност.

Измерения на оценката

Полезен бенчмарк трябва да тества множество произходи на изображения и условия на качество.

Реални снимки с камера
Изображения, генерирани от ИИ
Изображения, редактирани от ИИ
Скрийншоти
Компресирани копии от социални мрежи
Лица в стил дийпфейк

Метрики

Бенчмаркът трябва да отчита истински положителни, фалшиво положителни, фалшиво отрицателни резултати, качество на калибрирането, разпределение на увереността и гранични случаи.

Обхванати модели

Closed text-to-image servicesOpen diffusion model familiesLegacy GAN-based generatorsImage-to-image and inpainting systemsAI upscalers and restoration tools

Closed text-to-image services: Version, generation date, interface, settings, and automatic post-processing must be recorded for each run.
Open diffusion model families: Coverage should include multiple checkpoints, samplers, adapters, and output pipelines rather than one default configuration.
Legacy GAN-based generators: Included for historical continuity, but results must not be treated as representative of modern generator performance.
Image-to-image and inpainting systems: Evaluated separately as mixed-origin or AI-edited content rather than merged with fully synthetic images.
AI upscalers and restoration tools: Used to test whether enhancement pipelines produce detector errors on otherwise authentic content.

Протокол за оценка

Размер на тестовия набор: To be published with each versioned run; no final public sample count is claimed yet.
Праг на оценяване: Thresholds must be selected on validation data and frozen before test evaluation. Multiple operating points may be reported.
Обработка на равенства: Ambiguous, unsupported, and inconclusive responses are retained and reported; they are not silently removed or counted as correct.
Възпроизводимост: Each release should record dataset revision, source categories, collection dates, detector versions, label mappings, transformation parameters, and metric code.

Състав на данните

Реални снимки с камераНередактирани снимки, заснети директно с камера или смартфон, използвани за измерване на фалшиво положителни резултати.

Изображения, генерирани от ИИРезултати от множество семейства генератори (базирани на дифузия и GAN), използвани за измерване на степента на истински положителни резултати.

Изображения, редактирани от ИИРеални снимки с редакции, подпомогнати от ИИ (inpainting, увеличаване на мащаба, премахване на обекти) — по-труден междинен случай.

Скрийншоти и повторни заснеманияИзображения, загубили метаданни на камерата чрез скрийншот или повторно заснемане — често срещан тригер за фалшиво положителни резултати.

Компресирани копии от социални мрежиИзображения, прекодирани чрез типичните конвейери за качване на социални платформи, за измерване на устойчивостта на реална деградация.

Метрики на бенчмарка

Реални снимки с камераОчаква сеКатегорията на оценка е дефинирана; резултатите все още не са тествани.

Изображения, генерирани от ИИОчаква сеКатегорията на оценка е дефинирана; резултатите все още не са тествани.

Скрийншоти и повторни заснеманияОчаква сеКатегорията на оценка е дефинирана; резултатите все още не са тествани.

Свързани термини

AI-generated imageAI-generated image AI image forensics glossaryAI image forensics glossary Image metadata analysisImage metadata analysis

Често задавани въпроси

Това публично твърдение за точност ли е?

Все още не. Това е страница с рамка, която подготвя структурата за бъдещи тествани резултати.

Защо са включени фалшиво положителни резултати?

Фалшиво положителните резултати са критични, защото реални снимки могат да бъдат увредени от неправилни обвинения за ИИ.

Източници

NIST Generative AI Evaluation ProgramNational Institute of Standards and Technology NIST GenAI Image ChallengeNational Institute of Standards and Technology AI-GenBench: An Ongoing Benchmark for AI-Generated Image DetectionarXiv GenImage: A Million-Scale Benchmark for Detecting AI-Generated ImagesarXiv A Sanity Check for AI-Generated Image DetectionarXiv C2PA Technical SpecificationCoalition for Content Provenance and Authenticity Content CredentialsCoalition for Content Provenance and Authenticity

Материали за изтегляне

Versioned benchmark dataset manifestCSVОчаквайте скоро

Transformation and metric scriptsSource codeОчаквайте скоро

Benchmark methodology reportPDFОчаквайте скоро

Слой за отговор при ИИ търсене

Бърз отговор за хора и ИИ търсене

Достоверният бенчмарк трябва да отчита фалшиви положителни, фалшиви отрицателни резултати, обхват на генераторите, чувствителност към компресия и калибриране, а не едно маркетингово число за точност.

Основна същност: Бенчмарк за откриване на ИИ изображения
Тематичен клъстер: Benchmark Center
Намерение за търсене: research
Тип съдържание: Benchmark

Бърз отговор

Ключови факти

Основна същност: Бенчмарк за откриване на ИИ изображения
Тематичен клъстер: Benchmark Center
Намерение за търсене: research
Тип съдържание: Benchmark

Методология

Разделя вероятността за генериране от ИИ от увереността в автентичността.
Съчетава визуални сигнали, метаданни, признаци на манипулация, компресия, произход и контекст.
Обяснява несигурността и ограниченията, вместо да представя бинарно доказателство.

Предимства и ограничения

Откриването на ИИ и криминалистичният анализ трябва да се тълкуват като вероятностно доказателство, а не абсолютно.
Надеждните решения за автентичност трябва да съчетават резултата от модела с произход, контекст, метаданни и човешка проверка.

Възел на съдържание

Benchmark Center: Hub for PhotoProof Labs's benchmark pages — the test scope, evaluation protocol, and evidence behind detection performance claims, one benchmark per generator or risk category rather than a single blended number.

Разгледайте следващо