Podstawa benchmarku

Ramy benchmarku wykrywania obrazów AI

Name: Ramy benchmarku wykrywania obrazów AI model sygnałów
Creator: PhotoProof Labs
License: https://photoproof.co/pl/terms

Ramy benchmarku do oceny wykrywania obrazów AI w różnych generatorach, poziomach jakości obrazu, stanach kompresji i scenariuszach ryzyka.

Szczegóły publikacji

Autor: PhotoProof Labs Research
Recenzent: PhotoProof Labs Editorial Review
Opublikowano: 2026-08-04
Ostatnia aktualizacja: 2026-08-04

Historia zmian

2026-08-04 — Expanded the benchmark foundation into a complete evaluation framework and disclosure policy.

Szybka odpowiedź

Solidny benchmark wykrywania obrazów AI powinien mierzyć wydajność w różnych generatorach, poziomach kompresji, prawdziwych zdjęciach, edytowanych zdjęciach, zrzutach ekranu i niejednoznacznych obrazach o mieszanym pochodzeniu.

Kluczowe fakty

Benchmarki muszą uwzględniać fałszywie pozytywne wyniki
Zasięg generatorów ma znaczenie
Kompresja i przesyłanie do mediów społecznościowych zmieniają wydajność

Cel benchmarku

Strony benchmarków dają PhotoProof Labs przyszły zasób badawczy, który może zdobywać cytowania i wspierać twierdzenia o zaufaniu bez polegania na niejasnym marketingu dokładności.

Wymiary oceny

Użyteczny benchmark powinien testować wiele źródeł obrazów i warunków jakości.

Prawdziwe zdjęcia z aparatu
Obrazy wygenerowane przez AI
Obrazy edytowane przez AI
Zrzuty ekranu
Skompresowane kopie z mediów społecznościowych
Twarze w stylu deepfake

Metryki

Benchmark powinien raportować prawdziwie pozytywne, fałszywie pozytywne, fałszywie negatywne wyniki, jakość kalibracji, rozkład pewności i przypadki brzegowe.

Objęte modele

Closed text-to-image servicesOpen diffusion model familiesLegacy GAN-based generatorsImage-to-image and inpainting systemsAI upscalers and restoration tools

Closed text-to-image services: Version, generation date, interface, settings, and automatic post-processing must be recorded for each run.
Open diffusion model families: Coverage should include multiple checkpoints, samplers, adapters, and output pipelines rather than one default configuration.
Legacy GAN-based generators: Included for historical continuity, but results must not be treated as representative of modern generator performance.
Image-to-image and inpainting systems: Evaluated separately as mixed-origin or AI-edited content rather than merged with fully synthetic images.
AI upscalers and restoration tools: Used to test whether enhancement pipelines produce detector errors on otherwise authentic content.

Protokół oceny

Rozmiar zestawu testowego: To be published with each versioned run; no final public sample count is claimed yet.
Próg punktacji: Thresholds must be selected on validation data and frozen before test evaluation. Multiple operating points may be reported.
Obsługa remisów: Ambiguous, unsupported, and inconclusive responses are retained and reported; they are not silently removed or counted as correct.
Powtarzalność: Each release should record dataset revision, source categories, collection dates, detector versions, label mappings, transformation parameters, and metric code.

Skład danych

Prawdziwe zdjęcia z aparatuNieedytowane fotografie zarejestrowane bezpośrednio aparatem lub smartfonem, używane do pomiaru fałszywie pozytywnych wyników.

Obrazy wygenerowane przez AIWyniki wielu rodzin generatorów (opartych na dyfuzji i GAN), używane do pomiaru odsetka prawdziwie pozytywnych wyników.

Obrazy edytowane przez AIPrawdziwe fotografie z edycjami wspomaganymi przez AI (inpainting, powiększanie, usuwanie obiektów) — trudniejszy przypadek pośredni.

Zrzuty ekranu i ponowne przechwyceniaObrazy, które utraciły metadane aparatu w wyniku zrzutu ekranu lub ponownego fotografowania — częsty wyzwalacz fałszywie pozytywnych wyników.

Skompresowane kopie z mediów społecznościowychObrazy ponownie zakodowane przez typowe procesy przesyłania platform społecznościowych, do pomiaru odporności na rzeczywistą degradację.

Metryki benchmarku

Prawdziwe zdjęcia z aparatuOczekująceKategoria oceny zdefiniowana; wyniki jeszcze nietestowane.

Obrazy wygenerowane przez AIOczekująceKategoria oceny zdefiniowana; wyniki jeszcze nietestowane.

Zrzuty ekranu i ponowne przechwyceniaOczekująceKategoria oceny zdefiniowana; wyniki jeszcze nietestowane.

Powiązane terminy

AI-generated imageAI-generated image AI image forensics glossaryAI image forensics glossary Image metadata analysisImage metadata analysis

Najczęstsze pytania

Czy to publiczne twierdzenie o dokładności?

Jeszcze nie. To strona ram, która przygotowuje strukturę dla przyszłych przetestowanych wyników.

Dlaczego uwzględniono fałszywie pozytywne wyniki?

Fałszywie pozytywne wyniki są kluczowe, ponieważ prawdziwym zdjęciom może zaszkodzić błędne oskarżenie o AI.

Źródła

NIST Generative AI Evaluation ProgramNational Institute of Standards and Technology NIST GenAI Image ChallengeNational Institute of Standards and Technology AI-GenBench: An Ongoing Benchmark for AI-Generated Image DetectionarXiv GenImage: A Million-Scale Benchmark for Detecting AI-Generated ImagesarXiv A Sanity Check for AI-Generated Image DetectionarXiv C2PA Technical SpecificationCoalition for Content Provenance and Authenticity Content CredentialsCoalition for Content Provenance and Authenticity

Materiały do pobrania

Versioned benchmark dataset manifestCSVWkrótce

Transformation and metric scriptsSource codeWkrótce

Benchmark methodology reportPDFWkrótce

Warstwa odpowiedzi wyszukiwania AI

Szybka odpowiedź dla ludzi i wyszukiwania AI

Wiarygodny benchmark powinien raportować fałszywe alarmy, przeoczenia, pokrycie generatorów, wrażliwość na kompresję i kalibrację, a nie pojedynczą marketingową liczbę dokładności.

Główna jednostka: Benchmark wykrywania obrazów AI
Klaster tematyczny: Benchmark Center
Intencja wyszukiwania: research
Typ treści: Benchmark

Szybka odpowiedź

Wiarygodny benchmark powinien raportować fałszywe alarmy, przeoczenia, pokrycie generatorów, wrażliwość na kompresję i kalibrację, a nie pojedynczą marketingową liczbę dokładności.

Kluczowe fakty

Główna jednostka: Benchmark wykrywania obrazów AI
Klaster tematyczny: Benchmark Center
Intencja wyszukiwania: research
Typ treści: Benchmark

Metodologia

Oddziela prawdopodobieństwo generowania przez AI od pewności autentyczności.
Łączy sygnały wizualne, metadanych, manipulacji, kompresji, proweniencji i kontekstu.
Wyjaśnia niepewność i ograniczenia zamiast przedstawiać binarny dowód.

Zalety i ograniczenia

Wykrywanie AI i kryminalistyczne należy interpretować jako dowód probabilistyczny, a nie bezwzględny dowód.
Wiarygodne decyzje o autentyczności powinny łączyć wynik modelu z proweniencją, kontekstem, metadanymi i weryfikacją przez człowieka.

Odgałęzienie treści

Benchmark Center: Hub for PhotoProof Labs's benchmark pages — the test scope, evaluation protocol, and evidence behind detection performance claims, one benchmark per generator or risk category rather than a single blended number.

Zobacz dalej