Fondation du benchmark

Cadre de benchmark de détection d'images IA

Un cadre de benchmark pour évaluer la détection d'images IA à travers les générateurs, les niveaux de qualité d'image, les états de compression et les scénarios de risque.

Détails de publication

Auteur
PhotoProof Labs Research
Relu par
PhotoProof Labs Editorial Review
Publié
2026-08-04
Dernière mise à jour
2026-08-04

Historique des révisions

  • 2026-08-04 — Expanded the benchmark foundation into a complete evaluation framework and disclosure policy.

Réponse rapide

Un benchmark solide de détection d'images IA devrait mesurer les performances à travers les générateurs, les niveaux de compression, les vraies photos, les photos éditées, les captures d'écran et les images ambiguës d'origine mixte.

Faits clés

  • Les benchmarks doivent inclure les faux positifs
  • La couverture des générateurs compte
  • La compression et les téléversements sur les réseaux sociaux modifient les performances

Objectif du benchmark

Les pages de benchmark donnent à PhotoProof Labs un actif de recherche futur qui peut gagner des citations et soutenir des affirmations de confiance sans s'appuyer sur un marketing de précision vague.

Dimensions d'évaluation

Un benchmark utile devrait tester plusieurs origines d'images et conditions de qualité.

  • Vraies photos d'appareil photo
  • Images générées par IA
  • Images éditées par IA
  • Captures d'écran
  • Copies compressées de réseaux sociaux
  • Visages de type deepfake

Métriques

Le benchmark devrait rapporter les vrais positifs, faux positifs, faux négatifs, la qualité de calibration, la distribution de confiance et les cas limites.

Modèles couverts

Closed text-to-image servicesOpen diffusion model familiesLegacy GAN-based generatorsImage-to-image and inpainting systemsAI upscalers and restoration tools
  • Closed text-to-image services: Version, generation date, interface, settings, and automatic post-processing must be recorded for each run.
  • Open diffusion model families: Coverage should include multiple checkpoints, samplers, adapters, and output pipelines rather than one default configuration.
  • Legacy GAN-based generators: Included for historical continuity, but results must not be treated as representative of modern generator performance.
  • Image-to-image and inpainting systems: Evaluated separately as mixed-origin or AI-edited content rather than merged with fully synthetic images.
  • AI upscalers and restoration tools: Used to test whether enhancement pipelines produce detector errors on otherwise authentic content.

Protocole d'évaluation

Taille du jeu de test
To be published with each versioned run; no final public sample count is claimed yet.
Seuil de notation
Thresholds must be selected on validation data and frozen before test evaluation. Multiple operating points may be reported.
Gestion des égalités
Ambiguous, unsupported, and inconclusive responses are retained and reported; they are not silently removed or counted as correct.
Reproductibilité
Each release should record dataset revision, source categories, collection dates, detector versions, label mappings, transformation parameters, and metric code.

Composition des données

Vraies photos d'appareil photoPhotographies non éditées capturées directement par un appareil photo ou un smartphone, utilisées pour mesurer les faux positifs.
Images générées par IASorties de plusieurs familles de générateurs (basées sur la diffusion et les GAN), utilisées pour mesurer le taux de vrais positifs.
Images éditées par IAPhotographies réelles avec des éditions assistées par IA (inpainting, agrandissement, suppression d'objets), un cas intermédiaire plus difficile.
Captures d'écran et recapturesImages ayant perdu leurs métadonnées d'appareil photo via une capture d'écran ou une nouvelle prise de vue, un déclencheur courant de faux positifs.
Copies compressées de réseaux sociauxImages réencodées via les pipelines de téléversement typiques des plateformes sociales, pour mesurer la robustesse face à la dégradation réelle.

Métriques du benchmark

Vraies photos d'appareil photoEn attenteCatégorie d'évaluation définie ; résultats pas encore testés.
Images générées par IAEn attenteCatégorie d'évaluation définie ; résultats pas encore testés.
Captures d'écran et recapturesEn attenteCatégorie d'évaluation définie ; résultats pas encore testés.

Termes associés

AI-generated imageAI-generated imageAI image forensics glossaryAI image forensics glossaryImage metadata analysisImage metadata analysis

Questions fréquentes

Est-ce une affirmation publique de précision ?

Pas encore. Il s'agit d'une page de cadre qui prépare la structure pour de futurs résultats testés.

Pourquoi inclure les faux positifs ?

Les faux positifs sont critiques car de vraies photos peuvent être lésées par de fausses accusations d'IA.

Références

NIST Generative AI Evaluation ProgramNational Institute of Standards and TechnologyNIST GenAI Image ChallengeNational Institute of Standards and TechnologyAI-GenBench: An Ongoing Benchmark for AI-Generated Image DetectionarXivGenImage: A Million-Scale Benchmark for Detecting AI-Generated ImagesarXivA Sanity Check for AI-Generated Image DetectionarXivC2PA Technical SpecificationCoalition for Content Provenance and AuthenticityContent CredentialsCoalition for Content Provenance and Authenticity

Ressources téléchargeables

Versioned benchmark dataset manifestCSVBientôt disponible
Transformation and metric scriptsSource codeBientôt disponible
Benchmark methodology reportPDFBientôt disponible
Couche de réponse pour la recherche IA

Réponse rapide pour les humains et la recherche IA

Un benchmark crédible devrait rapporter les faux positifs, faux négatifs, la couverture des générateurs, la sensibilité à la compression et la calibration, plutôt qu'un simple chiffre de précision marketing.

Entité principale
Benchmark de détection d'images IA
Groupe thématique
Benchmark Center
Intention de recherche
research
Type de contenu
Benchmark

Réponse rapide

Un benchmark crédible devrait rapporter les faux positifs, faux négatifs, la couverture des générateurs, la sensibilité à la compression et la calibration, plutôt qu'un simple chiffre de précision marketing.

Faits clés

  • Entité principale: Benchmark de détection d'images IA
  • Groupe thématique: Benchmark Center
  • Intention de recherche: research
  • Type de contenu: Benchmark

Méthodologie

  • Sépare la probabilité de génération par IA de la confiance en l'authenticité.
  • Combine les signaux visuels, de métadonnées, de manipulation, de compression, de provenance et de contexte.
  • Explique l'incertitude et les limites plutôt que de présenter une preuve binaire.

Avantages et limites

  • La détection IA et forensique doit être interprétée comme une preuve probabiliste, pas une preuve absolue.
  • Les décisions fiables d'authenticité doivent combiner le résultat du modèle avec la provenance, le contexte, les métadonnées et une révision humaine.
Branche de contenu

Benchmark Center: Hub for PhotoProof Labs's benchmark pages — the test scope, evaluation protocol, and evidence behind detection performance claims, one benchmark per generator or risk category rather than a single blended number.

À explorer ensuite

Parcours de lecture recommandé

Ces liens sont générés à partir des relations de thème, d'entité et de hub, et non maintenus manuellement.

Analyze an image with PhotoProof Labs