Centrum benchmarków PhotoProof Labs

Dlaczego wąskie benchmarki dla poszczególnych generatorów zamiast jednej liczby

Pojedyncza uśredniona liczba dokładności ukrywa więcej, niż ujawnia: trudność wykrywania znacznie różni się w zależności od generatora, typu obrazu i stanu degradacji. Centrum benchmarków ogranicza każdy benchmark do konkretnego scenariusza wykrywania — ogólnego wykrywania obrazów AI, deepfake'ów i manipulacji tożsamością oraz (począwszy od Midjourney) wykrywania dla poszczególnych generatorów — aby czytelnik mógł znaleźć liczbę faktycznie odpowiadającą jego przypadkowi użycia, a nie marketingową średnią.

Do czego zobowiązuje się każdy benchmark na tej stronie

Każda strona benchmarku dokumentuje swój protokół oceny (rozmiar zestawu testowego, próg punktacji, obsługę remisów, powtarzalność) oraz skład zestawu danych (jakie kategorie obrazów są uwzględnione i dlaczego) jako pełnoprawną część strony — nie załącznik. Jest to celowe: metodologia benchmarku powinna być możliwa do zweryfikowania, zanim zaufa się jego liczbom, a ta weryfikacja nie powinna wymagać czytania osobnego dokumentu.

Aktualne benchmarki

Benchmark ogólnego wykrywania obrazów AI oraz benchmark wykrywania deepfake'ów definiują swoje ramy oceny i czekają na zakończenie przebiegu testowego. Benchmark wykrywania Midjourney rozszerza to na konkretny, szeroko stosowany generator, ponieważ trudność wykrywania wyników jednego generatora niekoniecznie przekłada się na inny.

Dlaczego wyniki są oznaczone jako „Oczekujące” zamiast pokazywać liczbę?

Ponieważ żadna liczba nie została jeszcze wygenerowana przez rzeczywisty, udokumentowany przebieg testowy. Publikacja wiarygodnie brzmiącej liczby zastępczej byłaby dla czytelnika nie do odróżnienia od sfabrykowanego twierdzenia — ramy oceny są publikowane najpierw, uczciwie, a wyniki są dodawane dopiero po zakończeniu rzeczywistego testowania.

Czy każdy generator AI ostatecznie otrzyma własny benchmark?

Celem jest priorytetyzowanie generatorów o znaczącym popycie wyszukiwania i różnicach w trudności wykrywania, a nie tworzenie wyczerpującego benchmarku dla każdego istniejącego modelu — zobacz Centrum badawcze, aby uzyskać szerszy kontekst techniczny dotyczący generatorów, które nie mają jeszcze dedykowanego benchmarku.