Ложноположительные и ложноотрицательные результаты при обнаружении ИИ-изображений

Определения

Ложноположительный результат — это реальное, снятое камерой фото, неверно помеченное как созданное или изменённое ИИ. Ложноотрицательный результат — это созданное или изменённое ИИ изображение, которое не помечается — оно проходит как явно подлинное.

Почему существует компромисс

Делая детектор более агрессивным в отношении обнаружения ИИ-изображений (снижая ложноотрицательные результаты), обычно повышают частоту, с которой необычные, но подлинные фото помечаются (повышая ложноположительные результаты), и наоборот. Это структурное свойство вероятностного обнаружения, а не ошибка, специфичная для какого-то одного инструмента.

• Сильно отредактированные, но подлинные фото (HDR, вычислительная фотография) могут напоминать артефакты ИИ
• Скриншоты и пересъёмки теряют метаданные, которые иначе подтверждали бы подлинность
• Более новые генераторы могут уменьшать визуальные артефакты, на которые полагались более старые детекторы, повышая число ложноотрицательных результатов до обновления моделей

Почему контекст определяет, какая ошибка важнее

Платформа модерации контента, проверяющая тысячи загрузок, может допускать больше ложноположительных результатов (направляя подлинный контент на проверку человеком), чтобы минимизировать ложноотрицательные результаты (не пропуская синтетический контент в массовом масштабе). Человек, проверяющий одно фото профиля для знакомств ради личной безопасности, может предпочесть противоположный баланс, поскольку ложное обвинение имеет прямую социальную цену в этом контексте.

Как PhotoProof Labs решает эту проблему

Вместо выбора одного фиксированного компромисса PhotoProof Labs сообщает вероятность наряду с оценкой уверенности (см. страницу оценки уверенности), так что результат с низкой уверенностью — где непропорционально концентрируются как ложноположительные, так и ложноотрицательные результаты — заметно помечается как требующий дальнейшей проверки, а не преподносится с ложной определённостью.

Может ли PhotoProof Labs полностью исключить ложноположительные результаты?

Ни один детектор не может свести ложноположительные результаты к нулю, не увеличив при этом ложноотрицательные. Оценка уверенности PhotoProof Labs призвана сделать результаты с низкой определённостью видимыми, а не устранить лежащий в основе компромисс, что невозможно для любого вероятностного детектора.

Какому типу ошибок PhotoProof Labs отдаёт приоритет?

Ни один не зафиксирован как более важный — оценка уверенности существует специально для того, чтобы пользователи могли применять собственное суждение, соответствующее контексту, вместо того чтобы PhotoProof Labs принимал это решение за каждый случай использования.