РАЗРАБОТКА МОДЕЛИ ОБЪЯСНИМОГО ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ ОБНАРУЖЕНИЯ ПРИЗНАКОВ СИНТЕЗА ИЗОБРАЖЕНИЯ ЛИЦА ЧЕЛОВЕКА
Keywords:
Ключевые слова. GradCAM, HiResCAM, HiResCAM++, ResNeXt, EfficientNet, deepfakeAbstract
Аннотация. В рамках работы рассмотрены существующие подходы к обнаружению синтеза изображения лица человека. Был разработан алгоритм и реализующий его программный комплекс, в котором используется предложенная в работе модификация «HiResCAM++» метода объяснимого искусственного интеллекта GradCAM. С применением моделей машинного обучения ResNeXt и EfficientNet, осуществляется обнаружение признаков синтеза на изображениях, их визуализация, а также расчет вероятности синтеза изображения или видеозаписи. В результате были определены преимущества использования объяснимого искусственного интеллекта для решения задачи выявления синтеза изображений, а также подтверждены преимущества разработанной модификации «HiResCAM++» метода GradCAM для решения поставленной задачи.
References
Mirsky Y., Lee W. The creation and detection of deepfakes: A survey //ACM Computing Surveys (CSUR). – 2021. – Т. 54. – №. 1. – С. 1-41.
Guarnera L. et al. Preliminary forensics analysis of deepfake images //2020 AEIT international annual conference (AEIT). – IEEE, 2020. – С. 1-6.
Jain N. et al. Imperfect ImaGANation: Implications of GANs exacerbating biases on facial data augmentation and snapchat face lenses //Artificial Intelligence. – 2022. – Т. 304. – С. 103652.
Tolosana R. et al. Deepfakes and beyond: A survey of face manipulation and fake detection //Information Fusion. – 2020. – Т. 64. – С. 131-148.
Dufour N., Gully A. Contributing data to deepfake detection research //Google AI Blog. – 2019. – Т. 1. – №. 3.
Korshunov P., Marcel S., Fakes D. A new threat to face recognition? Assessment and detection. – 2018.
Oblizanov, A., Shevskaya, N., Kazak, A., Rudenko, M., & Dorofeeva, A. (2023). Evaluation Metrics Research for Explainable Artificial Intelligence Global Methods Using Synthetic Data. Applied System Innovation, 6(1), 26.
William I. et al. Face recognition using facenet (survey, performance test, and comparison) //2019 fourth international conference on informatics and computing (ICIC). – IEEE, 2019. – С. 1-6.
Draelos R. L., Carin L. Use HiResCAM instead of Grad-CAM for faithful explanations of convolutional neural networks //arXiv preprint arXiv:2011.08891. – 2020.
