El Beautyverse
Los filtros faciales de embellecimiento que utilizan técnicas de IA son cada vez más populares en las plataformas de redes sociales. Estos filtros aprovechan los avances algorítmicos para detectar automáticamente el rostro y los rasgos faciales del usuario, y la Realidad Aumentada para superponer contenido digital en tiempo real, mejorando o distorsionando la imagen facial original.
Diferentes tipos de filtros faciales están disponibles en las redes sociales para una variedad de aplicaciones y casos de uso. En los últimos años, estos filtros faciales se utilizan cada vez más para embellecer los rostros originales y hacer que se ajusten a ciertos cánones de belleza modificando digitalmente los rasgos faciales. Nos referimos a estos filtros como filtros de belleza; y nos referimos al conjunto de normas estéticas de autorrepresentación que portan como el BeautyVerse.
Hoy en día, miles de filtros de belleza están disponibles en Instagram y otras plataformas de redes sociales. Estos filtros aplican transformaciones similares a la imagen de entrada, de manera que los rostros embellecidos tienen piel suave y de color uniforme, ojos y cejas con forma de almendra, labios carnosos, nariz pequeña y una estructura de mejilla prominente.
Gracias a nuestro proyecto “OpenFilter”, hemos creado dos conjuntos de datos disponibles públicamente (FairBeauty y B-LFW) para investigar computacionalmente las características del Beautyverse. FairBeauty es la versión embellecida de FairFace, un conjunto de datos de caras que es diversa por diseño, teniendo en cuenta la edad, el género, la raza, la posición y otras características. B-LFW es, en cambio, una versión mejorada de LFW, un conjunto de datos de caras utilizado como referencia para el reconocimiento facial. Hay más información disponible sobre OpenFilter y los conjuntos de datos aquí.
En nuestros experimentos hemos encontrado que los filtros de embellecimiento:
- Homogeneizan la belleza y reducen la diversidad;
- No impactan a los algoritmos de reconocimiento facial;
- Contienen sesgos.
1. Homogeneizacion de la belleza
Nuestra hipótesis es que los filtros de belleza homogeneizan la estética facial haciendo que los rostros embellecidos sean más similares entre sí. En este experimento, nuestro objetivo es evaluar si la aplicación de filtros de belleza reduce la diversidad. Para ello, consideramos los conjuntos de datos de caras: FairFace y FairBeauty. Llevamos a cabo este experimento utilizando los seis modelos diferentes de procesamiento de caras: DeepFace, VGG-Face, Facenet, CurricularFace, MagFace y ElasticFace. Calculamos las distancias entre un subconjunto diferente de 500 pares de imágenes, de modo que las mediciones generales consideren 3000 pares de imágenes distintos, para minimizar posibles sesgos en los resultados. Evaluamos la homogeneización utilizando la distancia promedio de todos los pares muestreados de los conjuntos de datos FairFace y FairBeauty, es decir, cuanto menor es la distancia promedio, mayor es la homogeneización.
Como referencia, realizamos el mismo cálculo cuando aplicamos filtrado gaussiano (desenfoque) y reducción de muestreo (pixelación) a las caras originales del conjunto de datos FairFace. Esta comparación permite una mejor comprensión de la posible pérdida de diversidad debido a los filtros de belleza.
Los resultados de este experimento se muestran en la siguiente figura.
Para cada par, las distancias entre las imágenes transformadas se trazan en términos de diferencias respecto a la distancia entre las imágenes originales. Un valor de 0 (trazado como una línea discontinua roja en la Figura) significa que no hay diferencia entre la distancia original y la distancia después de aplicar una transformación, es decir, la transformación no afecta la distancia entre las caras. En todos los casos, las medidas obtenidas en la versión mejorada tienen una distancia promedio más baja que las del conjunto de datos original. En otras palabras, según estos experimentos, los rostros embellecidos en FairBeauty son estadísticamente más similares entre sí que los rostros originales.
2. Impacto en el Reconocimiento Facial
Evaluamos la tasa de error de tres modelos de reconocimiento facial de última generación (CurricularFace, ElasticFace y MagFace) en el conjunto de datos LFW original, en cada filtro de belleza único aplicado a LFW y en el conjunto de datos B-LFW (en el que se utilizan diferentes filtros de belleza que se aplican sobre diferentes imágenes del mismo individuo). Para realizar estos experimentos, filtramos todo el conjunto de datos de LFW con cada uno de los filtros, creando ocho variantes diferentes, una para cada filtro de belleza. Los resultados obtenidos se muestran en la siguiente tabla.
Observamos que los resultados en B-LFW no muestran una disminución significativa en la tasa de error de los modelos de reconocimiento facial de última generación.
3. Sesgos en los Filtros
En estos experimentos, investigamos si los filtros de belleza implícitamente hacen que las personas embellecidas independiemente de su raza de vuelvan más blancas. Para abordar esta pregunta, aprovechamos dos algoritmos de análisis de caras y clasificación automática de la raza de última generación. Los rostros en FairFace están etiquetados de acuerdo con siete grupos raciales diferentes: negro, asiático oriental, indio, hispano latino, del Medio Oriente, del sudeste asiático y blanco. En nuestros experimentos, muestreamos aleatoriamente un subconjunto de 5000 caras para cada raza. Comparamos el rendimiento de los algoritmos de predicción de carreras en las imágenes de rostros de FairFace y la versión embellecida correspondiente en FairBeauty.
El valor predicho de la etiqueta Blanca aumenta significativamente en los rostros embellecidos de todas las razas en comparación con las imágenes originales no embellecidas. Además, hay una pérdida significativa tasa de acierto del algoritmo de clasificación de razas cuando se aplica a las caras embellecidas de la mayoría de las razas, excepto en las imágenes etiquetadas como blancas, cuya tasa de acierto aumenta en la versión embellecida de las caras originales. En otras palabras, existe una mayor probabilidad de clasificar los rostros embellecidos –independientemente de su raza– como blancos.
Nuestro trabajo en los medios
Levante: El sesgo racista de los filtros de belleza de Instagram y Tik Tok
Diario de Mallorca: El sesgo racista de los filtros de belleza de Instagram y Tik Tok
ELLE: Nuria Oliver: “Los algoritmos definen la belleza”