Descubren en la Inteligencia Artificial CLIP la vulnerabilidad de lectura tanto de texto como de imágenes, donde el error radica en priorizar el texto sobre el objeto a clasificar.
OpenAI es una compañía dedicada a la investigación y desarrollo de Inteligencia Artificial, intentando promoverla para beneficio de la humanidad.
CLIP es una IA de OpenAI que busca texto y clasifica imágenes dependiendo las categorías, si se le pide encontrar una fruta en específico entre varias funciona correctamente.
Pero al mezclar la capacidad de reconocimiento de texto e imagen se presenta una debilidad y una fortaleza.
Se le pidió buscar manzanas en una imagen, mostrándole una manzana con «iPad» escrito, respondiendo una iPad en lugar de apple (manzana en inglés).
The latest generation of adversarial image attacks is, uh, somewhat simpler to carry out https://t.co/CBnA53lEcy pic.twitter.com/h4e0bShq9i
— Brendan Dolan-Gavitt (@moyix) March 4, 2021
Los investigadores dijeron que a este se le llama «ataque tipográfico» sobre CLIP.
En el blog se menciona que los ataques similares no están cerca de ser una preocupación. Según los investigadores la vulnerabilidad a este tipo de ataque es debido a lo sofisticado de su desarrollo.
«Lo que distingue CLIP es cuestión de grado, las neuronas se generalizan en lo literal y lo icónico pudiendo ser un arma de doble filo».
Discriminación o sesgo
En varios ejemplos CLIP se equivocaba, si en los objetos se colocaba el signo de dólar los clasificaban como alcancías. Demostrando que la CLIP no puede ver después de la etiqueta para saber lo que hay debajo.
En otras ocasiones Estados Unidos ha admitido que el software de reconocimiento facial con lleva sesgos raciales. Esto coloca sobre la mesa los defectos y prejuicios de los creadores.
Los investigadores de OpenAi destacan que el entrenamiento de la Inteligencia Artificial fue en un subconjunto seleccionado de internet del que se hereda el sesgo y situaciones que no se controlan al llevar a cabo el entrenamiento.
