Google presentó recientemente su nueva Inteligencia Artificial llamada ScreenAI y sin duda alguna, es algo que llegará para cambiar totalmente el futuro de nuestra experiencia como usuario para siempre. Aquí te mostraremos qué es y cuáles son esas novedades que cambiarán para siempre nuestra experiencia dentro de la web.

ScreenAI ¿Qué es?

En principio, ScreenAI se trata de un modelo de visión-lenguaje, o VLM por sus siglas en inglés, desarrollado por Google AI, el cual comprende tanto interfaces de usuarios como infografías. Así, Google presentó algo increíble, capaz de realizar tareas como respuestas gráficas a preguntas, anotación de elementos, resúmenes, navegación y control de calidad específico de la interfaz de un usuario.

El cómo funciona es sencillo, ya que no es más que un intérprete de la interfaz de usuario todopoderoso. Así, ScreenAI usa etapas diferentes para desempeñar mejor sus funciones. Estas etapas son las siguientes:

Capacitación previa: En principio, aplica el aprendizaje autosupervisado para generar automáticamente etiquetas de datos.

Ajuste fino: Seguidamente, usa los datos etiquetados manualmente por evaluadores humanos, así que su automatización no será la respuesta de un simple robot, dando resultados perfectos.

Características de ScreenAI

ScreenAI cuenta con excelentes características que demuestran su potencia, en las que destacan:

Respuestas a preguntas: La Inteligencia Artificial es capaz de responder preguntas sobre lo que contienen las capturas de pantallas que hacemos. Si tenemos alguna duda de lo que vemos en una interfaz, solo debemos tomar una captura de pantalla y dársela a ScreenAI. Responderá de forma general o específica.

Navegación en pantalla: El modelo transforma una expresión en lenguaje natural en una acción que puede ejecutar en una pantalla. Por ejemplo, si le decimos “haz clic en el botón de búsqueda”, específicamente accionará la pantalla en la sección donde esté el botón de búsqueda.

Resumen de pantalla: Una de las opciones que más tiempo nos ahorrará, es que es capaz de resumir todo lo que se encuentra en pantalla en una o dos oraciones, facilitando enormemente la búsqueda de algún elemento específico.

Google mencionó que este es el futuro de la interacción de la interfaz de usuario y que la IA mejorará por completo la experiencia de todos sus usuarios. Estamos cerca del futuro en el que no deberemos presionar botones en un teclado o hacer clic en un mouse y bastará con decirle a nuestra computadora que haga tal acción.

Aunque ScreenAI aún no está disponible y de hecho, tan solo es un proyecto de investigación de momento, Google aseguró que es un proyecto consolidado y que está dispuesto a transformar la forma en como navegamos ¡Mantente atento, porque esto es algo que podría cambiar por completo todo lo que sabemos sobre navegación!