Con el auge de la Inteligencia Artificial (IA) en Mentalidad Web nos preguntamos ¿Pueden los motores de búsqueda penalizar el contenido generado por IA? Testeamos algunas soluciones generativas de textos realizados con bots y los resultados fueron sorprendentes, las herramientas detectan con un 100% de precisión los contenido creado por IA. Revisa todos los detalles en la siguiente nota.

La irrupción de Chat GPT

Chat GPT se ha robado toda la atención de la gente y los distintos medios, ya que es capaz de responder diversas preguntas e incluso realizar tareas complejas, de hecho, es capaz de pasar el Test de Turing. Algunas utilidades que posee Chat GPT son:

• • Responder preguntas sencillas y complejas.
  • Creación de chatbots.
  • Generar códigos de programación en un lenguaje que se le pida.
  • Generar contenido para blogs y portales de noticias.

El estudio del equipo de Mentalidad Web enfatiza en este último punto, ya que para quienes redacten contenido, la solución aparentemente se ve buenísima. Sin embargo, en el peor de los casos, si Google tuviera la factibilidad de poder detectar el contenido generado por inteligencia artificial, la penalización podría caer con fuerza ¿Es factible o no que suceda esto?

El Experimento

Para salir de dudas, Fernando Saavedra, ingeniero de datos y de servicios Cloud de Mentalidad Web, puso a prueba los textos generados con IA con diferentes detectores de contenido generado por IA disponibles en internet. La prueba de control se basó en 10 textos de distinta índole, 5 generados por humanos y 5 generados por Chat GPT.

Los textos seleccionados para el estudio fueron escritos en inglés, ya que es el idioma universal y el objetivo es detectar tanto predicciones correctas como predicciones erróneas (falsos positivos y falsos negativos). Lo anterior debido a que sería muy triste que se penalizara a escritores cuyo contenido es original y en algunos casos podría pasar. Para efectos de este experimento las métricas con las que se midió la performance de los detectores fueron las siguientes:  

• Accuracy: (Positivos Verdaderos + Negativos Verdaderos) / Total
• Precision: (Positivos Verdaderos) / (Total predicciones positivas)
• Recall: (Positivos Verdaderos) / (Positivos Reales)
• F-1 Score: 2*(Precision * Recall) / (Precision + Recall)

Si tienes alguna duda de esto, aquí te dejamos un post más detallado acerca de métricas de evaluación de modelos de clasificación.

Por otro lado, los detectores que fueron utilizados este análisis son:

• Content at scale.
• Copyleaks.
• Crossplag.
• Smodin.
• Sapling.
• Contentdetector.ai.
• Huggingface.

En este caso en particular, vamos a plantear la hipótesis de que si existen herramientas de acceso libre en la web que son capaces de predecir si un contenido es generado por humanos o no, Google también puede hacerlo y penalizar a aquellos sitios que incurran en esta práctica no deseada. Dicho esto y aclarado lo anterior, lo que estaban esperando ¡Vamos a ver qué pasó!

Resultados

Después de probar los distintos textos con sus respectivas predicciones, los resultados entregados por los detectores fueron los siguientes:

Content At Scale

Accuracy: 70%.

Precision: 66.7%.

Recall: 80%.

F-1 Score: 72.7%.

Copyleaks (Flawless Victory)

Accuracy: 100%.

Precision: 100%.

Recall: 100%.

F-1 Score: 100%.

Crossplag

Accuracy: 90%.

Precision: 66.7%.

Recall: 100%.

F-1 Score: 80%.

Saplig (Fatality)

Accuracy: 100%.

Precision: 100%.

Recall: 100%.

F-1 Score: 100%.

Content Detector AI

Accuracy: 60%.

Precision: 66.7%.

Recall: 40%.

F-1 Score: 50%.

Resumen de Resultados

A partir de los resultados obtenidos del experimento, podemos apreciar en términos generales la performance de los detectores. ¿Impresionante no?

Conclusiones

Los detectores de contenido generado por IA funcionaron mucho mejor de lo que se esperaba, en términos de rendimiento y Google tiene el poder de fuego para poder llevar una penalización de este tipo sin problemas, ya que tiene mucha información y capacidad computacional para entrenar modelos detectores de contenido.

Para efectos del experimento, los mejores detectores fueron Copy Leaks y Saplig, los cuales tuvieron un nivel de performance del 100%, es decir, no se equivocaron en ningún caso. Es importante recalcar el hecho de que una inteligencia artificial pase el test de turing u otro test, no implica que no puedan existir modelos que sean capaces de detectar el contenido generado por ellas, ya que este tipo de modelos, se centran en la manera que la IA tiene para escribir, es decir, en su estilo y forma de redacción. 

Lo más recomendable es utilizar las IA para complementar y apoyar el proceso de creación de contenido, y así hacerlo más rápido y eficiente. Recuerda que la creatividad y la originalidad siempre son bien compensados.

Como consejo adicional, no es recomendable basar tu estrategia digital sólo en SEO, ya que una penalización podría borrarte por completo del mapa. Es mucho mejor apuntar a estrategias enfocadas en la omnicanalidad, con buenas políticas de protección de los datos y con sistemas de medición que permitan tomar decisiones lo más rápido posible. 

Si necesitas asesoría, capacitación o implementación de estrategias digitales, en Mentalidad Web contamos con una amplia variedad de servicios. Para mayor información, visítanos en nuestro sitio web https://www.mentalidadweb.com o a nuestro correo electrónico comercial@mentalidadweb.com.

Recuerda seguirnos en redes sociales para que estés al tanto de todas las novedades del mundo del marketing digital.

Haz clic en este enlace para revisar más detalles de nuestro estudio.