Detector de IA en TFG y TFM. ¿Se pueden detectar los trabajos fin de grado hechos con ChatGPT?

Cómo funciona un detector de IA

Qué es un LLM (ChatGPT, Copilot, Meta, etc.)

Un modelo como ChatGPT es un LLM —Large Language Model— basado en una arquitectura llamada transformador. Este tipo de red neuronal procesa secuencias de texto y aprende a predecir cuál es la palabra más probable que debe aparecer a continuación. Para ello, utiliza un mecanismo de auto-atención que pondera el contexto completo de la frase, de los párrafos anteriores, y extrapola.

Por ejemplo: "La capital de Francia es…" a) Moscú,  b) Juan y Medio, c) París

Como en los millones de textos que ha procesado la palabra París suele aparecer más cerca que Juan y Medio, predice que la opción correcta es París, y no Juan y Medio. Pero ni sabe lo que es París ni sabe quién es Juan y Medio; simplemente sabe la distancia relativa entre cada conjunto de palabras.

Dicho en cristiano: el modelo no piensa ni comprende el significado como lo haría una persona, sino que genera texto estadísticamente coherente en función de los patrones que ha visto en millones de documentos durante su entrenamiento. Entender esto esto es clave para su defensa, porque si usted no sabe explicarle al tutor qué es un LLM, le resultará imposible sostener luego el argumento de por qué los detectores de IA son una patraña sin base científica.

Ahora veamos la segunda parte:

Qué miden los detectores de IA

Un detector de IA en textos intenta encontrar huellas en esa forma de redactar. No analiza el contenido en profundidad, sino características superficiales, como pueden ser la tendencia de un modelo a reutilizar estructuras,  la longitud y regularidad de las frases o la entropía: métricas que miden hasta qué punto un texto es predecible

Si un párrafo tiene poca variación, el detector lo etiqueta como probable salida de un modelo, y si es más impredecible, lo atribuye a un humano. Pero es que los humanos también somos predecibles, mucho más incluso de lo que nos creemos.

No hace falta ser experto en machine learning para darse cuenta de que esta forma de dictar sentencia es extramadamente pobre; no hay por dónde cogerla, y determinar con ese método si un texto ha sido escrito o no con un LLM, genera —como es de esperar— errores en ambos sentidos. Un estudiante que redacte un trabajo muy cuidado y con estilo uniforme puede ser marcado como IA sin haberla usado jamás. Y al contrario: un texto generado íntegramente con ChatGPT puede pasar como humano si se le hacen ciertas modificaciones como cambiar el orden de frases, traducirlo a otro idioma y volver a traducirlo, o pedirle a otro modelo —es decir, a otra IA distinta— que lo reescriba. También ocurre con artículos científicos reales publicados hace años que, al pasarlos por estos sistemas, aparecen como escritos por IA simplemente por su redacción clara y metódica.

A diferencia de un detector antiplagio, un detector de IA no determina nada de manera objetiva. Los detectores de plagio sí son rigurosos y científicos porque se limitan a comparar cadenas de palabras con bases de datos gigantescas: si una secuencia de texto aparece en otro documento ya publicado, la coincidencia es medible y comprobable. Es un análisis empírico, basado en evidencia verificable.

Pero un detector de IA en cambio no busca coincidencias, sino que intenta adivinar si un texto suena a humano o a máquina, desde criterios que no reflejan una diferencia objetiva entre humano e IA, sino lo que el propio software considera, bajo su criterio, que podría ser un patrón característico.

Por qué los detectores de IA no son fiables: Turnitin, ZeroGPT, GPTZero, Originality.ai, etc.

La principal razón por la que estos programas generan tanta polémica es porque no cumplen lo que prometen. Su objetivo sería distinguir con precisión entre un texto escrito por un ser humano y otro generado por un modelo como ChatGPT, pero la realidad es que fallan en ambos sentidos: condenan trabajos auténticos como si fueran falsos, y dejan pasar sin problemas textos creados automáticamente.

Falsos positivos: textos humanos marcados como IA

Un falso positivo ocurre cuando un detector señala como generado por IA un texto que en realidad lo ha escrito una persona. Este es el mayor miedo de los estudiantes: que después de invertir meses en su TFG o TFM, el esfuerzo se vea invalidado por un programa que dicta sentencia sin fundamento.

Los ejemplos abundan a poco que se busque en Google, y en la siguiente sección veremos casos donde textos publicados siglos antes de la aparición de ChatGPT han sido calificados como IA. También pasa con estudiantes no nativos que escriben en español a su manera: debido a su estilo más simple y predecible —porque no es su lengua materna—, los detectores los penalizan y los clasifican erróneamente como máquinas.

Asi que un detector de IA puede arruinar el trabajo de meses de un alumno impecable, simplemente porque su redacción no encaja en el patrón que el software considera que debería tener un texto humano —como si todos los humanos escribiésemos igual—.

Falsos negativos: textos hechos con IA que pasan desapercibidos

La otra cara son los falsos negativos: textos creados con ChatGPT o cualquier otro modelo que, tras un par de ajustes mínimos, pasan como humanos. Basta con pedirle al modelo que reescriba con más variabilidad, o editar superficialmente un par de frases, para que el detector ya no sea capaz de señalarlo.

Si bien a un alumno esto no le perjudica directamente, el problema está en pensarse que el tutor es idiota, y que porque haya escrito una basura con ChatGPT y el programa le diga que está perfecto, el tutor no se va a dar cuenta de que eso es basura hecha con IA. Un tutor probablemente haya leído más de mil TFGs y TFMs a lo largo de su carrera, y en dos páginas ya sabe ver perfectamente si ese trabajo lo ha hecho un humano o una máquina, y el sofware anti-IA ya puede decir misa, que si ese trabajo está hecho con IA, va a estar suspenso igualmente por falta de calidad, porque a día de hoy una IA no es capaz de hacer un TFG ni por asomo —en este otro artículo explicamos cómo le puede ayudar la IA en su TFG/TFM y cómo no—.

Así que no se confíe: aunque el programa le diga que no tiene IA, si hace una castaña con ChatGPT se lo van a suspender igualmente. Si no tiene tiempo o no quiere desperdiciarlo, lo mejor es delegarnos su TFG o TFM y nosotros nos ocupamos de todo, con garantías, correcciones ilimitadas y a su manera.

Pruebas reales con casos de estudio

Todo esto que venimos diciendo está sobradamente demostado: existen múltiples pruebas públicas de que los detectores de IA no funcionan.

Un caso muy citado es el de la Constitución de Estados Unidos, que el detector ZeroGPT —que es el detector de IA que recomienda públicamente la UCM— llegó a clasificar como texto generado por IA. Un texto de 1787…

· Fuente del estudio completo: Ars Technica. Why AI writing detectors don’t work.

En ese mismo test que hicieron, también salió que la probabilidad de que un texto que pusieron de la Biblia haya sido generado con IA, era del 88,2%.

Algo parecido ocurrió en otro estudio que hicieron con Macbeth de Shakespeare. La herramienta de detección de IA de OpenAI —que a día de hoy sigue siendo la empresa núermo uno en IA, con billones de dólares en inversión— llegó a marcar el inicio de la obra como probable IA. El ridículo fue tan sonado que recuerdo que se convirtió en noticia en todos los blogs tecnológicos.

· Fuente del estudio completo: VentureBeat. ChatGPT detection tool says Macbeth was generated by AI. What happens now?

De hecho, la propia OpenAI acabó retirando su detector de IA en 2023, tras reconocer que no era fiable y que generaba demasiados falsos positivos y falsos negativos.

Fuentes:

• OpenAI release notes: the AI classifier is no longer available due to its low rate of accuracy.
• The Guardian. ChatGPT maker OpenAI releases ‘not fully reliable’ tool to detect AI generated content.

Y si esto le pasa a OpenAI, lo mismo le pasa a todos. Sin ir más legos Turnitin, que uno de los sistemas más usados en universidades españolas para detectar el plagio en los trabajos universitarios, incorporó hace unos años la función de detector de IA. Y si bien la herramienta de detección de plagio sigue funcionando perfectamente, la incorporación de la herramienta de detección de IA, en mi opinión, atiende más a razones políticas que a prácticas, porque Turnitin sabe perfectamente cómo funcionan las cosas, y que diseñar una herramienta de detección de IA tiene el mismo fundamento científico que el Tarot. De hecho la empresa tuvo que publicar un aviso sobre la posibilidad de falsos positivos en su detección de IA, lo que en cristiano significa que se falla más que una escopeta de feria.

· Fuente: Turnitin. Understanding false positives within our AI writing detection capabilities.

Universidades que ya han dejado de usar detectores de IA

Enlazamos sus comunicados desde sus webs oficiales, citando textualmente sus palabras:

· Dublin City University: "Turnitin is not (yet) reliable enough to do this systematically. Several other software tools and websites for detecting such content exist, but all are imperfect and subject to false negatives as well as false positives."

· King’s College London: "the complication with generative AI is that detection tools are at best unreliable and, at worst, may present false positives."

· Vanderbilt University (EE. UU.): "we do not believe that AI detection software is an effective tool that should be used."

· Johns Hopkins University (EE. UU.): "Johns Hopkins disabled Turnitin’s AI detection software due to reports of false positives and ongoing fears of falsely accusing students of academic misconduct."

· University of Pittsburgh (EE. UU.): "Based on our professional judgment, the Teaching Center has concluded that current AI detection software is not yet reliable enough to be deployed without a substantial risk of false positives and the consequential issues such accusations imply for both students and faculty. Use of the detection tool at this time is simply not supported by the data and does not represent a teaching practice that we can endorse or support. Therefore, the Teaching Center has disabled the AI-detection tool in Turnitin."

· Montclair State University (EE. UU.): "AI detectors don’t work. To the extent that they work at all, they can be defeated by making slight changes to text. And, what might be worse, they have high false positive rates and they tend to accuse people of using AI when they don’t use AI, especially students to whom English is a second language."

· University of Alabama (EE. UU.): "decision to disable Turnitin’s AI detection report. Since it only checked against an older incarnation of ChatGPT, it became outdated very quickly.".

(Y ninguna española, como siempre).

Todavía habrá lectores que habiendo llegado hasta aquí, sigan dudando de la afirmación que sostenemos de que los detectores de IA son poco fiables, y como muchas veces el fanatismo es infinito cuando se trata de defender el propio ego, podrían argumentar, por ejemplo, que los fallos se deben a problemas generales del inglés. Pero ocurre justo lo contrario: estos programas han sido creados para trabajar en inglés, y es ahí donde mejor deberían rendir. Cuando se enfrentan a otros idiomas, como el español, la chapuza es al cuadrado. Y no es una opinión: investigadores de la propia Universidad de Stanford —líder mundial en inteligencia artificial e ingeniería informática— ha demostrado científicamente que los detectores de IA fallan todavía más cuando el texto que analizan está escrito en una lengua que no es la inglesa. Es decir, que en español funcionan todavía peor.

· Fuente: Liang et al. (2023). GPT detectors are biased against non-native English writers.

Y para cerrar el capítulo, internet está lleno de artículos en prensa internacional y foros, en los que se han documentado múltiples casos de estudiantes acusados injustamente. Por ejemplo:

· Reddit: Puse mi ensayo 100% humano en un detector de IA y volvió como IA.

· Reddit: Los llamados “detectores de IA” son un gran problema. 

· The Washington Post: Detecting AI may be impossible. That’s a big problem for teachers.

Nosotros mismos este año hemos seguido haciendo pruebas con más de diez detectores, por ver si la cosa se había actualizado a lo largo de los meses. Y el experimento ha sido el mismo de siempre, el que llevamos practicando desde 2024 con textos distintos en cada prueba: un texto escrito íntegramente por nosotros, otro escrito íntegramente con IA y un tercero híbrido: mitad nosotros mitad IA.

Los resultados fueron aleatorios: falsos positivos, falsos negativos y, en algunos casos, incluso respuestas diferentes para el mismo texto cuando se repetía la prueba minutos después en el mismo software. Todo ello en servicios que cobran por hacer estas auditorías. En definitiva: los supuestos detectores de IA, bajo nuestra opinión, son una tomadura de pelo, un insulto a la inteligencia de sus usuarios y una estafa en toda regla, y que a pesar de que es ampliamente sabido, muchas universidades en vez de dejar de utilizarlos, incluso los promocionan y dejan en ellos la responsabilidad de rechazar injustamente el trabajo de los estudiantes e incluso recriminarles.

El único detector de IA fiable: el criterio del tutor

“Todo el mundo quiere escribir con IA, pero nadie quiere leer algo escrito con IA.”

Esta frase con la que empezamos nuestro artículo sobre cómo apoyarte de manera correcta en la IA para escribir el TFG o TFM resume el gran problema: un trabajo académico puede sonar bien en párrafos aislados, pero cuando se lee de principio a fin, se nota cuándo ha sido redactado con un modelo automático. Y no porque lo diga un software, sino por la calidad.

El verdadero detector de IA en un trabajo de fin de grado, de fin de máster, en una tesis doctoral o incluso en artículos científicos no es un programa, sino el propio tutor. Los docentes con experiencia reconocen las señales con solo leer unas páginas: un estilo demasiado correcto sin las pequeñas imperfecciones propias de un ser humano, bibliografía inventada o con referencias imposibles de localizar, o una incoherencia global que hace que, aunque cada párrafo suene convincente, el conjunto carezca de una estructura sólida y lógica.

Por eso aunque los estudiantes se preocupen por lo que diga Turnitin u otro software, lo que realmente pesa es la percepción del tutor. Un profesor puede tolerar errores formales o de estilo, pero rara vez pasará por alto un texto suene raro, o que sea una chapuza falta de la calidad mínima exigible en esos tipos de trabajos. El cerebro humano del profesor es lo que revelará si su trabajo tiene IA o no, porque su tutor, que no solo ha leído infinidad de artículos académicos sino que también los escribe —porque así se lo exigen desde arriba para pagarle los plueses—, entiende lo que ningún algoritmo puede: el sentido del texto, la coherencia del argumento y la calidad de las fuentes.

Cómo defenderse si le acusan de usar IA

Llegados a este punto, sé lo que está pensando:

– "Todo esto está muy bien, pero si presento un trabajo en mi universidad y Turnitin dice que tiene IA, me rechazan igualmente el trabajo, aunque no tenga IA".

Por lo que aparece la gran pregunta: ¿cómo me defiendo de esa injusticia y le demuestro al profesor que Turnitin se equivoca?

Hay varias formas:

Presentar borradores y bibliografía real

Una de las formas más rápidas de comprobar si un TFG o TFM tiene IA no es un software, sino la bibliografía empleada. Los modelos como ChatGPT tienden a inventar referencias que luago cuando te pones a buscarlas, no existen. Así que le recomiendo ir guardando los PDF de todos los artículos que vaya citando, porque es una manera de poder demostrarle luego al turo que la bibliografía es real. Nosotros es una práctica que hacemos siempre para todos nuestros clientes de TFG y TFM por encargo.

Argumentar que los detectores no son fiables

Si su tutor insiste en confiar en Turnitin como si fuese la palabra de Dios, recuérdele que esos sistemas no tienen base científica sólida. Puede enviarle los propios enlaces a los estudios y comunicados oficiales de instituciones que han decidido abandonar estas herramientas por su falta de fiabilidad, los cuales encontrará más arriba. No se trata de negar vehemente pero gratuitamente como si estuviese en la barra del bar, sino de demostrárselo con enlaces oficiales y estudios científicos.

Frases que puede usar para defenderse:

1. “Profesor, este trabajo lo he redactado yo. Aquí están los borradores y las fuentes que utilicé.” Y le pasa los PDFs que ha usado en la bibliografía.
2. “Entiendo su preocupación y que a usted le hayan dicho que use Turnitin, pero los detectores de IA generan falsos positivos, reconocidos incluso por las propias empresas que los desarrollan. Le agradecería que el criterio de evaluación se basara en la calidad del contenido y no en un software que, como demuestran los estudios, no es fiable.” Y le pasa los enlaces que le hemos puesto arriba.

Todo esto suponiendo que realmente lo haya hecho usted y no ChatGPT claro… si no, sea honesto y no huya hacia delante, porque como le decíamos más arriba, una cosa es que el tutor le acuse de que su trabajo está hecho con IA porque lo dice un software —lo cual se puede rebatir— y otra muy distinta porque sea una chapuza que salte a la vista —lo cual no es solo que no se deba rebatir, sino que si insiste, además de hacer el ridículo lo que conseguirá es cabrear más al tutor—.

Si no tiene tiempo, energía o ganas de pasar por el proceso de sentarse 300 horas delante del portátil para escribir un TFG o TFM que no le importa a nadie, puede delegarlo en nosotros: redactamos su borrador a mano, sin IA, sin plagios, con todas las entregas parciales que necesite y con bibliografía real, entregando todas las fuentes en PDF y con correcciones ilimitadas, tal y como usted nos vaya diciendo para que no tenga que preocuparse de nada.