¿Por qué ChatGPT ya no genera textos largos?

En anteriores posts he hablado sobre ChatGPT y la Inteligencia Artificial. Hoy voy a hablar de un tema que me tiene un poco rallado: ChatGPT ya no genera textos largos como antes.

Por cierto, antes de empezar, comentaros que el día 20 de noviembre de 2024 en Elche, imparto un taller sobre Inteligencia Artificial aplicada a los negocios:

¿Por qué ChatGPT ya no genera textos largos?

Bueno, seguimos. Hasta hace poco, pedirle a ChatGPT que escribiera un texto sobre cualquier tema era sinónimo de obtener algo relativamente decente de unas 1000 palabras. Ahora, las respuestas son mucho más cortas, de unas 400-500 palabras, y aunque afines los prompts con precisión, cuesta llegar a las 700-800. ¿Qué está pasando?

Las respuestas de ChatGPT: más cortas y al grano

Para entender este cambio, hay que tener en cuenta que ChatGPT, como otros modelos de lenguaje, está en constante evolución. OpenAI, la empresa que lo desarrolla, lo actualiza periódicamente para mejorar su rendimiento. El problema es que estas actualizaciones a veces tienen efectos secundarios inesperados, como la reducción en la longitud de las respuestas.

Esta reducción en la longitud de las respuestas puede ser frustrante para los usuarios que necesitan generar contenido extenso, como artículos, informes o historias. Personalmente, he notado que al solicitarle análisis de datos complejos, la información que me proporciona se queda muy corta.

Por ejemplo, suelo utilizar la IA para analizar datos de mis campañas de SEO. Subo un Excel con información sobre 50 keywords, sus posiciones, los enlaces que reciben, los clics, etc., y le pido a la IA que me desglose la información por partes. Necesito que me muestre las keywords con mejor posicionamiento, las que han subido o bajado de posición, las que reciben más enlaces, etc. Antes, la IA me daba un análisis completo y detallado, pero ahora las respuestas son mucho más breves, de unas 400 palabras, lo que me obliga a hacer un análisis manual más exhaustivo.

Otro ejemplo es cuando le subo un PDF con los datos de una auditoría SEO realizada con SE Ranking. Estos informes pueden tener 20 páginas o más, y necesito que la IA me extraiga información clave, como un resumen de los errores, un análisis de la estructura del sitio web o recomendaciones concretas. Antes, la IA me proporcionaba respuestas detalladas y útiles, pero ahora las respuestas son mucho más cortas, de unas 200 palabras, lo que no me sirve de mucho.

Posibles causas de la reducción de longitud

Para intentar comprender las razones detrás de este cambio, le pregunté directamente a ChatGPT sobre el tema. Estas fueron sus respuestas:

1. Cambios en los parámetros del modelo

Según ChatGPT, es posible que las actualizaciones hayan priorizado la concisión y la claridad. Esto tiene sentido, ya que respuestas más cortas pueden ser más fáciles de entender y más útiles en algunos casos.

Es decir, se está priorizando la relevancia sobre la cantidad, dando respuestas más cortas y al grano.

2. Limitaciones en la memoria y el contexto

ChatGPT también mencionó las limitaciones en la memoria y el contexto. Los modelos de lenguaje funcionan con una “ventana de contexto” (puedes consultar mi Glosario de Inteligencia Artificial para obtener más información sobre este término). Esta ventana define la cantidad de datos que el modelo puede manejar en una sola interacción. Aunque la capacidad de la ventana ha aumentado con el tiempo, también se han introducido restricciones para que el modelo sea más eficiente.

Estas restricciones pueden deberse a varios factores:

• Alta demanda de recursos: ChatGPT se ha vuelto súper popular, con millones de usuarios. Generar textos largos consume muchos recursos, y OpenAI podría estar limitando la longitud para que el sistema no se colapse. Cada vez que un usuario interactúa con ChatGPT, el modelo debe procesar una gran cantidad de información para generar una respuesta coherente. Si las respuestas fueran siempre muy extensas, la demanda de recursos computacionales sería enorme.
• Optimización de costos: Generar respuestas cortas es más barato que generar respuestas largas. OpenAI podría estar limitando la longitud para ahorrar costes. El coste de mantener una infraestructura capaz de procesar millones de solicitudes de ChatGPT es muy elevado. Limitar la longitud de las respuestas ayuda a reducir los costes de procesamiento y almacenamiento.
• Evitar la saturación del modelo: Respuestas más cortas significan que el sistema puede atender a más usuarios sin saturarse. Si ChatGPT generara textos muy largos para cada solicitud, el sistema podría ralentizarse o incluso colapsar debido a la sobrecarga.

Mi opinión sobre la limitación de longitud

Aunque ChatGPT me dio esas posibles razones, yo creo que la más probable es la de la alta demanda de recursos. Generar textos largos requiere mucha potencia de cálculo, y con tantos usuarios utilizando ChatGPT a la vez, es lógico que OpenAI quiera limitar la carga del sistema.

Quiero dejar claro que esto es una opinión, no una certeza absoluta.

La optimización de costos también podría ser un factor importante. Mantener un sistema como ChatGPT funcionando requiere una inversión enorme en servidores y energía. Limitar la longitud de las respuestas es una forma de reducir esos costes. Es una cuestión de eficiencia y sostenibilidad.

Uso adecuado de la IA y de los Prompts

¿Significa esto que ChatGPT nunca más generará textos largos? No necesariamente. Es posible que en el futuro, con los avances en la tecnología y la optimización de los modelos, ChatGPT vuelva a ser capaz de generar textos más extensos sin problemas.

OpenAI está constantemente investigando y desarrollando nuevas técnicas para mejorar la capacidad de sus modelos de lenguaje. Es posible que en futuras actualizaciones se implementen mejoras que permitan a ChatGPT generar textos más largos y complejos sin comprometer la eficiencia del sistema.

Mientras tanto, podemos utilizar algunas estrategias para obtener textos más largos:

• Dividir el texto en secciones: En lugar de pedir un texto completo de una vez, podemos pedirle a ChatGPT que lo genere por partes, con prompts específicos para cada sección. Por ejemplo, si queremos un artículo sobre la historia de la música, podemos pedirle primero que escriba una introducción, luego una sección sobre la música en la antigüedad, otra sobre la música en la edad media, y así sucesivamente.
• Utilizar técnicas de “prompt engineering”: Podemos guiar a ChatGPT con prompts más precisos, ejemplos, o indicaciones sobre el estilo y la estructura que queremos. Por ejemplo, podemos proporcionarle un esquema del texto que queremos que genere, o darle ejemplos de textos similares para que se inspire. Yo no me suelo complicar y lo que hago es
• Combinar ChatGPT con otras herramientas: Podemos usar ChatGPT para generar ideas o borradores, y luego editar y refinar el texto con otras herramientas de escritura. ChatGPT puede ser una excelente herramienta para generar ideas o crear un primer borrador, pero siempre es recomendable revisar y editar el texto para asegurarnos de que cumple con nuestros requisitos de calidad y estilo.

Conociendo sus limitaciones y utilizando las estrategias adecuadas, podemos seguir aprovechando su potencial.

Mi opinión como experto en IA

Como experto en IA, creo que la limitación en la longitud de las respuestas de ChatGPT es un reflejo de los desafíos que aún existen en el desarrollo de modelos de lenguaje a gran escala. El equilibrio entre la capacidad de generar textos largos y coherentes, la eficiencia computacional y la sostenibilidad energética es un desafío complejo que las empresas como OpenAI están abordando.

Es probable que, con el tiempo, se desarrollen nuevas técnicas y arquitecturas que permitan a los modelos de lenguaje generar textos más extensos sin comprometer la calidad ni la eficiencia. Mientras tanto, es importante ser conscientes de las limitaciones actuales y utilizar estrategias como el “prompt engineering” para obtener los mejores resultados posibles de ChatGPT.

A pesar de estas limitaciones, ChatGPT sigue siendo una herramienta súper valiosa para la generación de contenido. Su capacidad para comprender el lenguaje natural, generar texto creativo y responder preguntas de forma informativa lo convierte en un recurso útil para escritores, estudiantes, profesionales y cualquier persona que necesite ayuda para crear contenido escrito.

Javier Carmona en Google Maps