Ir al contenido principal

Glosario de IA Models & Architecture

¿Qué es un token en IA y en los LLM?

← Todos los términos del glosario
En pocas palabras

Unidad básica de texto que lee y escribe un modelo de lenguaje: una palabra, un trozo de palabra o un símbolo. En inglés, un token son unos cuatro caracteres.

Explicación

Un token es la unidad de texto que procesa de verdad un modelo de lenguaje. Antes de que el modelo vea nada, un tokenizador divide el texto en piezas que pueden ser palabras enteras, trozos de palabra, signos de puntuación o espacios, y asigna un número a cada una. En inglés, una regla aproximada es de unos cuatro caracteres, o tres cuartos de palabra, por token; otros idiomas y el código suelen necesitar más tokens para el mismo contenido. El número de tokens importa en la práctica porque los proveedores cobran por token y porque la ventana de contexto, lo que el modelo puede manejar de una vez, se mide en tokens.

Cómo funciona la tokenización

La mayoría de los modelos actuales usan tokenización por subpalabras. Las palabras frecuentes ocupan un solo token y las raras se parten en piezas más pequeñas que el modelo ya conoce. Métodos como byte pair encoding construyen ese vocabulario uniendo una y otra vez los pares de caracteres o fragmentos más frecuentes de un corpus de entrenamiento.

Así se puede representar cualquier texto, incluidas palabras nuevas, nombres y erratas, con un vocabulario de tamaño fijo. Cada familia de modelos tiene su propio tokenizador, de modo que la misma frase puede dar recuentos distintos en modelos distintos.

Por qué los tokens marcan coste y límites

  • Coste: las API suelen cobrar por separado los tokens de entrada y los de salida, así que prompts y respuestas largos cuestan más.
  • Ventana de contexto: el máximo de tokens que el modelo puede tener en cuenta en una petición, contando prompt, documentos recuperados, historial y respuesta.
  • Latencia: generar más tokens de salida lleva más tiempo.
  • Idioma: el español y otros idiomas suelen usar más tokens que el inglés para decir lo mismo, y eso afecta al coste y a lo que cabe en la ventana.

Consejos prácticos

  • Mide con el tokenizador del modelo que usas en lugar de estimar por palabras.
  • Mantén centrados el prompt y el contexto recuperado: los tokens de más cuestan y pueden diluir la atención del modelo.
  • Limita la longitud de salida cuando no hagan falta respuestas largas.
  • Vigila el consumo de tokens por funcionalidad o por usuario para detectar crecimientos inesperados.

Preguntas frecuentes

¿Cuántas palabras son 1.000 tokens?

En inglés, unas 750 palabras, según la regla aproximada de tres cuartos de palabra por token. En español la cifra cambia, y el número exacto depende del texto y del tokenizador del modelo.

¿Por qué los LLM usan tokens y no palabras?

Porque un vocabulario fijo de trozos de palabra puede representar cualquier texto, incluidas palabras raras, nombres y erratas, sin necesitar una entrada para cada palabra posible. Es un equilibrio entre el tamaño del vocabulario y la longitud de las secuencias.

¿Los tokens son iguales en todos los modelos?

No. Cada familia de modelos tiene su tokenizador y su vocabulario, así que el mismo texto puede dar recuentos distintos. Para medir con precisión, usa el tokenizador del modelo concreto.

¿Qué relación hay entre tokens y coste?

La mayoría de los proveedores de IA cobran sus API por token, a menudo con precios distintos para entrada y salida. El coste total depende de la longitud del prompt, del contexto recuperado, del historial y de lo largas que sean las respuestas.

¿Un texto en español usa más tokens que en inglés?

Normalmente sí. Los tokenizadores suelen entrenarse con más texto en inglés, así que otros idiomas tienden a partirse en más piezas. La diferencia depende del tokenizador y del texto.

Guías de decisión que usan este término

Para seguir leyendo

Fuentes

Actualizado: 2026-10-21

¿Quieres ver cómo se aplica en tu organización?

Habla con un experto en IA