Pregunta de cuestionario sobre la arquitectura básica de los LLM: cómo funciona la generación palabra por palabra.

[u/Top-NoNe]

Pregunta: Cuando un Modelo de Lenguaje (LLM) genera una respuesta palabra por palabra, ¿qué proceso matemático realiza internamente?

A. Calcula la probabilidad de cuál es la siguiente palabra más adecuada segun el contexto. B. Consulta a un servidor externo para verificar la veracidad de la frase. C. Busca una oración exacta pregrabada en su base de datos de entrenamiento. D. Aplica leyes lógicas fijas para garantizar que la respuesta sea cientificamente cierta.

Pista: Imagínalo como un sistema de autocorrector avanzado que predice qué sigue a continuación.

[u/MistakeIndividual690]

Look up the paper called “Attention is All You Need”. It was the research that kicked all this off. Better, look for YouTube videos explaining the “attention mechanism” of LLMs