Seminario de Informática ‘Mirian Andrés’. Medición de alucinaciones y cuantificación de incertidumbre para LLM

Este trabajo surge durante la estancia doctoral realizada en colaboración con la Universidad de París-Saclay, más concretamente, con el LISN (Laboratoire Interdisciplinaire des Sciences du Numérique).

Existen multitud de aproximaciones para evaluar los grandes modelos de lenguaje o LLM, una de estas aproximaciones es la cuantificación de la incertidumbre, donde a través de diferentes técnicas se mide el nivel de alucinaciones o inconsistencia de los modelos. Estas técnicas pueden ser de caja negra, para modelos que no sean de acceso abierto y sea necesario generar varias veces el mismo prompt, o de caja blanca, cuando podamos acceder a las probabilidades internas de los modelos para cada token generado. Además, también se profundizará en una tercera aproximación utilizando proposiciones atómicas como unidades de verdad, validando si cada afirmación o sentencia generada por los modelos coincide con una base de datos cuyo contenido son las proposiciones atómicas extraídas de documentos fiables.