Seminario de Informática ‘Mirian Andrés’. Más allá del token: por qué los LLM necesitan lingüistas e informáticos para hablar español

Este seminario propone un diálogo metodológico entre lingüística e informática para abordar qué significa evaluar un Large Language Model (LLM) como “hablante” de español. Más allá de métricas generales de rendimiento, se plantea una colaboración en la que cada disciplina aporta sus herramientas analíticas, integradas en diseños experimentales formalizados, implementables computacionalmente y reproducibles. El objetivo no es solo determinar si los modelos generan secuencias plausibles, sino analizar si en su producción emergen regularidades comparables a las de la gramática de los hablantes.

En primer lugar, se abordará la construcción de pruebas de competencia lingüística, como TELEIA, un test inspirado en exámenes de español para extranjeros que permite evaluar el conocimiento gramatical y la comprensión lectora de los modelos.

En segundo lugar, se discutirá la posibilidad de evaluar la variación dialectal mediante experimentos sobre reconocimiento de variedades del español, analizando diferencias morfosintácticas y léxicas y su relación con el Sesgo Lingüístico Digital.

Finalmente, se mostrará cómo diseñar tareas controladas sobre fenómenos gramaticales en proceso de cambio, como las formas de futuro o el Marcado Diferencial de Objeto, para determinar hasta qué punto los modelos reproducen los patrones de variación documentados en la gramática del español y si su comportamiento converge con el de los hablantes ante los mismos estímulos experimentales.