Descripción y aportación
En este trabajo analizamos la posibilidad de modificar y evaluar el conocimiento de modelos de lenguaje de gran escala (LLMs) una vez entrenados, estudiando su comportamiento como expertos de dominio en procesos de validación. Para ello, se diseñó un conjunto de cuestionarios basados en preguntas con contextos controlados y potencialmente sesgados, comparando las respuestas obtenidas por modelos con distintas arquitecturas y configuraciones. Mi contribución principal se centró en el ajuste fino y la adaptación por contexto de los LLMs evaluados, así como en el diseño metodológico de los cuestionarios y en la definición y análisis de las métricas empleadas para evaluar la consistencia y veracidad de las respuestas generadas.
Referencia bibliográfica
Carlos Badenes Olmedo; Esteban García Cuesta; Alejandro Sanchez Gonzalez; Oscar Corcho. "Leveraging Large Language Models (LLMs) as Domain Experts in a Validation Process". En: Poster Proceedings of the 40th Annual Conference of the Spanish Association for Natural Language Processing 2024 (SEPLN-P 2024). 3846, CEUR Workshop Proceedings, 2024. Disponible en Internet en: <https://ceur-ws.org/Vol-3846/paper13.pdf>. ISSN 1613-0073