La competición, denominada IEEE CIS Technical Challenge on Domain-Specific Question Answering with LLMs, está organizada por el Instituto Andaluz Interuniversitario en Data Science and Computational Intelligence (DaSCI) de la Universidad de Granada en colaboración con el Consorcio IFMIF-DONES España. Cuenta con la financiación de la IEEE Computational Intelligence Society (IEEE CIS) y ofrece hasta 20.000 dólares en premios.
El reto, que comenzó el pasado 28 de septiembre, estará abierto durante dos meses. Los equipos pueden inscribirse hasta el 1 de noviembre y presentar sus soluciones hasta el 30 de noviembre. En sus primeros días, más de una veintena de participantes ya se han registrado en la plataforma de la competición.
Los grandes modelos de lenguaje (LLM) actuales, aunque eficaces en tareas generales, presentan limitaciones cuando se enfrentan a conocimiento técnico muy especializado. Las soluciones más potentes a menudo dependen de modelos comerciales que se ejecutan en la nube, una opción inviable para infraestructuras científicas críticas o empresas con documentación confidencial. Además, no siempre se dispone de grandes centros de cálculo.
«Tenemos modelos fantásticos, pero cuando tienen que resolver preguntas muy técnicas y específicas de un dominio pueden quedarse cortos, sobre todo si los recursos computacionales son limitados, algo que ocurre en muchos casos reales», explica Isaac Triguero, director del Instituto DaSCI y responsable de la competición. «No siempre se puede recurrir a un proveedor en la nube, porque no se tienen los medios ni el dinero o, sencillamente, porque no se quiere que los datos estén al alcance de esos proveedores».
Para reproducir este escenario real, la competición exige a los equipos trabajar con el modelo abierto OLMo, desarrollado por el Allen Institute for AI, que cabe en una sola tarjeta gráfica (GPU). Las soluciones se ejecutarán en servidores de la Universidad de Granada, sin conexión a internet y con tiempo de cómputo limitado, garantizando que ni las preguntas ni los documentos de referencia salgan del entorno de evaluación. El objetivo es adaptar el modelo con inteligencia, utilizando técnicas como el ajuste fino eficiente, la ingeniería de prompts, los grafos de conocimiento o el modelado difuso, en lugar de reentrenamientos a gran escala.
Las soluciones se evaluarán con un banco de 100 preguntas y respuestas elaborado por expertos en dos ámbitos: la instalación IFMIF-DONES, un acelerador de partículas en construcción en Escúzar (Granada) para ensayar materiales de futuros reactores de fusión, y la literatura científica especializada en inteligencia artificial. Las preguntas abarcan desde la recuperación de datos concretos hasta el razonamiento comparativo, causal o predictivo. Los participantes disponen de una muestra de 25 ejemplos, y el banco de pruebas completo ha sido preparado y etiquetado durante cerca de un año por personal experto de IFMIF-DONES e investigadores del Instituto DaSCI.
La colaboración con IFMIF-DONES se enmarca en el proyecto DONES-AXIA, un sistema multiagente para mejorar la operación, seguridad y eficiencia energética de la instalación, financiado por el CDTI con cofinanciación FEDER y liderado por Plain Concepts. En este proyecto, la UGR desarrolla modelos de lenguaje especializados, ligeros y seguros para IFMIF-DONES, alineándose con el objetivo de la competición. La iniciativa también se vincula al programa DONITOS de la Universidad de Granada, enfocado en la formación de doctores en colaboración con IFMIF-DONES. Por parte del consorcio, participan Moisés Weber, su director, y Patricia Martín, responsable del Departamento de Operación y Mantenimiento.
La competición consta de dos fases. La primera, automática, evalúa el código de cada equipo sobre preguntas ocultas, mostrando la puntuación en una clasificación en línea. «Optimizar solo una métrica no es suficiente, buscamos la ciencia que hay detrás», señala Triguero. «No queremos únicamente el mejor resultado numérico, sino también el más innovador y mayor calidad». Las mejores propuestas, alrededor de una veintena, pasarán a una segunda fase donde paneles de expertos valorarán la calidad de las respuestas y un comité científico evaluará la innovación técnica. La clasificación final se anunciará el 14 de diciembre, con premios de 9.000, 5.000, 3.000 y dos de 1.500 dólares.
El equipo organizador de la UGR incluye a Isaac Triguero, los investigadores Jaime Uclés y Carlos Peláez González, y el doctor en Informática Ignacio Aguilera Martos. El comité del reto cuenta con Xingyu Wu (Universidad Politécnica de Hong Kong), Christian Wagner (Universidad de Nottingham) y Katherine Malan (Universidad de Sudáfrica). El comité científico suma a Javier Del Ser (Universidad del País Vasco) y Daniel Molina (UGR). La Universidad de Granada proporciona la infraestructura de cálculo para la evaluación.
