GSMA Foundry, la división de innovación de la asociación GSMA, ha presentado una iniciativa de código abierto que busca mejorar los grandes modelos lingüísticos (LLM) destinados a aplicaciones en telecomunicaciones.

La iniciativa, denominada Open-Telco LLM Benchmarks, ofrece un marco para evaluar la capacidad, eficiencia energética y seguridad de los modelos de IA en escenarios reales de telecomunicaciones.

La nueva propuesta, descrita por la GSMA como “comunidad de código abierto”, cuenta con el apoyo de la Universidad Khalifa de Abu Dabi, el desarrollador Hugging Face y el centro de codificación Linux Foundation. Las operadoras Deutsche Telekom, LG Uplus y SK Telecom, así como la empresa Huawei, también participan en el lanzamiento.

La GSMA señala que, mientras la adopción de la IA en el sector de telecomunicaciones avanza, los LLM actuales encuentran dificultades para resolver problemas, cumplir normativas y manejar conocimientos técnicos en telecomunicaciones. Las pruebas realizadas indican que el modelo GPT-4 obtiene una puntuación menor al 75% con un conjunto de datos diseñado para evaluar los conocimientos específicos de telecomunicaciones. GPT-4 también ha obtenido una puntuación inferior al 40% con un conjunto de datos utilizado para evaluar los conocimientos sobre los estándares del 3GPP.

Louis Powell, responsable de iniciativas de IA en la GSMA, explica que “los modelos de IA actuales tienen problemas con las consultas específicas del sector de telecomunicaciones, y frecuentemente generan recomendaciones inexactas o poco prácticas”.

La nueva comunidad para la realización de pruebas de referencia permitirá a operadoras, investigadores y desarrolladores de IA aportar casos de uso, conjuntos de datos y modelos para su evaluación. Un sistema estandarizado de evaluaciones permitirá probar los modelos de IA frente a retos prácticos en telecomunicaciones, como conocimientos especializados, razonamiento matemático, eficiencia energética y seguridad. Las evaluaciones se alojarán en la plataforma de Hugging Face para fomentar la transparencia.

Powell añade que la iniciativa establece puntos de referencia para mejorar el rendimiento de los modelos de IA y asegurar que “la IA usada en telecomunicaciones sea segura, fiable y se ajuste a las necesidades operativas reales”.

En un contexto donde el sector trabaja en una IA ética y sostenible para las telecomunicaciones, la iniciativa se alinea con los compromisos anteriores de la GSMA. En 2024, la asociación presentó la Responsible AI Maturity Roadmap (Hoja de Ruta para la Madurez de la IA Responsable), un marco diseñado para ayudar a las operadoras a aplicar principios de buenas prácticas en el desarrollo y despliegue de la IA.