La IA de Microsoft funciona en CPUs de gama baja, ahorrando 6x memoria

Los especialistas de Microsoft han desarrollado el modelo de lenguaje BitNet b1.58 2B4T, que, a pesar de su tamaño compacto, ofrece resultados comparables a los de modelos más grandes. Su característica clave es su capacidad para funcionar en CPUs estándar sin necesidad de aceleradores gráficos. Esto abre el acceso a tecnologías de IA para dispositivos con recursos limitados.

En lugar de cálculos estándar de 16 o 32 bits, el modelo utiliza operaciones simplificadas de 1 bit con tres estados: -1, 0 y +1. Este enfoque reduce el uso de memoria a 400MB; en comparación, el competidor más cercano de Google (Gemma 3 1B) requiere 1.4GB. Los ahorros se logran a través de un enfoque fundamentalmente diferente en el procesamiento de datos: en lugar de operaciones matemáticas complejas, el sistema se basa en algoritmos binarios optimizados.

Durante las pruebas, BitNet se comparó con modelos de Meta (LLaMa 3.2 1B), Google (Gemma 3 1B) y Alibaba (Qwen 2.5 1.5B). A pesar de su tamaño más pequeño, el desarrollo de Microsoft logró una puntuación promedio de 54.19 en pruebas exhaustivas, superando a LLaMa (44.90) y Gemma (43.74), y solo quedando ligeramente detrás de Qwen (55.23), que ocupa 6.5 veces más memoria. En tareas específicas relacionadas con el análisis de texto, BitNet tomó la delantera.

Para una eficiencia máxima, el modelo requiere el marco especial bitnet.cpp, disponible en el repositorio abierto de GitHub. Las herramientas estándar como la biblioteca Transformers no desbloquean completamente su potencial. Los desarrolladores señalan que la versión actual está optimizada para CPUs, pero futuras actualizaciones agregarán soporte para neuroprocesadores y GPUs.

BitNet es un ejemplo de la tendencia hacia modelos de IA "livianos". Tales soluciones reducen el consumo de energía y permiten que algoritmos complejos se ejecuten en dispositivos sin acceso a servicios en la nube. Esto es especialmente relevante para regiones con internet lento o cuando se maneja información confidencial, donde transmitir datos a centros de datos es indeseable. Según los desarrolladores, su objetivo es hacer que las tecnologías de IA sean accesibles sin actualizaciones de hardware, lo que podría cambiar el enfoque para desarrollar aplicaciones impulsadas por IA.