Microsoft se sube al barco de la tecnología de DeepSeek y lanzará versiones optimizadas y destiladas para sus equipos Windows 11 Copilot+ PC

  • 30 Jan 2025 07:43 AM

Ante la irrupción de los nuevos modelos de lenguaje de DeepSeek, Microsoft mueve sus fichas y lanzará versiones optimizadas para sus equipos Windows 11 Copilot+PC con NPU a través de su Microsof AI Toolkit de VS Code.

Estos últimos días han estado muy agitados con el lanzamiento de DeepSeek R1, un modelo de lenguaje que demostrado que puede competir de tú a tú con los modelos avanzados de inteligencia artificial apoyada por grandes empresas tecnológicas. Incluyendo que ha sido desarrollado con mucho menos recursos tanto humanos como de hardware, al ser open source, es decir, de código abierto, esta a disposición para cualquiera de modificar y desarrollar sobre él.

Microsof se sube al barco

El campo de la inteligencia artificial generativa avanza a pasos gigantes, y la empresa tecnológica Microsoft, quien no esta a la cabeza en este nicho, no quiere quedar atrás, sino todo lo contrario, porque ha anunciado que optimizará versiones de DeekSeek R1 destiladas a para su tecnología Copilot+PC, permitiendo que cualquiera que disponga de estos equipos, pueda ejecutar en local los modelos de lenguaje optimizados para chips basados en ARM, como los de Snapdragon X, Intel Lunar Lake o AMD Ryzen AI 9.

En su anuncio, informan que comenzarán con DeepSeek-R1-Distill-Qwen-1.5B, que es una versión de DeepSeek R1 destilada de Qwen y con 1,500 millones de parámetros.

La destilación de modelos consiste en entrenar modelo pequeño, a partir de la información de un modelo más grande y avanzado. De este modo se un sistema más rápido y eficiente sin comprometer el rendimiento.

Lo destacado del Anuncio

"Estos modelos optimizados permiten a los desarrolladores crear y desplegar aplicaciones basadas en la inteligencia artificial ejecutándose de forma eficiente en local, aprovechando al máximo las NPU de Copilot+PC".

"Con nuestro trabajo en Phi Silica, hemos sido capaces de aprovechar la inferencia de alta eficiencia, ofreciendo un tiempo muy competitivo para el primer token y tasas de rendimiento, mientras que afecta mínimamente la duración de la batería y el consumo de recursos del PC"

"Aprovechamos Windows Copilot Runtime WCR para escalar a través del diverso ecosistema de Windows con formato ONNX QDQ"

"En primer lugar, aprovechamos un diseño de ventana deslizante que proporciona un tiempo rápido para el primer token y soporte de contexto largo a pesar de no disponer de soporte de tensor dinámico en hardward. En segundo lugar, utilizamos el esquema de cuantificación QuaRot de 4 bits para aprovechar realmente el procesamiento de bits bajos."

Disponibilidad

Aunque no dieron una fecha explicita: El modelo podrá ser descargado desde el equipo a través de Microsof AI Toolkit de VS Code, que es un conjunto de herramientas para desarrolladores. Por lo que cualquier desarrollador que utilice este entorno de programación podrá beneficiarse de las capacidades de este modelo de lenguaje en un Copilot+PC con NPU.

Los equipos Copilot+PC ejecutan Windows 11 que cuentan, como mínimo 256GB de almacenamiento, 16Gb en RAM y una NPU con capacidad mínima de 40 TOPS de potencia. Las primeras versiones serán de 7B y 14B, lo que significa que algunos equipos no podrán ejecutar modelos localmente.

Microsoft se ha abierto a estos modelos de DeepSeek de tal manera que también ha hecho estos modelos compatibles a través de la nube de Azure AI Fundry.

El hecho que Microsoft se adapte a las tecnologías de DeepSeek sorprende bastante, dado que la mayoría de las empresas tecnológicas estadounidenses se encuentran en estado de alerta ante la irrupción de este modelo chino.