EdgeCortix presenta el SAKURA-II, un acelerador de IA para el Edge con un rendimiento impresionante de 60 TOPS (INT8) y un bajo consumo de energía de 8 vatios. El chip está diseñado para tareas de IA complejas, como el procesamiento de modelos de lenguaje grande (LLM), modelos de visión grande (LVM) y aplicaciones multimodales basadas en transformadores, así como para las aplicaciones en el borde de la red, como dispositivos IoT y vehículos autónomos.
Permite flexibilidad en cuanto al hardware, con posibilidad de integrarlo tanto en tarjetas de expansión PCIe con uno o dos chips SAKURA-II, o también en módulos M.2 2280 (interfaz PCIe x8 o x16) si lo prefieres. Por tanto, se pueden llegar a potencias de hasta 120 TOPS con INT8 o 60 TFLOPS con BF16.
La plataforma de IA también ofrece una parte de software de vanguardia, con una suite MERA para programación y optimización, una plataforma de compilación heterogénea, técnicas de cuantificación avanzada y capacidades de calibración de modelos. También destaca por la integración con marcos de desarrollo populares como PyTorch, TensorFlow Lite y ONNX, así como acceso a una amplia biblioteca de modelos transformadores de vanguardia y modelos convolucionales.
Además, la empresa EdgeCortix también ha pensado en llevar más allá sus diseños de aceleradores de IA, pudiendo ser integrados en SoCs de otras empresas, como AMD.
Especificaciones técnicas del SAKURA-II de IA
En cuanto a las especificaciones técnicas del EdgeCortix SAKURA-II, son las siguientes:
- NPU con arquitectura DNA-II o Dynamic Neural Accelerator de segunda generación.
- Rendimiento de hasta 60 TOPS con INT8 o 30 TFLOPS con BF16.
- Memoria DRAM con canal dual de 64-bit tipo LPDDR4x (8GB,16GB, 32GB on-board) con ancho de banda de hasta 68 GB/s.
- Memoria SRAM integrada de 20MB.
- Eficiencia de hasta el 90% de utilización, con consumo de energía de 8W.
- Empaquetado BGA.
Si nos referimos al módulo SAKURA-II con formato M.2, tenemos:
- Memoria DRAM
- 8GB (2x bancos de 4GB LPDDR4)
- 16GB (2x bancos de 8GB LPDDR4)
- Interfaz PCIe Gen 3.0 x4
- Rendimiento máximo de 60 TOPS en INT8, 30 TFLOPS en BF16
- Potencia del módulo de 10W
- Dimensiones M.2 2280 (22x80mm)
Para la tarjeta de expansión PCIe, las especificaciones son las siguientes para el acelerador de IA:
- Interfaz PCIe Gen 3.0 x8
- Para el modelo de un solo chip SAKURA-II:
- Memoria DRAM de 16GB (2x bancos de 8GB LPDDR4)
- Rendimiento de 60 TOPS en INT8, 30 TFLOPS en BF16
- Potencia de 10W.
- Para el modelo con dos chips SAKURA-II:
- Memoria DRAM de 32GB (2x bancos de 16GB LPDDR4)
- Rendimiento de 120 TOPS en INT8, 60 TFLOPS en BF16
- Potencia de 20W
- 1x Slot
- Incluye disipador
En cuanto a los precios, si te lo estás preguntando, llegarán a partir del segundo trimestre de 2024 con:
- M.2 8GB: 249 dólares
- M.2 16GB: 299 dólares
- PCIe 1xSAKURA-II: 429 dólares
- PCIe 2xSAKURA-II: 749 dólares