ZML, una prometedora startup francesa de inteligencia artificial, ha lanzado recientemente un software de rendimiento de inferencia que permite ejecutar modelos de lenguaje de código abierto en una variedad de chips, incluyendo los de Nvidia, AMD, Google, Apple e Intel. Este nuevo servidor de inferencia, ZML/LLMD, busca romper los silos existentes y maximizar la velocidad de uso de diferentes chips en aplicaciones de IA, según su fundador, Steeve Morin.
La optimización de la inferencia, que se refiere al procesamiento de solicitudes, ha cobrado mayor importancia a medida que la IA se integra en el trabajo y la vida cotidiana. Morin señala que, a menudo, existen barreras de software y arquitectura que conducen a la dependencia de un solo proveedor. ZML aspira a ofrecer a las empresas la opción de utilizar una combinación de chips, algunos de los cuales podrían ser más económicos o consumir menos energía.
Este movimiento podría ser un disruptor en el mercado, especialmente en un contexto donde los costos relacionados con la IA son motivo de preocupación. ZML también tiene la intención de colaborar con nuevos fabricantes de chips de IA, muchos de los cuales son europeos, como Axelera y Kalray, para desarrollar soluciones innovadoras.
A pesar de la competencia, que incluye empresas como Baseten, valorada recientemente en $13 mil millones, Morin mantiene una buena relación con Nvidia, que sigue siendo un jugador clave en el sector. La inversión en inferencia ha sido tan intensa que se ha denominado la “fiebre del oro de la inferencia”.
ZML, que cuenta con un equipo ágil de 20 personas, ha recaudado $20 millones de diversas firmas de capital de riesgo. Aunque ZML/LLMD no es un producto de código abierto, se lanza como una opción gratuita para aprender sobre su uso antes de considerar un modelo de ingresos. Morin ha enfatizado que prefiere medir la efectividad del producto antes de monetizarlo, asegurando así un crecimiento sostenible.
Comentarios