Red Hat, Inc., přední světový poskytovatel řešení založených na open source technologiích, oznámil definitivní dohodu o akvizici společnosti Neural Magic, průkopníka v oblasti softwaru a algoritmů, které urychlují generativní umělou inteligenci (gen AI). Neural Magic s postavením lídra v komunitě vLLM přináší odborné znalosti v oblasti inženýrství inferenčního výkonu (jak modely AI „myslí“ nebo se rozhodují na základě svého vytrénování) a oddanost open sourcu, což je v souladu s vizí společnosti Red Hat v oblasti umělé inteligence:
• Modely s otevřenou licencí, které lze provozovat kdekoli a napříč hybridním cloudem.
• Možnosti přesného ladění, které lze přizpůsobit individuálním datům a případům použití.
• Větší provozní a infrastrukturní efektivita.
• Partnerský a open source ekosystém, který zákazníkům poskytuje širší výběr, od cloudů přes modely až po základní architektury čipů.
Společnost Neural Magic využila své zkušenosti a znalosti v oblasti vLLM k vytvoření nm-vllm, inferenčního modelu podnikové úrovně, a současně vytvořila i LLM Compressor, jednotnou knihovnu pro optimalizaci LLM s nejmodernějšími algoritmy pro zvýšení efektivity a optimalizaci.