Red Hat OpenShift AI 2.15 přidává jako komplexní AI/ML platforma také nové možnosti nasazování modelů gen AI, včetně vLLM serving runtime for KServe.
Red Hat představil nejnovější verzi Red Hat OpenShift AI. Tato platforma pro umělou inteligenci (AI) a strojové učení (ML), postavená na řešení Red Hat OpenShift, umožňuje podnikům ve velkém rozsahu vytvářet a poskytovat aplikace s podporou AI v hybridním cloudu. Platforma Red Hat OpenShift AI 2.15 je navržena tak, aby poskytovala větší flexibilitu i možnosti ladění a sledování, což pomáhá urychlit inovace a zajistit provozní konzistenci AI/ML v podnicích s větší systematičností a silnějším zabezpečením napříč veřejnými cloudy, datovými centry i prostředími edge computingu.
Podle IDC budou podniky z žebříčku Forbes Global 2000 vynakládat více než 40 % svých hlavních výdajů na IT na iniciativy v oblasti AI1. IDC navíc předpovídá, že do roku 2026 budou podniky využívat generativní umělou inteligenci (gen AI) a automatizační technologie, aby dosáhly zvýšení produktivity ve výši 1 bilion dolarů2. Red Hat si uvědomuje, že taková úroveň investic vyžaduje platformu pro AI/ML, která dokáže spravovat životní cykly modelů a vytvářet aplikace gen AI a zároveň bude dostatečně flexibilní, aby mohla běžet vedle tradičních úloh a aplikací v hybridním cloudu.
„Jak podniky objevují nový svět možností, které nabízejí aplikace a úlohy využívající umělou inteligenci, očekáváme, že se bude zájem a poptávka po základních platformách zvyšovat s tím, jak se budou formovat konkrétní strategie. Pro podniky je nezbytné, aby se jim tyto investice vrátily díky spolehlivé, škálovatelné a flexibilní platformě pro AI, která funguje bez ohledu na to, kde se jejich data v rámci hybridního cloudu nacházejí. Nejnovější verze Red Hat OpenShift AI nabízí výrazné zlepšení škálovatelnosti, výkonu a provozní efektivity a zároveň funguje jako základní kámen pro zastřešující životní cyklus modelů. Díky tomu mohou IT organizace získat výhody výkonné platformy AI a zároveň si zachovat možnost vytvářet, nasazovat a provozovat ji v jakémkoli prostředí, které vyžadují jejich jedinečné potřeby,“ uvedl Joe Fitzgerald, viceprezident a generální ředitel AI business unit společnosti Red Hat.
Red Hat OpenShift AI 2.15 má podnikům pomoci řešit vznikající potřeby úloh s AI spolu s požadavky kriticky důležitých cloudových aplikací, které dnes pohánějí jejich podnikání. Mezi pokročilé funkce nejnovější verze platformy Red Hat OpenShift AI patří:
• Registr modelů, který je v současné době k dispozici jako technologický náhled a je centrálním místem pro zobrazení a správu zaregistrovaných modelů. Registr poskytuje strukturovaný a organizovaný způsob sdílení, verzování, nasazování a sledování prediktivních i generativních modelů AI, metadat a artefaktů modelů. K dispozici je také možnost nasadit více registrů modelů. Red Hat věnovala registr modelů jako sub-projekt komunitě Kubeflow.
• Detekce odchylky dat, která sleduje změny distribuce vstupních dat pro nasazené modely ML. Tato funkce umožňuje datovým vědcům zjistit, že se živá data použitá pro zásah do modelu výrazně liší od dat, na kterých byl model vytrénován. Detekce odchylky pomáhá ověřovat spolehlivost modelu neustálým sledováním vstupních dat, čímž zajišťuje soulad modelu s reálnými daty a pomáhá udržovat přesnost jeho předpovědí v čase.
• Nástroje pro detekci zkreslení, které pomáhají datovým vědcům a inženýrům AI sledovat, zda jsou jejich modely korektní a nezaujaté, což je klíčová součást budování důvěryhodnosti modelů. Tyto nástroje pomáhají nejen zjistit, zda jsou modely na základě trénovacích dat objektivní, ale také sledovat, zda jsou tyto modely korektní i během reálného nasazení. Tyto nástroje pochází od open source komunity TrustyAI, která poskytuje rozmanitou sadu nástrojů pro odpovědný vývoj a nasazení AI.
• Efektivní jemné doladění pomocí LoRA, které využívá LoRA adaptéry umožňující efektivnější jemné doladění LLM, jako je například Llama 3. To umožňuje organizacím škálovat úlohy AI a zároveň snižovat náklady a spotřebu zdrojů. Optimalizací trénování a dolaďování modelů v nativně cloudových prostředích toto řešení zvyšuje výkon i flexibilitu, takže je nasazení AI dostupnější a škálovatelnější.
• Podpora pro NVIDIA NIM v podobě sady snadno použitelných mikroslužeb rozhraní, které urychlují poskytování aplikací gen AI. Integrace s NIM, součástí softwarové platformy NVIDIA AI Enterprise, pomáhá urychlit nasazení gen AI a zároveň podporuje širokou škálu modelů AI, aby bylo možné poskytovat škálovatelné odvozování v on-premise nebo v cloudovém prostředí prostřednictvím rozhraní pro programování aplikací (API).
• Podpora grafických procesorů AMD, která umožňuje přístup k platformě AMD ROCm pro použití grafických procesorů AMD při vývoji modelů a zároveň i přístup k obrazům, které lze použít pro obsluhu a trénink či ladění s grafickými procesory AMD. Tato podpora poskytuje organizacím další možnosti využití grafických procesorů ke zvýšení výkonu při výpočetně náročných činnostech.
Vylepšené nasazení modelů
Red Hat OpenShift AI 2.15 přidává jako komplexní AI/ML platforma také nové možnosti nasazování modelů gen AI, včetně vLLM serving runtime for KServe. Tato nová funkce přináší do platformy populární open source model serving runtime pro velké jazykové modely (LLM). Flexibilita a výkonnost vLLM je vynikajícím doplňkem aktuálně podporovaných prostředí platformy, přičemž uživatelé mohou přidávat i vlastní možnosti podle svých konkrétních požadavků.
Nejnovější verze Red Hat OpenShift AI také přidává podporu pro KServe Model cars, která přidává repozitáře Open Container Initiative (OCI) jako další možnost ukládání a přistupování k verzím kontejnerizovaných modelů. Výběr soukromé či veřejné trasy pro koncové body v KServe navíc umožňuje organizacím zvýšit bezpečnost modelu, když jej v případě potřeby nasměruje specificky na interní koncové body.
Rozšířené možnosti trénování a experimentování s AI
Red Hat OpenShift AI 2.15 přináší i vylepšení pro datově-vědecké projekty a sledování experimentů, což datovým vědcům umožňuje snadněji spravovat, porovnávat a analyzovat běhy projektů seskupených v logické struktuře. Platforma také přidává ladění hyperparametrů pomocí funkce Ray Tune, která doplňuje pokročilé optimalizační algoritmy pro zvýšení přesnosti a efektivnější trénink prediktivních a generativních modelů AI. Základní obrazy kontejnerů pro Ray klastry jsou nyní součástí nejnovější verze Red Hat OpenShift AI a úlohy pro trénink a ladění lze naplánovat napříč distribuovanými úlohami v klastru, pro jejich urychlení a maximalizaci využití jednotlivých uzlů.