NVIDIA oznámila spolupráci s OpenAI na zpřístupnění nové rodiny open-source modelů gpt-oss běžným uživatelům. Díky tomu mohou špičkové AI modely, které byly dříve dostupné pouze v cloudových datacentrech, dostatečně rychle běžet přímo na počítačích a pracovních stanicích s GPU z rodiny RTX.
Tato novinka otevírá novou generaci rychlejších a chytřejších lokálních AI systémů, které pohání výkon GPU GeForce RTX a PRO. K dispozici jsou dvě nové varianty navržené pro široké využití napříč ekosystémem:
Model gpt-oss-20b je optimalizovaný pro maximální výkon na AI PC s NVIDIA RTX a alespoň 16 GB VRAM. Na GeForce RTX 5090 zvládá až 250 tokenů za sekundu.
Větší model gpt-oss-120b je určen pro profesionální pracovní stanice s akcelerací pomocí NVIDIA RTX PRO.
Tyto modely byly trénovány na GPU NVIDIA H100a jako první podporují na GPU z rodiny RTX formát MXFP4, který oproti starším modelům zvyšuje kvalitu a přesnost modelu bez ztráty výkonu. Oba modely podporují kontext o délce až 131 072 tokenů, což je jedna z nejvyšších hodnot dostupných při lokálním inferencování. Jsou postaveny na flexibilní architektuře mixture-of-experts (MoE), s podporou pro řetězec myšlení (chain-of-thought), plnění instrukcí a používání nástrojů.
RTX AI Garage tento týden ukazuje, jak mohou nadšenci do AI a vývojáři začít používat nové modely od OpenAI na GPU NVIDIA RTX:
Aplikace Ollama: Nejjednodušší způsob, jak vyzkoušet tyto modely, je pomocí nové aplikace Ollama. Uživatelské rozhraní nabízí přímou podporu modelů gpt-oss, optimalizovanou pro RTX GPU.
Llama.cpp: NVIDIA spolupracuje s open-source komunitou na optimalizaci výkonu při využití RTX GPU. Mezi nedávné příspěvky patří např. podpora CUDA Graphs pro snížení režijních nákladů. Vývojáři mohou začít na GitHub repozitáři Llama.cpp.
Microsoft AI Foundry: Vývojáři ve Windows mají přístup k modelům prostřednictvím Microsoft AI Foundry Local (nyní v rámci veřejného preview). Začít je možné jednoduše pomocí příkazu v terminálu:
Foundry model run gpt-oss-20b
Zakladatel a CEO společnosti NVIDIA Jensen Huang zdůraznil význam této spolupráce:
„OpenAI ukázala světu, co je možné vybudovat na NVIDIA AI – a nyní posouvají inovace i v oblasti open-source softwaru,“ uvedl Jensen Huang.
„Modely gpt-oss umožňují vývojářům po celém světě stavět na špičkových základech open-source AI, čímž posilují technologické vedení USA v oblasti umělé inteligence – a to vše na největší výpočetní AI infrastruktuře světa.“
Podívejte se na blog RTX AI Garage, kde najdete podrobné informace, jak začít s novými modely OpenAI na RTX. Více informací o spolupráci NVIDIA s OpenAI najdete na firemním blogu NVIDIA.