Štítek: ChatRTX

Společnost NVIDIA přinesla aktualizovaný ChatRTX s novým elegantním uživatelským rozhraním a vylepšenými funkcemi. Nejnovější verze využívá framework Electron + Material UI, který vývojářům umožňuje snadněji přidávat vlastní prvky uživatelského rozhraní nebo rozšiřovat funkce tohoto nástroje. Součástí aktualizace je také nová architektura, která zjednodušuje integraci různých uživatelských rozhraní a zefektivňuje vytváření nových chatovacích a RAG aplikací nad backendovým aplikačním programovým rozhraním ChatRTX.

Během fireside chatu na veletrhu SIGGRAPH představil zakladatel a CEO společnosti NVIDIA Jensen Huang „Jamese“ – digitálního člověka postaveného na mikroslužbách NVIDIA NIM a poháněného technologií NVIDIA ACE. James je virtuální asistent, který komunikuje s lidmi a dokáže vyjádřit emoce, ovládá humor a jeho reakce jsou kontextově přesné. Brzy budou moci uživatelé s Jamesem komunikovat v reálném čase na adrese ai.nvidia.com. Společnost na konferenci o počítačové grafice představila také nejnovější pokroky v platformě NVIDIA Maxine AI, včetně Maxine 3D a Audio2Face-2D.

Rozšiřují se také možnosti využití AI akcelerované pomocí RTX pro tvorbu obsahu. RTX Video HDR je nyní k dispozici prostřednictvím aplikací Wondershare Filmora a DaVinci Resolve. 3D grafici získávají další možnosti využití AI, které zjednodušují a vylepšují pracovní postupy. Jde o aplikace a nástroje Replikant, Adobe, Topaz a Getty Images, kde přibývá podpora technologií, jako jsou například NVIDIA Audio2Face, NVIDIA DLSS či další integrace generativní AI.

V oblasti generativní AI získává Stable Diffusion 3.0 optimalizaci pomocí technologie TensorRT, což přináší 60% zrychlení.

Modely Meta Llama 3.1-8B jsou nyní optimalizovány pro inference na PC s NVIDIA GeForce RTX a pracovních stanicích NVIDIA RTX. Tyto modely jsou nativně podporovány pomocí NVIDIA TensorRT-LLM, open-source softwaru, který urychluje výkon inference LLM.David Blažej

Nová aktualizace pro NVIDIA ChatRTX rozšiřuje možnosti tohoto technologického dema a podporu LLM. Poprvé byla oznámena a předvedena na GTC začátkem března a přidává několik nových možností:

• ChatRTX rozšiřuje seznam podporovaných LLM, včetně Gemmy, nejnovějšího LLM společnosti Google, a ChatGLM3, otevřeného a dvojjazyčného (anglického a čínského) modelu.
• Nová podpora fotografií umožňuje uživatelům ChatRTX snadno vyhledávat mezi vlastními fotografickými daty bez nutnosti složitého označování metadat. Aplikace s nimi pracuje lokálně bez odesílání informací na vzdálené servery. Nová funkce staví na Contrastive Language-Image Pre-training (CLIP) společnosti OpenAI.
• Uživatelé služby ChatRTX mohou díky přidané podpoře pro Whisper, systém automatického rozpoznávání řeči využívající AI, s ChatRTX pracovat prostřednictvím hlasových pokynů.

ChatRTX využívá softwarovou sadu TensorRT-LLM a hardwarové možnosti GPU NVIDIA RTX. Vše probíhá lokálně a data uživatelů zůstávají v bezpečí. Nástroj je navíc k dispozici na GitHubu jako bezplatný referenční projekt, což umožňuje vývojářům zkoumat a rozšiřovat AI aplikace využívající technologii RAGtechnology.

Nové aktualizace se dočkal také nástroj RTX Remix. Přináší podporu DLSS 3.5 s funkcí Ray Reconstruction.

Detailnější informace přináší blog „AI Decoded“: https://blogs.nvidia.com/blog/ai-decoded-gtc-chatrtx-workbench-nim/
Stránka ChatRTX s možností stažení: https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/

Chat s RTX je přejmenován na ChatRTX. NA GTC bylo představeno jeho rozšíření o nové LMM modely, které budou k dispozici prostřednictvím aktualizace. ChatRTX bude schopen rozumět mluvenému slovu a odpovídat zpět textem prostřednictvím systému „Whisper“ pro automatické rozpoznávání řeči s využitím AI. Uživatelé budou dokonce moci požádat ChatRTX, aby našel fotografie v jejich soukromé knihovně prostřednictvím slov, termínů nebo frází v jejich dotazech – najít 20 let starou fotografii bude nyní hračka, aniž by se museli prohrabávat složkou za složkou. Bude přidána podpora dalších modelů LLM, včetně ChatGLM2 a Google’s Gemma od společnosti Google, což uživatelům poskytne větší flexibilitu.

Mezi další novinky z GTC patří integrace nových funkcí s podporou AI do populárních aplikací pro tvorbu obsahu nebo rozšíření integrace TensorRT-LLM v oblasti vývojářských frameworků, jako jsou Jan.ai, Langchain, LlamaI-index a Oobabooga.

Na PC s GPU NVIDIA RTX je nyní možné využívat inferenční mikroslužby NVIDIA NIM, které pomáhají vývojářům vytvářet další aplikace využívající AI. Jde o předpřipravené „kontejnery“ AI se standardními rozhraními API poskytující optimalizovaná řešení, které pomáhá zkrátit dobu implementace z týdnů na minuty. Lze je použít s více než dvěma desítkami populárních modelů od společností NVIDIA, Getty Images, Google, Meta, Microsoft, Shutterstock a dalších.

Detaily přináší aktuální „AI Decoded“ blog: https://blogs.nvidia.com/blog/ai-decoded-gtc-chatrtx-workbench-nim/

Doporučené odkazy:

• Gemma společnosti Google optimalizovaná pro běh na grafických procesorech NVIDIA RTX: https://blogs.nvidia.com/blog/google-gemma-llm-rtx-ai-pc/
• Chat s RTX je nyní k dispozici: https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
• Aktualizace TensorRT-LLM na konferenci Microsoft Ignite: https://blogs.nvidia.com/blog/ignite-rtx-ai-tensorrt-llm-chat-api/
• TensorRT-LLM pro počítače se systémem Windows: https://blogs.nvidia.com/blog/tensorrt-llm-windows-stable-diffusion-rtx/