Štítek: RTX

FLUX.1 díky optimalizaci pro TensorRT přináší až 2x rychlejší běh a nižší zátěž VRAM

Blog RTX AI Garage představuje spolupráci společnosti NVIDIA s Black Forest Labs, jednou z předních světových výzkumných institucí zabývajících se AI. Její model FLUX.1 Kontext [dev], je díky tomu nyní optimalizován pro využití na GPU RTX s použitím NVIDIA TensorRT.

FLUX.1 Kontext [dev] kombinuje generování a úpravy obrázků v jediném intuitivním pracovním postupu. Na rozdíl od tradičních přístupů, které vyžadují složité kombinace modelů a řídicích sítí, umožňuje uživatelům řídit úpravy krok za krokem pomocí přirozeného jazyka a referenčních obrázků. Není nutné žádné dolaďování nebo složité nastavení. Mezi klíčové vlastnosti patří:

  • Konzistence postav: Zachování jedinečných rysů napříč scénami.
  • Lokalizované úpravy: Můžete změnit konkrétní prvky, aniž byste ovlivnili celý obraz.
  • Přenos stylu: Použití vzhledu referenčního obrázku na nové scény
  • Výkon v reálném čase: Generování s nízkou latencí podporuje rychlé opakování a zpětnou vazbu

Akcelerace na GPU RTX pomocí TensorRT přináší až 2x rychlejší inference a výrazně nižší spotřebu VRAM. Proč je to důležité?

  • Úpravy v reálném čase: Optimalizace TensorRT umožňují interaktivní úpravy v reálném čase na systémech poháněných RTX.
  • Intuitivní iterace: Cílené změny – předefinování detailů, zachování konzistence znaků nebo přenesení stylů bez ztráty kvality nebo tvůrčí kontroly.
  • Zjednodušení pracovních postupů: Eliminace potřeby více modelů nebo složitých postupů. Vše od generování obrázků až po jemné úpravy probíhá v jednom zjednodušeném a dostupném nástroji.
  • Škálovatelná přístupnost: Díky otevřeným váhám dostupným v Hugging Face a bezproblémové integraci do nástrojů, jako je ComfyUI, může více lidí experimentovat, vytvářet prototypy a zavádět pokročilá řešení pro úpravu obrázků .

FLUX.1 Kontext [dev] je k dispozici na Hugging Face (Torch a TensorRT). Nadšenci do AI, kteří mají zájem o testování těchto modelů, si mohou stáhnout varianty Torch a používat je v programu ComfyUI. Společnost Black Forest Labs také zpřístupnila online playground pro testování modelu. Mikroslužba NVIDIA NIM se očekává v srpnu. Pro pokročilé uživatele a vývojáře NVIDIA pracuje na vzorovém kódu pro snadnou integraci pipeline TensorRT do pracovních postupů. Repozitář DemoDiffusion vyjde ještě tento měsíc.

Halloweenskou instalaci pomohla vytvořit AI akcelerovaná pomocí RTX

Digitální umělec a zaměstnanec společnosti NVIDIA Sabour Amirazodi každoročně na Halloween zdobí svůj dům úžasnými venkovními dekoracemi včetně propracovaných projekcí. Letos Amirazodi využil při práci nové triky, které mu umožňují AI nástroje v aplikacích ComfyUI, Adobe Firefly a Photoshop. Vytvořil pomocí nich digitální portréty inspirované jeho rodinou, které posloužily jako základní stavební kámen pro nejnovější projekci nazvanou Haunted Sanctuary. A pomohla mu k tomu GPU NVIDIA RTX 6000 a platforma NVIDIA Studio pro tvůrce.

Tento projekt představuje rozsáhlou práci vyžadování tvorbu a sestavování 3D scén, mapování nebo dotažení kompozice, sestřihání video smyček a přidání speciálních efektů v aplikacích Adobe After Effects a Premiere Pro. Proces tvorby byl urychlen pomocí platformy pro tvorbu obsahu NVIDIA Studio a Amirazodiho grafického procesoru NVIDIA RTX 6000.

Podrobný postup naleznete v novém blogu AI Decoded.

RTX Video podporuje nově i Mozilla Firefox

Mozilla Firefox, oblíbený webový prohlížeč s otevřeným zdrojovým kódem, umožňuje nově využít RTX Video. Technologie společnosti NVIDIA využívá AI k vylepšení přehrávaného videa. U této příležitosti se na ni zaměřil také blogový seriál AI Decoded pro tento týden.

Technologie RTX Video sestává ze dvou funkcí:

  • RTX Video Super Resolution analyzuje video s nižším rozlišením a pomocí deep learningu předpovídá, jak by měla vypadat jeho verze v rozlišením vyšším. Algoritmus pak tento obraz zkombinuje s tradičně upscalovanou verzí videa, aby se odstranily kompresní artefakty a konečný výstup byl ostřejší.
  • RTX Video HDR analyzuje obsah SDR videa prostřednictvím neuronových sítí a na základě této analýzy jej převádí na HDR výstup. Pro jeho správné zobrazení je potřeba monitor nebo TV kompatibilní s HDR10.

90 % videa online je SDR a v rozlišení 1080p nebo nižším. Zapnutí NVIDIA RTX Video tak nabízí snadný „remaster“ většiny obsahu, který uživatelé sledují každý den.

Firefox se podporou RTX Video připojuje k dalším prohlížečům založeným na Chromiu, včetně Google Chrome nebo Microsoft Edge. Funkce RTX Video Super Resolution je podporována také v oblíbených přehrávačích videa, jako je VLC.

Nejnovější blog AI Decoded: https://blogs.nvidia.com/blog/ai-decoded-rtxvideo-firefox

Podpora akcelerace funkcí využívajících AI pomocí RTX v nástrojích od Adobe a Blackmagic Design roste

Seriál In the NVIDIA Studio se tentokrát zaměřuje na využití AI v nástrojích společností Adobe a Blackmagic Design. K dispozici jsou také dubnové ovladače NVIDIA Studio přinášející optimalizace pro nejnovější verze kreativních aplikací.

GPU NVIDIA RTX a GeForce RTX umožňují využívat AI při tvorbě videí a šetřit tak čas. Mezi novinky v této oblasti patří např.:

  • Funkce převodu řeči na text v aplikaci Adobe Premiere Pro je nyní díky akceleraci pomocí GPU NVIDIA RTX a GeForce RTX až o 15 % rychlejší.
  • V Adobe After Effects zase tyto GPU umožňují bezproblémový import 3D objektů, které se budou vykreslovat ve stejném 3D prostoru jako kamera, světlo a další 3D vrstvy.
  • DaVinci Resolve od Blackmagic Design ve verzi 19 přidává 2 nové funkce využívající AI, které běží na GPU NVIDIA GeForce RTX 4090 oproti Mac M2 Ultra až 3× rychleji. Jedná se o IntelliTrack AI pro sledování objektů, stabilizaci a panorámování zvuku a UltraNR, který využívá AI pro redukci prostorového šumu.

Možnosti využití DaVinci Resolve a dalších nástrojů s využitím akcelerace pomocí RTX při tvorbě demonstruje Rakesh Kumar na svém projektu „The Rooted Vault.“

Bližší informace přináší poslední blog „In the NVIDIA Studio“: https://blogs.nvidia.com/blog/studio-davinci-resolve-sketchup-driver/

Chat with RTX se představuje veřejnosti

Chatboty běžící díky cloudovým serverům založeným na GPU NVIDIA využívají každý den miliony lidí po celém světě. Nyní tyto nástroje přicházejí i na osobní počítače se systémem Windows vybavené GPU NVIDIA RTX.

Chat with RTX, který je nyní zdarma ke stažení, je technologická ukázka, která uživatelům umožňuje přizpůsobit chatbota jejich vlastnímu obsahu. Nástroj lze spustit pomocí GPU NVIDIA GeForce RTX řady 30 nebo vyšší s alespoň 8 GB VRAM. Ke svému chodu využívá metodu generování s podporou vyhledávání (RAG), software NVIDIA TensorRT-LLM i akceleraci pomocí NVIDIA RTX. Uživatelé mohou rychle a snadno připojit místní soubory v počítači jako datovou sadu k rozsáhlému jazykovému modelu s otevřeným zdrojovým kódem, například Mistral nebo Llama 2, a umožnit tak rychlé a kontextově relevantní odpovědi na dotazy.

AI v produktech Adobe zvládne vylepšit srozumitelnost mluveného slova i automatickou tvorbu titulků

V seriálu In the NVIDIA Studio se tento týden představuje Esteban Toro, senior community relationship manager ve společnosti Adobe. V jeho posledním projektu Cinematic Portraits mu pomáhají funkce využívající AI v aplikacích Adobe Photoshop a Lightroom.

Toro se v něm zaměřuje na zajímavé osobní příběhy lidí, mezi něž patří např. je 81letá korejská malířka Kim Nam Soon, která se naučila malovat až v 65 letech. Natáčení v různých, často rušných, prostředích. AI pomohla vytvořit kvalitnější a srozumitelnější hlasové nahrávky díky funkci Enhance Speech, která bude brzy dostupná v Adobe Premiere Pro. Na ní je možné demonstrovat obrovský mezigenerační nárůst výkonu v AI aplikacích. Např. na GPU GeForce RTX 4090 je možné úlohu zpracovat o 75 % rychleji ve srovnání s RTX 3080 Ti.

„Bez AI by byly záběry natočené v náročných a hlučných podmínkách nepoužitelné,“ říká Toro. Nejedná se však o jedinou takovou funkci, jež mu usnadňuje práci. Nástroj Text-Based Editing využívá umělou inteligenci pro rychlý převod mluveného slova na titulky. podporuje 18 jazyků a umí detekovat a z textu odstranit různé slovní výplně a vsuvky.

Další informace o tomto projektu nabízí nejnovější In the NVIDIA Studio blog.

Stále také probíhají registrace na nadcházející březnovou konferenci GTC. Její program mezi 18. a 21. březnem nabídne zajímavé přednášky a workshopy např. s tématy OpenUSD nebo generativní AI.

Exit mobile version