Tento týden se nejnovější blog ze seriálu „AI Decoded“ věnuje novým novinkám souvisejícím s SDK NVIDIA TensorRT. Pro snazší orientaci v textu následuje krátký přehled důležitých pojmů:
- NVIDIA TensorRT je sada nástrojů pro vývoj softwaru (SDK), která umožňuje využít plné využití potenciálu generativní AI na více než 100 milionech PC s GPU NVIDIA RTX a operačním systémem Windows.
- Tensor jádra jsou specializované akcelerátory pro AI, kterými exkluzivně disponují GPU NVIDIA RTX.
- NVIDIA TensorRT-LLM je open-source knihovna umožňující LLM rychleji a efektivněji porozumět požadavkům a reagovat na ně. Je na ni postaven např. ChatRTX a kdokoliv může experimentovat s modely optimalizovanými pro TensorRT-LLM nabízených na stránce NVIDIA AI Foundation Models.
Akceleraci pomocí TensorRT lze nyní otestovat v novém benchmarku Procyon AI Image Generation od společnosti UL Solutions. Dokáže měřit reálný výkon hardwaru pro generování obrazu pomocí AI. Interní testování společnosti NVIDIA prokázalo při použití GeForce RTX 4080 SUPER 50% zrychlení ve srovnání s nejrychlejší implementací bez technologie TensorRT.
NVIDIA TensorRT akceleruje některé z nejpopulárnějších generativních AI modeů, jako Stable Diffusion nebo SDX. Např. Stable Video Diffusion pro převod obrazu na video od Stability AI tak dosáhne 40% zrychlení. Stable Diffusion WebUI od Automatic 1111 navíc díky TensorRT rozšíření přináší až dvojnásobek výkonu, čímž se výrazně zefektivní práce s tímto nástrojem. S nejnovější aktualizací tohoto rozšíření přichází i podpora pro ControlNets, sadu modelů umělé inteligence, které pomáhají uživatelům získat větší kontrolu nad výstupem z difúzního modelu. S TensorRT jsou ControlNets rychlejší o 40 %.
Doporučené odkazy:
- Příručka k benchmarku Procyon AI Image Generation od UI Solutions pro recenzenty GPU je k dispozici na nvida-press.com
- Aktuální blog „AI Decoded“: https://blogs.
nvidia.com/blog/ai-decoded- tensorrt-stable-diffusion- automatic1111 - Seriál „AI Decoded“: https://blogs.
nvidia.com/blog/tag/ai- decoded/
