Stable Diffusion 3.5 je jedním z nejvýkonnějších modelů pro generování obrázků, které jsou v současné době k dispozici a které dokáží převést psaný vstup na fotorealistické vizuály.
RTX AI Garage, rozebírá, jak se společnosti NVIDIA a Stability AI spojily, aby byl SD3.5 rychlejší, lehčí a přístupnější na počítačích a pracovních stanicích s RTX. Díky kvantizaci modelu na přesnost FP8 pomocí NVIDIA TensorRT nyní SD3.5 Large vyžaduje pouze ~11 GB VRAM, což představuje 40% snížení. A běží až 2,3x rychleji ve srovnání s BF16 PyTorch. Tím se odemyká lokální nárůst výkonu pro širší škálu systémů.
Mezi hlavní výhody patří:
- Nižší nároky na VRAM : Stabilní Diffusion 3.5 Large nyní potřebuje pouze 11 GB VRAM, takže je praktické pro mnohem více notebooků a stolních počítačů.
- Vyšší výkon: Akcelerace TensorRT zdvojnásobuje nebo téměř zdvojnásobuje rychlost inference pro modely Large i Medium.
- Optimalizováno pro nejnovější GPU RTX: GeForce RTX řady 40 a 50 a RTX PRO s architekturami Ada a Blackwell jsou nyní díky vylepšeným jádrům Tensor ještě lépe vybaveny pro zpracování těchto modelů.
- Nová sada TensorRT for RTX SDK : K dispozici je nyní samostatná sada SDK s 8x menší velikostí instalace a just-in-time (JIT) enginem pro snadnější nasazení .