Seriál RTX AI Garage se tento týden zaměřuje na LM Studio, které lze spustit na RTX AI PC. Jde o flexibilní nástroj s otevřeným zdrojovým kódem určené k lokálnímu a rychlému odvozování LLM pro vývojáře a nadšence.
S LM Studio 0.3.15 mohou uživatelé s GPU NVIDIA GeForce RTX řady 50 těžit z vylepšeného výkonu a rychlejších časů načítání modelů i vyšší propustností s plnou podporou CUDA 12.8 a integraci llama.cpp – od experimentování, vytváření pipelines až po integraci AI do aplikací, jako jsou Obsidian a VS Code.
Verze přináší také nové vývojářské funkce, včetně podrobnějšího ovládání nástrojů prostřednictvím parametru „volba nástroje“ a vylepšeného editoru promptů, který usnadňuje přizpůsobení a škálování pracovních postupů. Protože je vše možné spouštět lokálně, je zachována anonymita dat v zařízení.
Detailní blog: https://blogs.nvidia.