Stále více lidí spouští LLM přímo na svých počítačích, aby minimalizovali náklady na předplatné a měli větší soukromí a kontrolu nad svými projekty. Díky novým pokročilým otevřeným modelům a bezplatným nástrojům pro jejich lokální spouštění chce takto experimentovat stále více lidí. GPU RTX tyto zážitky urychlují a poskytují rychlou a svižnou AI. A díky aktualizacím Projectu G-assist mohou uživatelé notebooků začít používat hlasové a textové příkazy založené na AI k ovládání svého počítače.
Nejnovější blog NVIDIA RTX AI Garage zdůrazňuje, jak mohou studenti, nadšenci do AI a vývojáři začít používat LLM na počítačích již dnes:
- Ollama: Jeden z nejdostupnějších způsobů, jak začít. Tento open-source nástroj poskytuje jednoduché rozhraní pro spouštění a interakci s LLM. Uživatelé mohou přetahovat soubory PDF do příkazových řádků, vést konverzační chaty a dokonce vyzkoušet multimodální pracovní postupy, které kombinují text a obrázky.
- AnythingLLM: Umožňuje tvorbu osobního AI asistenta. Běží na platformě Ollama a umožňuje uživatelům načítat poznámky, prezentace nebo dokumenty a vytvořit si tak tutora, který generuje kvízy a kartičky pro studentské úkoly – soukromé, rychlé a zdarma.
- LM Studio: Nabízí desítky modelů. Je založeno na populárním frameworku llama.cpp a poskytuje uživatelsky přívětivé rozhraní pro lokální spouštění modelů. Uživatelé mohou načítat různé LLM, chatovat s nimi v reálném čase a dokonce je používat jako lokální API koncové body pro integraci do vlastních projektů.
- Projekt G-Assist: Díky nejnovějším aktualizacím mohou uživatelé počítačů nyní pomocí hlasu nebo textu upravovat nastavení baterie, ventilátoru a výkonu.
Mezi nejnovější vylepšení v oblasti RTX AI PC patří:
- Ollama získává výrazné zvýšení výkonu na RTX: Nejnovější aktualizace zahrnují až 50% optimalizaci výkonu pro gpt-oss-20B od OpenAI a až 60% zrychlení modelů Gemma 3 a chytřejší plánování modelů, které snižuje problémy s pamětí a zlepšuje efektivitu více GPU.
- Llama.cpp a GGML optimalizované pro RTX: Nejnovější aktualizace přinášejí rychlejší a efektivnější inferenci na RTX GPU, včetně podpory modelu NVIDIA Nemotron Nano v2 9B, výchozího nastavení Flash Attention a optimalizací jádra CUDA.
- Nová aktualizace G-Assist na verzi 0.1.18 je dostupná prostřednictvím aplikace NVIDIA App. Obsahuje nové příkazy pro uživatele notebooků a vylepšenou kvalitu odpovědí.
- Společnost Microsoft vydala Windows ML s NVIDIA TensorRT pro akceleraci RTX, která přináší až o 50 % rychlejší inferenci, zjednodušené nasazení a podporu pro LLM, difúzi a další typy modelů na počítačích s Windows 11.
