Brave, webový prohlížeč zaměřený na ochranu soukromí, nedávno spustil inteligentního asistenta s umělou inteligencí nazvaného Leo AI, který kromě poskytování výsledků vyhledávání pomáhá uživatelům shrnovat články a videa, získávat informace z dokumentů nebo odpovídat na otázky.
Technologie, která stojí za Brave a dalšími nástroji využívajícími umělou inteligenci, je kombinací hardwaru, knihoven a softwarového ekosystému, který je optimalizován pro potřeby umělé inteligence.
Stejně důležitý je ale i software. Jeho první vrstvou je knihovna pro inferenci AI, která funguje jako překladač. Přijímá požadavky na běžné úlohy AI a převádí je na konkrétní instrukce, které má hardware spustit. Brave a Leo AI používají llama.cpp prostřednictvím open-source projektu Ollama.
Llama.cpp je open-source knihovna a framework. Prostřednictvím CUDA, aplikačního programovacího rozhraní společnosti NVIDIA, poskytuje akceleraci pomocí Tensor Cores pro stovky modelů, včetně populárních LLM, jako jsou Gemma, Llama 3, Mistral a Phi.
Umělá inteligence Brave Leo může běžet v cloudu nebo lokálně na počítači prostřednictvím služby Ollama.
Lokální přístup má mnoho výhod. Patří mezi ně soukromí i nepřetržitá dostupnost. Lokální provoz také eliminuje nutnost platit za neomezený přístup ke cloudu. Díky službě Ollama mohou uživatelé využívat širší škálu modelů s otevřeným zdrojovým kódem než většina hostovaných služeb.
RTX navíc umožňuje rychlou a svižnou odezvu. Při použití modelu Llama 3 8B se souborem llama.cpp mohou uživatelé očekávat odezvy až 149 tokenů za sekundu – tedy přibližně 110 slov za sekundu. Při použití Brave s Leo AI a Ollama to znamená svižnější odpovědi na otázky a požadavky.
Ollamu lze nainstalovat snadno, stačí si stáhnout instalační program z webových stránek projektu a nechat jej běžet na pozadí. Z příkazového řádku pak mohou uživatelé stáhnout a nainstalovat širokou škálu podporovaných modelů a poté s nimi pracovat prostřednictvím příkazového řádku.
Více informací nabízí aktuální blog: https://blogs.nvidia.
