Štítek: AnythingLLM

Anything LLM nabízí podporu NVIDIA NIM

Lokální spouštění modulů LLM již není určeno pouze pro zkušené uživatele. S AnythingLLM je to jednoduché a s GeForce RTX je to ještě rychlejší.

Tento týden RTX AI Garage blog zkoumá, jak AnythingLLM, open-source desktopová aplikace pro lokální pracovní postupy využívající AI, usnadňuje vývojářům a nadšencům spouštění velkých jazykových modelů, systémů RAG a dalších nástrojů přímo na jejich vlastních počítačích – bez nutnosti cloudu a složitého nastavování.

Díky přidané podpoře pro mikroslužby NVIDIA NIM nyní AnythingLLM poskytuje uživatelům rychlejší a čistší způsob lokálního vytváření generativních modelů využívajících AI. Jedná se o plug-and-play přístup k začátkům práce s GenAI – a jasný krok k dostupnějšímu lokálnímu vývoji AI.

Proč je to důležité:

  • Rychlost: Na GeForce RTX 5090, je místní výkon LLM 2,4x vyšší než u Apple M3 Ultra díky akceleraci pomocí Tensor Cores a zásobníku Ollama + Llama.cpp + GGML.
  • Soukromí: Všechna data a modely zůstávají lokální – což je velká výhoda pro vývojáře pracující s proprietárním obsahem, osobními soubory nebo využívající soukromé pracovními postupy.
  • Jednoduchost: AnythingLLM nabízí přehledné uživatelské rozhraní a instalaci na jedno kliknutí. V kombinaci s NIM výrazně ulehčuje práci.

Nový nástroj umožňuje sdílení prostředků a zkušeností pro vývoj lokálně běžících virtuálních asistentů akcelerovaných pomocí RTX

AI Decoded se tento týden zaměřuje na agenty a virtuální asistenty využívající AI a jejich schopnost řešit komplexní zadání. Rovněž představuje novou funkci Community Hub na AnythingLLM. Jde o nový kolaborativní prostor umožňující uživatelům vytvářet a sdílet dovednosti těchto agentů.

AnythingLLM přizpůsobitelná desktopová aplikace s otevřeným zdrojovým kódem, která uživatelům umožňuje integrovat schopnosti velkého jazykového modelu (LLM) do aplikací běžících lokálně. Lze ji akcelerovat pomocí GPU NVIDIA RTX.

Nově spuštěný Community Hub je prostor pro spolupráci, kde mohou nadšenci do umělé inteligence:
– sdílet prompty, které řídí chování LLM.
– Prozkoumat příkazy zvyšující produktivitu.
– Vytvářet a vyměňovat si specializované dovednosti agentů využívajících AI přizpůsobené jedinečným pracovním postupům.

Příklady dovedností, které jsou již k dispozici:
– E-mailový asistent v aplikaci Microsoft Outlook
– Asistence při práci s kalendářem
– Ovládání domácích asistentů
– Vlastní rozhraní API a integrace služeb

Díky tomu, že AnythingLLM běží lokálně na počítačích s GPU akcelerací NVIDIA RTX, zajišťuje plné soukromí dat a zároveň umožňuje rychlejší a inteligentnější pracovní postupy AI. AnythingLLM zpřístupňuje experimentování s agenty využívajícími AI všem, od jednoduchých nástrojů, jako jsou asistenti pro práci s tabulkami, až po práci se složitým podnikovým softwarem.

Vyzkoušejte si AnythingLLM nyní. Podívejte se na náš blog AI Decoded a dozvíte se více.

Exit mobile version