Aktuální díl nového seriálu společnosti NVIDIA „AI Decoded“ čtenáře provede problematikou rozsáhlých jazykových modelů (LLM). Vysvětlí proč jsou důležité, jak fungují s Chatboty, co znamená RAG a jak lze vše využívat lokálně na PC s GPU z rodiny RTX.
LLM se hojně využívají v překladačích, jako je například DeepL. V medicínském výzkumu jsou LLM trénovány na učebních materiálech a dalších lékařských datech s cílem zlepšit péči o pacienty. Prodejci využívají chatboty s LLM k poskytování zákaznické podpory. Finanční analytici využívají LLM k přepisu a shrnutí oznámení o finančních výsledcích a důležitých schůzek. A to je jen krátký výčet možností.
Obvykle první interakcí většiny běžných uživatelů s LLM je chatbot, např. ChatGPT. Vděčí zato obvykle přátelskému a snadno použitelnému rozhraní a poměrně široké škále využitelnosti v každodenním životě. Chatboti a asistenti psaní postaveni na LLM se prosazují v řadě oblastí sahajících od obsahového marketingu a copywritingu až po právní operace. Mezi první aplikace využívající LLM patřili asistenti pro tvorbu kódu, kteří tak demonstrovali potenciál AI při vývoji software. Na těchto základech vyrostly projekty jako ChatDev.
Výkon GPU NVIDIA RTX umožňuje pohodlné provozování LLM i lokálně na PC. V kombinaci s technikou zvanou retrieval-augmented generation (RAG) mohou chatboti poskytovat inteligentnější odpovědi na základě specifické sady dat, kterou jim uživatel poskytne. Včetně jeho vlastních soukromých dat. Takový postup je možné si zdarma vyzkoušet díky Chat with RTX. Jde o technologickou ukázku dostupnou majitelům grafických karet NVIDIA RTX, na kterých je možné využít akceleraci pomocí TensorRT-LLM pro rychlejší interakce a práci s dotazy.
AI je také ústředním tématem konference NVIDIA GTC, která se koná 18.-21. března v San Jose v Kalifornii a řada zajímavých přednášek i workshopů je dostupná online. Jde o skvělou příležitost, jak více proniknout do nejnovějšího pokroku a inovací v oblasti AI.
Doporučené odkazy:
Nejnovější díl blogu „AI Decoded“: https://blogs.
Další související témata:
Gemma společnosti Google optimalizovaná pro běh na GPU NVIDIA RTX: https://blogs.nvidia.com/blog/
Chat with RTX: https://blogs.nvidia.com/blog/
TensorRT-LLM na konferenci Microsoft Ignite: https://blogs.nvidia.com/blog/
TensorRT-LLM pro PC se systémem Windows: https://blogs.nvidia.com/blog/
