Postavit si interní jazykové modely (neboli LLM, v dnešní době běžně označované jako umělá inteligence) pro využití v byznysu vyžaduje optimalizovanou infrastrukturu. Takové modely pak mohou pomáhat s kontrolou kvality zpracování objednávek, asistovat interně při hledání informací nebo vytvářet chytré reportingy. To jsou jen některé z příkladů, na které společnost Rohlik Group trénuje umělou inteligenci pro svou evropskou síť internetových supermarketů, včetně české značky Rohlik.cz. IT infrastrukturu, která je klíčová pro trénink datově náročných AI modelů, dodala technologická společnost ČMIS, jež patří k největším českým hráčům na poli hostingu.
„Pro klienta Rohlik Group jsme vybrali GPU server značky Dell se čtyřmi grafickými kartami NVIDIA A100, z nichž každá má kapacitu 80 GB paměti, zapojené do NVLINK. Tato konfigurace stála tři miliony korun a uspokojí klientovy nároky na výkon. Může tak provozovat i velmi náročné aplikace pro strojové učení, rozpoznávání obrazu, analýzu dat nebo provoz velkých jazykových modelů. V době, kdy je využití pokročilých technologií klíčové pro úspěšný byznys, se tak Rohlik Group může spolehnout nejen na samotný hardware, ale také na podporu a naše know-how pro jeho efektivní provoz,“ říká Václav Svátek, generální ředitel ČMIS.
„Rozpoznání kvality produktů, jako je například ovoce, nebo ověřování správnosti objednávek jsou typické úkoly pro strojové učení. V Rohlik Group neustále hledáme a vyvíjíme nové způsoby, jak pomocí umělé inteligence zlepšit zákaznický servis. V současné době máme rozjeto hned několik iniciativ, které řeší zákaznický problém pomocí umělé inteligence. Příležitosti ale hledáme i v interních procesech a právě zde nám pomůže nová infrastruktura od ČMIS. Díky dostatečné kapacitě nově dodaných grafických karet jsme byli schopni vytvořit vlastní LLM trénovaný nad interními daty, jako jsou interní wiki či data z reportingu,“ vysvětluje Ondřej Klamt, CTO v Rohlik Group.
Využití nové technologie najdou také v interních procesech: „Uživatel, v tomto případě zaměstnanec, má tak možnost se prostřednictvím chatu velmi rychle dobrat k interní informaci, kterou právě hledá. Například jak funguje daný interní proces, jaká je politika pro schvalování nových pozic nebo třeba jak přesně funguje nějaká funkce v našem systému. Do budoucna bude možné se přes interního chatbota dostat i k odpovědi na otázky spojené s konkrétními výsledky v nějaké KPI. Díky infrastruktuře od ČMIS nemusíme při rozvoji těchto technologií sahat kvůli omezení výkonu k větším kompromisům a můžeme se soustředit na svoje byznysové potřeby,“ dodává Ondřej Klamt.
Zpracování stovek GB dat? Klíčový je nejen výkon, ale i know-how
Rostoucí nároky na využití AI pro byznys znamená i zvýšení nároků na samotnou IT infrastrukturu. Aby mohla firma vůbec trénovat vlastní modely, potřebuje nejen obrovský výpočetní výkon, ale také expertní know-how, jak optimálně navrhnout databáze a zajistit jejich maximální dostupnost. „Zejména velké jazykové modely jsou mimořádně datově náročné, na disku běžně zabírají stovky GB. Jsou to v zásadě obrovské matice, které se musejí načíst do grafické paměti (VRAM), aby nad nimi karta mohla provádět výpočty. Od stavu, kdy původně nebylo možné provést výpočty vůbec, jsme se dostali do řádu dnů, respektive hodin u těch nejnáročnějších operací. Nyní může klient například trénovat modely na rozpoznání obrazu, aniž musí významně komprimovat zdrojové obrázky nebo dělat další kompromisy,“ doplňuje Václav Svátek.
Ačkoli je pro většinu startupů veřejný cloud standardem, s příchodem AI se zásadně zvyšují nároky na potřebný výkon. Ten by se v případě využití běžných cloudových služeb prodražil řádově, technologické firmy proto stále častěji využívají pro vývoj privátní cloud. „ČMIS je naším spolehlivým IT partnerem, který nám v této situaci potvrdil svou schopnost rychle sehnat a postavit výkonný server včetně výkonných grafických karet. Server byl pro nás postaven v požadovaném, krátkém čase, s vysokou kvalitou a se stejnou vášní pro nové technologie, kterou máme my v Rohlik Group,“ dodává Ondřej Klamt.
Více o ČMIS
Technologická společnost ČMIS, která patří k největším českým hráčům na poli hostingu, cloudových a serverových řešení, dokáže svým zákazníkům zajistit, že jejich e-shopy nespadnou a fungují hladce i během špičky, takže nepřijdou o své tržby kvůli výpadkům. Mezi hlavní služby patří hosting aplikačního prostředí pro účetní a obchodní systémy, dále hosting databází, úložišť a privátní cloud pro velké e-commerce hráče, jako jsou Rohlik Group či Shoptet. V neposlední řadě poskytuje jako Microsoft direct partner klientům nejlevnější licence pro aplikace Microsoftu.
