Veľké jazykové modely: mocný nástroj, pri ktorom netreba zabúdať na bezpečnosť
Veľké jazykové modely dnes už nie sú experiment. Používajú sa denne — vo vývoji, v produktoch aj vo firmách. Pre mnohých developerov sa stali prirodzenou súčasťou workflowu.
Práve preto sa mení aj spôsob, akým o nich premýšľame. Už nejde len o to, čo dokážu. Dôležité je aj to, ako ich používame v praxi, kde dávajú zmysel a čo sa môže pokaziť, keď ich začneme brať ako bežný produkčný komponent.
Rýchla hodnota, ktorú dávajú
Jedným z najčastejších použití sú chatboty nad internými dátami. Scenár je jednoduchý: namiesto prehľadávania dokumentácie sa opýtaš a dostaneš odpoveď.
Práve táto schopnosť dramaticky skracovať cestu medzi otázkou a informáciou je dôvod, prečo sa LLM tak rýchlo dostali do praxe.
Zároveň ale neplatí, že vždy treba najväčší model. V niektorých prípadoch je menší model lacnejší, jednoduchší a úplne postačujúci. Čím viac sa LLM používajú reálne, tým viac sa ukazuje, že nejde len o schopnosti, ale aj o výber správneho nástroja pre konkrétny problém.
Aj toto je téma, ktorá zaznela na CODECON #Bratislava 2025. Prednáška je dnes dostupná online a môžeš si ju pokojne vypočuť celú TU 👇👇:
V tomto článku ti medzitým prinášame výber toho najdôležitejšieho. Ber to ako ochutnávku alebo rýchly prehľad toho, o čom prednáška je, bez všetkých detailov a ukážok.
Open source nie je len „väčšia sloboda“
Open-source modely dávajú kontrolu, vieš ich nasadiť lokálne, upraviť a použiť podľa seba. To je silné najmä v momentoch, keď dáta nemôžu opustiť vlastnú infraštruktúru alebo keď riešiš náklady a špecifické prípady použitia.
Lenže s touto flexibilitou prichádza aj niečo, na čo sa často zabúda: model nie je len súbor, ktorý si stiahneš.
Pri práci s modelmi z verejných repozitárov ako HuggingFace môže aj úplne štandardný workflow skončiť nečakane. Stiahneš model, spustíš odporúčaný kód a zrazu ti v projekte pribudne súbor, ktorý si nikdy nevytváral.
Prečo? Jednoducho preto, že niekto do kódu, ktorý na pozadí reprezentuje model, vložil funkcionalitu, ktorá tam byť nemá.
Presne tento typ scenára ukazuje, že model nie je len pasívny artefakt, ale aj potenciálny „execution surface“.
Keď model vylepšíš, môžeš niečo pokaziť
Modely často fungujú dobre „out of the box“. Ak nie, riešením býva dotrénovanie (fine-tuning). Ten vie výrazne pomôcť, napríklad pri špecifickej doméne alebo štýle komunikácie.
Má to však háčik.
Keď model dotrénuješ na jednu vlastnosť, môžeš tým pokaziť inú. V praxi to znamená, že model, ktorý bol predtým bezpečný, môže po úpravách začať generovať odpovede, ktoré by predtým odmietol.
Nie preto, že by si túto vlastnosť cielene menil, ale preto, že si zmenil jeho správanie ako celok.
Do toho vstupuje ešte ďalšia vrstva problému: ak model dotrénovávaš na vlastných dátach, vždy riešiš aj otázku, čo z týchto dát v modeli zostane.
Promptovanie nestačí
Veľa vecí sa dnes rieši promptom. Modelu povieš, čo má robiť, čo nemá robiť a akým spôsobom sa má správať. Do určitej miery to funguje, ale nie je to samospasiteľné.
Problém je v tom, že v takomto nastavení nechávaš kontrolu na samotný model. Inými slovami: model kontroluje sám seba.
Spoľahlivejší prístup je pridať medzi model a používateľa ďalšiu vrstvu, guardrails. Odpoveď nejde priamo von, ale najprv prejde kontrolou.
To zásadne mení pohľad na architektúru: namiesto toho, aby si dôveroval modelu, ho začneš kontrolovať ako každý iný komponent systému.
Takýchto vrstiev môže byť viac — jedna kontroluje nevhodný obsah, ďalšia faktickosť, ďalšia iné typy rizík. Rovnako sa dajú kontrolovať aj vstupy ešte predtým, než sa vôbec dostanú do modelu.
Keď sa guardrails skombinujú s promptovaním, výsledok je výrazne robustnejší než keď všetko necháš len na modeli.
Reálny problém nie je technológia
Na konci dňa je tu ešte jedna praktická vec: AI sa vo firmách už používa — či to niekto oficiálne schválil alebo nie.
Otázka teda nie je „či“, ale „ako“.
Buď ju budú ľudia používať nekontrolovane, alebo sa nastavia pravidlá a mechanizmy, ktoré to urobia bezpečnejším…
Stále hladný?
Okrem tejto prednášky sme na CODECON #Bratislava 2025 mali množstvo ďalších na rôzne témy. Ak ťa toto zaujalo, určite si prídeš na svoje aj pri ostatných.
Celý prístup k nezostrihaným prednáškam nájdeš na YouTube: