> A helyi AI szolgáltatások koncepciója: Milyen használati esetek tartoznak ide, milyen kockázatokat lehet vele kezelni és milyen korlátai vannak.
> A helyi AI ökoszisztéma elemei: modell kiszolgálók (inferencia szerverek), AI gateway megoldások, vektor adatbázisok, MCP szerverek, RAG és workflow megoldások
> Hardver-tervezés: Megtanulsz pontos hardver erőforrás becslést végezni (VRAM igény számítás, sávszélesség-tervezés), hogy tudd, milyen GPU, CPU és memória igény szükséges egy adott modell futtatásához, mikor éri meg a saját infrastruktúra az AI szolgáltatásokkal szemben.
> Production inferencia szerverek: Túlmutatva az egyszerű szkripteken, megtanulsz nagy terhelést bíró szervereket (vLLM, SGLang, Llama.cpp) hardver (Nvidia, Intel, ARM, AMD) optimalizáltan fordítani, konténerizáltan telepíteni helyi szerverekre és a felhőbe is. Ezen kívül betekintést kapsz a felhő szolgáltatók inferencia megoldásaiba is.
> Kliens oldali inferencia: Megismered hogyan lehet hatékonyan modelleket futtatni laptopon, otthoni PC-ken, helyi kódolási asszisztensek, hangfelvétel átírási megoldásokhoz.
> Költséghatékony optimalizáció, hangolás: Elsajátítod a kvantálási eljárásokat (GGUF, AWQ, GPTQ), amelyekkel drasztikusan csökkentheted az open source AI modellek memóriaigényét, lehetővé téve a futtatást akár consumer hardveren vagy CPU-n is. Megismered a modell kiszolgálás optimalizálási technikákat, mint az Speculative decoding, Continuous Batching, MOE modellek használata.
> Teljesítmény tesztelési és monitorozási megoldások: Megismered, hogyan lehet hatékonyan futtani a helyi AI megoldásokat és tesztelni a teljesítményüket szöveges, vizuális adatok és hang feldolgozás esetén. Hogyan mérjük a perplexity-t (modell válaszának bizonytalansága), illetve hogyan lehet beilleszteni az AI futtató környezetet a szabványos vállalati monitorozási megoldásokba.
> Modell tanítás finomhangolással (Fine-Tuning): Megtanulod a PEFT (Parameter-Efficient Fine-Tuning) és LoRA módszereket, amelyekkel nem "nulláról", hanem hatékonyan, kevés erőforrással taníthatsz be modelleket saját feladatokra, helyi megoldásokkal, mint a Redhat AI, Unsloth Studio.
> Adat előkészítés és formázás: Képes leszel "nyers" vállalati adatokból tanító adatbázist készíteni, és megérted a Chat Template-eket, valamint a strukturált adatbeviteli formátumok (JSONL, TOON) fontosságát a modell optimalizált és hatékony működéséhez.
> AIOps és konténerizáció: Megszerzed a tudást a rendszerek Docker konténerbe csomagolásához (NVIDIA Container Toolkit), biztosítva a fejlesztői és éles környezet közötti hordozhatóságot és skálázhatóságot.
> Biztonságos, szuverén, Air-Gapped rendszerek: Képessé válsz internetkapcsolat nélküli (offline) környezetbe telepíteni AI rendszereket, integrálva a lokális AI ökoszisztéma elemeivel (agent-ek, LLM gateway, vektoradatbázisok, MCP), így garantálva az adatszuverenitást miközben megismered az alkalmazás biztonsági kockázatokat is (OWASP LLM Top 10).
> AI FinOps: Megismered az AI szolgáltatók token felhasználási és költség modelljeit, a token caching technikákat, az AI agentek költség hatékony használatát a helyi AI megoldások segítségével.
> Nyílt forráskódú ökoszisztéma: Mélyreható ismereteket szerzel a Hugging Face platform használatáról és a különböző nyílt modellek (Qwen, Gemma, Mistral, Llama, DeepSeek, GLM) architektúrájának összehasonlításáról (Dense, MOE, MTP..), licenszelési módozatairól.
