- Leren door doen
- Trainers met praktijkervaring
- Klassikale trainingen
- Gedetailleerd cursusmateriaal
- Duidelijke inhoudsbeschrijving
- Maatwerk inhoud mogelijk
- Trainingen die doorgaan
- Kleine groepen
De cursus Large Language Models biedt een diepgaand overzicht van grote taalmodellen (LLMs), van transformer architecturen tot geavanceerde onderwerpen zoals fine-tuning, veiligheid, deployment en praktische toepassingen. Je leert werken met open source modellen, tools en innovatieve AI-oplossingen.
Deze module geeft een overzicht van LLM’s, met uitleg over transformers, attention en tokenisatie. Modellen als GPT, BERT en T5 worden besproken, net als schaalwetten, trainingsdoelen en het verschil tussen pretraining en fine-tuning. Open source vs gesloten modellen komt ook aan bod.
Deelnemers leren over decoders, encoder-decoders en modellen zoals LLaMA en PaLM. Er wordt ingegaan op trainingspipelines, precisie (FP16, quant), en tools zoals Hugging Face en Deepspeed. LoRA, QLoRA en instructietuning worden geïntroduceerd.
Deze module behandelt het voorbereiden van data en het fine-tunen van modellen. Onderwerpen zijn tokenizer setup, SFT, adapters, overfitting voorkomen en evaluatie. Benchmarking en alignment worden toegelicht met Hugging Face tools.
Deelnemers leren hoe LLMs in productie worden gebracht. Inference-optimalisatie, quantisatie, distillatie en cloudhosting komen aan bod. Ook wordt gekeken naar LangChain, vector stores, caching en kostenbeheersing bij schaalvergroting.
Focus ligt op het herkennen en beperken van bias in modellen. Er is aandacht voor auditing, filtering, privacy, uitlegbaarheid, en juridische aspecten. Ook adversarial prompts, red teaming en ethiek worden behandeld.
De cursus sluit af met toepassingen in o.a. softwareontwikkeling, recht, zorg en onderwijs. Voorbeelden zijn RAG-systemen, AI-agents en plugins. Ook komen bedrijfsintegratie, modelvergelijking en onderzoekstrends aan bod.
De cursus Large Language Models is bedoeld voor ontwikkelaars, data scientists en technisch professionals die Large Language Models (LLMs) willen begrijpen en toepassen.
Voor deelname aan de cursus is basiskennis van Python en machine learning vereist. Bekendheid met neurale netwerken natural language processing is aanbevolen.
De cursus wordt gegeven door deskundige trainer en bestaat uit een afwisseling van theorie en praktijk. Demonstraties en case studies met LLMs verduidelijken de leerstof.
Na succesvolle afronding van de cursus ontvangen deelnemers een certificaat van deelname aan Large Language Models.
Module 1: Intro to LLMs |
Module 2: Model Architectures |
Module 3: Training LLMs |
|
What are LLMs? Transformer architecture Training Objectives (causal, masked) Evolution of LLMs (GPT, BERT, T5) Open Source vs Proprietary LLMs Tokenization and Vocabulary Attention Mechanism Model Scaling Laws Transfer Learning Pretraining vs Fine-Tuning |
Decoder vs Encoder-Decoder Models GPT, LLaMA, T5, and PaLM Training Pipeline Overview Optimizers (Adam, Adafactor) Precision (FP32, FP16, quantization) Transformers (HF), Megatron, Deepspeed Parameter vs Instruction Suning LoRA and QLoRA In-context Learning Reinforcement Learning with HF |
Dataset Creation and Curation Tokenizer Customization Data Preprocessing Fine-Tuning with Hugging Face SFT (Supervised Fine-Tuning) Adapters and LoRA Evaluation Metrics Avoiding Overfitting Model Alignment Model Evaluation and Benchmarking |
Module 4: LLM Deployment |
Module 5: Safety and Bias |
Module 6: LLM Use Cases |
|
Inference Optimization Model Distillation Quantization Techniques Hosting on AWS, GCP, Azure Using Model Gateways LangChain and Semantic Search Vector Stores and Embeddings Caching Responses Load Balancing Cost Optimization Strategies |
Understanding Model Biases Mitigation Strategies Model Auditing Adversarial Prompts User Privacy Filtering and Moderation Red Teaming Explainability in LLMs Interpreting Outputs Regulatory and Legal Issues |
Coding Assistants AI for Legal and Finance Education and Learning Health Care and Biotech Chatbots and Agents RAG Systems Tool Use and Plugins Enterprise Use of LLMs Evaluating New Models Future Directions LLM Research |
Deze bedrijven en instanties waren u al voor:
Deze bedrijven waren u voor:
