- Leren door doen
- Trainers met praktijkervaring
- Klassikale trainingen
- Gedetailleerd cursusmateriaal
- Duidelijke inhoudsbeschrijving
- Maatwerk inhoud mogelijk
- Trainingen die doorgaan
- Kleine groepen
De cursus Large Language Models Bouwen van SpiralTrain leert je hoe je met PyTorch en modern tooling transformer-based LLMs ontwerpt, traint, fine-tuned en deployed. Je leert robuuste text pipelines en tokenizers op te zetten, een GPT-style model met pretraining te implementeren, instruction tuning en RAG toe te passen, en modellen in production op te leveren.
De cursus Large Language Models Bouwen biedt een uitgebreide introductie in wat LLM’s zijn en waar ze worden ingezet. We bespreken de lifecycle van het bouwen van modellen versus het gebruiken ervan. Daarnaast introduceren we de Transformer/GPT-architectuur en hoe deze modellen leren van grote datasets. Ook wordt bekeken wanneer je klassieke QA gebruikt in plaats van RAG.
In deze module leer je hoe je ruwe tekst omzet naar modelklare tensors door middel van tokenization, token→ID mapping, speciale/contexttokens en sliding-window sampling. We behandelen ook embeddings en positional encodings en hoe om te gaan met onbekende woorden in de data.
Deze module demystificeert het self-attention mechanisme voor long-sequence modeling. Je leert over queries, keys, values en causal masking om toekomstige tokens te verbergen. We voegen positional encoding en multi-head attention toe om afhankelijkheden in de input op te vangen.
In deze module behandelen we de basisprincipes van PyTorch, waaronder tensors en training loops. We bespreken ook tooling om de modelkwaliteit te meten, feature scaling/normalization, activatie- en loss-functies, en het backpropagation proces.
Hier bouw je Multi-Layer Perceptrons (MLP’s) en Convolutional Neural Networks (CNN’s) in PyTorch. Je kiest geschikte activaties en loss-functies en implementeert backpropagation. NLP-specifieke preprocessing komt ook aan bod, evenals end-to-end binaire en multiclass-classificatie.
In deze module implementeer je een minimale GPT met layer normalization, residual connections en attention + feed-forward (GELU). Dit biedt een solide basis voor de verdere ontwikkeling van je LLM.
Je leert hoe je de LLM pretraint op ongelabelde tekst met next-token prediction. We volgen training- versus validation-losses en verkennen verschillende decoding strategies, zoals temperature en top-k. Ook beheers je randomness voor reproduceerbaarheid en slaat PyTorch-gewichten op en laadt deze in.
We bereiden datasets en dataloaders voor, initialiseren vanuit pretrained weights en voegen een classification head met softmax toe. Je leert hoe je traint en evalueert met loss/accuracy, met als voorbeeld een LLM-gebaseerde spam-classificatie.
Tot slot oefen je met supervised instruction tuning: datasets formatteren, efficiënt batchen en een pretrained LLM fine-tunen. Je evalueert de outputs, exporteert responses/checkpoints en past parameter-efficiënte methoden zoals LoRA toe.
Voor meer informatie over technieken en toepassingen van LLM's, bezoek de uitgebreide documentatie van OpenAI. Daarnaast kun je deze cursus combineren met de cursus AI Agents Bouwen voor een breder perspectief op AI-toepassingen.
De cursus Large Language Models Bouwen is bedoeld voor engineers die transformer-based LLM’s willen ontwerpen.
Deelnemers dienen vertrouwd te zijn met Python. Ervaring met PyTorch of een vergelijkbaar Deep Learning-framework is een plus.
De training combineert bondige theorie met begeleide, hands-on labs. Via code-alongs bouw je een mini-GPT, bereid je datasets voor, voer je pretraining en fine-tuning uit en deploy je modellen.
Na afloop ontvangen deelnemers een certificaat van deelname aan de cursus Large Language Models Bouwen.
Module 1 : LLM Intro |
Module 2 : Working with Text Data |
Module 3 : Attentions Mechanism |
|
What is an LLM? Applications of LLMs Stages of Building LLMs Stages of Using LLMs Transformer Architecture Utilizing Large Datasets GPT Architecture Internals Learn Language Patterns Retrieval Augmented Generation Question and Answer Systems QA versus RAG Building an LLM |
Word Embeddings Decoders and Encoders Decoder Only Transformer Tokenizing text Convert Tokens into IDs Special Context Tokens Understand Sentence Structure Byte Pair Encoding Unknown Words Sampling with Sliding Window Creating Token Embeddings Encoding Word Positions |
Modeling Long Sequences Capturing Data Dependencies Attention Mechanisms Attending Different Input Parts Using Self-Attention Trainable Weights Hiding Future Words Positional Encoding Causal Attention Masking Weights with Dropout Multihead Attention Stacking Attentions Layers |
Module 4 : Pytorch Deep Learning |
Module 5 : Neural Networks |
Module 6 : GPT from scratch |
|
Deep Learning Intro Overview of PyTorch PyTorch Tensors Tensor Operations Model Evaluation Metrics Feature Scaling Feature Normalization Categorical Features Activation Functions Loss Functions Backpropagation |
Neural Networks Intro Building NN with PyTorch Multiple Layers of Arrays Convolutional Neural Networks Activation Functions Loss Functions Backpropagation Natural Language Processing Stopword Removal Binary Classification Multi-class Classification |
Coding an LLM Architecture Layer Normalization Normalizing Activations Feed Forward Network GELU Activations Adding Shortcut Connections Connecting Attention Weight Tying Linear Layers in Transformer Block Coding the GPT Model Generating Text |
Module 7 : Pretraining |
Module 8 : Tuning for Classification |
Module 9 : Fine-Tuning |
|
Pretraining on Unlabeled Data Calculating Text Generation Loss Training Losses Validation Set Losses Training an LLM Decoding Strategies Control Randomness Temperature Scaling Saving Model Weights in PyTorch Loading Pretrained Weights |
Categories of Fine-Tuning Preparing the Dataset Creating Data Loaders Top-k Sampling Soft-Max Function Initializing with Pretrained Weights Adding Classification Head Classification Loss and Accuracy Fine-tuning on Supervised Data Using LLM as Spam Classifier |
Instruction Fine-tuning Supervised Instruction Preparing a Dataset Organizing Training Batches Creating Data Loaders Loading a pretrained LLM Fine-tuning the LLM Extracting and Saving Responses Evaluating Fine-tuned LLM Fine Tuning with LoRA |
Deze bedrijven en instanties waren u al voor:
Deze bedrijven waren u voor:
