Startseite » Kursübersicht » Large Language Models » Kurs Detailseite

Large Language Models (LLM) - RAG-Tuning und Evaluation

Kurzbeschreibung

Dieser Kurs zeigt, wie Sie Retrieval-basierte LLM-Systeme optimieren und evaluieren. Sie lernen wichtige Metriken, Tuning-Strategien und automatisierte Evaluationsverfahren kennen und entwickeln praxisnah robuste, überprüfbare RAG-Pipelines für produktive Anwendungen.
Kursinfo kurslme

In diesem Kurs lernen Sie, wie Sie die Qualität von LLM-Anwendungen mit Retrieval-Augmented Generation (RAG) gezielt verbessern und bewerten. Sie analysieren Retrieval-Metriken wie Recall, Precision oder nDCG und verstehen, wie Chunking, Embedding-Auswahl und Indexparameter die Systemleistung beeinflussen.
Der Fokus liegt auf praxisnahen Tuning-Strategien für semantische und hybride Suchsysteme, dem Einsatz von Re-Ranking-Modellen sowie der Kombination klassischer IR-Techniken mit modernen LLM-Ansätzen. Sie lernen automatisierte und manuelle Evaluationsmethoden kennen und erstellen aussagekräftige Benchmarks. Abschließend behandeln Sie Monitoring, Drift Detection, KPI-Tracking und Feedback-Loops zur kontinuierlichen Verbesserung von produktiven LLM-Systemen.
Angesprochener Teilnehmerkreis:
Entwickler, Data Scientists, MLOps-Teams, Produktverantwortliche und QA-Fachkräfte, die RAG-Systeme optimieren oder betreiben und deren Leistung zuverlässig bewerten möchten.
Kursziel:
Sie kennen Metriken, Methoden und Werkzeuge zur Evaluation von LLM-basierten Systemen und verbessern gezielt die Qualität und Zuverlässigkeit Ihrer RAG-Anwendungen.
Seminar- bzw. Schulungsinhalte
- Grundlagen von Retrieval-Qualität
  - Metriken: Recall, Precision, nDCG
  - Warum klassisches IR- und LLM-Tuning zusammengehören
- Tuning-Strategien
  - Chunking-Varianten (Overlaps, Semantik-basiert)
  - Embedding-Modelle vergleichen
  - Index-Parameter optimieren (z. B. k, Abstandsmessung)
- Re-Ranking & Hybrid Search
  - Lexikalische + semantische Suche kombinieren
  - Einsatz von Cross-Encodern
  - Trade-offs zwischen Qualität und Kosten
- Evaluationstechniken
  - Human-in-the-loop Verfahren
  - Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
  - Benchmark-Sets aufbauen
- Qualitätssicherung im Betrieb
  - Bias-Checks, Halluzinationsanalyse
  - Drift Detection bei Embeddings
  - Canary-Tests für neue Pipelines
- Monitoring & Reporting
  - KPI-Tracking: Retrieval-Präzision, Factuality
  - Dashboards für Stakeholder
  - Feedback Loops und kontinuierliche Verbesserung
Seminar- bzw. Schulungsvoraussetzungen

Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.
Seminarart

Dieses Seminar können Sie als Präsenzseminar oder als Live-Online-Training (virtuelles Präsenzseminar) buchen. Die technischen Voraussetzungen für Live-Online-Schulungen (Virtual Classrooms) finden sie hier. Sie können Ihre Auswahl bei der Anmeldung treffen.

Alle Kursinformationen als PDF

Anmeldung

Zeitrahmen: 2 Tageskurs | 09:00 bis 16:00 Uhr

Preise

Die Teilnahmegebühr beträgt

1.490,00 €
(1.773,10 € inkl. 19% MwSt.)

Durchführung ab 1 Teilnehmenden (mehr lesen ...)

Im Preis enthalten sind PC-COLLEGE - Zertifikat, Pausenverpflegung, Getränke und Kursmaterial.

Statistiken

32 Kunden haben bereits die Schulung:
Large Language Models (LLM) - RAG-Tuning und Evaluation gebucht. (innerhalb der letzten 24 Monate als offenes Seminar, Firmenschulung oder Workshop)
Ihre Vorteile
- Schulungsexperte seit 1985
  
  Wir haben mehr als 30 Jahre Schulungserfahrung. Dabei setzen wir auf Trainerinnen und Trainer mit langjähriger didaktischer und praktischer Erfahrung.
- Zertifikatsservice
  
  Sollten Sie Ihr PC-COLLEGE-Zertifikat verlegt oder bei einem Arbeitgeber abgegeben haben, senden wir Ihnen auf Wunsch, bis zu sieben Jahre nach Kursende, gerne Ihr Original-Zertifikat per Post oder ein PDF per E-Mail zu.
- Durchführung ab 1 Teilnehmenden
  
  Unser Ziel ist es, Ihnen schnellstmöglich den gewünschten Kurs anzubieten. Aus diesem Grund führen wir einen Großteil unserer Seminare ab einer Person durch. Das bietet Ihnen Planungssicherheit und bringt Sie schnell an Ihr Ziel.
- ... alle Vorteile auf einen Blick

Terminübersicht

SeNr.	Seminar	Termin	Dauer	Standorte
LME 251120	Large Language Models (LLM) - RAG-Tuning und Evaluation	20.11. - 21.11.2025	2 Tage
LME 251125	Large Language Models (LLM) - RAG-Tuning und Evaluation	25.11. - 26.11.2025	2 Tage	Live-Online-Training
LME 251215	Large Language Models (LLM) - RAG-Tuning und Evaluation	15.12. - 16.12.2025	2 Tage
LME 260112	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.01. - 13.01.2026	2 Tage
LME 260212	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.02. - 13.02.2026	2 Tage
LME 260309	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.03. - 10.03.2026	2 Tage
LME 260409	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.04. - 10.04.2026	2 Tage
LME 260504	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.05. - 05.05.2026	2 Tage
LME 260601	Large Language Models (LLM) - RAG-Tuning und Evaluation	01.06. - 02.06.2026	2 Tage	Wien
LME 260604	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.06. - 05.06.2026	2 Tage	Live-Online-Training
LME 260629	Large Language Models (LLM) - RAG-Tuning und Evaluation	29.06. - 30.06.2026	2 Tage
LME 260730	Large Language Models (LLM) - RAG-Tuning und Evaluation	30.07. - 31.07.2026	2 Tage
LME 260824	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.08. - 25.08.2026	2 Tage
LME 260924	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.09. - 25.09.2026	2 Tage
LME 261019	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.10. - 20.10.2026	2 Tage
LME 261119	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.11. - 20.11.2026	2 Tage