Large Language Models - RAG-Tuning und Evaluation

Inhalt

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.

Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.

Inhalte

• Grundlagen von Retrieval-Qualität

• Metriken: Recall, Precision, nDCG

• Warum klassisches IR- und LLM-Tuning zusammengehören

• Tuning-Strategien

• Chunking-Varianten (Overlaps, Semantik-basiert)

• Embedding-Modelle vergleichen

• Index-Parameter optimieren (z. B. k, Abstandsmessung)

• Re-Ranking & Hybrid Search

• Lexikalische + semantische Suche kombinieren

• Einsatz von Cross-Encodern

• Trade-offs zwischen Qualität und Kosten

• Evaluationstechniken

• Human-in-the-loop Verfahren

• Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval

• Benchmark-Sets aufbauen

• Qualitätssicherung im Betrieb

• Bias-Checks, Halluzinationsanalyse

• Drift Detection bei Embeddings

• Canary-Tests für neue Pipelines

• Monitoring & Reporting

• KPI-Tracking: Retrieval-Präzision, Factuality

• Dashboards für Stakeholder

• Feedback Loops und kontinuierliche Verbesserung

Abschluss

PC-COLLEGE Zertifikat

Weitere Infos beim Anbieter

UnterrichtsartOnline-Seminar i

Präsenzunterricht i