AI ajanlarını üretimde iz ve metrikle izle
Google Cloud üzerinde LLM ajanlarının gözlemlenebilirliğini; GenAI metrikleri, OpenTelemetry enstrümantasyonu, Cloud Trace izleme, kalite değerlendirmesi ve token maliyeti kontrolünü öğreten ileri seviye eğitim.
Vertex AI, GenAI izleme, trace ve değerlendirme
Bu ileri seviye eğitim, Google Cloud üzerinde yapay zekâ ajanlarının (LLM/agent) gözlemlenebilirliğini ele alır. Token kullanımı, gecikme, maliyet ve kalite metriklerinin tanımı; OpenTelemetry GenAI semantik kuralları ile prompt/completion span'leri; Vertex AI ve Agent Builder iş yüklerinin Cloud Trace ve Cloud Monitoring'e enstrümantasyonu; araç çağrıları (tool calls), çok adımlı ajan akışlarının izlenmesi; halüsinasyon, groundedness ve toksisite değerlendirme metrikleri; Cloud Logging ile prompt/yanıt denetim izi ve PII maskeleme; token başına maliyet panoları, hata bütçesi ve regresyon uyarıları işlenir. Katılımcı bir RAG/agent uygulaması için uçtan uca gözlemlenebilirlik hattı kurar.
3 Gün. Her gün dört modül; katılımcılar GenAI metrik tanımından trace enstrümantasyonu ve kalite değerlendirmesine ilerler.
İleri Seviye — Google Cloud üzerinde yapay zekâ ajanları ve LLM uygulamaları için izleme, iz (trace) ve değerlendirme gözlemlenebilirliği.
Katılımcılar bir Vertex AI tabanlı ajanı OpenTelemetry ile enstrümante edip Cloud Trace ve Monitoring'de izler.
Çok adımlı ajan ve araç çağrılarını iz üzerinde adım adım görünür kılarsınız.
Token, gecikme, maliyet ve kalite metriklerini tek panoda birleştirirsiniz.
Groundedness ve halüsinasyon değerlendirmesiyle yanıt kalitesini sürekli ölçersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Proje, IAM ve Vertex AI temel bilgisi beklenir.
Prompt, token, RAG ve araç çağrısı kavramlarına aşinalık gerekir.
Enstrümantasyon için temel Python ve SDK kullanımı faydalıdır.
Vertex AI ve Cloud Trace yetkili bir proje gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Ajanlar için token, gecikme ve kalite metriklerini tanımlarsınız.
OpenTelemetry GenAI semantiğiyle span üretirsiniz.
Cloud Trace'te çok adımlı ajan akışını izlersiniz.
PII maskeli prompt/yanıt log ve denetim izi kurarsınız.
Groundedness ve halüsinasyon değerlendirmesi uygularsınız.
Değerlendirme veri setiyle sürüm regresyonunu yakalarsınız.
Token başına maliyet panosu ve bütçe uyarısı kurarsınız.
Drift ve kalite uyarılarıyla üretim ajanını işletirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Grafana ve Prometheus ile etkili pano tasarımı: USE/RED yöntemleri, PromQL sorguları, histogram_quantile, değişkenler ve Kubernetes panoları.
Detayları Gör →
Prometheus ve Grafana ile ileri alarm: burn rate, Alertmanager yönlendirme, promtool testi, GitOps, webhook otomasyonu ve OnCall nöbet akışları.
Detayları Gör →
Grafana ve Prometheus ile izleme: Docker Compose yığını, node_exporter, cAdvisor, blackbox_exporter, özel metrikler, PromQL ve Alertmanager.
Detayları Gör →
Prometheus ve Grafana'ya giriş: metrik kavramı, kurulum, node_exporter, ilk PromQL sorguları, ilk pano ve basit alarm fikri sıfırdan eğitimi.
Detayları Gör →
Grafana ve Prometheus'u CloudWatch, Azure Monitor ve Google Cloud Monitoring ile entegre edin: yace, Managed Prometheus, çok bulutlu panolar.
Detayları Gör →