Apache Sqoop ile Veri Aktarımı Eğitimi

Eğitim Hakkında

Sqoop import/export, artımlı aktarım ve iş otomasyonu

Bu orta seviye eğitim, Apache Sqoop ile ilişkisel veritabanları ve Hadoop arasında toplu veri aktarımına odaklanır. Sqoop mimarisi ve MapReduce tabanlı paralel aktarım, JDBC bağlantıları ve sürücüler işlenir. sqoop import ile HDFS, Hive ve HBase'e veri çekme; split-by ve mapper sayısıyla paralellik; artımlı (incremental) import (append ve lastmodified) ve Sqoop job ile metastore tabanlı otomasyon uygulanır. sqoop export ile Hadoop'tan veritabanına geri yazma, dosya formatları, sıkıştırma, boundary query ve performans ayarı ele alınır. Hata yönetimi, idempotency ve iş akışına (Oozie) entegrasyon gösterilir. Katılımcılar gerçek bir veritabanından Hadoop'a ve geri, artımlı ve otomatik aktarımlar kurar.

Süre ve Format

2 Gün. Her gün dört modül; katılımcılar import temelinden artımlı aktarım, export ve otomasyona ilerler.

Seviye

Orta Seviye — Apache Sqoop ile ilişkisel veritabanları ile Hadoop arasında veri aktarımı, import/export ve otomasyonun ele alınması.

Öğrenme Metodu

Katılımcılar gerçek bir veritabanıyla Sqoop import/export komutlarını çalıştırıp artımlı iş otomasyonu kurarak öğrenir.

Neden Bu Eğitim?

🔁Çift Yönlü Aktarım

RDBMS'ten HDFS'e ve geri verimli veri taşırsınız.

⏩Artımlı Yükleme

Sadece değişen kayıtları artımlı import ile alırsınız.

🤖Otomasyon

Sqoop job ile aktarımı tekrarlanabilir hale getirirsiniz.

Anahtar Konular

sqoop eğitimiapache sqoopveri aktarımırdbms hadoopsqoop import exportartımlı importhive importsqoop jobhdfsbüyük veri

“Sqoop, ilişkisel dünya ile Hadoop arasındaki köprüyü tek komuta indirger.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL ve RDBMS

İlişkisel veritabanı ve SQL kavramlarına aşinalık beklenir.

2

Hadoop Temeli

HDFS ve Hive kavramlarına aşinalık faydalıdır.

3

Linux Temeli

Komut satırı kullanımı yararlıdır.

4

Lab Ortamı

Sqoop, bir RDBMS ve Hadoop erişimi olan bir ortam.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Sqoop ile veritabanından Hadoop'a veri import edebilir.

Modül 1

Sqoop Mimarisi

Sqoop'un MapReduce tabanlı çalışması
JDBC bağlantısı ve sürücüler
Paralel aktarım mantığı
Sqoop ve ekosistemdeki yeri
connect, username, password seçenekleri
Bağlantı doğrulama (list-tables)

Modül 2

Temel Import

sqoop import --table kullanımı
Hedef HDFS dizini (--target-dir)
Sütun seçimi (--columns)
Koşul (--where) filtreleme
Serbest sorgu (--query) ile import
Dosya formatı seçimi

Modül 3

Paralellik

Mapper sayısı (-m / --num-mappers)
-split-by ile bölme sütunu
Boundary query ile sınır belirleme
Dağılımın dengelenmesi
Tek mapper durumu
Paralellik ve kaynak dengesi

Modül 4

Hive ve HBase

-hive-import ile Hive tablosuna yükleme
Hive tablo oluşturma (--create-hive-table)
Partition'lı Hive import
HBase'e import
Tip eşlemesi
Null değer işleme

Günün hedefiKatılımcı, artımlı import, export ve Sqoop job otomasyonu kurabilir.

Modül 1

Artımlı Import

Incremental append modu
Incremental lastmodified modu
-check-column ve --last-value
Yalnızca değişenleri alma
Merge ile birleştirme
Artımlı strateji seçimi

Modül 2

Sqoop Job

sqoop job --create ile iş tanımı
Metastore ile son değer saklama
İşin yeniden çalıştırılması
Parola yönetimi
İş listeleme ve silme
Tekrarlanabilir aktarım

Modül 3

Export

sqoop export ile veritabanına yazma
-export-dir kaynağı
Update modu (--update-key)
Upsert davranışı
Staging table ile güvenli export
Export doğrulama

Modül 4

Performans ve Entegrasyon

Batch ve commit ayarı
Sıkıştırma (--compress)
direct modu
Hata ve yeniden deneme
Oozie ile Sqoop action
İş akışına entegrasyon

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Sqoop Mimarisi

Sqoop'un paralel, MapReduce tabanlı çalışmasını açıklarsınız.

✅

Temel Import

RDBMS'ten HDFS'e tablo ve sorgu bazlı import yaparsınız.

✅

Paralellik

split-by ve mapper sayısıyla aktarımı paralelleştirirsiniz.

✅

Hive/HBase

Doğrudan Hive ve HBase'e veri yüklersiniz.

✅

Artımlı Import

append/lastmodified ile sadece değişenleri alırsınız.

✅

Sqoop Job

Metastore'lu job ile aktarımı otomatikleştirirsiniz.

✅

Export

Hadoop'tan veritabanına güvenli geri yazma yaparsınız.

✅

Entegrasyon

Sqoop'u Oozie iş akışına entegre edersiniz.

Kimler İçin Uygundur?

Veri mühendisleri
ETL geliştiricileri
DBA'lar
Hadoop ile ilişkisel veritabanı entegrasyonu yapacaklar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, ETL geliştiricileri, DBA'lar ve Hadoop ile ilişkisel veritabanı entegrasyonu yapacaklar için uygundur.

Sqoop nasıl çalışır?

Sqoop, aktarımı MapReduce işlerine böler ve JDBC üzerinden paralel olarak veri taşır; eğitim bu mantığı uygular.

Artımlı import nedir?

append ve lastmodified modlarıyla yalnızca son aktarımdan sonra eklenen/değişen kayıtları almaktır.

Export mümkün mü?

Evet; Hadoop'taki veri sqoop export ile ilişkisel veritabanına, update/staging seçenekleriyle güvenle geri yazılır.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA REPOSITORY WITH SQOOP EĞİTİMİ