Erkan Şirin

Senior Data Engineer

Erkan Şirin profil fotoğrafı

Başvuru Durumu

Data Engineering, verinin istenilen yer, zaman, format, doğruluk ve tutarlılıkta hazır edilmesini sağlayan sitemin tasarım, inşa ve idamesini sağlayan bir disiplindir.

Bu veriye işletme çalışanlarının (iç müşteri) ihtiyacı olabileceği gibi, işletme dışı müşterilerin (dış müşteriler) de ihtiyacı olabilir.

Yukarıda belirtilen özellikteki verinin hazırlanmasını sağlayan rol ise data engineer rolüdür. Verinin baş döndürücü artışıyla beraber veriye dayalı yeni ürün geliştirme, ürün ve hizmet farklılaştırması, operasyonel iyileştirme gibi bir çok fırsatlar doğmuş ve veriye dayalı devasa ekonomiler oluşmuştur. Ancak bu fırsatları yakalamak için veriden değer elde etmek zorunludur. İşte bu değerde en büyük emek data engineer’e aittir.

Eğitim Özeti

Data engineer adayı olarak sizler de bir şeyler inşa etmek, ortaya koymak, tasarlayıp kurduğunuz veri akış hatlarından (pipelines) çıkan verinin iç veya dış müşteriler tarafından tüketildiğini görmek ve bunun keyfini yudumlamak istiyorsanız çok doğru bir adrestesiniz. Data engineering bootcamp, güncel içerikleriyle sizlerin en çok talep edilen yetenekleri elde etmeniz için tasarlanmıştır.

Data engineering eğitimi 3 safhadan oluşmaktadır;

1. Ön Hazırlık: Kesin kayıtla başlar, 2-4 hafta

Bu aşamada canlı derslerin anlaşılmasını kolaylaştıracak eğitimler Miuul platformu üzerinden mentör ve eğitmen desteği ve rehberliğinde alınır. Örneğin canlı derste docker-compose veya SQL join kullanılacak ise ayrıca bunların ne demek olduğu için zaman kaybetmemek amaçlanmıştır. 

2. Canlı Dersler: 28 Ocak – 18 Mart 2023 (DataOps-7), 8 hafta.

Eğitimin ana bölümüdür ve aşağıda “Program içeriği – müfredat” başlığındaki müfredat ile haftada 6 saat ders, 1-2 saat etüd/ödev kontrolü olacak şekilde online platformlar (Zoom) üzerinden devam eder.

3. Bitirme Projesi: 1-2 Nisan 2023 2 hafta.

Canlı dersler bittikten sonra kursiyerlerin bitirme projelerini tamamladıkları ve online platformlar (Zoom) üzerinden sundukları safhadır. Bu safhada bireysel/grup çalışması yapılır. Mentör ve eğitmen desteği devam eder. 

Bu eğitimde aşağıdaki soruların cevaplarını bulacağız.

  • PostgreSQL ile Hadoop/Hive’a arasında karşılıklı nasıl veri aktarımı yaparız?
  • Dosya formatları ve sıkıştırma algoritmaları nelerdir? Hangisini nerede ve nasıl kullanırız?
  • Spark ile PostgreSQL, Hive, HDFS, Cassandra, MongoDB, Kafka, Elasticsearch, AWS S3 ve MinIO’dan nasıl veri okuruz?
  • Spark ile işlenen veriyi PostgreSQL, Hive, HDFS, Cassandra, MongoDB, Kafka, Elasticsearch, AWS S3 ve MinIO’ya nasıl yazarız?
  • Spark’ı Hadoop YARN, Kubernetes, Standalone Cluster Manager ile nasıl kullanırız?
  • Spark’ı Databricks üzerinde nasıl kullanırız?
  • Spark uygulamasını nasıl optimize ederiz?
  • Spark’ı geri planda bir iş zekası sorgulama motoru olarak nasıl kullanabiliriz?
  • Büyük veri üzerinde update ve delete mümkün mü? Nasıl yaparız?
  • Büyük veri üzerinde datawarehouse kullanmak mümkün mü? Slowly changing dimensions yapılabilir mi?
  • Lakehouse nedir? Datawarehouse ve Datalake’den üstün yönleri nelerdir?
  • Apache Airflow ile nasıl data-pipeline oluştururuz?
  • Akan veri (streaming) nasıl işlenir? Akan veri üzerinde realtime prediction nasıl yapılır?
  • Uygulamamızı nasıl konteynır haline getirebiliriz?
  • Docker-compose ile canlı ortamlara yakın, gerçekçi bir geliştirme ortamını nasıl hazırlarız?
  • Python ile Kafka’ya nasıl mesaj gönderebiliriz?  Kafka’dan mesajları nasıl okuyabiliriz?
  • Elasticsearch ve Kibana ile nasıl veri görselleştirmesi yaparız?
  • Docker ile 3 node Cassandra cluster nasıl kurulur? Veri modellemesi nasıl yapılır?
  • Python ile MongoDB, Cassandra, Elasticsearch entegrasyonları nasıl olur?
  • Cassandra ve MongoDB’de kullanıcı yaratma ve yetkilerini ayarlama nasıl olur?
  • AWS temel servisleri nelerdir? Güvenli bir şekilde nasıl hesap açar ve kullanıcı yaratırız?
  • AWS EC2 sanal makinesini nasıl yaratırız? Güvenlik ayarlarını nasıl yaparız?
  • Kendi kişisel bilgisayarımızı AWS üzerinde çalışacak şekilde nasıl hazırlarız?
  • Python ile AWS S3’e nasıl veri yazarız? Nasıl okuruz?
  • AWS üzerinde data engineer olarak neler yapabiliriz? Örnek kullanımlar nelerdir?
  • Linux komutlarında ve bash script yazmada kendimizi nasıl geliştiririz? Neler yapabiliriz?

Sıkça Sorulan Sorular

  • Bootcamp, online/uzaktan olarak deneyimli bir eğitmen ve ekip tarafından verilmektedir.
  • Bootcamp esnasında iş hayatında rahatlıkla kullanabileceğiniz seviyede profesyonel data engineering öğreneceksiniz.
  • Türkçe olarak hiçbir online ya da sınıf eğitimlerinde bulunmayan ve sadece bootcamp katılımcılarına özgü içeriklerle gerçek hayata uygun bir süreç deneyimleyeceksiniz.
  • Birlikte öğrenme ve topluluk gücünden faydalanma imkanı bulacaksınız.
  • Bu program daha önceki Advanced Big Data and Datascience at Scale Bootcamp programından datascience konularının çıkarılmış ve data engineering konularının güçlendirilmiş versiyonudur.
  • Python bilgisi (ön hazırlıkta mevcuttur)
  • Temel Docker bilgisi (ön hazırlıkta mevcuttur)
  • Temel SQL ve veri tabanı bilgisine sahip olmak (ön hazırlıkta mevcuttur)

Eğitim süresi:

  • Ön hazırlık aşaması Miuul üzerinden 2-4 hafta
  • Canlı eğitimler 8 hafta
  • Bitirme projesi 2 hafta

Ön hazırlık aşaması kesin kayıt gerçekleşir gerçekleşmez başlar.

Canlı eğitim: 28 Ocak – 19 Mart 2023 (DataOps-7)

Proje sunumları: 1-2 Nisan 2023

Canlı eğitimler Cumartesi-Pazar 10:00-13:00 saatlerinde olacaktır.

Ayrıca hafta içi Perşembe saat 20:00’de verilen ödevlerin sunumları/çözümleri olacaktır. (1-2 saat arası)

  • Öğrenci: 11.440₺
  • Tam zamanlı: 14.300₺

Not 1: Eski VBO Bootcamp mezunlarına %20 indirim uygulanır.

Not 2: Rakamlar şu anki liste fiyatı olup kesin kayıt gerçekleşene kadar fiyat güncellemesi olabilir.

Not 3: Fiyata ön hazırlık programı dahildir.

  • Aktif öğrenme süreci: Alıştırmalar-ödevler ve projeler
  • Kendi programını kendin belirle: Tüm derslerin video versiyonları ile müsaitlik durumuna göre tekrar çalışma imkanı.
  • Linux Basic, Bash Script (Ön hazırlık)
  • Git Basic (Ön hazırlık)
  • Crontab (Ön hazırlık)
  • Postgresql & SQL Basics (Ön hazırlık)
  • Docker & Kubernetes (Ön hazırlık)
  • Python Programming (Ön hazırlık)
  • Apache Hadoop HDFS, YARN, Hive, Sqoop
  • Apache Kafka and Ecosystem
  • Apache Spark Dataframe API
  • Spark Optimization Techniques
  • Lakehouse: Delta Lake
  • Apache Spark Streaming
  • Spark on Databricks, Hadoop YARN, Kubernetes, and Standalone Cluster
  • Introduction to NoSQL and CAP Theorem
  • Elastic Stack (Elasticsearch, Logstash, Kibana, Beats)
  • Apache Cassandra
  • MongoDB
  • Apache Airflow
  • AWS Core Services
  • Data Engineering on AWS

Demos:

  • Multinode Kubernetes Cluster

Extras:

  • Introduction to Apache Flink
  • PySpark
  • Data Pipeline
  • ETL
  • Streaming

Öncelik sırasına göre Data Engineer, ML Engineer ve Data Scientist rollerinde bulunanlar ile bu rollere aday olanlara yöneliktir. Ekibinde bu rollere sahip ekip liderleri de takip edebilir.

Ayrıca sektörde yönünüzü bulmak, nereye doğru gitmek istediğinize daha sağlıklı karar vermek istiyorsanız bu eğitim sonrasında bu hususların netleşeceğini düşünüyoruz.

Peki ben bu programı takip edebilir miyim?

Temel Python programlama ve SQL biliyorsanız, temel bilgisayar bilimleri kavramlarına aşinaysanız bu eğitimi takip edebilirsiniz.

Ön hazırlık aşaması Miuul üzerinden takip edilecektir.

Canlı eğitimler online olarak Microsoft Teams, Zoom vb. platformlar üzerinde gerçekleştirilecektir.

Eğitim için en az 8 GB RAM, 4 çekirdek işlemci ve 60 GB boş disk alanına sahip bilgisayar ve fiber/adsl internet erişimi gereklidir. İşletim sistem MacOS (M1 işlemcili olanlar hariç) veya Windows 10/11 olabilir. Sanallaştırma yazılımı olarak Virtualbox veya VmWare Player/Pro tercih edilebilir. 

Önemli Not:

Sertifika: Sadece başarılı katılımcılar için düzenlenecektir. Başarı kriterleri; ders takibi %70, ödevler %70 ve bitirme projesi %70’tir.

Öğrenciler ile paylaşılacak kaynaklar: Eğitim video kayıtları(canlı dersler bir hafta), sanal makine, sunumlar ve derste kullanılan örnek kodlar.

Bulut: Bulut kullanılan derslerde bulut maliyeti katılımcıya aittir. Çok yüksek bir bulut maliyeti beklenmemektedir.

Paylaşmayı Unutmayın!