Erkan Şirin

Senior Data Engineer

Erkan Şirin profil fotoğrafı

Başvuru Durumu

Data Engineering, verinin istenilen yer, zaman, format, doğruluk ve tutarlılıkta hazır edilmesini sağlayan sitemin tasarım, inşa ve idamesini sağlayan bir disiplindir. Bu veriye işletme çalışanlarının (iç müşteri) ihtiyacı olabileceği gibi, işletme dışı müşterilerin (dış müşteriler) de ihtiyacı olabilir.

Yukarıda belirtilen özellikteki verinin hazırlanmasını sağlayan rol ise data engineer rolüdür. Verinin baş döndürücü artışıyla beraber veri bazlı yeni, özgün ürünler geliştirme, hizmet farklılaştırması, operasyonel iyileştirme gibi bir çok fırsatlar doğmuş ve veriye dayalı devasa ekonomiler oluşmuştur. Ancak bu fırsatları yakalamanın en önemli adımı veriden değer elde etmektir. Bu değerde en büyük emek data engineer’e aittir.

Şirketi insan vücuduna, birimleri de vücudun organlarına benzetirsek data engineer ekipleri ilgili organa ihtiyaç duyduğu kanı/besini ulaştıran ekiptir. Vücuttaki organlar gibi ihtiyaç duydukları veriye zamanında ulaşamayan birimler işlevini tam olarak yerine getiremeyecektir. Buradaki birimlere örnek olarak veri bilimi, veri analizi, insan kaynakları, iş zekası vb. verebiliriz.

Teorik bilginin çeşitli uygulamalar ile pratiğe dönüştürüldüğü ve sektöründe karşılığını bulan final projeleriyle güçlendirildiği bir eğitim sistemi arıyorsanız kesinlikle doğru bir platformda olduğunuzu düşünüyorum. Farklı bir sektörden ve meslek dalından gelmenin çekincesiyle dahil olduğum eğitim kampında, değerli eğitmenimiz ve mentörlerimizin destekleyici konuşmaları sayesinde eğitime kolaylıkla adapte oldum ve eğitimin kaliteli içeriği sayesinde bir çok yetkinlik kazandım. Eğitim boyunca öğretilen her yöntem ve araç ile farklı ölçeklerdeki sorunlara çözümler üretmek heyecan verici bir deneyim oldu. Bir süredir hayal ettiğim değişimin gerçekleşmesinde sağlam adımlar atmamı ve zihnimdeki tüm soru işaretlerinin uçup gitmesini sağlayan, paylaştıkları bilgi ve deneyimleri ile yoluma ışık tutan bu harika ekibe sonsuz teşekkürler!
Elif Sinem Aktaş
DataOps6 Mezunu Mimar

Eğitim Özeti

Data engineer adayı olarak sizler de bir şeyler inşa etmek, ortaya koymak, tasarlayıp kurduğunuz veri akış hatlarından (pipelines) çıkan verinin iç veya dış müşteriler tarafından tüketildiğini görmek ve bunun keyfini yudumlamak istiyorsanız çok doğru bir adrestesiniz. Çünkü Data engineering bootcamp, Türkiye, Avrupa ve Amerika‘da geniş sektör deneyimine sahip bir eğitmen tarafından hazırlanan güncel içerikleriyle sizlerin en çok talep edilen yetenekleri elde etmeniz için tasarlanmıştır.

Bu eğitim ile Apache Spark’ın en önemli sertifikası Databricks Certified Associate Developer for Apache Spark‘ı alma şansınızı arttırabilirsiniz.

Data engineering eğitimi 3 safhadan oluşmaktadır;

1. Ön Hazırlık: Kesin kayıtla başlar, 2-4 hafta

Bu aşamada canlı derslerin anlaşılmasını kolaylaştıracak eğitimler Miuul platformu üzerinden mentör ve eğitmen desteği ve rehberliğinde alınır. Örneğin canlı derste docker-compose veya SQL join kullanılacak ise ayrıca bunların ne demek olduğu için zaman kaybetmemek amaçlanmıştır. 

2. Canlı Dersler: 9 Eylül – 5 Kasım 2023 (DataOps-8), 8 hafta.

Eğitimin ana bölümüdür ve aşağıda “Program içeriği – müfredat” başlığındaki müfredat ile haftada 6 saat ders, 1-2 saat etüd/ödev kontrolü olacak şekilde online platformlar (Zoom) üzerinden devam eder.

3. Bitirme Projesi: 18-19 Kasım 2023 2 hafta.

Canlı dersler bittikten sonra kursiyerlerin bitirme projelerini tamamladıkları ve online platformlar (Zoom) üzerinden sundukları safhadır. Bu safhada bireysel/grup çalışması yapılır. Mentör ve eğitmen desteği devam eder. 

Bu eğitimde aşağıdaki soruların cevaplarını bulacağız.

  • Data engineering dünyasında neler var? Nasıl iyi bir data engineer oluruz?
  • PostgreSQL ile Hadoop/Hive’a arasında karşılıklı nasıl veri aktarımı yaparız?
  • Dosya formatları ve sıkıştırma algoritmaları nelerdir? Hangisini nerede ve nasıl kullanırız?
  • Spark ile PostgreSQL, Hive, HDFS, Cassandra, MongoDB, Kafka, Elasticsearch, AWS S3 ve MinIO’dan nasıl veri okuruz?
  • Spark ile işlenen veriyi PostgreSQL, Hive, HDFS, Cassandra, MongoDB, Kafka, Elasticsearch, AWS S3 ve MinIO’ya nasıl yazarız?
  • Spark’ı Hadoop YARN, Kubernetes, Standalone Cluster Manager ile nasıl kullanırız?
  • Spark’ı Databricks üzerinde nasıl kullanırız?
  • Spark uygulamasını nasıl optimize ederiz?
  • Spark’ı geri planda bir iş zekası sorgulama motoru olarak nasıl kullanabiliriz?
  • Büyük veri üzerinde update ve delete mümkün mü? Nasıl yaparız?
  • Büyük veri üzerinde datawarehouse kullanmak mümkün mü? Slowly changing dimensions yapılabilir mi?
  • Lakehouse nedir? Datawarehouse ve Datalake’den üstün yönleri nelerdir?
  • Apache Airflow ile nasıl data-pipeline oluştururuz?
  • Akan veri (streaming) nasıl işlenir? Akan veri üzerinde realtime prediction nasıl yapılır?
  • Change Data Capture(CDC) ile veri tabanlarındaki değişiklikleri anlık olarak yakalama ve işleme hangi araçlarla ve nasıl olur?
  • Uygulamamızı nasıl konteynır haline getirebiliriz?
  • Docker-compose ile canlı ortamlara yakın, gerçekçi bir geliştirme ortamını nasıl hazırlarız?
  • Python ile Kafka’ya nasıl mesaj gönderebiliriz?  Kafka’dan mesajları nasıl okuyabiliriz?
  • Elasticsearch ve Kibana ile nasıl veri görselleştirmesi yaparız?
  • Docker ile 3 node Cassandra cluster nasıl kurulur? Veri modellemesi nasıl yapılır?
  • Python ile MongoDB, Cassandra, Elasticsearch entegrasyonları nasıl olur?
  • MongoDB’de kullanıcı yaratma ve yetkilerini ayarlama nasıl olur?
  • AWS temel servisleri nelerdir? Güvenli bir şekilde nasıl hesap açar ve kullanıcı yaratırız?
  • Kendi kişisel bilgisayarımızı AWS üzerinde çalışacak şekilde nasıl hazırlarız?
  • AWS EC2 sanal makinesini nasıl yaratırız? Güvenlik ayarlarını nasıl yaparız?
  • Python ile AWS S3’e nasıl veri yazarız? Nasıl okuruz?
  • AWS üzerinde data engineer olarak neler yapabiliriz? Örnek kullanımlar nelerdir?
  • Athena ile S3 üzerindeki veri setlerini nasıl sorgularız?
  • Amazon EMR Cluster nasıl kurulur? Spark uygulaması EMR üzerinde nasıl çalıştırılır?
  • AWS Lambda ile nasıl veri temizlik ve dönüştürmesi yaparız?

Sıkça Sorulan Sorular

  • Bootcamp, online/uzaktan olarak deneyimli bir eğitmen ve ekip tarafından verilmektedir.
  • Bootcamp esnasında iş hayatında rahatlıkla kullanabileceğiniz seviyede profesyonel data engineering öğreneceksiniz.
  • Türkçe olarak hiçbir online ya da sınıf eğitimlerinde bulunmayan ve sadece bootcamp katılımcılarına özgü içeriklerle gerçek hayata uygun bir süreç deneyimleyeceksiniz.
  • Birlikte öğrenme ve topluluk gücünden faydalanma imkanı bulacaksınız.
  • Python bilgisi (ön hazırlıkta mevcuttur)
  • Temel Docker bilgisi (ön hazırlıkta mevcuttur)
  • Temel SQL ve veri tabanı bilgisine sahip olmak (ön hazırlıkta mevcuttur)

Eğitim süresi:

  • Ön hazırlık aşaması Miuul üzerinden 2-4 hafta
  • Canlı eğitimler 8 hafta
  • Bitirme projesi 2 hafta

Ön hazırlık aşaması kesin kayıt gerçekleşir gerçekleşmez başlar.

Canlı eğitim: 9 Eylül – 5 Kasım 2023 (DataOps-8)

Proje sunumları: 18-19 Kasım 2023

Canlı eğitimler Cumartesi-Pazar 10:00-13:00 saatlerinde olacaktır.

Ayrıca hafta içi Perşembe saat 20:00’de verilen ödevlerin sunumları/çözümleri olacaktır. (1-2 saat arası)

  • Öğrenci: 13.800₺ KDV Dahildir.
  • Tam zamanlı: 17.000₺ KDV Dahildir.

Not 1: Eski VBO Bootcamp mezunlarına %20 indirim uygulanır.

Not 2: Rakamlar şu anki liste fiyatı olup kesin kayıt gerçekleşene kadar fiyat güncellemesi olabilir.

Not 3: Fiyata ön hazırlık programı dahildir.

  • Aktif öğrenme süreci: Alıştırmalar-ödevler ve projeler
  • Kendi programını kendin belirle: Tüm derslerin video versiyonları ile müsaitlik durumuna göre tekrar çalışma imkanı.
  • Linux Basic, Bash Script (Ön hazırlık)
  • Git Basic (Ön hazırlık)
  • Crontab (Ön hazırlık)
  • Postgresql & SQL Basics (Ön hazırlık)
  • Docker & Kubernetes (Ön hazırlık)
  • Python Programming (Ön hazırlık)
  • Data Engineering Concept
  • Big Data Basics
  • Apache Hadoop HDFS, YARN, Hive, Sqoop
  • Apache Kafka and Ecosystem
  • Apache Spark Dataframe API
  • Spark Optimization Techniques
  • Lakehouse: Delta Lake
  • Apache Spark Streaming
  • Spark on Databricks, Hadoop YARN, Kubernetes, and Standalone Cluster
  • Apache Airflow
  • Introduction to NoSQL and CAP Theorem
  • Introduction to Elastic Stack (Elasticsearch, Kibana)
  • Introduction to Apache Cassandra
  • Introduction to MongoDB
  • AWS Core and Analytic Services
  • Data Engineering on AWS (Athena, Glue, Lambda, EMR, and more)

Demos:

  • Multinode Kubernetes Cluster

Extras:

  • Introduction to Apache Flink
  • PySpark
  • Data Pipeline
  • ETL
  • Streaming

Öncelik sırasına göre Data Engineer, ML Engineer ve Data Scientist rollerinde bulunanlar ile bu rollere aday olanlara yöneliktir. Ekibinde bu rollere sahip ekip liderleri de takip edebilir.

Ayrıca sektörde yönünüzü bulmak, nereye doğru gitmek istediğinize daha sağlıklı karar vermek istiyorsanız bu eğitim sonrasında bu hususların netleşeceğini düşünüyoruz.

Peki ben bu programı takip edebilir miyim?

Temel Python programlama ve SQL biliyorsanız, temel bilgisayar bilimleri kavramlarına aşinaysanız bu eğitimi takip edebilirsiniz.

Ön hazırlık aşaması Miuul üzerinden takip edilecektir.

Canlı eğitimler online olarak Microsoft Teams, Zoom vb. platformlar üzerinde gerçekleştirilecektir.

Eğitim için en az 8 GB RAM, 4 çekirdek işlemci ve 60 GB boş disk alanına sahip bilgisayar ve fiber/adsl internet erişimi gereklidir. İşletim sistem MacOS (M1 işlemcili olanlar hariç) veya Windows 10/11 olabilir. Sanallaştırma yazılımı olarak Virtualbox veya VmWare Player/Pro tercih edilebilir. 

Önemli Not:

Sertifika: Aynı anda şu üç kriteri sağlayan katılımcılar için sertifika düzenlenecektir. 1. Derslerin en az %70’ine katılma, 2. ödevlerin en az %70’ini yapma, 3.bitirme projesinden 100 üzerinden en az 70 puan alma. 

Öğrenciler ile paylaşılacak kaynaklar: Eğitim video kayıtları, sanal makine, sunumlar ve derste kullanılan örnek kodlar Google Drive üzerinden paylaşılacaktır.

Bulut: Bulut kullanılan derslerde bulut maliyeti katılımcıya aittir. Çok yüksek bir bulut maliyeti beklenmemektedir. En fazla 5 USD.

Her türlü sorunuz ve detaylı bilgi için: Bengisu Bostancı – mldataops@veribilimiokulu.com

Paylaşmayı Unutmayın!