Data Engineering Bootcamp

Veri mühendisliği, verinin istenilen yer, zaman, format, doğruluk ve tutarlılıkta hazır edilmesini sağlayan sitemin tasarım, inşa ve idamesini sağlayan bir disiplindir. Bu veriye işletme çalışanlarının (iç müşteri) ihtiyacı olabileceği gibi, işletme dışı müşterilerin (dış müşteriler) de ihtiyacı olabilir.

Yukarıda belirtilen özellikteki verinin hazırlanmasını sağlayan rol ise Data Engineer rolüdür. Verinin baş döndürücü artışıyla beraber veri bazlı yeni, özgün ürünler geliştirme, hizmet farklılaştırması, operasyonel iyileştirme gibi bir çok fırsatlar doğmuş ve veriye dayalı devasa ekonomiler oluşmuştur. Ancak bu fırsatları yakalamanın en önemli adımı veriden değer elde etmektir. Bu değerde en büyük emek Data Engineer’e aittir.

Şirketi insan vücuduna, birimleri de vücudun organlarına benzetirsek Data Engineer ekipleri ilgili organa ihtiyaç duyduğu kanı/besini ulaştıran ekiptir. Vücuttaki organlar gibi ihtiyaç duydukları veriye zamanında ulaşamayan birimler işlevini tam olarak yerine getiremeyecektir. Buradaki birimlere örnek olarak veri bilimi, veri analizi, insan kaynakları, iş zekası vb. verebiliriz.

Sorularınız ve detaylı bilgi için: Deniz Akgül – deniz.akgul@veribilimiokulu.com

Bugün Kayıt Ol!

10. Dönem

Mart-Haziran 2024

Pakete Neler Dahil

%100 Canlı Dersler
Canlı Mentor Desteği
Sertifika
Canlı derslerin video kayıtlarına 1 yıl süreyle erişim

Formu doldurun
Sizi arayalım!

10. dönem data engineering bootcamp (3)

Bootcamp İçeriği

Tüm eğitimlerimiz, konunun tüm yönlerini ele alarak kapsamlı bir şekilde hazırlanmıştır.

Eğitim Özeti

Data engineer adayı olarak sizler de bir şeyler inşa etmek, ortaya koymak, tasarlayıp kurduğunuz veri akış hatlarından (pipelines) çıkan verinin iç veya dış müşteriler tarafından tüketildiğini görmek ve bunun keyfini yudumlamak istiyorsanız çok doğru bir adrestesiniz. Çünkü Data Engineering Bootcamp, Türkiye, Avrupa ve Amerika‘da geniş sektör deneyimine sahip bir eğitmen tarafından hazırlanan güncel içerikleriyle sizlerin en çok talep edilen yetenekleri elde etmeniz için tasarlanmıştır.

Bu eğitim ile Apache Spark’ın en önemli sertifikası Databricks Certified Associate Developer for Apache Spark‘ı alma şansınızı arttırabilirsiniz.

Data Engineering eğitimi 3 safhadan oluşmaktadır;

1. Ön Hazırlık: Kesin kayıtla başlar, 2-4 hafta

Bu aşamada canlı derslerin anlaşılmasını kolaylaştıracak eğitimler videolar üzerinden mentör ve eğitmen desteği ve rehberliğinde alınır. Örneğin canlı derste docker-compose veya SQL join kullanılacak ise ayrıca bunların ne demek olduğu için zaman kaybetmemek amaçlanmıştır.

2. Kick-Off: 28 Şubat 2024

Kickk-Off toplantısında Data Engineering Bootcamp eğitiminin açılışı gerçekleşir. Eğitim, süreç hakkında bilgilendirmeler yapılır ve ön hazırlık eğitimlerinin ödevleri verilir.

3. Canlı Dersler: 16 Mart 2024 – 15  Haziran 2024 (DataOps-10), 14 hafta

Eğitimin ana bölümüdür ve yukarıda bulunan “Bootcamp İçeriği ” başlığındaki 3-16 haftalarını, haftada 1 gün 3’er saat canlı ders + 1,5 saat ödev kontrolü / ilave ders olacak şekilde online platformlar (Zoom) üzerinden devam eder.

4. Bitirme Projesi: 29 Haziran 2024, 2 hafta

Canlı dersler bittikten sonra kursiyerlerin bitirme projelerini tamamladıkları ve Zoom üzerinden sundukları safhadır. Bu safhada bireysel/grup çalışması yapılır. Mentör ve eğitmen desteği devam eder.

Bu eğitimde aşağıdaki soruların cevaplarını bulacağız.

  • Data engineering dünyasında neler var? Nasıl iyi bir data engineer oluruz?
  • PostgreSQL ile Hadoop/Hive’a arasında karşılıklı nasıl veri aktarımı yaparız?
  • Dosya formatları ve sıkıştırma algoritmaları nelerdir? Hangisini nerede ve nasıl kullanırız?
  • Birçok farklı veri kaynağından dağıtık olarak nasıl sorgulama yaparız?
  • Spark ile PostgreSQL, Hive, HDFS, Cassandra, MongoDB, Kafka, Elasticsearch, AWS S3 ve MinIO’dan nasıl veri okuruz?
  • Spark ile işlenen veriyi PostgreSQL, Hive, HDFS, Cassandra, MongoDB, Kafka, Elasticsearch, AWS S3 ve MinIO’ya nasıl yazarız?
  • Spark’ı Hadoop YARN, Kubernetes, Standalone Cluster Manager ile nasıl kullanırız?
  • Spark’ı Databricks üzerinde nasıl kullanırız?
  • Spark uygulamasını nasıl optimize ederiz?
  • Spark’ı geri planda bir iş zekası sorgulama motoru olarak nasıl kullanabiliriz?
  • Büyük veri üzerinde update ve delete mümkün mü? Nasıl yaparız?
  • Büyük veri üzerinde datawarehouse kullanmak mümkün mü? Slowly changing dimensions yapılabilir mi?
  • Lakehouse nedir? Datawarehouse ve Datalake’den üstün yönleri nelerdir?
  • Apache Airflow ile nasıl data-pipeline oluştururuz?
  • Akan veri (streaming) nasıl işlenir? Akan veri üzerinde realtime prediction nasıl yapılır?
  • Change Data Capture(CDC) ile veri tabanlarındaki değişiklikleri anlık olarak yakalama ve işleme hangi araçlarla ve nasıl olur?
  • Uygulamamızı nasıl konteynır haline getirebiliriz?
  • Docker-compose ile canlı ortamlara yakın, gerçekçi bir geliştirme ortamını nasıl hazırlarız?
  • Python ile Kafka’ya nasıl mesaj gönderebiliriz?  Kafka’dan mesajları nasıl okuyabiliriz?
  • Elasticsearch ve Kibana ile nasıl veri görselleştirmesi yaparız?
  • Docker ile 3 node Cassandra cluster nasıl kurulur? Veri modellemesi nasıl yapılır?
  • Python ile MongoDB, Cassandra, Elasticsearch entegrasyonları nasıl olur?
  • Cassandra ve MongoDB’de kullanıcı yaratma ve yetkilerini ayarlama nasıl olur?
  • AWS temel servisleri nelerdir? Güvenli bir şekilde nasıl hesap açar ve kullanıcı yaratırız?
  • Kendi kişisel bilgisayarımızı AWS üzerinde çalışacak şekilde nasıl hazırlarız?
  • AWS EC2 sanal makinesini nasıl yaratırız? Güvenlik ayarlarını nasıl yaparız?
  • Python ile AWS S3’e nasıl veri yazarız? Nasıl okuruz?
  • AWS üzerinde data engineer olarak neler yapabiliriz? Örnek kullanımlar nelerdir?
  • Athena ile S3 üzerindeki veri setlerini nasıl sorgularız?
  • Amazon EMR Cluster nasıl kurulur? Spark uygulaması EMR üzerinde nasıl çalıştırılır?
  • AWS Lambda ile nasıl veri temizlik ve dönüştürmesi yaparız?
 

Önemli Notlar:

Aynı anda şu üç kriteri sağlayan katılımcılar için sertifika düzenlenecektir:

1. Derslerin en az %70’ine katılma,

2. Ödevlerin en az %70’ini yapma,

3.Bitirme projesinden 100 üzerinden en az 70 puan alma.

Öğrenciler ile paylaşılacak kaynaklar: Eğitim video kayıtları, sanal makine, sunumlar ve derste kullanılan örnek kodlar VBO Platformu üzerinden paylaşılacaktır.

Bulut: Bulut kullanılan derslerde bulut maliyeti katılımcıya aittir. Çok yüksek bir bulut maliyeti beklenmemektedir. En fazla 5 USD.

Eğitmen

Eğitmenlerimiz yılların vermiş olduğu tecrübeyle sizlere bilgi aktarımı sağlamaktadır.

Erkan Şirin

Senior Data/ML Engineer, AWS Solution Architect

Verdiği Eğitimler

  • Temel Python programlama ve SQL biliyorsanız, temel bilgisayar bilimleri kavramlarına aşinaysanız bu eğitimi takip edebilirsiniz
  • Öncelik sırasına göre Data Engineer, ML Engineer ve Data Scientist rollerinde bulunanlar ile bu rollere aday olanlara yöneliktir. Ekibinde bu rollere sahip ekip liderleri de takip edebilir.
  • Ayrıca sektörde yönünüzü bulmak, nereye doğru gitmek istediğinize daha sağlıklı karar vermek istiyorsanız bu eğitim sonrasında bu hususların netleşeceğini düşünüyoruz.
  • PySpark
  • Data Pipeline
  • ETL
  • Streaming
  • Ön hazırlık aşaması videolar üzerinden 2-4 hafta
  • Canlı eğitimler 14 hafta
  • Bitirme projesi 2 hafta
    Not: Ön hazırlık aşaması kesin kayıt gerçekleşir gerçekleşmez başlar.
  • Canlı eğitim: 16 Mart 2024 – 15 Haziran 2024 (DataOps-10)
  • Proje sunumları: 29 Haziran 2024, Canlı eğitimler Cumartesi günleri 10:00-13:00 saatlerinde olacaktır.Ayrıca hafta içi Perşembe saat 20:00’de verilen ödevlerin sunumları/çözümleri olacaktır. (1-2 saat arası)
  • Python bilgisi (ön hazırlıkta mevcuttur)
  • Temel Docker bilgisi (ön hazırlıkta mevcuttur)
  • Temel SQL ve veri tabanı bilgisine sahip olmak (ön hazırlıkta mevcuttur)
  • Bootcamp, online/uzaktan olarak deneyimli bir eğitmen ve ekip tarafından verilmektedir.
  • Bootcamp esnasında iş hayatında rahatlıkla kullanabileceğiniz seviyede profesyonel data engineering öğreneceksiniz.
  • Türkçe olarak hiçbir online ya da sınıf eğitimlerinde bulunmayan ve sadece bootcamp katılımcılarına özgü içeriklerle gerçek hayata uygun bir süreç deneyimleyeceksiniz.
  • Birlikte öğrenme ve topluluk gücünden faydalanma imkanı bulacaksınız.
  • Eğitim online-canlı olarak Zoom üzerinden gerçekleştirilecektir.

Mezun Yorumları

Mezunlarımız almış oldukları eğitimden sonra kendi deneyimlerini ve düşüncelerinizi sizlerle paylaşmaktadır.

2.jpg

Ali Erdoğan

Software/Data Engineer

Data Engineering Bootcamp 7. dönem katılımcısıyım. Yapay zeka ve makine öğreniminin popüler hale gelmesiyle birlikte, büyük verinin farklı kaynaklardan toplanması ve hızlı bir şekilde işlenmesi çok önemli hale geldi. Veri mühendisliği araçları hızlı bir şekilde artarken, bu program; piyasada talep gören ve gelecek vadeden iyi seçilmiş araçlar ile büyük veri ve dağıtık işlemenin temel mantığını çok iyi öğretiyor. Ayrıca merak edilen en yeni teknolojileri ve bulut servislerini birlikte çok güzel harmanlayan faydalı bir eğitim. Erkan Hocanın hazırladığı kaliteli ve disiplinli programı, sıcak ve samimi anlatımı, mentörlerin değerli katkılarıyla her anı dolu dolu heyecanlı bir dönem geçirdik. Ders anlatımının canlı yapılması, anında ve ders sonrasında özgürce soru sorabilme imkanı, yapılan örneklerin ve verilen haftalık ödevlerin faydalı ve ilgi çekici olması, konuları pekiştirmemde büyük katkı sağladı ve iş hayatımda kullanabileceğim beceriler kazanmama yardımcı olduğu için çok teşekkür ederim.

Adsiz-tasarim.png

Elif Sinem Aktaş

DataOps6 Mezunu Mimar

Teorik bilginin çeşitli uygulamalar ile pratiğe dönüştürüldüğü ve sektöründe karşılığını bulan final projeleriyle güçlendirildiği bir eğitim sistemi arıyorsanız kesinlikle doğru bir platformda olduğunuzu düşünüyorum. Farklı bir sektörden ve meslek dalından gelmenin çekincesiyle dahil olduğum eğitim kampında, değerli eğitmenimiz ve mentörlerimizin destekleyici konuşmaları sayesinde eğitime kolaylıkla adapte oldum ve eğitimin kaliteli içeriği sayesinde bir çok yetkinlik kazandım. Eğitim boyunca öğretilen her yöntem ve araç ile farklı ölçeklerdeki sorunlara çözümler üretmek heyecan verici bir deneyim oldu. Bir süredir hayal ettiğim değişimin gerçekleşmesinde sağlam adımlar atmamı ve zihnimdeki tüm soru işaretlerinin uçup gitmesini sağlayan, paylaştıkları bilgi ve deneyimleri ile yoluma ışık tutan bu harika ekibe sonsuz teşekkürler!