Apache Nifi Bölüm 8: Nifi Cluster Kurulumu

Öncelikle sunucularda bir kurulum yapmak için sunucuda birşeylerin kurulmamış olduğunu varsayıyorum. Kurulumda bize  ZooKeeper, JRE ve Nifi kurulum dosyaları gerekiyor. Genelde kurumlarda sunucuların internete çıkışı kapalı olduğu için .tar.gz uzantılı dosyaları öncelikle bir yere indirip sonra sunuculara yükleriz. Kurulumumuzu 5 node’luk bir cluster olarak oluşturacağız. Sunucu isimlerimiz: Nifi01.domain.com, Nifi02.domain.com, Nifi03.domain.com, Nifi04.domain.com ve Nifi05.domain.com. Öncelikle JDK için […]

Apache Nifi Bölüm 13: NiFi Toolkit

Nifi Toolkit, temelde Nifi için otomatizason, yönetim gibi konularda kullanılıyor. İçerisinde gelen yardımcı programlar şöyle: CLI: Adminlerin Nifi ve NifiRegistry instance’larıyla iletişim kurarak versiyonlanmış flow’ların deployment’ı, otomasyon, process gruplarını ve cluster node’Larını yönetmek için kullanılır. Encrypt Config (encrypt-config): Secure Nifi instance kurulumunu kolaylaştırmak için nifi.properties dosyasındaki hassas key’leri şifreler. File Manager (file-manager): Backup almak veya […]

Apache Nifi Bölüm 12: Load Balance

Nifi cluster’ı kurmamızın temeli yaptığımız işi dağıtmaktır, aksi halde cluster’ın nimetlerinden faydalanmamış oluruz. Bir processor eklediğimizde, bunun default olarak load balancer strategy kısmı Do not load balance olarak seçilidir. Burada Partition by Attribute, Single node, Round robin gibi seçenekler mevcut. Default olan dışında bir şey tercih ettiğimizde sağ alt kısımda bir daire içinde yarısı siyah […]

Apache Nifi Bölüm 11: TailFile Processor ile Log Monitoring

Nifi loglarını takip için her seferinde sunucuya gidip bilgi toplamak, her birini ayrı ayrı incelemek epey sıkıntılı olacaktır. Bunun yerine logları toplayıp bir yere basmak ve öyle analiz etmek daha doğru olacaktır. Böyle bir senaryo için TailFile Processor kullanılıyor. TailFile ile herhangi bir dosyayı izlemesi sağlanabiliyor. Her yeni gelen satır otomatik olarak takip edilebiliyor ve […]

Apache Nifi Bölüm 10: Troubleshoot

Bir node ile ilgili problem olduğunda Nifi arayüzünün read only moda girdiğini söyledik. Bir node’muz t anında crash olduğunda çalışan işlerle ilgili herhangi bir problem görmeyiz; ama bilgi almak istediğimizde node’un down olduğunu bildiren bir hata mesajı görürüz. Cluster’ın yeniden işler hale gelmesi için birkaç yol var. İlk olarak down olmuş node ayağa kaldırılmaya çalışılabilir. […]

Apache Nifi Bölüm 9: Node Offload

Bir node’un bağlantısı kesildiği zaman yapılır. Çünkü bağlantısı kopan node ayağa kalkmadıkça flow’larda problem yaşanacağı için bu tür durumlarda önce offload yapıp cluster’da üzerinde bulunan işleri devretmesi gerekiyor. Bu işleri devretme, yani boşaltma işlemine offload deniyor. Bir node’un bağlantısı kesildiği zaman da flow file, read only moduna geçiyor. Flow’lar cluster’da mevcut tüm sunuculara sync edilemeyeceği […]

Apache Nifi Bölüm 7: Nifi Cluster’ın Temel Özellikleri

NiFi, Zero-Master Clustering paradigması kullanır. Cluster’daki her node, veriler üzerinde aynı görevleri gerçekleştirir, ancak her biri farklı bir veri kümesi üzerinde çalışır. Node’lardan biri (ZooKeeper aracılığıyla) Cluster Coordinator olarak otomatik olarak seçilir. Cluster’daki tüm node’lar daha sonra coordinator node’a health / status bilgisi gönderir ve coordinator, bir süre herhangi bir heart beat göndermeyen node’ların bağlantısını […]

Apache Nifi Bölüm 6: Nifi Cluster Anahtar Terminoloji

Çoğumuzun aşina olduğu konular olsa da bir referans noktası olması açısından dokümanda bazı detaylara değilnmeye özen gösterdim. En azından konu hakkında bilmeyenlerin de bir fikir edinebilmesi açısından önemli olduğunu düşünüyorum. Node Her cluster’ı oluşturan sunuculardan her birine node denir. Her cluster birden fazla node’dan oluşur. Node’lar veri işlemeyi yapar. Cluster Coordinator Cluster içerisindeki merkezi yönetim […]

Apache Nifi Bölüm 5: Funnel

Funnel, temelde birkaç komponentten gelen verileri tek bir connection’da birleştirmek için kullanılan bir NiFi bileşenidir. Örneğin birden fazla yerden log dosyaları alıyor olalım ve bunu Log Attribute’e gönderip işletelim. 4 ayrı noktadan log file’ımızı aldık ve log attribute’a göndermek istiyoruz: Şimdi bir Funnel bileşenini ekleyelim. Ve ardından GetFile bileşenlerini Funnel’a, Funnel’ı ise Log Attribute sürükle […]

Apache Nifi Bölüm 4: Template

Template’lerin faydası bir yapının birden fazla yere taşınabilmesi kolaylığıdır. Diyelim ki dev ortamında bir flow geliştirmesi yaptınız, bunu test ortamına koyup çalışmasını görmeniz gerekiyor. Testler başarılı olduktan sonra müşteri kabul testleri için uat ortamına aktarmanız gerekiyor ve buradan da onay alınca production’a taşımanız gerekiyor. Bir flow oldukça kompleks olabileceği için bunu x ortamından y ortamına […]

Apache Nifi Bölüm 3: Process Group

Bir flow üzerinde işlem yaptığımızda bu genellikle tek bir Processor’den oluşmaz. En basit şekilde tarif edecek olursak: Verinin kaynaktan alınması (Data Ingestion) -> Veri Manipülasyonu (Data Wrangling) -> Verilerin Hedefe Yazılması Bu bir dizi işlemi en yalın haliyle yapmaya kalksak bile 3 Processor’ün altına indirme şansımız yok. Ayrıca zamanla tek bir iş yapamayacağınız için komplekslik […]

Apache Nifi Bölüm 2: Processor’ler

Nifi’de Hangi Processor’ler Kullanılabilir? Etkili bir data flow oluşturmak için, kullanabileceğimiz çeşitli Processor türlerini anlamamız gerekir. Kutudan çıkar çıkmaz Nifi, tüm veri ihtiyaçlarınız için farklı Processor türlerine sahiptir. Data Ingestion İçin Processor’ler Data ingestion bir kaynaktan verinin alınması işlemlerini kapsar. HDFS veya normal dosya sistemi gibi bir dosya sisteminden veya başka herhangi bir stream veri […]

Apache Nifi Bölüm 1: Nedir ve Core Terminoloji

Nifi Nedir? Nifi, noktadan noktaya veri taşımak, çeşitli transformasyon işlemleri yapmak ve düzenli çalışması gereken işleri otomatize etmek için kullanılan Data Pipeline aracıdır. NSA (National Security Agency) tarafından geliştirilmiş ve sonrasında open source dünyaya verilmiş projlerden biridir. NSA’in günlük yaptığı veri işlemlerini kolaylaştırmak için sürükle bırak şeklinde akışlar tasarlayabileceğimiz bir yapı sağlamakta ve bu sayede […]

Patreon

üzerinden bize destek olabilirsiniz!

.

Birlikten kuvvet doğar! Sizde #patreon üzerinden bizim yanımızda olabilirsiniz. Yaptığımız gönüllü çalışmaları arttırmak için bize destek olun.

Ücretli ve Ücretsiz Eğitimler

Türkiye'nin en büyük veri bilimi topluluğu ile kariyerinizi inşa edin.

Data Science Earth

Data Science Earth ekibi, üst düzey Veri Bilim çözümleri üretmek amacı ile toplanmış akademisyenler ve uzmanlardan oluşmaktadır. Öncelikli olarak veri bilincini geliştirmeyi ve küreselleşen rekabet ortamında verinin gücünün doğru kullanılmasını sağlamayı amaçlamaktadır.

Sponsor

QuestionPro 35 farklı soru seçim özelliği ile anket çalışmalarımıza güç katmaktadır.