Apache Nifi

Öncelikle sunucularda bir kurulum yapmak için sunucuda birşeylerin kurulmamış olduğunu varsayıyorum. Kurulumda bize  ZooKeeper, JRE ve Nifi kurulum dosyaları gerekiyor. Genelde kurumlarda sunucuların internete çıkışı kapalı olduğu için .tar.gz uzantılı dosyaları öncelikle bir yere indirip sonra sunuculara yükleriz. Kurulumumuzu 5 node’luk bir cluster olarak oluşturacağız. Sunucu isimlerimiz: Nifi01.domain.com, Nifi02.domain.com, Nifi03.domain.com, Nifi04.domain.com ve Nifi05.domain.com. Öncelikle JDK için […]

Nifi Toolkit, temelde Nifi için otomatizason, yönetim gibi konularda kullanılıyor. İçerisinde gelen yardımcı programlar şöyle: CLI: Adminlerin Nifi ve NifiRegistry instance’larıyla iletişim kurarak versiyonlanmış flow’ların deployment’ı, otomasyon, process gruplarını ve cluster node’Larını yönetmek için kullanılır. Encrypt Config (encrypt-config): Secure Nifi instance kurulumunu kolaylaştırmak için nifi.properties dosyasındaki hassas key’leri şifreler. File Manager (file-manager): Backup almak veya […]

Nifi cluster’ı kurmamızın temeli yaptığımız işi dağıtmaktır, aksi halde cluster’ın nimetlerinden faydalanmamış oluruz. Bir processor eklediğimizde, bunun default olarak load balancer strategy kısmı Do not load balance olarak seçilidir. Burada Partition by Attribute, Single node, Round robin gibi seçenekler mevcut. Default olan dışında bir şey tercih ettiğimizde sağ alt kısımda bir daire içinde yarısı siyah […]

Nifi loglarını takip için her seferinde sunucuya gidip bilgi toplamak, her birini ayrı ayrı incelemek epey sıkıntılı olacaktır. Bunun yerine logları toplayıp bir yere basmak ve öyle analiz etmek daha doğru olacaktır. Böyle bir senaryo için TailFile Processor kullanılıyor. TailFile ile herhangi bir dosyayı izlemesi sağlanabiliyor. Her yeni gelen satır otomatik olarak takip edilebiliyor ve […]

Bir node ile ilgili problem olduğunda Nifi arayüzünün read only moda girdiğini söyledik. Bir node’muz t anında crash olduğunda çalışan işlerle ilgili herhangi bir problem görmeyiz; ama bilgi almak istediğimizde node’un down olduğunu bildiren bir hata mesajı görürüz. Cluster’ın yeniden işler hale gelmesi için birkaç yol var. İlk olarak down olmuş node ayağa kaldırılmaya çalışılabilir. […]

Bir node’un bağlantısı kesildiği zaman yapılır. Çünkü bağlantısı kopan node ayağa kalkmadıkça flow’larda problem yaşanacağı için bu tür durumlarda önce offload yapıp cluster’da üzerinde bulunan işleri devretmesi gerekiyor. Bu işleri devretme, yani boşaltma işlemine offload deniyor. Bir node’un bağlantısı kesildiği zaman da flow file, read only moduna geçiyor. Flow’lar cluster’da mevcut tüm sunuculara sync edilemeyeceği […]

NiFi, Zero-Master Clustering paradigması kullanır. Cluster’daki her node, veriler üzerinde aynı görevleri gerçekleştirir, ancak her biri farklı bir veri kümesi üzerinde çalışır. Node’lardan biri (ZooKeeper aracılığıyla) Cluster Coordinator olarak otomatik olarak seçilir. Cluster’daki tüm node’lar daha sonra coordinator node’a health / status bilgisi gönderir ve coordinator, bir süre herhangi bir heart beat göndermeyen node’ların bağlantısını […]

Çoğumuzun aşina olduğu konular olsa da bir referans noktası olması açısından dokümanda bazı detaylara değilnmeye özen gösterdim. En azından konu hakkında bilmeyenlerin de bir fikir edinebilmesi açısından önemli olduğunu düşünüyorum. Node Her cluster’ı oluşturan sunuculardan her birine node denir. Her cluster birden fazla node’dan oluşur. Node’lar veri işlemeyi yapar. Cluster Coordinator Cluster içerisindeki merkezi yönetim […]

Funnel, temelde birkaç komponentten gelen verileri tek bir connection’da birleştirmek için kullanılan bir NiFi bileşenidir. Örneğin birden fazla yerden log dosyaları alıyor olalım ve bunu Log Attribute’e gönderip işletelim. 4 ayrı noktadan log file’ımızı aldık ve log attribute’a göndermek istiyoruz: Şimdi bir Funnel bileşenini ekleyelim. Ve ardından GetFile bileşenlerini Funnel’a, Funnel’ı ise Log Attribute sürükle […]

Template’lerin faydası bir yapının birden fazla yere taşınabilmesi kolaylığıdır. Diyelim ki dev ortamında bir flow geliştirmesi yaptınız, bunu test ortamına koyup çalışmasını görmeniz gerekiyor. Testler başarılı olduktan sonra müşteri kabul testleri için uat ortamına aktarmanız gerekiyor ve buradan da onay alınca production’a taşımanız gerekiyor. Bir flow oldukça kompleks olabileceği için bunu x ortamından y ortamına […]

Bir flow üzerinde işlem yaptığımızda bu genellikle tek bir Processor’den oluşmaz. En basit şekilde tarif edecek olursak: Verinin kaynaktan alınması (Data Ingestion) -> Veri Manipülasyonu (Data Wrangling) -> Verilerin Hedefe Yazılması Bu bir dizi işlemi en yalın haliyle yapmaya kalksak bile 3 Processor’ün altına indirme şansımız yok. Ayrıca zamanla tek bir iş yapamayacağınız için komplekslik […]

Nifi’de Hangi Processor’ler Kullanılabilir? Etkili bir data flow oluşturmak için, kullanabileceğimiz çeşitli Processor türlerini anlamamız gerekir. Kutudan çıkar çıkmaz Nifi, tüm veri ihtiyaçlarınız için farklı Processor türlerine sahiptir. Data Ingestion İçin Processor’ler Data ingestion bir kaynaktan verinin alınması işlemlerini kapsar. HDFS veya normal dosya sistemi gibi bir dosya sisteminden veya başka herhangi bir stream veri […]

Nifi Nedir? Nifi, noktadan noktaya veri taşımak, çeşitli transformasyon işlemleri yapmak ve düzenli çalışması gereken işleri otomatize etmek için kullanılan Data Pipeline aracıdır. NSA (National Security Agency) tarafından geliştirilmiş ve sonrasında open source dünyaya verilmiş projlerden biridir. NSA’in günlük yaptığı veri işlemlerini kolaylaştırmak için sürükle bırak şeklinde akışlar tasarlayabileceğimiz bir yapı sağlamakta ve bu sayede […]