Apache Nifi Bölüm 9: Node Offload

Apache Nifi

Bir node’un bağlantısı kesildiği zaman yapılır. Çünkü bağlantısı kopan node ayağa kalkmadıkça flow’larda problem yaşanacağı için bu tür durumlarda önce offload yapıp cluster’da üzerinde bulunan işleri devretmesi gerekiyor. Bu işleri devretme, yani boşaltma işlemine offload deniyor.

Bir node’un bağlantısı kesildiği zaman da flow file, read only moduna geçiyor. Flow’lar cluster’da mevcut tüm sunuculara sync edilemeyeceği için bu şekilde oluyor. Bu sebeple yeni bir şey eklenmek istediğinde de aynı problemi yaşayabiliyoruz. Bu sebeple ilgili node’un cluster’dan çıkartılması gerekir. Çıkarma işleminden önce de yapılan işlerde bir kayıp yaşamaması için öncelikle offload işlemi yapılması gerekiyor.

Offload işlemini yaptıktan sonra ilgili node’un silinmesinde bir sorun olmayacaktır. Silme işleminden sonra da artık flow file kullanılabilir hale gelecektir.

Sildiğimiz bir node tekrar cluster’a dahil etmek istiyorsak öncelikle ilgili sunucudaki Nifi’a ait tüm process’ler tamamen sonlandırılmalıdır. Nifi stop edildikten sonra ps -ef ile kontrol edebiliriz. Sonrasında cluster’daki bir node’dan (coordinator olabilir örneğin) flow.xml.gz dosyasını ilgili node’a kopyalarız. Sonrasında Nifi’ı start ederiz.

Start işleminden sonra node’umuz cordinator node’a heart beat göndermeye başlayacak. Heart beat’i alan coordinator flow dosyasını kontrol edecek, sync hale getirecek ve cluster’ımıza yeniden dahil edecek.

Data Science Earth

Data Science Earth ekibi, üst düzey Veri Bilim çözümleri üretmek amacı ile toplanmış akademisyenler ve uzmanlardan oluşmaktadır. Öncelikli olarak veri bilincini geliştirmeyi ve küreselleşen rekabet ortamında verinin gücünün doğru kullanılmasını sağlamayı amaçlamaktadır.

Sponsor

QuestionPro 35 farklı soru seçim özelliği ile anket çalışmalarımıza güç katmaktadır.