Apache Nifi Bölüm 8: Nifi Cluster Kurulumu

Apache Nifi

Öncelikle sunucularda bir kurulum yapmak için sunucuda birşeylerin kurulmamış olduğunu varsayıyorum. Kurulumda bize  ZooKeeper, JRE ve Nifi kurulum dosyaları gerekiyor. Genelde kurumlarda sunucuların internete çıkışı kapalı olduğu için .tar.gz uzantılı dosyaları öncelikle bir yere indirip sonra sunuculara yükleriz.

Kurulumumuzu 5 node’luk bir cluster olarak oluşturacağız. Sunucu isimlerimiz: Nifi01.domain.com, Nifi02.domain.com, Nifi03.domain.com, Nifi04.domain.com ve Nifi05.domain.com.

Öncelikle JDK için gerekli dosyayı indirelim. Şu adrese gidiyoruz: https://www.oracle.com/java/technologies/javase-downloads.html

Burada Nifi ile uyumlu olan versiyon Java 8 versiyonudur. JDK Download kısmına girip işletim sisteminiz için uygun olan versiyonu seçmek gerekiyor. Bizim yapıda uygun olan paket: jdk-8u261-linux-x64.tar.gz

ZooKeeper’ı indirmek için: https://zookeeper.apache.org/releases.html adresine gidip son sürümü indirebilirsiniz. Ben Apache ZooKeeper 3.6.2(asc, sha512) olanı indirdim.

Son olarak Nifi kurulum dosyasını indirmek için: https://nifi.apache.org/download.html adresine gidin. Ben en son sürüm olan binary dosyayı indirdim: nifi-1.12.1-bin.tar.gz (asc, sha256, sha512)

İndirdiğimiz bu dosyaları tüm sunuculara atıyoruz. Akabinde sunucularda aşağıdaki dizinleri create ediyoruz:

Şimdi sırasıyla tar dosyalarını ilgili dizinlere açalım:

Dizinlere açtık; ama ZooKeeper ismi epey uzun olduğu için onun ismini değiştirelim:

Şimdi öncelikle ZooKeeper konfigürasyonunu yapalım:

Şimdi sırasıyla her bir sunucunun vereceğiniz id sırasına göre myid diye bir dosya yaratıp ona id numarasını kayıt ediyoruz. Benim için Nifi01 sunucusu 1. Sunucu olduğu için onda şu şekilde oluştururuz:

Diğerlerinde de 2, 3 … şeklinde sunucu sayınıza göre oluşturun.

ZooKeeper konfigürasyonu için conf dizini altında zoo.cfg isminde bir dosya olması lazım. Default olarak yok; ama bir sample dosya vardır, onu kopyalıyoruz:

Şimdi editleyelim ve sunucuların tümünü bu dosyada aynı şekilde yapılandıralım:

Şimdi artık ZooKeeper’I çalıştırabiliriz:

ZooKeeper ile işimiz bitti. Sırada Java ayarları var. Bashrc dosyasını editliyoruz:

Bashrc dosyasında yaptığımız değişiklikler ancak restart edince devreye girer; ama bunu bekleyemeyeceğimiz için aşağıdaki gibi işlemi yapıyoruz:

Son olarak sisteme tanıtımını yapıyoruz:

Şimdi java versiyonuna bakalım:

Bu çıktıyı görüyorsanız artık problem kalmamış demektir.

Şimdi Nifi kurulumlarını ve konfigürasyonu yapmaya başlayalım. İlk önce ilgili dizine geçelim:

ZooKeeper ile ilgili ayarlarımızı yapalım:

State Management ayarlarını yapalım:

Normalde installation’ı yapmadığımız için state diye bir dizin bulunmaz; ama installation yaptıysak görebiliriz, biz henüz yapmadığımız için yok, bu sebeple kendim create edeceğim. Bunu sizin yapmanız herhangi bir problem teşkil etmeyecektir:

Şimdi aynı myid dosyalarını burada da yaratalım, yine aynı şekilde ZooKeeper data dizinindeki gibi her birine verdiğimiz id’ye göre olmalı.

Son olarak editleyeceğimiz dosya Nifi’ın properties dosyasıdır, editlenen bölümleri aşağıda gösterildiği gibi; ama sizin yapınıza uygun olacak şekilde editlemelisiniz:

Şimdi sırada oturum açmak için gerekli ayarların yapılmasına geldi. LDAP bağlantıları için öncelikle authorizer.xml dosyasının konfigüre edilmesi gerekiyor:

ve son olarak login-identity-providers.xml dosyasını konfigüre ediyoruz.

bu işlemleri tüm sunucularda tamamladıysanız artık Nifi’I kurmaya ve başlatmaya hazırız:

Artık browserdan açabilirsiniz: http://nifi01.domain.com:9090/nifi/

Yalnız açılması ve flow file’ın yüklenmesi cluster’da birkaç dakika sürüyor, hemen gelmediyse endişe etmeyin, bir süre bekleyin.

Cluster haline geldiğini aşağıdaki resimde gösterildiği gibi sayıdan görebiliyorsunuz:

Cluster’ı yönetmek içinse sağdaki menüden cluster bölümüne girebilirsiniz:

Data Science Earth

Data Science Earth ekibi, üst düzey Veri Bilim çözümleri üretmek amacı ile toplanmış akademisyenler ve uzmanlardan oluşmaktadır. Öncelikli olarak veri bilincini geliştirmeyi ve küreselleşen rekabet ortamında verinin gücünün doğru kullanılmasını sağlamayı amaçlamaktadır.

Sponsor

QuestionPro 35 farklı soru seçim özelliği ile anket çalışmalarımıza güç katmaktadır.