Impala Bölüm 15: Sorgu Performansı

Cloudera Impala
Okunma süresi: < 1 dakika

Impala, sorgunun nasıl yürütüldüğüne ve darboğazların nerede olduğuna dair kapsamlı bir genel bakış sağlayan bir dizi araç sunar. Sorgunun verimli bir şekilde yürütülüp yürütülmeyeceğini belirlemek için bu araçların çıktısını kullanabilirsiniz. Impala, sorguları analiz etmek için 3 farklı araç kullanılabilir:

  • EXPLAIN, sorguyu fiilen yürütmeden plan fragment’lerini döndürür.
  • SUMMARY, çalışma süresi istatistiklerine üst düzey bir genel bakış sağlar.
  • PROFILE, çalışma süresi istatistiklerinin kapsamlı bir listesini verir.

Bu araçların üçü de sorgunun yürütülmesinden sonra çalıştırılır ve işlenen satır sayısı veya tüketilen bellek miktarı gibi çalışma zamanı istatistikleri verir.

EXPLAIN

EXPLAIN’i kullanmadan önce sorgu çalıştırılmış olmalıdır. Sonrasında EXPLAIN ile sorgu çalıştırılarak, Query Plan görülebiilir:

Bu sorgunun sonucunda bize ağaç şeklide plan fragment’leri gösterilir. Bu sayede Impala’nın sorguyu nasıl yürüteceğine dair bir fikir yürütülmesi mümkün hale gelir.

Sorgularınızda sıkça istatistiklerin hesaplanmadığı uyarısını görmeniz muhtemeldir. Bunun için gülük bir job çalıştırmak yoluna gidebilirsiniz; ama çok efektif olmayabilir. En ideal yöntem, veri manipülasyonu sonrasında incremental veya normal compute stats komutunun çalıştırılmasıdır. Bu sayede düzgün bir plan çıkmasını sağlamanız mümkündür.

SUMMARY

EXPLAIN komutundan sonra kullanılır. EXPLAIN bize query plan’ı göstermekteydi, fakat bazen yeterli gelmeyebilir, bu tür durumlarda daha ayrınıtılı bir istatistik elde etmek için SUMMARY kullanılır:

Bu komutu işlettiğinizde size bir tablo şeklinde çıktı üretecektir. Tahmini olduğunu unutmamak gerekir. Muhtemelen tahmin edilen değerler daha yüksek olacaktır; ama sorgunuzun nasıl çalışacağı konusunda daha fazla bir öngörü elde etmenizi sağlayacaktır.

PROFILE

Daha ayrıntılı bilgi için, PROFILE komutunu, sorgunuzu execute ettikten hemen sonra kullanabilirsiniz. Bu aracın çıktısı, bellek, CPU, IO ve ağ kullanımı hakkında düşük düzeyli bilgiler içerir. İstatistikler, hata ayıklama düzeyi bilgilerine benzer ve temeldeki kaynak kodu hakkında iyi bilgi verir.

+1
+1

Veri Bilimci Yetiştirme Programı

Her yerde geçerli @datasciencearth sertifikası

Bu program ülkemizde büyük işgücü açığı bulunan Veri Bilimi konusunda çalışabilecek yeterliliklerde Veri Bilimciler yetiştirmek için kurgulanmıştır.

Ücretli ve Ücretsiz Eğitimler

Türkiye'nin en büyük veri bilimi topluluğu ile kariyerinizi inşa edin.

Gruplarımıza katılın!

Data Science Earth

Data Science Earth ekibi, üst düzey Veri Bilim çözümleri üretmek amacı ile toplanmış akademisyenler ve uzmanlardan oluşmaktadır. Öncelikli olarak veri bilincini geliştirmeyi ve küreselleşen rekabet ortamında verinin gücünün doğru kullanılmasını sağlamayı amaçlamaktadır.

Sponsor

QuestionPro 35 farklı soru seçim özelliği ile anket çalışmalarımıza güç katmaktadır.