Doğal Dil İşleme +1 : 1.Doğal Dil İşlemeye Giriş

1- Doğal Dil İşleme Nedir?

1950’li yıllardan bu yana evrenin belki de en karmaşık yapısını taklit etmeye çalışıyoruz. Bu yapıyı sadece genel fonksiyonları ile değil, araçları ile de taklit etmeye çalışıyoruz. Evet, beyinden ve onun en önemli aracı olan dilden bahsediyoruz. İlk çağlarda toplumun hayatta kalmasını sağlayan her olgu, insan beyini ile bulunmuş her icat, düşünülmüş her doğru düşünce, akla gelen her fikir insan hayatında yer bulabilmesi için ilk önce iletişim aracılığıyla yayılmalıdır. Bu iletişim araçlarından en önemlisi de dildir.
Belki de bu sebepledir ki yapay zekânın en önemli alanlarından biri de Doğal Dil İşleme(NLP).

Son yılların popüler konusu Yapay Zeka’nın alt dallarından biri olan NLP, insanların kullandığı dillerin(Türkçe, İngilizce) bilgisayar dilleri tarafından (Python, C) anlaşılıp, analiz edilmesi ve anlamsız verilerden işe yarar bilgiler çıkarma işlemidir, sürecidir.

Örnekler ile anlatmak gerekirse, youtube yorumları, tweetler, instagram dmleri, ürün yorumları, whatsapp mesajlaşmaları, haberler, blog ve form yazıları gibi metin içerikli veriler günden güne katlanarak artmakta. Bu veri yığınları arasından anlamlı bilgilerin çıkarılıp değere dönüştürülmesini sağlayan bir araştırma konusu, yapay zeka alanı Doğal Dil İşleme.

Hangi Veriler Üzerine Çalışabiliyor?

-Metin
-Ses
-Görüntü

Teknolojinin geldiği son noktada Doğal Dil İşleme yalnızca metin verileri üzerinde analiz yapmamıza olanak sağlarken, ses ve görüntü verilerinin yazıya yani metine dönüştürülmesi ile bunları analiz etme imkanını da bizlere sağlamış oluyor.

Böylesine geniş bir alanı kısa bir şilde anlatmak pek tabi mümkün değil. Alanı tanımanızı sağlamak ve bu konuda derinleşmeniz amacıyla uzun ama öğretici bir serüvene çıkıyoruz. Serimizin ilk yazısı ile karşınızdayız.

NLP alanında Türkçe ile diğer diller arasındaki ilerleme yöntemi ve kaynak çeşitliliği oldukça farklıdır. Bunun sebebi kaynakların çevirisinin yapılmamasından ziyade diller arasındaki etimolojik farklılıklardır. Türkçe sintaks olarak İngilizceden farklı olduğu için (İngilizce özne, yüklem ve nesne olan sözdimi (sintaks) Türkçede özne, nesne ve yüklem şeklindedir.) ve en önemlisi Türkçe sondan eklemeli bir dil olduğu için Türkçe NLP çalışmaları yavaş ve yorucu bir şekilde ilerlemektedir. Dil bir canlı gibi ele alındığı ve sürekli değişiklik gösterdiğinden dolayı İngilizce çalışmalar bile zor olurken Türkçe akademik çalışmaların artması için bu alandaki Türkçe kaynakların artması da önemlidir. NLP’nin ne olduğuna ve önemine giriş yaptığımıza göre tarihçesine de kısaca değinmeden olmaz.

2- NLP’NİN Kısa Tarihi

Yapay zekânın tarihini anlatan herkes gibi bizim de hikâyemiz Turing’e dayanıyor. Neydi Turing testi? En kısa tanımı ile insan konuştuğu kişinin insan mı yoksa robot mu olduğunu anlamamalıydı. Yani yapay zeka çalışmalarımızda yolumuza koyduğumuz ilk kilometre taşlarından biri yine onla iletişim kurmamızdı. 1950’li yıllardan yapay zekânın karanlık çağlarını geçip 1980’lerin sonlarında doğal dil işleme için yeni dönem başlamıştı. Makine öğrenmesinin ilk algoritmalarından karar ağaçlarıyla o zamanlarda ilk doğal dil işleme sistemleri üretilmeye başlamıştı. Bu o dönem için çok zordu.

1980 ve 1990’lardan bu yana makine öğrenimi çalışmaları doğal dil işleme çalışmalarında büyük atılıma sebep oldu. Sonrasında ise 2001’de çok daha büyük bir atılım yaşandı ve ilk sinirsel dil modeli oluşturuldu. 2018 Turnig ödüllü Yoshu Bengio ile arkadaşlarının geliştirdiği bu model ve derin öğrenme ile doğal dil işlemenin birleştiği diğer 7 önemli gelişme üzerine serimizin ilerleyen yazılarında duracağız.

3- NLP ile yapılabilenler

Nlp ile yapılabileceklere baktığımızda uzun bir liste bizleri karşılıyor. Bunlardan bazılarının birlikte veya tek başına kullanılması ile karşımıza her gün farkında olmadan kullandığımız çeşitli uygulamalar geliyor.Önce yapılabilecekler listesi verelim, sonrasında ise bunlarla yapılan örnek uygulamalara bakalım o halde.

01. Soru Cevaplama
02. Metin Özetleme
03. Duygu Analizi
04. Dil Çeviri
05. Metin Sınıflandırma ve Kategorizasyon
06. Adlandırılmış Varlık Tanıma
07. Konuşma Bölümü Etiketleme
08. Ses Tanıma
09. Yazım Denetimi
10. Karakter Tanıma
11. Yorum Bulma
12. Anlamsal Ayrıştırma ve Soru Cevaplama
13. Dil Üretimi ve Çok Belgeli Özetleme
14. Makine diline ceviri

Dijital Asistan: Siri, Google Asistan, Alexa. Emekleme aşamasında olduğumuz bir teknolojidir. Bu teknoloji için daha katledilecek çok fazla yol vardır.(Soru Cevaplama,Ses Tanıma…)

Makine Çevirisi: Bir dilden başka bir dile çeviride makine öğrenimi yaklaşımları çok sık kullanılmaktadır. Google çeviriyi bir örnek olarak verebiliriz.(Dil Çeviri)

E-mail Spamları: Belki de her gün heyecanla kontrol ettiğimiz birincil mail kutumuza hangi mailin gelip hangisinin spam’a(gereksiz) gideceğini NLP teknikleri ile bilgisayar karar veriyor bizim yerimize.(Yazım Denetimi, Metin Sınıflandırma…)

Duygu Analizi: Firmalar müşterilerinin, ürünlerine ne yorum yaptıkları, ne gibi şikayetlerde bulunduları ve bunları yaparken hangi duygu durumunda olduklarını analiz ederek sonraki eylemlerine karar vermelerini sağlayan mekanizma.

Metin Sınıflandırma ve Kategorizasyon: Covid-19 salgının ilk zamanlarında Beyaz Saraya bağlı araştırma grubu Korona virüsüne dair tüm yazılmış makaleleri (Sars ve Mers virüsleri) veri seti olarak toplamış ve Kaggle platformu üzerinde bir yarışma başlatmıştır. Veri setine kaynaklar kısmından ulaşabilirsiniz

Varlık İsimi Tanımlama: Bir metinden yer, zaman, kişi tanıtılmasında kullanılır. Haber siteleri, müşteri hizmetleri kullanır. En büyük örneklerinden biride Wikipediadır.

Bunların yanı sıra, şu an kullanılan ve gelecekte kullanılma ihtimali olan çok fazla örnek verebiliriz. Ancak bu yazımızda bunlarla yetinmeyi tercih ediyoruz.

4-Doğal Dil İşlemede Sosyal Faydalar

İlk yazıda değinmek istediğimiz diğer bir konu da NLP’nin insanlığa getirdiği bazı sosyal faydalar.

En basit örnek ile, twitterda atılan tweetler takip edilerek ve yazdıkları NLP ile analiz edilerek, psikolojisinde sorunlar olan, kendisine veya bir başkasına zarar verme ihtimali olan kişiler önceden tespit edilip gerekli işlemlerin uygulanması sağlanabilir. (Okullardaki şiddet olayları, cinayetler, intiharlar vb.)

Bir diğer örnek ise, çok fazla şey okuyup kendini geliştirmek isteyen, çok fazla içerik(haber,site) takip etmeye çalışan insanların, bu içeriklerin özetlerini, bildirimlerini tek bir yerden alabilme imkanı.

5-Doğal Dil İşlemenin Geleceği

Bu kadar şey anlattıktan sonra, analiz/tahmin alanında çalışan bizler için, bu alanın geleceğine yönelik tahminde bulunmamak ayıp olur.

Diğer veri tiplerine göre metin verisi, veri kazıma, veri çekme gibi işlemler sayesinde çok daha fazla ve kolay erişilebilir durumda. Orijinal verileri kendimiz bulabiliyor ve bunlarla yaptığımız projeleri hayata geçirip, insanlara dokunup dokunmadığını hemen görebiliyoruz.

Bu ve bunun gibi birçok sebepten dolayı Doğal Dil İşlemeyi çok güzel günler bekliyor. Özellikle Türkçe alanında, daha yapılmayı bekleyen bir sürü proje, ilerlemeyi bekleyen bir sürü alan var. Birilerinin bu zorlukları aşması ve öncülerden olması gerek. Biz buna talibiz ve bizimle aynı yolda yürüyecek arkadaşlar ve destekçiler arıyoruz.

Yapay zekâ yarışında geri kalmamak için yapay zekânın dokunduğu her alanda gelişim göstermeliyiz. Ayrıyetten güzel ve önemli dilimizin geleceği ve gelişimi için doğal dil işleme alanına ekstra önem vermeliyiz. Bu alanda gelişime katkıda sağlamak için hazırladığımız yazı serimizin sonuna geldik. Takipte kalın 😊 !

Serinin diğer yazıları;
Doğal Dil İşlemenin Arka Planı, Zorlukları ve Daha Fazlası…
Doğal Dil İşleme ve String İşlemleri

Yazarlar: Mustafa Selim ÖZEN, Saygın YILDIZ

One thought on

Doğal Dil İşleme +1 : 1.Doğal Dil İşlemeye Giriş

Bir cevap yazın