Python Eğitimleri Archives - Sayfa 2 / 2 - Data Science For The Earth

SymPy ile Sembolik Matematik İşlemleri

SymPy Nedir? SymPy sembolik matematik işlemlerini gerçekleştirebileceğimiz, Python diliyle geliştirilmiş bir kütüphanedir. Türev, integral, diferansiyel, denklem çözme, matris işlemleri ve istatistiksel işlemler gibi birçok alanda fayda sağlar. Ayrıca fizik ve kimya alanlarında da oldukça faydalı işlevler barındırmaktadır. Öncelikle SymPy kütüphanemizi ve diğer gerekli kütüphaneleri yükleyelim. 1. Temel İşlemler Temel bazı matematiksel işlemleri yapabilmek için öncelikle […]

Ferhat Metin

NumPy Veri Tipleri ve NumPy’da Array Oluşturma – Bölüm 7

Python’da kullanılan yerleşik veri tiplerini hatırlayalım: NumPy Veri Tipleri NumPy, Python’dan çok daha fazla sayıda sayısal veri tipini desteklemektedir. Ayrıca NumPy’a özel bazı veri tipleri de bulunmaktadır. Örneğin tamsayılar için i, işaretsiz tamsayılar için u gibi sadece bir karakter içeren veri tipleri kullanılır. Aşağıda NumPy’daki veri tipleri ve bunları temsil etmek için kullanılan karakterlerin bir […]

Gülay Ekren

NumPy’a Giriş – Bölüm 6

Numpy, Python programlama dili için mevcut kütüphanelerden biridir. Bu kütüphane veya modül, önceden derlenmiş sayısal ve matematiksel fonksiyonlar sağlar. Bu nedenle lineer cebir ve matris gibi matematiksel alanlarda çalışma yapmaya en uygun kütüphanedir. Numpy, çok boyutlu dizilerde ve bilimsel hesaplamalarda belleği verimli kullanmak üzere tasarlanmıştır. NumPy, 2005 yılında Travis Oliphant tarafından oluşturulan açık kaynak kodlu […]

Gülay Ekren

Python eğitimleri fonksiyonlar, paket ve modül yapılarını öğrenin

Python’da Fonksiyonlar, Paket ve Modül — Bölüm 5

Fonksiyon sadece çağrıldığında çalışan bir kod bloğudur. Parametre olarak girilen değerler bir fonksiyona aktarılabilir. Bu durumda fonksiyon bir değer döndürür. Bir program kodunda devamlı tekrarlanan kodları fonksiyona dönüştürerek istediğiniz noktada gerekli argümanları girerek bu fonksiyonu çağırabilirsiniz. Python’da def ifadesi kullanılarak bir fonksiyon tanımlanır: Yukarıdaki örnekte topla, fonksiyonun adıdır. Bağımsız değişkenler (x ve y) fonksiyon adından sonra, parantez […]

Gülay Ekren

hipotez testleri güven düzeyi ve red bölgeleri

Python ile Parametrik Hipotez Testleri

Hipotez testi önceden belirlenmiş bir anakütle parametresinin, örneklem parametresi ile karşılaştırılmasıdır. H0 Sıfır Hipotezi(Null Hypothesis): Karşılaştırılan değerler arasında fark olmadığını ifade eder. H1 Alternatif Hipotez(Alternative Hypothesis): Sıfır hipotezinin ret edilmesi durumunda kabul edilmesi gereken durumu ifade eder. Sıfır hipotezinin ret edilmesi Alternatif hipotezin kabulü anlamına gelir. Test istatistiği: Hipotezlerin test edilebilmesi için, test öncesinde Sıfır […]

Çağrı Aksu

Python-Sqlite

In [1]:

<span class="kn">import</span> <span class="nn">sqlite3</span> <span class="k">as</span> <span class="nn">sl</span>

1	<span class="kn">import</span> <span class="nn">sqlite3</span> <span class="k">as</span> <span class="nn">sl</span>

In [2]:

<span class="n">con</span><span class="o">=</span> <span class="n">sl</span><span class="o">.</span><span class="n">connect</span><span class="p">(</span><span class="s1">'deneme.db'</span><span class="p">)</span>

1	<span class="n">con</span><span class="o">=</span> <span class="n">sl</span><span class="o">.</span><span class="n">connect</span><span class="p">(</span><span class="s1">'deneme.db'</span><span class="p">)</span>

In [3]:

<span class="k">with</span> <span class="n">con</span><span class="p">:</span>

    <span class="n">cur</span> <span class="o">=</span> <span class="n">con</span><span class="o">.</span><span class="n">cursor</span><span class="p">()</span>

    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"CREATE TABLE cars(id INT, name TEXT, price INT)"</span><span class="p">)</span>
    
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(1,'Audi',52642)"</span><span class="p">)</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(2,'Mercedes',57127)"</span><span class="p">)</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(3,'Skoda',9000)"</span><span class="p">)</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(4,'Volvo',29000)"</span><span class="p">)</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(5,'Bentley',350000)"</span><span class="p">)</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(6,'Citroen',21000)"</span><span class="p">)</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(7,'Hummer',41400)"</span><span class="p">)</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"INSERT INTO cars VALUES(8,'Volkswagen',21600)"</span><span class="p">)</span>

with con:

cur = con.cursor()

cur.execute("CREATE TABLE cars(id INT, name TEXT, price INT)")

cur.execute("INSERT INTO cars VALUES(1,'Audi',52642)")

cur.execute("INSERT INTO cars VALUES(2,'Mercedes',57127)")

cur.execute("INSERT INTO cars VALUES(3,'Skoda',9000)")

cur.execute("INSERT INTO cars VALUES(4,'Volvo',29000)")

cur.execute("INSERT INTO cars VALUES(5,'Bentley',350000)")

cur.execute("INSERT INTO cars VALUES(6,'Citroen',21000)")

cur.execute("INSERT INTO cars VALUES(7,'Hummer',41400)")

cur.execute("INSERT INTO cars VALUES(8,'Volkswagen',21600)")

In [5]:

<span class="k">with</span> <span class="n">con</span><span class="p">:</span>

    <span class="n">cur</span> <span class="o">=</span> <span class="n">con</span><span class="o">.</span><span class="n">cursor</span><span class="p">()</span>
    <span class="n">cur</span><span class="o">.</span><span class="n">execute</span><span class="p">(</span><span class="s2">"SELECT * FROM cars"</span><span class="p">)</span>

    <span class="n">rows</span> <span class="o">=</span> <span class="n">cur</span><span class="o">.</span><span class="n">fetchall</span><span class="p">()</span>

    <span class="k">for</span> <span class="n">row</span> <span class="ow">in</span> <span class="n">rows</span><span class="p">:</span>
        <span class="nb">print</span><span class="p">(</span><span class="n">row</span><span class="p">)</span>

with con:

cur = con.cursor()

cur.execute("SELECT * FROM cars")

rows = cur.fetchall()

for row in rows:

print(row)

(1, 'Audi', 52642)
(2, 'Mercedes', 57127)
(3, 'Skoda', 9000)
(4, 'Volvo', 29000)
(5, 'Bentley', 350000)
(6, 'Citroen', 21000)
(7, 'Hummer', 41400)
(8, 'Volkswagen', 21600)

(1, 'Audi', 52642)

(2, 'Mercedes', 57127)

(3, 'Skoda', 9000)

(4, 'Volvo', 29000)

(5, 'Bentley', 350000)

(6, 'Citroen', 21000)

(7, 'Hummer', 41400)

(8, 'Volkswagen', 21600)

Çağrı Aksu

Pyspark – DataFrame

datasource : https://www.kaggle.com/unitednations/global-commodity-trade-statistics Arkadaşlar öncelikle veri setini indirmeniz gerekiyor. Veri 1 gb ın biraz üstünde bu yüzden buraya koyamadım. 8226597 satır 10 kolon büyüklüğünde italat ihracat hareketlerinin olduğu bir veri. Sadece spark dataFrame ve ilgili bir kaç örnek koydum. Sizdeki diz üstü bilgisayarlar ile çok sıkıntı çıkarmaz diye düşünüyorum. Kolay gelsin.

import pyspark as spark
from pyspark.sql import SparkSession

ss = SparkSession.builder.config('spark.analyticHouse.config.option','cagraksu').getOrCreate()

data=ss.read.csv('commodity_trade_statistics_data.csv',  header='true')

data.show(10)

import pyspark as spark

from pyspark.sql import SparkSession

ss = SparkSession.builder.config('spark.analyticHouse.config.option','cagraksu').getOrCreate()

data=ss.read.csv('commodity_trade_statistics_data.csv', header='true')

data.show(10)

+---------------+----+---------+--------------------+------+---------+---------+---------------+--------+---------------+
|country_or_area|year|comm_code|           commodity|  flow|trade_usd|weight_kg|  quantity_name|quantity|       category|
+---------------+----+---------+--------------------+------+---------+---------+---------------+--------+---------------+
|    Afghanistan|2016|   010410|         Sheep, live|Export|     6088|     2339|Number of items|      51|01_live_animals|
|    Afghanistan|2016|   010420|         Goats, live|Export|     3958|      984|Number of items|      53|01_live_animals|
|    Afghanistan|2008|   010210|Bovine animals, l...|Import|  1026804|      272|Number of items|    3769|01_live_animals|
|        Albania|2016|   010290|Bovine animals, l...|Import|  2414533|  1114023|Number of items|    6853|01_live_animals|
|        Albania|2016|   010392|Swine, live excep...|Import| 14265937|  9484953|Number of items|   96040|01_live_animals|
|        Albania|2016|   010511|Fowls, live domes...|Import|  2671732|   254652|Number of items| 5629138|01_live_animals|
|        Albania|2016|   010511|Fowls, live domes...|Export|    87581|     5320|Number of items|  115180|01_live_animals|
|        Albania|2016|   010519|Poultry, live exc...|Import|    26485|     2908|Number of items|   64000|01_live_animals|
|        Albania|2016|   010591|Fowls, live domes...|Import|  2421513|  1926850|Number of items| 1006990|01_live_animals|
|        Albania|2016|   010599|Poultry, live exc...|Import|   251318|   211177|Number of items|  205124|01_live_animals|
+---------------+----+---------+--------------------+------+---------+---------+---------------+--------+---------------+
only showing top 10 rows

+---------------+----+---------+--------------------+------+---------+---------+---------------+--------+---------------+

+---------------+----+---------+--------------------+------+---------+---------+---------------+--------+---------------+

| Afghanistan|2016| 010410| Sheep, live|Export| 6088| 2339|Number of items| 51|01_live_animals|

| Afghanistan|2016| 010420| Goats, live|Export| 3958| 984|Number of items| 53|01_live_animals|

| Afghanistan|2008| 010210|Bovine animals, l...|Import| 1026804| 272|Number of items| 3769|01_live_animals|

| Albania|2016| 010290|Bovine animals, l...|Import| 2414533| 1114023|Number of items| 6853|01_live_animals|

| Albania|2016| 010392|Swine, live excep...|Import| 14265937| 9484953|Number of items| 96040|01_live_animals|

| Albania|2016| 010511|Fowls, live domes...|Import| 2671732| 254652|Number of items| 5629138|01_live_animals|

| Albania|2016| 010511|Fowls, live domes...|Export| 87581| 5320|Number of items| 115180|01_live_animals|

| Albania|2016| 010519|Poultry, live exc...|Import| 26485| 2908|Number of items| 64000|01_live_animals|

| Albania|2016| 010591|Fowls, live domes...|Import| 2421513| 1926850|Number of items| 1006990|01_live_animals|

| Albania|2016| 010599|Poultry, live exc...|Import| 251318| 211177|Number of items| 205124|01_live_animals|

+---------------+----+---------+--------------------+------+---------+---------+---------------+--------+---------------+

only showing top 10 rows

Sizdeki diz üstü […]

Çağrı Aksu

Makine Öğrenmesi Veri bilim temel bileşenler analizi

Python ile Temel Bileşenler Analizi – PCA

import pandas as pd
import numpy as np

df=pd.read_excel("data/PDMS.xlsx")

import pandas as pd

import numpy as np

df=pd.read_excel("data/PDMS.xlsx")

df.drop('Strata', axis=1, inplace=True)
df.drop('RID', axis=1, inplace=True)
df.drop('FCSG', axis=1, inplace=True)

df.drop('Strata', axis=1, inplace=True)

df.drop('RID', axis=1, inplace=True)

df.drop('FCSG', axis=1, inplace=True)

df.head()

df.head()

from sklearn.preprocessing import StandardScaler

col=df.columns
feature=col.tolist() 

data=df.loc[:,feature].values  

sc=StandardScaler()  
data=sc.fit_transform(data) 
data_x=pd.DataFrame(data,columns=feature).head().T

data_x.head().T

from sklearn.preprocessing import StandardScaler

col=df.columns

feature=col.tolist()

data=df.loc[:,feature].values

sc=StandardScaler()

data=sc.fit_transform(data)

data_x=pd.DataFrame(data,columns=feature).head().T

data_x.head().T

from sklearn.decomposition import PCA

pca = PCA(n_components = 5)

pca.fit(data_x)

principal_components = pca.transform(data_x)

percentage_var_explained = pca.explained_variance_ratio_;  
cum_var_explained=np.cumsum(percentage_var_explained)

print(pca.explained_variance_ratio_,"yuzde = ", sum(pca.explained_variance_ratio_)*100)

from sklearn.decomposition import PCA

pca = PCA(n_components = 5)

pca.fit(data_x)

principal_components = pca.transform(data_x)

percentage_var_explained = pca.explained_variance_ratio_;

cum_var_explained=np.cumsum(percentage_var_explained)

print(pca.explained_variance_ratio_,"yuzde = ", sum(pca.explained_variance_ratio_)*100)

[4.89869574e-01 3.38506520e-01 1.53860335e-01 1.77635703e-02 5.23048137e-33] yuzde =  100.0

1	[4.89869574e-01 3.38506520e-01 1.53860335e-01 1.77635703e-02 5.23048137e-33] yuzde = 100.0

import matplotlib.pyplot as plt

#plot PCA spectrum   
plt.figure(1,figsize=(6,4))
plt.clf()  
plt.plot(cum_var_explained,linewidth=2)  
plt.axis('tight')  
plt.grid() 
plt.xlabel('n_components') 
plt.ylabel('Cumulative_Variance_explained')  
plt.show()

import matplotlib.pyplot as plt

#plot PCA spectrum

plt.figure(1,figsize=(6,4))

plt.clf()

plt.plot(cum_var_explained,linewidth=2)

plt.axis('tight')

plt.grid()

plt.xlabel('n_components')

plt.ylabel('Cumulative_Variance_explained')

plt.show()

data_x=pd.DataFrame(principal_components).head()

data_x.head()

data_x=pd.DataFrame(principal_components).head()

data_x.head()

Çağrı Aksu