Veri Madenciliği Adımları, Yöntemleri ve Araçları

Veri madenciliği, büyük veri yığınlarındaki gizli örüntüleri, ilişkileri ve eğilimleri istatistik ve makine öğrenmesi yöntemleriyle ortaya çıkarma sürecidir. Amaç, veriden daha önce bilinmeyen ve karar almaya yarayan bir bilgi çıkarmaktır: hangi müşterinin ayrılmak üzere olduğu, hangi ürünlerin birlikte satıldığı gibi.

Bu süreç yalnız bir yazılım komutundan ibaret değildir. Doğru soruyu sormak, veriyi temizlemek, uygun yöntemi seçmek ve sonucu iş diline çevirmek de işin parçasıdır.

Veri Madenciliği Ne İşe Yarar?

Veri madenciliği, kurumların geçmiş kayıtlarından geleceğe dönük karar çıkarmasına yarar. Perakendede kampanya planlamak, bankacılıkta şüpheli işlemi yakalamak, üretimde arızayı önceden sezmek bu kullanımın örnekleridir.

Telekom şirketleri aboneliğini bırakma eğilimindeki müşterileri belirlemek, sigorta şirketleri riskli poliçeleri ayırmak için bu yöntemlere başvurur. Bu işleri yürüten ekiplerde çalışmak isteyenler veri analisti iş ilanlarında istenen becerileri inceleyerek bir yol haritası çıkarabilir.

Veri Madenciliği Nasıl Yapılır?

Veri madenciliği, iş sorusunu tanımlamakla başlayan ve sonucu kullanıma almakla biten bir döngü içinde yapılır. Sektörde yaygın kullanılan CRISP-DM modeli bu döngüyü altı adımda tarif eder:

1. İş problemini anlamak: Hangi kararı vermek için veriye bakılacağını netleştirmek.

2. Veriyi tanımak: Hangi kaynakların olduğunu, eksik ve hatalı alanları görmek.

3. Veriyi hazırlamak: Temizlemek, birleştirmek ve modele uygun biçime getirmek.

4. Modellemek: Soruya uygun yöntemi seçip modeli kurmak.

5. Değerlendirmek: Sonucun iş sorusunu gerçekten cevaplayıp cevaplamadığını sınamak.

6. Kullanıma almak: Modeli rapora, panoya ya da bir uygulamaya bağlamak.

Bu adımlardan veri hazırlama, projedeki emeğin büyük kısmını alabilir. Kirli veriyle kurulan bir model, ne kadar gelişmiş olursa olsun yanıltıcı sonuç verir.

Temel Yöntemler

Örüntü arama çalışmalarında yöntem, sorulan sorunun türüne göre seçilir. Kullanılan başlıca yöntemler şunlardır:

• Sınıflandırma: Bir kaydı önceden tanımlı gruplardan birine atar; örneğin bir kredi başvurusunu riskli ya da risksiz olarak işaretler.

• Kümeleme: Benzer kayıtları önceden grup tanımlamadan bir araya getirir; müşteri segmentasyonu buna örnektir.

• Birliktelik kuralları: Birlikte görülen olayları bulur; sepette ekmek olanların peynir de alması gibi.

• Regresyon: Sayısal bir değeri tahmin eder; gelecek ayın satış miktarı gibi.

• Aykırı değer tespiti: Diğerlerinden belirgin biçimde ayrılan kayıtları yakalar; olağan dışı bir kart harcaması gibi.

Kullanılan Araçlar

Madencilik çalışmalarında kullanılan araçlar, kodlu ve kodsuz olarak ikiye ayrılabilir. Veriyi veritabanından çekmek için SQL, analiz ve modelleme için Python ile R kodlu tarafın temelini oluşturur.

Kod yazmadan başlamak isteyenler için KNIME, Orange ve RapidMiner gibi sürükle-bırak arayüzlü programlar vardır. Küçük veri setlerinde Excel'in pivot tabloları da ilk keşif için yeterli olabilir.

Veri Analizinden Farkı

Madencilik bilinmeyen bir örüntüyü ararken, veri analizi bilinen bir soruya cevap arar. "Geçen ay hangi şubede satış düştü?" bir analiz sorusudur; "Hangi müşteri grupları benzer davranıyor?" ise bir madencilik sorusudur.

İki iş birbirini besler ve aynı kişi tarafından yürütülebilir. Analist, madencilikten çıkan bir bulguyu rapora dönüştürüp yöneticinin anlayacağı dile çevirir.

Örnek: Bir Market Zincirinde Sepet Analizi

Bir market zinciri, kasa kayıtlarını birliktelik kurallarıyla inceler ve hafta sonu sabahları belirli kahvaltılık ürünlerin birlikte alındığını görür. Bu bulgu üzerine ilgili ürünler mağazada yan yana dizilir ve aynı sepet için kampanya hazırlanır.

Kampanyanın ardından aynı kayıtlar yeniden incelenir ve değişikliğin sepet tutarına etkisi ölçülür. Böylece süreç bir kez yapılıp bırakılmaz, her dönem yeni veriyle tekrarlanır.

Kişisel Veriler ve Etik Sınırlar

Kişisel veri içeren kayıtlarla çalışan bir veri madenciliği projesi, 6698 sayılı Kişisel Verilerin Korunması Kanunu'na uymak zorundadır. Verinin hangi amaçla toplandığı, kimlerle paylaşıldığı ve ne kadar saklanacağı bu kurallara bağlıdır.

Pratikte kimlik bilgilerini çıkarmak ya da anonimleştirmek, yalnız amaca yetecek alanlarla çalışmak bu riski azaltır. Bir modelin belirli bir grubu haksız biçimde dışlayıp dışlamadığını sınamak da etik sorumluluğun parçasıdır.

Bu Alanda Çalışmak İçin Neler Gerekir?

Veri bilimi ekiplerinde çalışmak için istatistik, SQL ve en az bir programlama dili temel gereksinimdir. İstatistik, bilgisayar, endüstri mühendisliği ve matematik bölümlerinden mezun olanlar bu alana daha kısa yoldan girebilir.

Öğrenciler için gerçek veriyle çalışma fırsatı sunan stajyer iş ilanları, portfolyo oluşturmanın pratik yollarındandır. Kamuya açık veri setleriyle küçük projeler yapıp sonuçlarını yazıya dökmek de işverene beceriyi göstermenin somut bir yoludur.