Konveks optimizasyon

Bos durmasin burasi, ise yarasin dedim. Yavastan konveks optimizasyon ogreniyorum. Ogrenme algoritmalarinda, ve baska bissuru yerde ise yariyor. Eldeki bi problemi (mesela ogrenme problemini) bi minimizasyon/optimizasyon problemine indirgemek, sorunu cozmus olmak anlamina gelmiyor, optimizasyonun kendisi de epey buyuk problem olabiliyor. Ama eger “iyi” bir optimizasyon problemine indirgeyebilirsek, isimiz kolaylasiyor. “Iyi”den kasit, “cozumu kolay”. Konveks optimizasyon problemleri, boyle “iyi” problemler. Bunlari gorunce tanimak, birkac optimizasyon yaklasimi arasindan iyi olani secebilmek, faydali beceriler.

\mathbb{R}^n‘deki noktalarin birbirlerine uzakliklari, vb. ile ilgili optimizasyonlar bol bol karsimiza cikan seyler. “Manifold learning” diye bir konu var, uc boyutlu uzayin icinde iki boyutlu bi yuzeyi, o yuzeyden rastgele secilmis noktalara bakarak ogrenmek gibi seylerle ilgili. Bu konuda bir suru yapilmis sey varken, iki tane yeni yaklasim cat diye Science’in ayni sayisinda yayinlanmis. Olayi “iyi” bi optimizasyon problemine indirgeyebilmis olmalarinin bunda onemli rolu var.

Iki kitap:

Bir Wiki:

Bir de genel web sayfasi (yukaridakilere buradan da erisilebiliyor, biraz genel muhabbetler de var):

YouTube’da Boyd’un dersleri var bir de, ama bilmiyorum oturup seyreder miyim. Aslinda her donem boyle kendi kendine iki ders secip, okulda derse gider gibi evde YouTube’dan vb. seyretmek guzel olur ama tek basina o disiplini saglamak zor gorunuyor.

Yorum Yapın

Çekirdek yöntemiyle yoğunluk kestirmesi: I

Başlıkta kernel density estimation‘ı Türkçeleştirmeye çalıştım. Eğer daha iyi önerileriniz varsa, ya da Türkçe’de halihazırda kullanılmakta olan karşılığını biliyorsanız, ben de öğrenmek isterim. Aşağıda teknik terimlerle ilgili kullanım hataları görürseniz de haber verin lütfen.

Diyelim ki elimizde belli bir hastalığın tanısında kullanılan, “X” adlı bir tıbbi tahlilin sonuçlarının dağılımı hakkında bilgiler var. Örneğin kabaca, sağlıklı insanlar için X’in belli bir aralıkta değerler aldığını, hastalar için ise genelde başka bir aralıkta değer aldığını biliyor olabiliriz. Ya da bunun daha incelikli, istatistiksel hali olarak, X’in hastalar ve sağlıklı insanlar için ayrıntılı dağılımlarını biliyor olabiliriz. Bu ikinci durumda, önümüze birinin X değeri geldiğinde, standart bazı yöntemler kullanarak, bu kişinin hasta olup olmadığı hakkında dayanaklı bir tahminde bulunmak mümkün. Ya da daha ayrıntılı olarak, bu kişinin hasta olması olasılığı hakkında bir “yüzde” verebiliriz.[1]

Bu senaryo, sınıflandırma (classification) problemlerine bir örnek. Benzer örnekler sigortacılıktan, şehir planlamadan, finans dünyasından, vb. de verilebilir. Bu ve daha birçok tür problem için, bir rassal değişkenin (random variable) ayrıntılı dağılımını (yani olasılık yoğunluğu fonksiyonunu (probability density function)) bilmek, çok faydalı. Bu yazı dizisinde, bir rassal değişkenin bir örneklemine (sample) bakarak, olasılık yoğunluğu fonksiyonunu kestirmeye yarayan, yaygın olarak kullanılan bir yöntemi anlatacağım.

Şimdi X, herhangi bir sürekli rassal değişken olsun, X’in olasılık yoğunluğu fonksiyonuna da f(x) diyelim. f(x), X’in değerinin verili bir aralıkta olması olasılığını hesaplamakta kullanılıyor; X’in a ile b arasında bir değer alması olasılığı,

\mathbb{P}(a<X<b) = \int_a^b f(x) dx

ile veriliyor. Örneğin şöyle bir fonksiyon olabilir, f(x):

Olasılık yoğunluğu

(1)

Şimdi diyelim ki ben bu f(x)’i bilmiyorum, ama elimde X’in bir örneklemi (sample), yani “f(x) yoğunluğuna uygun olarak üretilmiş bir veri kümesi” var. Örneğin, şöyle:

Veri tablosu

(2)

Bu veri noktalarını sayı doğrusunun üzerinde işaretleyince, şöyle bir şey görüyoruz:

Veri noktaları

(3)

Bu örnekleme bakarak f(x)’i kestirme işine, yoğunluk kestirmesi (density estimation) deniyor.

Kabaca, f’nin değerinin, örneklemin yoğun olduğu yerlerde büyük olmasını, seyrek olduğu yerlerde ise küçük olmasını bekleyebiliriz. Yoğunluk kestirmesi, bu mantığın matematikselleştirilmiş hali. Örneğin hiç istatistik bilmesek bile, sayı doğrusunu kutulara bölüp, her kutuya elimizdeki veri kümesinden kaçar nokta düştüğünün grafiğini çizsek -bu türden grafiklere histogram deniyor-, f’nin kabaca nasıl göründüğüne dair bir tahmin üretebiliriz:

Histogram

(4)

Bir sonraki yazıda, bu yöntemin bir anlamda daha rafine bir hali olan “çekirdek yöntemi”‘ni anlatmaya başlayacağım.

Dipnotlar:

[1] Aslına bakarsanız, tahminimizin güvenli olması için, tahlil yaptıran insanların toplamda yüzde kaçının kanser olduğunu da bilmemiz gerekiyor. İleride Bayes kestirmesi, vb. konularına da gelmek istiyorum, bu noktaları o zaman daha ayrıntılı anlatmayı umuyorum.

[2] Tahlil sonuçlarına neden “rassal” dediğimiz konusunda bir açıklama yararlı olur mu?

Comments (2)