Makine Öğreniminde Ekstrapolasyon: Kapsamlı Bir Kılavuz

Giriş

Makine öğrenimi modelleri, daha önce gördükleri kalıplar içinde tahmin yapmakta etkileyici derecede iyidir. Giriş, eğitim verilerine benzediği sürece görüntüleri sınıflandırır, ürünleri önerir ve yüksek doğrulukla anormallikleri tespit ederler. Ancak onlardan bu tanıdık aralığın dışında bir şey tahmin etmelerini istediğiniz anda, performans genellikle çöker. Makine öğreniminde ekstrapolasyonun temel zorluğu budur: bir modelin öğrendiklerinin sınırlarının ötesinde güvenilir tahminler yapmak. Bu, hisse senedi fiyatlarını tahmin etmekten iklim eğilimlerini modellemeye kadar her şeyi etkileyen, iyi belgelenmiş bir sorundur. Modellerin ekstrapolasyonda neden başarısız olduğunu — ve bu konuda ne yapılabileceğini — anlamak, gerçek dünyada dayanması gereken tahmin sistemleri kuran herkes için gereklidir.

Makine Öğreniminde Ekstrapolasyon Nedir?

Makine öğreniminde ekstrapolasyon, eğitim verilerinin aralığı dışında kalan girdiler için hedef değerleri tahmin etmek anlamına gelir. Bir model 100.000$ ile 500.000$ arasındaki ev fiyatları üzerinde eğitilmişse, ondan 1.000.000$‘lık bir evin fiyatını tahmin etmesini istemek bir ekstrapolasyon görevidir. Model bu bölgede hiç veri görmemiştir, bu nedenle tahmini doğası gereği belirsizdir.

Bu, tahminlerin gözlemlenen veri noktaları aralığı içinde yapıldığı enterpolasyonun tersidir. Enterpolasyon genellikle güvenilirdir çünkü model çıktısını yönlendirmek için yakın örneklere güvenebilir. ML ekstrapolasyonu ise modeli hiçbir referans noktasının bulunmadığı bir alana iter — bu, çoğu algoritmanın iyi başa çıkmak üzere tasarlanmadığı bir dağılım dışı tahmin biçimi haline gelir.

Pratikte, enterpolasyon ve ekstrapolasyon arasındaki sınır her zaman keskin değildir. Veri noktaları belirli bölgelerde seyrek olabilir ve enterpolasyon gibi görünen şeyi fiili bir ekstrapolasyon sorununa dönüştürebilir. Bu sınıra daha derin bir bakış için enterpolasyon vs ekstrapolasyon kılavuzumuza bakın.

ML Modelleri Neden Ekstrapolasyonda Zorlanır

Çoğu makine öğrenimi modeli, temel kurallardan veya fizik yasalarından değil, verilerden kalıplar öğrenir. Eğitim setinde bulunan ilişkileri, bu ilişkilerin neden var olduğunu anlamadan yaklaşık olarak tahmin ederler. Bu verilerin ötesinde tahmin yapmaları istendiğinde, izlenecek bir kalıp yoktur — yalnızca tahmin.

“Dağılım dışı” sorunu burada merkezidir. Bir veri dağılımı üzerinde eğitilmiş bir model, çıkarım sırasında tamamen farklı bir dağılımla karşılaşabilir. Gündüz çekilmiş görüntüler üzerinde eğitilmiş bir sinir ağı, nesneler aynı olsa bile gece görüntülerinde büyük olasılıkla başarısız olacaktır.

Ekstrapolasyon sinir ağları temel bir sınırlamayla karşı karşıyadır: sinir ağları esasen yüksek boyutlu enterpolatörlerdir. Çıktıları, eğitim örneklerinin ağırlıklı kombinasyonlarıdır, bu nedenle gerçek eğilimleri takip etmek yerine eğitim aralıklarının dışında pürüzsüz, ortalaması alınmış tahminler üretme eğilimindedirler. Karar ağaçları ve rastgele ormanların farklı ancak eşit derecede sınırlayıcı bir sorunu vardır — yaprak düğümlerinin aralığının ötesindeki değerleri tahmin edemezler. Verileri maksimum değeri 500 olan yapraklara bölen bir ağaç, girdiden bağımsız olarak asla 501 çıktısı vermez.

Topluluk yöntemleri ve derin mimariler bile bu sorunları devralır. Görülmeyen bölgeleri işlemek için açık mekanizmalar olmadan, modeller matematiksel olarak güvenli ancak pratikte yanlış olan davranışlara yönelir. R² puanlarını anlamak, bir modelin eğitim alanının dışına itildiğinde ne kadar kötü bozulduğunu ölçmeye yardımcı olabilir.

ML’de Ekstrapolasyonu İyileştiren Yöntemler

Hiçbir tek yöntem ekstrapolasyon sorununu tamamen ortadan kaldırmaz, ancak birkaç yaklaşım dağılım dışı tahminleri anlamlı şekilde iyileştirebilir.

Doğrusal Regresyon

Doğrusal regresyon, doğal olarak ekstrapolasyon yapan birkaç modelden biridir. Verilere doğrusal bir fonksiyon uydurduğu için, bu fonksiyonu her iki yönde de süresiz olarak genişletir. Bu, gerçek ilişki doğrusal değilse gerçekçi olmayan tahminler üretebilse de, en azından düzleşmek yerine tutarlı bir eğilim izler. Basit kullanım durumları için, doğrusal ekstrapolasyon pratik bir temel olmaya devam etmektedir.

Doğrusal Yapraklı Rastgele Ormanlar

Standart rastgele ormanlar, eğitim aralıklarının ötesinde ekstrapolasyon yapamaz. Ancak, yaprak düğümlerinde sabit değerler yerine doğrusal modeller uyduran varyantlar, tahminleri gözlemlenen verilerin ötesine genişletebilir. Bu, ağaç tabanlı modellerin esnekliğini doğrusal regresyonun ekstrapolasyon yeteneğiyle birleştirerek gerçek eğilimler içeren görevlerde performansı artırır.

Monotonik Kısıtlamalı Sinir Ağları

Belirli girdi özelliklerinde monotonluk kısıtlamaları uygulayarak, sinir ağları bilinen yönsel ilişkileri izleyen tahminler üretmeye yönlendirilebilir. Alan bilgisi, sıcaklığın basınçla artması gerektiğini söylüyorsa, monotonik bir kısıtlama, ağın eğitim aralığı dışında bile bu kurala uymasını sağlar. Bu, özellikle bilimsel ve mühendislik uygulamalarında kullanışlıdır.

Sembolik Regresyon

Sembolik regresyon, verilere uyan bir formül bulmak için matematiksel ifadeler uzayında arama yapar. Sonuç, öğrenilmiş bir eşleme yerine açık bir denklem olduğu için, keşfedilen ilişkiyle tutarlı bir şekilde ekstrapolasyon yapabilir. PySR ve Eureqa gibi araçlar bu yaklaşımı giderek daha erişilebilir hale getirmektedir.

Fizik Bilgili Sinir Ağları (PINNs)

PINN’ler, kayıp fonksiyonuna diferansiyel denklem kısıtlamaları ekleyerek fizik yasalarını doğrudan eğitim sürecine dahil eder. Bu, ağın eğitim verisi olmayan bölgelerde bile bilinen fiziği ihlal edemeyeceği anlamına gelir. PINN’ler, akışkanlar dinamiği, ısı transferi ve iyi anlaşılmış denklemler tarafından yönetilen diğer alanlarda güçlü ekstrapolasyon sonuçları göstermiştir.

Gerçek Dünya Örnekleri

Ekstrapolasyon zorlukları birçok endüstri ve araştırma alanında ortaya çıkar.

İklim değişikliği modellemesi, sıcaklık ve emisyon verilerini tarihsel kayıtların çok ötesine yansıtmaya dayanır. Modeller, gözlemlenen verilerde emsali olmayan koşulları tahmin etmelidir, bu da makine öğrenimi tahminini özellikle zor ve belirsiz kılar.

Finansal tahmin, düzenli olarak son piyasa davranışının ötesinde tahminler gerektirir. Ekonomik koşullar değişir, rejimler kayar ve yükseliş piyasalarında eğitilmiş modeller, düşüş dönemlerinde felaketle sonuçlanacak şekilde başarısız olabilir — klasik bir ekstrapolasyon hatası.

İlaç keşfi, genellikle klinik deneylerde hiç test edilmemiş dozajlardaki veya kombinasyonlardaki bileşiklerin etkilerini tahmin etmeyi içerir. Düşük doz yanıtları üzerinde eğitilmiş bir model, doğrusal olmayan toksisitenin ortaya çıkabileceği daha yüksek dozlarda güvenliği tahmin etmek için ekstrapolasyon yapmalıdır.

Sürücüsüz arabalar, eğitim verilerinde bulunmayan yol koşulları, hava olayları ve engel konfigürasyonlarıyla karşılaşır. Güvenilir çalışma, bir miktar ekstrapolasyon kapasitesi veya en azından bilinmeyenle karşılaşıldığında zarif bir bozulma gerektirir.

ML’de Ekstrapolasyon vs Enterpolasyon

Enterpolasyon ve ekstrapolasyon arasındaki farkı anlamak, doğru modeli seçmek ve gerçekçi beklentiler belirlemek için kritiktir. Aşağıdaki tablo temel farklılıkları vurgulamaktadır. Daha ayrıntılı bir karşılaştırma için enterpolasyon vs ekstrapolasyon makalemize bakın.

Yön	Enterpolasyon	Ekstrapolasyon
Veri aralığı	Eğitim verileri içinde	Eğitim verileri dışında
Model güveni	Daha yüksek	Daha düşük
Hata riski	Daha düşük	Daha yüksek
Yaygın kullanım	Sınıflandırma, uydurma	Tahmin, öngörü

Enterpolasyon, tahminleri sabitleyen yoğun referans noktalarından yararlanır. Ekstrapolasyon bu çıpalardan yoksundur, bu nedenle ML genellemesi merkezi endişe — ve merkezi risk — haline gelir. Eğitim dağılımları içinde iyi genelleme yapan modeller, bunun dışında hiç genelleme yapmayabilir. Her iki yaklaşımı da enterpolasyon hesaplayıcımız veya regresyon hesaplayıcımız ile uygulamalı olarak keşfedebilirsiniz.

En İyi Uygulamalar

• Dağılım dışı test setlerinde doğrulayın. Standart eğitim-test ayrımları, değerlendirmeyi eğitim dağılımı içinde tutar. Gerçek ekstrapolasyon performansını ölçmek için farklı aralıklardan veya koşullardan verileri kasıtlı olarak ayırın.
• Tahminleri sınırlamak için alan bilgisini kullanın. Modelleme sürecine bilinen fizik yasalarını, monotonik ilişkileri veya sınır koşullarını dahil edin. Bu, modelin fiziksel olarak imkansız sonuçlar üretmesini önler.
• ML’yi geleneksel istatistiksel yöntemlerle birleştirin. Öğrenilmiş kalıpları ilkeli ekstrapolasyon teknikleriyle harmanlayan hibrit yaklaşımlar — klasik istatistikten alınan ekstrapolasyon yöntemleri gibi — dağılım dışı ortamlarda saf ML’yi geride bırakma eğilimindedir. En yaygın iki klasik yöntemin odaklı bir karşılaştırması için polinom ekstrapolasyonu vs doğrusal bölümüne bakın.

Araçlar ve Kaynaklar

Birçok Python kütüphanesi, ekstrapolasyon bilinçli modellemeyi destekler. scikit-learn, daha iyi ekstrapolasyon davranışı için yapılandırılabilen doğrusal modeller ve ağaç tabanlı yöntemler sağlar. PyTorch, monotonik özellikler ve fizik bilgili eğitim döngüleri dahil olmak üzere özel kayıp fonksiyonları ve mimari kısıtlamaları sağlar. Daha basit ihtiyaçlar için ekstrapolasyon hesaplayıcı, kod yazmadan eğilimleri yansıtmak için hızlı bir yol sunar.

Geleneksel sayısal tahmin? Hızlı eğilim projeksiyonu için ekstrapolasyon hesaplayıcıyı deneyin.

Sonuç

Makine öğreniminde ekstrapolasyon doğası gereği zordur, ancak imkansız değildir. Doğrusal modeller, kısıtlanmış mimariler, sembolik regresyon ve fizik bilgili yaklaşımların her biri daha güvenilir dağılım dışı tahminlere giden yollar sunar. Anahtar, ekstrapolasyonun ne zaman gerektiğini tanımak, göreve uygun yöntemleri seçmek ve eğitim dağılımının ötesinde agresif bir şekilde doğrulamaktır. Farklı yaklaşımlarla deney yapın, neyin başarısız olduğunu ölçün ve yineleyin. Tam bir ML hattı oluşturmadan eğilimleri yansıtmanın basit bir yoluna ihtiyacınız olduğunda, ekstrapolasyon hesaplayıcıyı deneyin.

Sinir ağları ekstrapolasyon yapabilir mi?

Standart sinir ağları ekstrapolasyonda zayıftır. Eğitim örnekleri arasında enterpolasyon yapmayı öğrenirler ve eğitim aralığının dışında düz veya düzensiz tahminler üretme eğilimindedirler. Monotonik kısıtlamalar veya fizik bilgili kayıp fonksiyonlarına sahip özel mimariler ekstrapolasyonu iyileştirebilir, ancak sıradan ağlar genellikle yapamaz.

Makine öğreniminde ekstrapolasyon neden zordur?

Ekstrapolasyon zordur çünkü ML modelleri nedensel kurallar yerine eğitim verilerinden istatistiksel kalıplar öğrenir. Girdiler eğitim dağılımının dışına düştüğünde, izlenecek kalıp yoktur ve modelin tahminleri için ilkeli bir temeli yoktur. Bu, öngörülemeyen ve genellikle aşırı derecede yanlış çıktılara yol açar.

ML’de enterpolasyon ve ekstrapolasyon arasındaki fark nedir?

Enterpolasyon, modelin yakın örneklere başvurabileceği eğitim verileri aralığı içinde tahmin yapar. Ekstrapolasyon, hiçbir referans noktasının bulunmadığı bu aralığın dışında tahmin yapar. Enterpolasyon tipik olarak doğrudur; ekstrapolasyon tipik olarak belirsiz ve hataya açıktır.

Hangi ML modelleri ekstrapolasyon yapabilir?

Doğrusal regresyon, uydurulmuş çizgisini uzatarak doğal olarak ekstrapolasyon yapar. Düzenlileştirme (ridge, lasso) içeren doğrusal modeller benzer şekilde davranır. Doğrusal yapraklı rastgele ormanlar, sembolik regresyon modelleri ve fizik bilgili sinir ağları da çeşitli güvenilirlik dereceleriyle ekstrapolasyon yapabilir. Diğer çoğu model — standart sinir ağları, karar ağaçları ve k-en yakın komşular dahil — yapamaz.