Hiperparametre Optimizasyonu
Hiperparametre optimizasyonu, bir öğrenme algoritmasının doğrudan veriden öğrenilmeyen, en iyi genellemeyi sağlayan yapılandırma ayarlarını aramaktadır.
Tanım
Hiperparametre optimizasyonu, bir modelin eğitimden önce belirlenen ve veriden öğrenilmeyen yapılandırma parametrelerinin değerlerini, ayrılmış doğrulama verileri üzerinde aday ayarları değerlendirerek ve en iyi genellemeyi sağlayan yapılandırmayı seçerek belirleme sürecidir.
Kapsam
Bu konu, öğrenme oranı, düzenlileştirme gücü ve mimari seçimleri gibi bir öğrenme algoritmasını yöneten ayarları ayarlama yöntemlerini kapsamaktadır: ızgara araması, rastgele arama, vekil modellerle Bayes optimizasyonu ve ardışık yarılamalı ve bant tabanlı yaklaşımlar. Ayrıca, hiperparametrelerin neden doğrulama verileri üzerinde seçilmesi gerektiğini ve arama maliyetinin nasıl yönetildiğini de ele almaktadır.
Temel sorular
- Hiperparametreleri model parametrelerinden ayıran nedir?
- Izgara ve rastgele arama verimlilik açısından nasıl farklılık gösterir?
- Bayes optimizasyonu, aramayı yönlendirmek için geçmiş değerlendirmeleri nasıl kullanır?
- Hiperparametreler neden test verileri yerine doğrulama verileri üzerinde ayarlanmalıdır?
Temel kuramlar
- Izgara ve rastgele arama
- Izgara araması, önceden tanımlanmış bir ızgara üzerindeki tüm kombinasyonları değerlendirirken, rastgele arama yapılandırmaları rastgele örnekler ve yalnızca birkaç hiperparametrenin performansı güçlü bir şekilde etkilediği durumlarda genellikle daha verimlidir.
- Bayes optimizasyonu
- Bayes optimizasyonu, hiperparametrelerin bir fonksiyonu olarak performansın olasılıksal bir vekil modelini uydurur ve bunu bir sonraki değerlendirilecek umut vadeden yapılandırmaları seçmek için kullanarak maliyetli denemelerin sayısını azaltır.
- Doğrulama tabanlı seçim
- Hiperparametreler karmaşıklığı ve uyumu kontrol ettiğinden, iyimser performans tahminlerinden kaçınmak için nihai test setinden ayrı doğrulama verileri kullanılarak seçilmelidirler.
Klinik önem
Hiperparametre seçimleri, bir modeli işe yaramazdan son teknolojiye dönüştürebilmektedir; bu nedenle sistematik ayarlama esastır ve otomatik yöntemler, maliyetli modeller için bunu uygulanabilir kılmaktadır. Doğru doğrulama verileri ve aramanın dürüst bir şekilde muhasebeleştirilmesiyle doğru bir şekilde yapılması, nihai performansın abartılmasını önlemek için gereklidir.
Tarihçe
Izgara araması uzun süre ayarlama için varsayılan yöntem olmuştur, ancak Bergstra ve Bengio 2012'de rastgele aramanın genellikle daha verimli olduğunu göstermiştir. Bayes optimizasyonu ve ardışık yarılamalı gibi bant tabanlı yöntemler daha sonra otomatik ayarlamayı geliştirmiş ve hiperparametre optimizasyonu, otomatik makine öğreniminin temel bir parçası haline gelmiştir.
Öne çıkan isimler
- James Bergstra
- Yoshua Bengio
- Trevor Hastie
İlgili konular
Temel eserler
- hastie2009
- goodfellow2016
- bergstra2012
Sıkça sorulan sorular
- Parametre ile hiperparametre arasındaki fark nedir?
- Bir modelin ağırlıkları gibi parametreler, eğitim verilerinden öğrenilir. Öğrenme oranı veya düzenlileştirme gücü gibi hiperparametreler, eğitimden önce belirlenir ve öğrenmenin nasıl ilerleyeceğini kontrol eder; aday değerler üzerinde arama yapılarak ve doğrulama verileri üzerinde değerlendirilerek seçilirler.
- Rastgele arama neden genellikle ızgara aramasından daha iyidir?
- Yalnızca birkaç hiperparametrenin performansı güçlü bir şekilde etkilediği durumlarda, ızgara araması önemsiz olanları değiştirerek birçok denemeyi boşa harcar. Rastgele örnekleme, aynı sayıda deneme için önemli boyutları daha kapsamlı bir şekilde keşfeder, bu nedenle iyi ayarları daha hızlı bulma eğilimindedir.