Stochastic gradient descent

1
tahmini meyil iniÅŸi 1
alılan mini-batchese göre derece derece değişen adımlar gibi işler. Tam amaçtaki dalgalanmalar

1
tahmini meyil iniÅŸi 1
alılan mini-batchese göre derece derece değişen adımlar gibi örnek öğreniyor olan

1
tahmini meyil iniÅŸi 1
'i alılan

1
tahmini meyil iniÅŸi 1
alılan mini-batchese göre derece derece değişen adımlar gibi gibi işler. , Fakat bir makinenin parametreleri tipik olarak göre olun Genel bir optimization algoritmadır Standarttaki

( Veya" Dizi" ) Derece derece değişen iniş , doğru meyil örneğin parametreleri güncellerdı. Doğru meyil her bir kişisel alıştırması örneği tarafından sebep olan ekseriyetle derece derece değişenlerin toplamıdır. Parametre vektörleri bir adım büyüklüğü tarafından çoğaldılan doğru meyilin olumsuzu tarafından ayarladı. , dizi derece derece değişen iniş herhangi bir parametreler değiştirilmiş olamadan önce alıştırma takımından geçerek bir süpürmeyi o yüzden gerektirir. Tahminideki

( Veya" Çevrim içi" ) Derece derece değişen iniş , doğru meyil tek bir alıştırma örneğinde değerlendirilen mal olunmuş fonksiyonun derece derece değişeni tarafından yalnızca tahmin etti. Parametreler bu yaklaşık meyile bir miktar orantılı tarafından o zaman ayarlanır. , modelin parametreleri her bir alıştırma örneğiden sonra o yüzden güncellenir. Geniş veri takımları için , çevrim içi meyil inişi dizi derece derece değişen inişten çok daha hızlı olabilir. İki form arasında

bir uzlaşma , sık sık çağırılan var" Mini-batches" Doğru meyil alıştırma örneklerinin küçük bir numarasının üzerinde bir toplam tarafından nerede tahmin ettiği ,.

1
tahmini meyil iniÅŸi 1
tahmini tahminin bir formudur. Tahmini tahmin esnekliklerinin teorisi tahmini meyil inişi yakınsayınca şartlandırır.

• tahmini öğrenmeye iÅŸaret eder. Tübingen 'de makine öğrenmesi yaz okulu 2003 için Léon Bottou tarafından konferans verin. hatta Makine öğrenmesindeki geliÅŸmiÅŸ konferanslarda Olivier Bousquet tarafından ve Ulrike von Luxburg , ISBN 3-540-23122-6 , tahmini aramaya 2004
• giriÅŸ ve reçeller C tarafından Optimization düzenledi. Spall , ISBN 0-471-33052-3 ,. Duda , Peter E. Erkek geyik , David G. Leylek , ISBN 0-471-05669-3 , 2000