AlexNet (Krizhevsky–Sutskever–Hinton Deep Convolutional Neural Network)

Przed AlexNet większość klasyfikatorów obrazów opierała się na ręcznie tworzonych cechach. AlexNet pokazał, że sieć z wieloma ułożonymi warstwami konwolucyjnymi, trenowana end-to-end na surowych pikselach z wystarczającą ilością danych i mocą obliczeniową GPU, może automatycznie uczyć się hierarchicznych cech wizualnych. Wczesne warstwy wykrywają krawędzie i kolory; warstwy środkowe wykrywają tekstury i części; warstwy końcowe łączą je w reprezentacje na poziomie kategorii. Kluczowe praktyczne wnioski były następujące: użycie ReLU zamiast aktywacji sigmoidalnych dramatycznie przyspiesza trening, a dropout, losowo wyłączający neurony podczas treningu, zapobiega nadmiernemu poleganiu na pojedynczej cesze, co prowadzi do lepszej generalizacji.