AI
Neurale Netværk
Det beregningsmæssige fundament for moderne AI
Overblik
Et neuralt netværk er et lagdelt system af matematiske funktioner løst inspireret af biologiske neuroner. Hvert lag transformerer sit input gennem vægtede forbindelser og ikke-lineære aktiveringsfunktioner og lærer repræsentationer med stigende abstraktion. Dybe neurale netværk — dem med mange lag — driver næsten alle moderne AI-systemer fra billedgenkendelse til sprogmodeller.
Nøglekoncepter
- Fremadrettet pas: inputdata strømmer gennem lag, som hver beregner en vægtet sum og derefter anvender en aktiveringsfunktion
- Aktiveringsfunktioner (ReLU, sigmoid, softmax): introducerer ikke-linearitet, der giver netværket mulighed for at lære komplekse mønstre
- Backpropagation: beregner gradienter af tabsfunktionen med hensyn til hver vægt ved hjælp af kædereglen
- Gradientnedstigning: justerer iterativt vægte i den retning, der reducerer tabet
- Konvolutionelle lag (CNNs): detekterer rumlige mønstre i billeder; rekurrente lag (RNNs/LSTMs): modellerer sekventielle afhængigheder
Fakta
- Universalapproksimationssætningen siger, at et enkelt skjult lag kan approksimere enhver kontinuerlig funktion — men dybe netværk er langt mere effektive
- AlexNet (2012) igangsatte dybdelæringsrevolutionen ved at vinde ImageNet med et 10-points nøjagtighedsgab over klassiske metoder
- Moderne store sprogmodeller indeholder milliarder af lærte parametre — GPT-3 har 175 milliarder
- Dropout-regularisering nulstiller tilfældigt neuroner under træning for at forhindre netværket i at memorisere frem for at generalisere
- Batchnormalisering, introduceret i 2015, stabiliserer træning og muliggør meget højere læringsrater