Les réseaux neuronaux peuvent être considérés comme un algoritme d'analyse multivariable. C’est en fait un modèle universel dans la mesure où il n’est plus nécessaire de faire d’hypothèse mathématique initiale. Seule la structure du réseau peut changer (nombre et taille des couches intermédiaires, fonctions de transfert).
Le but est alors de trouver, par approximations successives
les coefficients synaptiques (W) et les offset (B) tels que les cibles
et les sorties soient les plus proches possibles.
C'est un problême d'optimisation qui se résoud par itérations. Si les fonctions de transfert sont linéaires, alors le problème peut se ramener à un problème d'analyse multivariable classique (simple ou à analyse de facteurs si il y a une couche de neurones intermédiaires).
Le procédé d'optimisation le plus utilisé est la rétro-propagation:
Il consiste à propager les erreurs (différences entre la sortie et la cible correspondante) de la sortie vers l'entrée en modifiant légèrement au passage les W et les B "dans le bon sens". La méthode est appliquée avec tous le jeu d'échantillons un grand nombre de fois jusqu'à obtention du degré de convergence "souhaité".
Il n’est pas nécessaire de faire converger le réseau outre mesure: On risque en effet alors de faire de la sur-modélisation qui, comme cela a été expliqué dans un paragraphe précédent, peut être néfaste pour la prédiction.
Il est donc conseillé de tester le réseau, en cours de convergence, avec un jeu d’échantillons n’ayant pas été utilisés pour l’apprentissage.
Prédiction:
On peut alors "exciter le réseau (W,B) avec de nouvelles variables
d'entrée afin de trouver les variables de sortie correspondantes
(à priori inconnues).
Utilisations:
Essentiellement reconnaissance de formes (au sens large):