R.


46 views
Uploaded on:
Description
Presentation. D
Transcripts
Slide 1

Réseaux de Neurones Artificiels Manuel Clergue

Slide 2

Introduction Définition Contexte Scientifique Historique Fondements Biologiques

Slide 3

Définition Les réseaux de neurones artificiels sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle. Chaque processeur élémentaire (neurone artificiel) calcule une fight one of a kind sur la base des informations qu\'il reçoit. Parallel Distributed Processing : Calculs élémentaires et parallèles Données/informations distribuées dans le réseau Inspiration naturelle : analogie avec le cerveau

Slide 4

Contexte Scientifique Neuromimétisme et sciences de la discernment : comprendre et simuler le fonctionnement du cerveau reproduire les phénomènes cognitifs (I.A.) Connexionisme : outils d\'ingénierie performants Intelligence computationnelle : une knowledge basée sur le calcul numérique opposée à l \'intelligence artificielle (calcul symbolique) réseau de neurones; logique floue; algorithmes génétiques; ...

Slide 5

Historique la préhistoire James [1890] : mémoire acquainted McCulloch & Pitts [1943] A consistent math of the thoughts natural in anxious exercises neurone formel Les ordinateurs à codage binaire (Von Neumann) L \'intelligence artificielle (calcul symbolique) Les réseaux de neurones Hebb [1949] Organization of conduct le conditionnement est une propriété des neurones loi d\'apprentissage

Slide 6

Historique les premiers succès Rosenblatt [1957] : le perceptron, chief modèle opérationnel observation d \'une design inform tolérance aux bruits Widrow [1960] : adaline, versatile direct component Minsky & Papert [1969] : impossibilité de classer des arrangements non linéairement séparables surrender (agent) des recherches sur les RNA

Slide 7

Historique l\'ombre et le renouveau [1967 - 1982] : Mise en sommeil des recherches sur les RNA. Elles continuent sous le couvert de domaines jumpers. Grossberg, Kohonen, Anderson, ... Hopfield [1982] : modèle des verres de turns Boltzmann [1983] : première réponse à Minsky et Papert [1985] : la rétro-engendering du slope et le perceptron multicouche Rumelhart, McClelland, … [1985] : le groupe Parallel Distributed Processing

Slide 8

Domaines d\'application Classification : répartir en plusieurs classes des objets données quantitatives  informations qualitatives surveillance des formes Recherche Opérationnelle résoudre des problèmes dont on ne connaît pas la arrangement Mémoire Associative restituer une donnée à partir d\'informations incomplètes et/ou bruitées.

Slide 9

Fondements Biologiques Structure des neurones Le système nerveux est composé de 10 12 neurones interconnectés. Bien qu\'il existe une grande diversité de neurones, ils fonctionnent tous sur le même schéma. Ils se décomposent en trois régions principales : Le corps cellulaire Les dendrites L \'axone

Slide 10

Fondements Biologiques Fonctionnement des neurones L\'influx nerveux est assimilable à un signal électrique se propageant comme ceci : Les dendrites reçoivent l\'influx nerveux d \'autres neurones. Le neurone évalue l\'ensemble de la incitement reçue. Si elle est suffisante, il est excité : il transmet un signal (0/1) le long de l \'axone. L\'excitation est propagée jusqu\'aux autres neurones qui y sont connectés by means of les neurotransmitters.

Slide 11

Fondements Biologiques Fonctionnement des neurones

Slide 12

Fondements biologiques Le cerveau Trois lounge chairs successives : Le cerveau reptilien (la couche la in addition to ancienne) L\'hippocampe (cerveau archaïque) Le cortex (la couche la in addition to récente) Découpage en régions : au niveau morphologique et fonctionnel Adaptation : renforcement de l\'efficacité synaptique: renforcement des corrélations (loi de Hebb)

Slide 13

Les modèles Mathématiques Le neurone de McCulloch & Pitts Le neurone formel Architecture générale d \'un RNA Structure d \'Interconnexion

Slide 14

Le Neurone de McCulloch & Pitts 0 Inh 1.0 2.0 Exc 1 1.0 Exc 1

Slide 15

Le Neurone de McCulloch & Pitts 1 Inh Exc X 0 Exc X

Slide 16

Le Neurone Formel Le neurone formel, l\'unité élémentaire d\'un RNA, se create de deux parties : évaluation de la incitement reçue (fonction E) évaluation de child enactment (fonction f) Il est caractérisé standard : child état X (binaire, discret, continu) le niveau d\'activation reçu en entrée U (continu) le poids des associations en entrée

Slide 17

Le Neurone Formel La fonction d\'entrée : somme pondérée des signaux d\'entrée Le biais d\'entrée (inclination input): unité fictive dont le poids permet de régler le seuil de déclenchement du neurone

Slide 18

Le Neurone Formel Les fonctions d\'activation :

Slide 19

Le Neurone Formel La fonction linéaire et la fonction à seuil :

Slide 20

Le Neurone Formel La fonction sigmoïde :

Slide 21

Architecture générale d\'un RNA

Slide 22

Structure  d\'Interconnexion proliferation avant (feedforward) couche d\'entrée couche cachée couche de foray réseau à associations regions réseau multicouche spread des initiations : de l \'entrée vers la fight

Slide 23

Structure  d\'Interconnexion modèle récurrent (criticism system) engendering des actuations : synchrone : toutes les unités sont mises à jour simultanément asynchrone : les unités sont mises à jours séquentiellement

Slide 24

Apprentissage Définition Apprentissage supervisé Apprentissage non supervisé Règles d \'apprentissage

Slide 25

Définition L \'apprentissage est une stage du développement d\'un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu\'à l\'obtention du comportement désiré. On distingue deux grandes classes d\'algorithmes d\'apprentissage : L\'apprentissage supervisé L\'apprentissage non supervisé

Slide 26

fight désirée superviseur erreur ENTREES réseau foray obtenue Apprentissage supervisé

Slide 27

ENTREES réseau foray obtenue Apprentissage non supervisé

Slide 28

i j W ij Règles d\'apprentissage L\'apprentissage consiste à modifier le poids des associations entre les neurones. Il existe plusieurs règles de adjustment : Loi de Hebb : w ij =Ra i a j Règle de Widrow-Hoff (delta principle) : w ij =R(d i - an i )a j Règle de Grossberg : w ij =R(a j - w ij )an i

Slide 29

Règles d\'apprentissage Loi de Hebb : Si deux unités connectées sont actives simultanément, le poids de leur association est augmenté ou diminué. R est une constante positive qui représente la power d\'apprentissage (learning rate). ai = - 1 ai = 1 aj = - 1  Wij = R  Wij = - R aj = 1  Wij = - R  Wij = R

Slide 30

Règles d\'apprentissage Loi de Widrow-Hoff (delta guideline) : ai actuation produite standard le réseau di réponse désirée standard l\'expert humain Par exemple si la fight est inférieure à la réponse désirée, il va falloir augmenter le poids de la association à condition bien sûr que l\'unité j soit excitatrice (égale à 1). On est dans l\'hypothèse d\'unités booléennes {0,1}. ai = 0 ai = 1 di = 0  Wij = 0  Wij = - R di = 1  Wij = R  Wij = 0

Slide 31

Règles d\'apprentissage Loi de Grossberg : On augmente les poids qui entrent sur l\'unité gagnante ai s\'ils sont trop faibles, pour les rapprocher du vecteur d\'entrée aj. C\'est la règle d\'apprentissage utilisée dans les cartes auto-organisatrices de Kohonen

Slide 32

Différents modèles Le perceptron Limite du perceptron Le perceptron multicouche Le modèle de Hopfield Le modèle d \'Elmann Les réseaux ART

Slide 33

Le perceptron Le perceptron de Rosenblatt (1957) est le head RNA opérationnel. C\'est un réseau à proliferation avant avec seulement deux love seats (entrée et foray) entièrement interconnectées. Il est composé de neurones à seuil. L \'apprentissage est supervisé et les poids sont modifiés selon la règle delta.

Slide 34

Le perceptron

Slide 35

Limite du perceptron Le perceptron est unable de distinguer les designs non séparables linéairement [Minsky 69] info P 0 1 0 1 input Q 1 0 0 1 ET 0 0 0 1 XOR 1 1 0 0

Slide 36

Le perceptron multicouche engineering

Slide 37

Le perceptron multicouche enactment fonction sigmoïde fonction tangente hyperbolique

Slide 38

Le perceptron multicouche apprentissage : retropropagation de l\'erreur

Slide 39

Le perceptron multicouche paramètres et exhibitions Les paramètres de l\'apprentissage La power d\'apprentissage Le energy Cumulative Delta-Rule Les exhibitions du réseaux Erreur globale sur le jeu de test Généralisation

Slide 40

Le modèle de Hopfield la théorie des verres de turn : un modèle dynamique La renaissance du connexionisme théorie des verres de turn modèle dynamique et récurrent réseau complètement connecté apprentissage standard loi de Hebb Le rappel associatif se fait en minimisant une fonction d\'énergie pour tomber dans l\'un des attracteurs correspondant aux formes mémorisées Si on a N unités dans le réseau, on peut mémoriser 0,14 example différents

Slide 41

Le modèle de Hopfield les mémoires associatives Dans une mémoire informatique classique, une data est retrouvée à partir d\'une clé arbitraire. Standard restriction, une donnée entreposée dans une mémoire affiliated est open à partir d\'informations qui lui sont associées. La fonction d\'une mémoire acquainted est de restituer une data en occupant compte de sa irritation ou de child bruit. L\'information doit alors se rapprocher d\'une data advise ou connue. Si les mémoires associatives restituent des informations qu\'elles ont advises à partir d\'entrées incomplètes ou bruitées, il existe aussi des mémoires hé

Recommended
View more...