Devoir à rendre le 15 janvier 2006

rm(list=ls())
########################################################################
############Initialisation##########
########################################################################
# Base d'apprentissage
# n cellules en entree et sortie, m cellules intermediaires
k=-100:100;
x=k/100;
fx=0.5*sin(pi*x);
#fx=0.7*cos (3*pi*x/2+pi/6);
#fx=abs(x)-0.5;
n=length(k);
m=2;
alpha=0.9; #parametre d'apprentissage
seuil=0.01;#on peut prendre un seuil tres petit
erreur=100


#initialisation aleatoire des poids reliant a la couche intermediaire
wEI=matrix(runif(m*n,-1,1),n,m);
wIS=matrix(runif(m*n,-1,1),m,n);

#initialisation des activités (aS et aI), des potentiels (vS et vI)
#des cellules intermediaires et de sortie (sous forme de vecteurs)
aI=rep(0,m);
vI=rep(0,m);
aS=rep(0,n);
vS=rep(0,n);

#initialisation des variables utiles pour la modification des poids
#lors de la rétropopagation (les "deltas")
deltawS=matrix(rep(0,m*n),n,m);
deltawI=matrix(rep(0,m*n),n,m);
deltaS=matrix(rep(0,n),n,1);
deltaI=matrix(rep(0,m),m,1);


# fonction sigmoide on prend ici une pas forcement positive
phi<-function(y){ y<-tanh(y); }

#dérivée de la fonction sigmoide
dphi<-function(y){ y <- 1-tanh(y)^2; }



########################################################################
#######Algorithme d'apprentissage#######
########################################################################
while (erreur>seuil){
 #les potentiels intermédiaires
 for (i in 1:m){
  vI[i]=sum(wEI[,i]*x);
 };

 #les activites intermédiaires
 for (i in 1:m){
  aI[i]=phi(vI[i]);
 }

 #les potentiels de sortie
 for (i in 1:n){
  vS[i]=sum(wIS[,i]*aI);
 };

 #les activites de sortie (correspond "aux y")
 for(i in 1:n){
  aS[i]=phi(vS[i]);
 };


 #calcul de l'erreur residuelle
 erreur=0.5*sum((fx-aS)^2);


 #calcul du terme de gradient d'erreur sur la derniere couche
 for(i in 1:n){
  deltaS[i]=dphi(vS[i])*(aS[i]-fx[i]);
 };

 #retropropagation de ce terme de gradient sur la couche intermediaire
 for(i in 1:m){
  deltaI[i]=dphi(vI[i])*sum(wIS[i,]*deltaS);
 };

 #mise a jour des poids du reseau
 wIS=wIS-alpha*t(deltaS%*%aI);
 wEI=wEI-alpha*t(deltaI%*%t(x));
};



########################################################################
#######Representation de la retropropagation#######
########################################################################
plot(x,fx,xlim=c(-1,1),ylim=c(-0.8,0.8), ylab="f(x)", type="l", col='red',lwd=3,
    main="Simulation de f(x)=0.7 cos (3*pi x/2 + pi/6)
      par l'algorithme de retro-propagation");    
points(x,aS,col='black');