Aula 2 - CESEC

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
1.1 CÉREBRO / NEURÔNIO BIOLÓGICO
Funcionamento do Sistema Nervoso:
Estímulo Receptores Rede Neural Atuadores
Resposta
A rede neural biológica é formada por unidades de
processamento: neurônios biológicos
Neurônio Biológico
4

Sinais de
Entrada
UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
1.2 NEURÔNIO ARTIFICIAL
Unidade de processamento da rede neural artificial
Elementos básicos do neurônio artificial:
a) Conjunto de Sinapses cada uma peso sináptico w kj
correspondente, onde k é
o número do neurônio e j
o da sinapse.
b) Somador gerando Combinador linear das
entradas
c) Função de Ativação aplicada ao valor de v k, gerando a
saída y k
Matematicamente:
u
k
=
m
∑
j=
1
x1
x2
...
xm
w
kj
x
j
Pesos
Sinápticos
wk1
wk2
...
wkm
Bias
bk
S
vk
Função de
ativação
ϕ(.)
Saída
yk
5

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
vk = uk + bk
yk = j (uk + bk)
Tipos de função de ativação j(v):
a) Função de Limiar (ou step):
j(v) =
1 se v ≥ 0
0 se v < 0
b) Função Linear por partes:
1 se v ≥ 1/2
j(v) = v, se ½ > v > -1/2
0 se v ≤ -1/2
c) Função Sigmóide: Gráfico em forma de “S”. Exemplos:
Função Logística:
1
( v)
=
1 + exp( −av)
ϕ (varia de 0 a 1)
onde: a parâmetro de inclinação da função sigmóide
Função Tangente Hiperbólica: ϕ(v) = tanh (v)
(pode assumir valores negativos)
6

x =
UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
d) Se neurônio estocástico (só podendo fornecer como saídas os
valores 0 ou 1 – ligado ou desligado), pode-se fazer:
0 com probabilidade P(v)
1 com probabilidade 1 – P(v)
onde: x representa o estado (ativo ou não ativo) do neurônio e P(v),
probabilidade de liga-lo.
7

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
P(v) pode ser:
1
P(
v)
= (forma sigmóide)
1 + exp( −v
/ T )
onde: T é a “pseudotemperatura” utilizada para controlar o nível de
ruído sináptico.
1.3 ARQUITETURAS DE REDE
Redes Alimentadas Adiante (para frente) com camada única:
8

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
Redes Alimentadas Adiante (para frente) com múltiplas camadas
(Multi-Layer Feedforward NN)
Redes Recorrentes (possuem laços de realimentação)
9

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
1.4 REPRESENTAÇÃO DO CONHECIMENTO
Conhecimento se refere à informação armazenada ou a
modelos utilizados por uma pessoa ou máquina para
interpretar, prever e responder apropriadamente ao mundo
exterior.
(Fischler e Firschein, 1987)
Como representa-lo para a rede neural?
Como saber se a mesma absorveu o conhecimento?
Como escolher a arquitetura ideal?
Inteligência Artificial X Redes Neurais Artificiais...
(Vide bibliografia – Haykin, 2001).
10

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
2. PROCESSOS DE APRENDIZAGEM
O processo de aprendizagem de uma RN compreende as seguintes
etapas:
a) A RN é estimulada por um ambiente;
b) A RN sofre modificações em seus parâmetros livres (pesos
sinápticos e bias), devido a este processo de estimulação;
c) A RN responde de uma maneira nova ao ambiente, devido às
modificações sofridas no passo “b”.
2.1 APRENDIZAGEM POR CORREÇÃO DE ERRO
Ajuste dos pesos sinápticos ocorre através da avaliação do erro.
11

Novo
UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
Cálculo do erro: e k(n) = d k(n) – y k(n)
Minimizar a função de custo ou índice de desempenho ε(n):
ε(n) = ½ . e k 2 (n)
Minimização da função de custo ε(n) resulta na regra delta (ou regra de
Widrow-Hoff). Assim, o ajuste aplicado ao peso w kj, no passo de tempo
n, é:
Δ w kj(n) = η . e k(n) . x j(n)
onde η é a taxa de aprendizado.
Assim, tem-se:
w kj(n+1) = w kj(n) + Δ w kj(n)
Antigo
2.2 APRENDIZAGEM BASEADA EM MEMÓRIA
Todas (ou a maioria das) experiências passadas são armazenadas
explicitamente em uma grande memória de exemplos de entrada-saída
classificados corretamente:
{
}
N
xi, d i ) i 1
( =
onde x i representa um vetor de entrada e d i, a resposta desejada
correspondente.
Usado para a classificação de padrões, baseada na vizinhança do
vetor de teste x teste.
12

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
2.3 APRENDIZAGEM HEBBIANA
Baseada nas seguintes regras:
a) Se dois neurônios em ambos os lados de uma sinapse são
ativados simultaneamente, então a força desta sinapse é
seletivamente aumentada;
b) Se dois neurônios em ambos os lados de uma sinapse são
ativados assincronamente, então esta sinapse é seletivamente
enfraquecida ou eliminada.
Este tipo de sinapse é denominada de sinapse hebbiana.
Matematicamente, o ajuste a ser realizado no peso sináptico w kj, no
tempo n, é:
Δw kj(n) = F(y k(n), x j(n))
onde: x j sinal pré-sináptico
y k sinal pós-sináptico
Na hipótese de Hebb (forma mais simples – Regra do produto das
atividades):
Δw kj(n) = η. y k(n) . x j(n)
onde: η é a taxa de aprendizado.
Na hipótese da covariância, a fim de se evitar uma possível saturação
da sinapse (que pode ocorrer na hipótese de Hebb), tem-se:
Δw kj(n) = η. (x j(n) – x) . ( y k(n) – y)
onde: x e y são os valores médios no tempo dos sinais pré e pós
sinápticos, respectivamente.
13

UFPR – PPGMNE - TC-747 - REDES NEURAIS E APLICAÇÕES EM ENGENHARIA Profa. Andrea Sell Dyminski
2.4 APRENDIZAGEM COMPETITIVA
Os neurônios de saída de uma rede neural competem entre si
para se tornar ativos (disparar).
Muito adequada para descobrir características
estatisticamente salientes, visando a classificação de um
conjunto de padrões de entrada.
14