Neuroevolução com o algoritmo NEAT e suas Extensões
•Transferir como PPT, PDF•
0 gostou•941 visualizações
O documento discute vários tópicos de aprendizagem de máquina, incluindo classificadores Naive Bayes, reforço de aprendizagem Q(λ), neuroevolução com NEAT e HyperNEAT. É apresentado um resumo dos resultados de um classificador Naive Bayes para detecção de spam em comentários de blog, bem como experimentos com agentes aprendendo em ambientes 2D usando Q(λ)-learning e evolução de redes neurais com NEAT.
![Roteiro ,[object Object],[object Object],[object Object],[object Object]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Neuroevolução com o algoritmo NEAT e suas Extensões
Semelhante a Neuroevolução com o algoritmo NEAT e suas Extensões (6)
Mais de Rafael Pinto
Mais de Rafael Pinto (10)
Neuroevolução com o algoritmo NEAT e suas Extensões
- 1. Aprendizagem de Máquina Rafael C.P.
- 7. Q( λ )-Learning - Interface Gráfica
- 8. Q( λ )-Learning - Resultados
- 9. Q( λ )-Learning - Resultados (Softmax)
- 10. Q( λ )-Learning - Resultados (Agenda)
- 18. NEAT - Crossover
Notas do Editor
- INSTALAR http://www.python.org/ftp/python/2.6.4/python-2.6.4.msi http://ufpr.dl.sourceforge.net/project/numpy/NumPy/1.3.0/numpy-1.3.0-win32-superpack-python2.6.exe http://sourceforge.net/projects/matplotlib/files/matplotlib/matplotlib-0.99.1/ http://pygame.org/ftp/pygame-1.9.1.win32-py2.6.msi ( http://ufpr.dl.sourceforge.net/project/scipy/scipy/0.7.1/scipy-0.7.1-win32-superpack-python2.6.exe ) BAIXAR E EXECUTAR http://www.inf.ufrgs.br/~rcpinto/qlearning.zip http://www.inf.ufrgs.br/~rcpinto/spamfilter.zip http://www.inf.ufrgs.br/~rcpinto/gk.zip BAIXAR E MOSTRAR http://www.cs.utexas.edu/users/kstanley/regression.avi http://www.cs.utexas.edu/users/kstanley/movies/peonsmaster6.avi CARREGAR E MOSTRAR http://www.youtube.com/watch?v=QiBOk6ar1mg http://www.youtube.com/watch?v=DYz_SeIbzEo http://www.youtube.com/watch?v=DiOYgYjbORg http://www.youtube.com/watch?v=lmPJeKRs8gE
- from environment import Environment from numpy import * from pygame import * from pygame.locals import * import pygame, sys, os class Map2D(Environment): def __init__(self,inistate='0,0',actions=['left','right','up','down'],w=640,h=480,mw=16,mh=12,title=&quot;&quot;): Environment.__init__(self,inistate,actions) os.environ['SDL_VIDEODRIVER'] = 'windib' pygame.display.init() pygame.font.init() self.screen = display.set_mode([w,h]) self.size = w, h self.mapSize = mw, mh self.squaresize = (w/mw,h/mh) self.font = font.SysFont(&quot;Arial&quot;,10) display.set_caption(&quot;Reinforcement Learning Test &quot;+title) self.fps = 0 self.clock = time.Clock() self.pause = False def run(self): while True: events = pygame.event.get() for event in events: if event.type == QUIT: sys.exit(0) if event.type == KEYDOWN: if event.key == K_ESCAPE: sys.exit() if event.key == K_d: self.drawing = not self.drawing if event.key == K_p: self.pause = not self.pause if self.pause: continue self.act(self.actions[random.randint(0,len(self.actions))]) self.draw() def transition(self,state,action): s = state.split(',') state = [int(s[0]),int(s[1])] if action == 'up': state[1] -= 1 elif action == 'down': state[1] += 1 elif action == 'left': state[0] -= 1 elif action == 'right': state[0] += 1 if state[1] < 0: state[1] = 0 if state[0] < 0: state[0] = 0 if state[1] >= self.mapSize[1]: state[1] = self.mapSize[1]-1 if state[0] >= self.mapSize[0]: state[0] = self.mapSize[0]-1 state = str(state[0])+','+str(state[1]) return state def statprint(self,text,xx,yy,color=(255,255,255)): ren = self.font.render(text,1,color) self.screen.blit(ren, (xx,yy)) def draw(self,clear=True,flip=True): if not Environment.draw(self): return False if clear: self.screen.fill((255,255,255)) #s = self.state.split(',') #state = [int(s[0]),int(s[1])] for x in range(self.mapSize[0]): pos = (x*self.squaresize[0],0) pos2 = (x*self.squaresize[0],self.size[1]) draw.line(self.screen,(0,0,0),pos,pos2,1) for x in range(self.mapSize[1]): pos = (0,x*self.squaresize[1]) pos2 = (self.size[0],x*self.squaresize[1]) draw.line(self.screen,(0,0,0),pos,pos2,1) #draw.circle(self.screen, (0,0,0), (state[0]*self.squaresize[0]+self.squaresize[0]/2,state[1]*self.squaresize[1]+self.squaresize[1]/2),8) self.clock.tick() self.fps = self.clock.get_fps() self.statprint(&quot;FPS: %i Step: %i Total Reward: %i Average Reward: %i Episode: %i&quot; % (self.fps,self.steps,self.reward,self.reward/self.steps,self.episode),1,1,color=(200,100,0)) if flip: display.flip() if __name__ == '__main__': env = Map2D() env.run()
- Numpy = Matlab
- epsilon-gulosa variando epsilon (0, 0.1), e lambda (1.0, 0.5, 0) Inicialização otimista
- softmax (com tau = 0.1), variando entre 5 valores de lambda (0,0.2,0.5,0.8,1)
- softmax com decaimento automático de tau, cuja agenda seguiu a seguinte fórmula: 100000/t2, onde t é o número do episódio de 1 a 1000. Permitindo muita exploração no começo (tau = 100000) e uma política mais gulosa ao final (tau = 0.1), o algoritmo conseguiu chegar à solução ótima com lambda = 1
- Mesmo resultado dos slides de aula, também com apenas 1 erro em relação ao processo gerador. O algoritmo chega consistentemente, com algo em torno de 5 a 14 iterações, ao mesmo resultado para os centróides, mesmo com pequenas variações na matriz de pertinências (aparentemente diferenças em um ponto são compensadas em outros pontos). O critério de parada foi |U(t) - U(t-1)| < epsilon, com epsilon = 0.1 e um limite de 20 iterações. O expoente utilizado foi m = 2.
- Disable
- Marcadores de histórico, número de inovação, disjuntos e excesso.
- Double-Pole Balancing Derivada das diferenças de ângulo Recorrente http://www.cs.utexas.edu/users/kstanley/regression.avi http://www.cs.utexas.edu/users/kstanley/movies/peonsmaster6.avi
- Resolução infinita Galactic Arms Race
- Múltiplas camadas = múltiplas saídas na CPPN Relações geométricas, damas Modularidade Escala http://www.youtube.com/watch?v=DYz_SeIbzEo http://www.youtube.com/watch?v=DiOYgYjbORg http://www.youtube.com/watch?v=lmPJeKRs8gE