O documento é uma dissertação de mestrado sobre aprendizado online incremental de sequências temporais. O trabalho propõe várias extensões do algoritmo IGMN (Incremental Gaussian Mixture Network) para capacidades temporais, como TDIGMN, ESIGMN, MIGMN e RecIGMN. Os algoritmos são testados em tarefas de previsão de séries temporais e comparados com redes neurais temporais, demonstrando capacidade de aprendizado online, incremental e one-shot de sequências temporais.
O documento questiona as conclusões oficiais sobre os ataques de 11 de setembro de 2001, levantando dúvidas sobre a queda do World Trade Center 7, a falta de evidências de um avião no Pentágono, transações financeiras suspeitas antes dos ataques e a resposta ineficaz do NORAD. O autor argumenta que uma nova investigação é necessária para descobrir a verdade completa sobre os acontecimentos.
Der Mark IV, die neuste Generation der der Beatmungsbeutel zeichnet sich durch eine Vielzahl unterschiedlicher Eigenschaften aus. Schauen Sie sich diese in der Präsentation an.
Ambu entwickelt seit über 70 Jahren lebensrettende Produkte für die Notfallmedizin. Neben dem berühmten Ambu Beutel stellt das dänische Unternehmen weitere Produkte für das Atemwegs-Management, Spezielelektroden für das EKG (Geschäftsbereich Kardiologie), Trainingsgeräte für die Herz-Lungen-Wiederbelebung, Spezialelektroden für neurophysiologische Untersuchungen und Medizinprodukte zur Immobilisation verunfallter Patienten.
This document outlines the floor plan and facilities for an inpatient room on the third floor of a hospital. It includes details about the location of support facilities like the nurse station, linen room, and janitor's closet. Diagrams show the electrical, plumbing, and medical gas installations supporting the inpatient room. Furniture and amenity lists are also provided for VIP/VVIP and high class inpatient rooms.
This document provides an overview of the upstream oil and gas sector, including definitions and classifications of crude oil, natural gas, and their resources. It discusses the composition and properties of crude oil, how it is classified based on density, and estimates of global reserves and production. Unconventional resources like heavy oil, oil sands, shale gas, and methane hydrates are introduced. Country-specific data on reserves and production in regions like the Americas, Middle East, and Colombia are presented. The document concludes with a brief discussion on the large global potential of unconventional gas resources and the water requirements for hydraulic fracturing operations.
This document outlines the facilities and infrastructure needed to support inpatient care rooms on one floor of a hospital. It includes lists of necessary support rooms near patient rooms like a doctor's room, nurse station, toilet, and janitor's closet. It also lists the electrical, plumbing, gas, and telecommunications systems required. Diagrams show proposed layouts for patient rooms and related facilities, as well as the infrastructure connections between them. Specifications for high-class and standard patient rooms include beds, bathrooms, furniture, appliances, and amenities.
El documento describe los principales aspectos de los buques petroleros. Explica que son buques diseñados para transportar petróleo crudo u otros productos derivados en tanques especiales. Se clasifican según su capacidad de carga en ULCC, VLCC, Suezmax, Aframax y Panamax. Deben cumplir estrictos requisitos estructurales y de estanqueidad para transportar la carga de forma segura y prevenir derrames. Están regulados por convenios internacionales como SOLAS y MARPOL para garantizar la seguridad y prevenir la contaminación
O documento questiona as conclusões oficiais sobre os ataques de 11 de setembro de 2001, levantando dúvidas sobre a queda do World Trade Center 7, a falta de evidências de um avião no Pentágono, transações financeiras suspeitas antes dos ataques e a resposta ineficaz do NORAD. O autor argumenta que uma nova investigação é necessária para descobrir a verdade completa sobre os acontecimentos.
Der Mark IV, die neuste Generation der der Beatmungsbeutel zeichnet sich durch eine Vielzahl unterschiedlicher Eigenschaften aus. Schauen Sie sich diese in der Präsentation an.
Ambu entwickelt seit über 70 Jahren lebensrettende Produkte für die Notfallmedizin. Neben dem berühmten Ambu Beutel stellt das dänische Unternehmen weitere Produkte für das Atemwegs-Management, Spezielelektroden für das EKG (Geschäftsbereich Kardiologie), Trainingsgeräte für die Herz-Lungen-Wiederbelebung, Spezialelektroden für neurophysiologische Untersuchungen und Medizinprodukte zur Immobilisation verunfallter Patienten.
This document outlines the floor plan and facilities for an inpatient room on the third floor of a hospital. It includes details about the location of support facilities like the nurse station, linen room, and janitor's closet. Diagrams show the electrical, plumbing, and medical gas installations supporting the inpatient room. Furniture and amenity lists are also provided for VIP/VVIP and high class inpatient rooms.
This document provides an overview of the upstream oil and gas sector, including definitions and classifications of crude oil, natural gas, and their resources. It discusses the composition and properties of crude oil, how it is classified based on density, and estimates of global reserves and production. Unconventional resources like heavy oil, oil sands, shale gas, and methane hydrates are introduced. Country-specific data on reserves and production in regions like the Americas, Middle East, and Colombia are presented. The document concludes with a brief discussion on the large global potential of unconventional gas resources and the water requirements for hydraulic fracturing operations.
This document outlines the facilities and infrastructure needed to support inpatient care rooms on one floor of a hospital. It includes lists of necessary support rooms near patient rooms like a doctor's room, nurse station, toilet, and janitor's closet. It also lists the electrical, plumbing, gas, and telecommunications systems required. Diagrams show proposed layouts for patient rooms and related facilities, as well as the infrastructure connections between them. Specifications for high-class and standard patient rooms include beds, bathrooms, furniture, appliances, and amenities.
El documento describe los principales aspectos de los buques petroleros. Explica que son buques diseñados para transportar petróleo crudo u otros productos derivados en tanques especiales. Se clasifican según su capacidad de carga en ULCC, VLCC, Suezmax, Aframax y Panamax. Deben cumplir estrictos requisitos estructurales y de estanqueidad para transportar la carga de forma segura y prevenir derrames. Están regulados por convenios internacionales como SOLAS y MARPOL para garantizar la seguridad y prevenir la contaminación
La cromatografía de gases es un método de separación física en el que los componentes de una mezcla volátil se distribuyen entre dos fases, una fase estacionaria sólida o líquida y una fase móvil gaseosa. Los tipos principales son la cromatografía gas-sólido y la cromatografía gas-líquido. El físico Keulemans definió originalmente el término cromatografía.
Artículo preparado para la revista gremial de la Asociación de Grifos y Estaciones de Servicio del Perú - Setiembre 2014. Muestra un análisis de la falacia cometida de suponer que, acabando con el consumo de Kerosene, se suprimía su uso para la fabricación de cocaína
L'hydrogène dans tous ses états - 1er décembre 2016Cluster TWEED
Voitures à l'hydrogène, bus à l'hydrogène, trains à l'hydrogène: c'est une réalité d'aujourd'hui, pleine de promesses pour l'avenir. L'hydrogène «énergie» se retrouve déjà dans les transports, oui, mais pas uniquement!
El documento proporciona información sobre las condiciones iniciales de los tanques de carga y lastre de un buque, incluyendo su capacidad, volumen ocupado, temperatura y tipo de carga/lastre. También incluye diagramas que muestran la ubicación y estado de llenado de los tanques. Explica los procedimientos para realizar operaciones de lastrado y deslastrado, tanto por gravedad como con bombas, y el manejo de las válvulas correspondientes.
A liquid nitrogen spill occurred at a liquid nitrogen gas fuelling station, resulting in the suffocation of 4 workers/facility commissioners.
The spill occurred during the offloading of liquid nitrogen into the storage tank for the commissioning process. The liquid outlet valve was opened accidentally resulting in a large release of liquid nitrogen. Multiple workers/commissioners ran into the bunded/diked tank farm area consecutively, trying to close the valve. This resulted in 4 fatalities due to nitrogen asphyxiation.
Este documento presenta el programa de la asignatura Ingeniería de Yacimientos I de la Universidad Nacional Experimental Politécnica de la Fuerza Armada. La asignatura analiza las características de los yacimientos petrolíferos y sus fluidos, y enseña a los estudiantes a realizar cálculos volumétricos de hidrocarburos. El programa consta de cinco unidades sobre propiedades de rocas y fluidos, sistemas roca-fluido, flujo de fluidos, tipos de yacimientos y cálculo de reservas, y
O documento descreve o processo de soldagem TIG (Tungsten Inert Gas), no qual um arco elétrico é criado entre um eletrodo de tungstênio não consumível e a peça a ser soldada, protegida por um fluxo de gás inerte. O TIG produz soldas de alta qualidade, especialmente em metais sensíveis à oxidação como titânio e alumínio. No entanto, possui baixa produtividade e custo mais elevado em comparação a outros métodos.
O documento descreve a história e o processo de usinagem a laser, começando com a previsão de Einstein em 1916 e o desenvolvimento do maser e laser nos anos 1950. O laser de CO2 é o mais utilizado na usinagem por cortar materiais rapidamente a altas temperaturas, enquanto o laser excimer é frio e usado para cortes finos. A usinagem a laser oferece vantagens como precisão, segurança e cortes complexos, apesar de ter custos iniciais elevados.
O documento descreve as propriedades dos halogênios flúor, cloro e iodo. Todos os halogênios existem como moléculas diatômicas e são reativos, com o flúor sendo o mais reativo e o iodo o menos reativo. Os halogênios reagem com metais para formar sais e são usados em diversas aplicações industriais e na saúde pública.
Projet
Contexte : vers une production d’énergie électrique
renouvelable intermittente
Problématique : Mettre en adéquation la consommation
et la production d’énergie électrique
Projet : Power-to-gas via la méthanation, où
comment transformer de l’électricité
renouvelable en méthane de synthèse
O documento discute os riscos de incêndio e explosão, explicando o triângulo do fogo, as ameaças para a vida humana, formas de transmissão de calor, prevenção de incêndios, classes de fogo e como usar extintores corretamente.
El documento describe experimentos realizados con diferentes hidrocarburos como benceno, kerosene y nafta. Se colocaron muestras de cada uno en tubos de ensayo y se les agregó agua para observar sus propiedades y solubilidad. Además, se analizaron sus combustiones espontáneas, que pueden ser completas o incompletas dependiendo del material. Finalmente, se plantean preguntas sobre la composición química y usos de los reactivos, así como efectos del monóxido de carbono.
O documento descreve as atividades do Instituto Sanclar, que tem a missão de desenvolver novas tecnologias para transformar resíduos sólidos em material inerte e reaproveitável. O processo de sanificação e classificação de resíduos remove a matéria orgânica, elimina o chorume e reduz o volume em 80%, separando os materiais para reciclagem ou destinação final. A proposta da tecnologia Sanclar traria benefícios como aumentar a vida útil dos aterros sanitários e eliminar problemas como lixões e emiss
Este documento apresenta o roteiro para o exame de qualificação de doutorado de Rafael Coimbra Pinto sobre redes neurais. O documento discute a diferença entre inteligência artificial e inteligência computacional, apresenta vários tipos de redes neurais como perceptrons, autoencoders profundos e convolucionais, e discute aplicações como reconhecimento de imagens, fala e gestos.
O documento apresenta uma introdução aos algoritmos genéticos, descrevendo: (1) sua inspiração no processo de seleção natural de Darwin; (2) como "evoluem" soluções imitando a natureza; (3) suas aplicações em problemas de otimização.
Inteligência Artificial - Aula2 - Busca em GrafosRafael Pinto
O documento discute problemas e algoritmos de busca em inteligência artificial. Aborda o que são problemas e algoritmos de busca, definindo características de um problema de busca e tipos de algoritmos como busca em profundidade, largura e informada. Explica conceitos como estado inicial, ações possíveis, modelo de transição e objetivo para definir formalmente um problema de busca.
A empresa de tecnologia anunciou um novo smartphone com câmera avançada, bateria de longa duração e processador rápido. O aparelho custará menos do que modelos similares da concorrência e estará disponível em lojas a partir do próximo mês. O lançamento do novo celular pode ajudar a empresa a aumentar sua participação no competitivo mercado de smartphones.
O documento descreve a técnica de Slow Feature Analysis (SFA) para extrair características invariantes de sinais sensoriais que variam rapidamente. O SFA mapeia sinais de entrada em saídas ordenadas por "lentidão" através de uma combinação linear de funções não-lineares. Experimentos mostram que o SFA é capaz de extrair características que representam objetos, ações e gestos sob diferentes condições.
O algoritmo RatSLAM é baseado no mapeamento hipocampal de ratos e usa redes neurais dinâmicas para mapear ambientes com uma única câmera web em tempo real. Ele modela head cells, place cells e grid cells do hipocampo para representar localização e memória espacial, e consegue fechar loops com sucesso ao longo de uma jornada de 66km.
La cromatografía de gases es un método de separación física en el que los componentes de una mezcla volátil se distribuyen entre dos fases, una fase estacionaria sólida o líquida y una fase móvil gaseosa. Los tipos principales son la cromatografía gas-sólido y la cromatografía gas-líquido. El físico Keulemans definió originalmente el término cromatografía.
Artículo preparado para la revista gremial de la Asociación de Grifos y Estaciones de Servicio del Perú - Setiembre 2014. Muestra un análisis de la falacia cometida de suponer que, acabando con el consumo de Kerosene, se suprimía su uso para la fabricación de cocaína
L'hydrogène dans tous ses états - 1er décembre 2016Cluster TWEED
Voitures à l'hydrogène, bus à l'hydrogène, trains à l'hydrogène: c'est une réalité d'aujourd'hui, pleine de promesses pour l'avenir. L'hydrogène «énergie» se retrouve déjà dans les transports, oui, mais pas uniquement!
El documento proporciona información sobre las condiciones iniciales de los tanques de carga y lastre de un buque, incluyendo su capacidad, volumen ocupado, temperatura y tipo de carga/lastre. También incluye diagramas que muestran la ubicación y estado de llenado de los tanques. Explica los procedimientos para realizar operaciones de lastrado y deslastrado, tanto por gravedad como con bombas, y el manejo de las válvulas correspondientes.
A liquid nitrogen spill occurred at a liquid nitrogen gas fuelling station, resulting in the suffocation of 4 workers/facility commissioners.
The spill occurred during the offloading of liquid nitrogen into the storage tank for the commissioning process. The liquid outlet valve was opened accidentally resulting in a large release of liquid nitrogen. Multiple workers/commissioners ran into the bunded/diked tank farm area consecutively, trying to close the valve. This resulted in 4 fatalities due to nitrogen asphyxiation.
Este documento presenta el programa de la asignatura Ingeniería de Yacimientos I de la Universidad Nacional Experimental Politécnica de la Fuerza Armada. La asignatura analiza las características de los yacimientos petrolíferos y sus fluidos, y enseña a los estudiantes a realizar cálculos volumétricos de hidrocarburos. El programa consta de cinco unidades sobre propiedades de rocas y fluidos, sistemas roca-fluido, flujo de fluidos, tipos de yacimientos y cálculo de reservas, y
O documento descreve o processo de soldagem TIG (Tungsten Inert Gas), no qual um arco elétrico é criado entre um eletrodo de tungstênio não consumível e a peça a ser soldada, protegida por um fluxo de gás inerte. O TIG produz soldas de alta qualidade, especialmente em metais sensíveis à oxidação como titânio e alumínio. No entanto, possui baixa produtividade e custo mais elevado em comparação a outros métodos.
O documento descreve a história e o processo de usinagem a laser, começando com a previsão de Einstein em 1916 e o desenvolvimento do maser e laser nos anos 1950. O laser de CO2 é o mais utilizado na usinagem por cortar materiais rapidamente a altas temperaturas, enquanto o laser excimer é frio e usado para cortes finos. A usinagem a laser oferece vantagens como precisão, segurança e cortes complexos, apesar de ter custos iniciais elevados.
O documento descreve as propriedades dos halogênios flúor, cloro e iodo. Todos os halogênios existem como moléculas diatômicas e são reativos, com o flúor sendo o mais reativo e o iodo o menos reativo. Os halogênios reagem com metais para formar sais e são usados em diversas aplicações industriais e na saúde pública.
Projet
Contexte : vers une production d’énergie électrique
renouvelable intermittente
Problématique : Mettre en adéquation la consommation
et la production d’énergie électrique
Projet : Power-to-gas via la méthanation, où
comment transformer de l’électricité
renouvelable en méthane de synthèse
O documento discute os riscos de incêndio e explosão, explicando o triângulo do fogo, as ameaças para a vida humana, formas de transmissão de calor, prevenção de incêndios, classes de fogo e como usar extintores corretamente.
El documento describe experimentos realizados con diferentes hidrocarburos como benceno, kerosene y nafta. Se colocaron muestras de cada uno en tubos de ensayo y se les agregó agua para observar sus propiedades y solubilidad. Además, se analizaron sus combustiones espontáneas, que pueden ser completas o incompletas dependiendo del material. Finalmente, se plantean preguntas sobre la composición química y usos de los reactivos, así como efectos del monóxido de carbono.
O documento descreve as atividades do Instituto Sanclar, que tem a missão de desenvolver novas tecnologias para transformar resíduos sólidos em material inerte e reaproveitável. O processo de sanificação e classificação de resíduos remove a matéria orgânica, elimina o chorume e reduz o volume em 80%, separando os materiais para reciclagem ou destinação final. A proposta da tecnologia Sanclar traria benefícios como aumentar a vida útil dos aterros sanitários e eliminar problemas como lixões e emiss
Este documento apresenta o roteiro para o exame de qualificação de doutorado de Rafael Coimbra Pinto sobre redes neurais. O documento discute a diferença entre inteligência artificial e inteligência computacional, apresenta vários tipos de redes neurais como perceptrons, autoencoders profundos e convolucionais, e discute aplicações como reconhecimento de imagens, fala e gestos.
O documento apresenta uma introdução aos algoritmos genéticos, descrevendo: (1) sua inspiração no processo de seleção natural de Darwin; (2) como "evoluem" soluções imitando a natureza; (3) suas aplicações em problemas de otimização.
Inteligência Artificial - Aula2 - Busca em GrafosRafael Pinto
O documento discute problemas e algoritmos de busca em inteligência artificial. Aborda o que são problemas e algoritmos de busca, definindo características de um problema de busca e tipos de algoritmos como busca em profundidade, largura e informada. Explica conceitos como estado inicial, ações possíveis, modelo de transição e objetivo para definir formalmente um problema de busca.
A empresa de tecnologia anunciou um novo smartphone com câmera avançada, bateria de longa duração e processador rápido. O aparelho custará menos do que modelos similares da concorrência e estará disponível em lojas a partir do próximo mês. O lançamento do novo celular pode ajudar a empresa a aumentar sua participação no competitivo mercado de smartphones.
O documento descreve a técnica de Slow Feature Analysis (SFA) para extrair características invariantes de sinais sensoriais que variam rapidamente. O SFA mapeia sinais de entrada em saídas ordenadas por "lentidão" através de uma combinação linear de funções não-lineares. Experimentos mostram que o SFA é capaz de extrair características que representam objetos, ações e gestos sob diferentes condições.
O algoritmo RatSLAM é baseado no mapeamento hipocampal de ratos e usa redes neurais dinâmicas para mapear ambientes com uma única câmera web em tempo real. Ele modela head cells, place cells e grid cells do hipocampo para representar localização e memória espacial, e consegue fechar loops com sucesso ao longo de uma jornada de 66km.
Neuroevolução com o algoritmo NEAT e suas ExtensõesRafael Pinto
O documento discute vários tópicos de aprendizagem de máquina, incluindo classificadores Naive Bayes, reforço de aprendizagem Q(λ), neuroevolução com NEAT e HyperNEAT. É apresentado um resumo dos resultados de um classificador Naive Bayes para detecção de spam em comentários de blog, bem como experimentos com agentes aprendendo em ambientes 2D usando Q(λ)-learning e evolução de redes neurais com NEAT.
O documento discute o LoopSOM, uma variação do SOM que usa feedback temporal do RSOM para melhorar a classificação espacial. Experimentos com padrões 2D demonstram que o LoopSOM resolve ambiguidades na classificação do SOM melhor do que o SOM sozinho. A abordagem é biologicamente plausível por simular conexões de feedback no neocórtex.
Um Reconhecedor de Padrões Espaço-Temporais Inspirado no NeocórtexRafael Pinto
O documento discute um modelo hierárquico inspirado no neocórtex chamado HQSOM+ para reconhecimento e classificação de padrões espaço-temporais. O modelo combina mapas auto-organizáveis temporais (LoopSOM) em uma estrutura hierárquica para processar informações de diferentes níveis de abstração, como o neocórtex. Experimentos preliminares mostraram que o modelo pode classificar com sucesso padrões espaço-temporais.
As classes de modelagem podem ser comparadas a moldes ou
formas que definem as características e os comportamentos dos
objetos criados a partir delas. Vale traçar um paralelo com o projeto de
um automóvel. Os engenheiros definem as medidas, a quantidade de
portas, a potência do motor, a localização do estepe, dentre outras
descrições necessárias para a fabricação de um veículo
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...Faga1939
Este artigo tem por objetivo apresentar como ocorreu a evolução do consumo e da produção de energia desde a pré-história até os tempos atuais, bem como propor o futuro da energia requerido para o mundo. Da pré-história até o século XVIII predominou o uso de fontes renováveis de energia como a madeira, o vento e a energia hidráulica. Do século XVIII até a era contemporânea, os combustíveis fósseis predominaram com o carvão e o petróleo, mas seu uso chegará ao fim provavelmente a partir do século XXI para evitar a mudança climática catastrófica global resultante de sua utilização ao emitir gases do efeito estufa responsáveis pelo aquecimento global. Com o fim da era dos combustíveis fósseis virá a era das fontes renováveis de energia quando prevalecerá a utilização da energia hidrelétrica, energia solar, energia eólica, energia das marés, energia das ondas, energia geotérmica, energia da biomassa e energia do hidrogênio. Não existem dúvidas de que as atividades humanas sobre a Terra provocam alterações no meio ambiente em que vivemos. Muitos destes impactos ambientais são provenientes da geração, manuseio e uso da energia com o uso de combustíveis fósseis. A principal razão para a existência desses impactos ambientais reside no fato de que o consumo mundial de energia primária proveniente de fontes não renováveis (petróleo, carvão, gás natural e nuclear) corresponde a aproximadamente 88% do total, cabendo apenas 12% às fontes renováveis. Independentemente das várias soluções que venham a ser adotadas para eliminar ou mitigar as causas do efeito estufa, a mais importante ação é, sem dúvidas, a adoção de medidas que contribuam para a eliminação ou redução do consumo de combustíveis fósseis na produção de energia, bem como para seu uso mais eficiente nos transportes, na indústria, na agropecuária e nas cidades (residências e comércio), haja vista que o uso e a produção de energia são responsáveis por 57% dos gases de estufa emitidos pela atividade humana. Neste sentido, é imprescindível a implantação de um sistema de energia sustentável no mundo. Em um sistema de energia sustentável, a matriz energética mundial só deveria contar com fontes de energia limpa e renováveis (hidroelétrica, solar, eólica, hidrogênio, geotérmica, das marés, das ondas e biomassa), não devendo contar, portanto, com o uso dos combustíveis fósseis (petróleo, carvão e gás natural).
Em um mundo cada vez mais digital, a segurança da informação tornou-se essencial para proteger dados pessoais e empresariais contra ameaças cibernéticas. Nesta apresentação, abordaremos os principais conceitos e práticas de segurança digital, incluindo o reconhecimento de ameaças comuns, como malware e phishing, e a implementação de medidas de proteção e mitigação para vazamento de senhas.
A linguagem C# aproveita conceitos de muitas outras linguagens,
mas especialmente de C++ e Java. Sua sintaxe é relativamente fácil, o que
diminui o tempo de aprendizado. Todos os programas desenvolvidos devem
ser compilados, gerando um arquivo com a extensão DLL ou EXE. Isso torna a
execução dos programas mais rápida se comparados com as linguagens de
script (VBScript , JavaScript) que atualmente utilizamos na internet
Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)
1. Online Incremental One-Shot Learning
of Temporal Sequences
Dissertação de Mestrado
Rafael C. Pinto.
Orientador: Prof. Dr. Paulo Martins Engel
Universidade Federal do Rio Grande do Sul
Instituto de Informática
Programa de Pós-Graduação em Computação
3. Introdução
Online: O algoritmo aprende enquanto está em
operação
Offline: O algoritmo necessita de uma fase de
aprendizagem separada da fase de operação
Exemplo: os mapas auto-organizáveis (SOM)
necessitam de uma fase de aprendizagem
separada devido aos seus parâmetros
4. Introdução
Incremental: O algoritmo consegue aprender a
cada ponto de dados que recebe
Em Lote (batch): É necessário o lote completo
de dados do problema para que o algoritmo
efetue o aprendizado
Exemplo: o algoritmo EM trabalha apenas com
lotes completos de dados
5. Introdução
One-Shot (agressivo): O algoritmo consegue
aprender após observar cada ponto apenas
uma vez
Iterativo: São necessárias várias observações
sobre o conjunto de dados até que o algoritmo
consiga efetuar o aprendizado corretamente
Exemplo: o algoritmo Backpropagation
necessita de várias ”épocas” de aprendizado
6. Introdução
Temporal: O algoritmo lida com dados
temporalmente correlacionados (tem memória)
Estático: O algoritmo lida com dados sem
correlação temporal (sem memória)
Exemplo: Redes neurais recorrentes lidam com
dados temporais
7. IGMN
Incremental Gaussian Mixture Network
Aproximação incremental do algoritmo EM
(Expectation Maximization) + regressões lineares
locais em cada cluster
✔ Online
✔ Incremental
✔ One-Shot
✗ Estático
O foco do trabalho está em transformá-lo em um
algoritmo temporal
8. IGMN
Composta por uma
camada de entrada...
...e uma ”camada oculta”
(chamada de região
cortical)
Qualquer entrada pode
ser usada para prever
qualquer outra entrada...
...portanto uma ”entrada”
pode ser tratada como
saída para aprendizado
supervisionado
9. IGMN
Cada neurônio da região
cortical corresponde a
uma componente
gaussiana
Cada componente j
possui uma média μj,
uma matriz de
covariâncias Cj e uma
probabilidade a priori p(j)
10. IGMN - Criação de Componentes
A rede inicia sem
nenhuma componente
As componentes são
adicionadas conforme
necessário (limiar de erro
εmax)
Média inicial no ponto x
onde ocorreu o erro
Matriz de covariâncias
inicial diagonal (esférica)
com um desvio δini
11. IGMN - Estimação
Probabilidade a posteriori
de cada componente é
computada a cada
entrada x (somente
porção de entrada)
Regra de Bayes
Verossimilhança dada
pela função densidade
de probabilidade da
distribuição normal
12. IGMN - Estimação
Regressão linear feita em
cada cluster utilizando os
próprios eixos dos
hiperelipsóides como
hiperplanos de regressão
Resultados ponderados
conforme ativação
(probabilidade a
posteriori) de cada
componente
13. IGMN - Margens de Erro
Também pode-se
estimar a
variância do
resultado a partir
da ponderação
das matrizes de
covariância
Intervalos de
confiança
14. IGMN - Aprendizagem
Agora com x completo
Médias, matrizes de
covariância e priors são
atualizadas de forma
incremental...
...Ponderadas pelas
ativações das
respectivas componentes
Não requer parâmetro
taxa de aprendizagem
15. IGMN - Poda
Componentes têm um
limite de tempo vmin para
demonstrarem utilidade
(ativações acumuladas
spmin)
Caso contrário, são
podadas (ruído)
16. IGMN - Criação de Compon. 2.0
Regra aperfeiçoada
✔ Contribuição deste
trabalho
Parâmetro εmax
eliminado
Margem de erro é
utilizada
Quando x cai fora das
margens, uma
componente é criada
17. IGMN - Criação de Compon. 2.0
Critério variável ao longo
dos dados
Regiões com diferentes
resoluções e densidades
são tratadas de acordo
Regiões com pontos
mais esparsos toleram
mais erro
Regiões com maior
precisão toleram menos
erro
18. IGMN - Criação de Compon. 2.0
Margens tracejadas →
limiar com εmax = 0.1 e δini
= 0.1...
...não detectam a
mudança até o fim da
função (x = 100)
Margens pontilhadas →
novo limiar com δini =
0.1...
...detectam mudança em
x = 94
19. IGMN - Criação de Compon. 2.0
Agora com εmax = 0.01 e
δini = 0.01...
...cria clusters
desnecessários no
trecho horizontal
Novo limiar com mesmo
δini é mais econômico
20. IGMN + Memória
Incremental Gaussian Mixture Network
Aproximação incremental do algoritmo EM
(Expectation Maximization) + regressões lineares
locais em cada cluster
✔ Online
✔ Incremental
✔ One-Shot
✗ Estático → Temporal
21. TDIGMN
Time-Delay IGMN
Inclusão de linhas de
atraso nas entradas
Deve-se definir o número
de atrasos
Memória exata...
...porém limitada
Inviável para altas
dimensionalidades
Abordagem usada na
TDNN
22. TDIGMN
É online, incremental,
agressiva e temporal...
...então para que outras
extensões?
Memória relativamente
curta
Multiplica a
dimensionalidade de
entrada (e a IGMN tem
operações O(n³))
23. Computação por Reservoir
Abordagem utilizada
na Echo-State
Network
Camada oculta
recorrente chamada
de ”reservoir”
Conexões da entrada
para o reservoir são
fixas
Conexões
recorrentes do
reservoir fixas
24. Computação por Reservoir
Idéia: mesmo com
conexões aleatórias
e fixas, o reservoir
pode extrair
informação temporal
da entrada
Algoritmo estático e
linear + reservoir =
algoritmo temporal e
não-linear
Propriedade echo-
state
26. ESIGMN
Dimensionalidade resultante = entradas +
tamanho do reservoir (escolhido manualmente)
Maior reservoir = maior memória
Maior reservoir = maior chance de extrair algo útil
27. MIGMN
Merge IGMN
Inspirada no MSOM
(Merge Self-Organizing
Map)
Média móvel
exponencial das
entradas reconstruídas
(estimativas)
Parâmetro α para
decaimento / mistura
28. MIGMN
Maior α (< 1) = Mais
memória, menos
resolução
α = 1 → IGMN estática
(não sai do contexto
zerado)
α = 0 → Armazena
última reconstrução das
entradas
29. MIGMN
Memórias se misturam
(resolução cai conforme
profundidade da
memória)
Dimensionalidade
resultante = dobro da
original
30. RecIGMN
Recursive IGMN
Inspirada no RecSOM
(Recursive Self-
Organizing Map)
Ativações da região
cortical são
realimentadas na
entrada
31. RecIGMN
Nenhum parâmetro
extra...
...má idéia. A versão
do artigo (CBIC)
regula a contribuição
do passado e
presente para as
ativações e funciona
melhor
Potencial para
memória ilimitada
32. RecIGMN
Difícil implementação:
a cada nova
componente criada,
médias e matrizes de
covariância devem ser
aumentadas de
acordo (e reduzidas
na poda)
Em outras palavras, a
entrada passa a ter
tamanho variável
33. Previsão de Séries Temporais
Os algoritmos propostos foram testados em 8
tarefas de previsão de séries temporais
univariadas
1 Passo: prever o valor seguinte em uma série
de valores (dado x(t), prever x(t+1))
Longo Prazo: prever n valores seguintes em
uma série de valores (dado x(t), prever
x(t+1)...x(t+k))
34. Previsão de Séries Temporais
Comparados com redes neurais temporais:
TDNN, Elman e o estado-da-arte ESN
IGMN estática também foi comparada para
avaliar o surgimento das capacidades
temporais
Além das versões multivariadas (matrizes de
covariância completas), as versões ”naïve”
(matrizes diagonais) também foram
comparadas
A inclusão de linhas de atraso foi testada em
adição às redes propostas (sempre o mesmo
número de atrasos para todas as redes)
35. Previsão de Séries Temporais
α = 0.5 para MIGMN (e variantes)
Reservoir de tamanho 10 para ESN e ESIGMN
(e variantes)
Camada oculta com 10 neurônios para Elman e
TDNN
Criação de componentes baseada em outliers
para todos algoritmos baseados em IGMN
Poda ativada para todos os algoritmos
baseados em IGMN
36. Métricas
Para comparação dos algoritmos em previsão
de 1 passo, foi usado o erro normalizado em
relação à solução trivial
Solução trivial: usar x(t) como previsão para x(t+1)
Erro > 1 = Pior que a solução trivial
Erro < 1 = Melhor que a solução trivial
Na previsão de longo prazo, foi usado o erro
normalizado pela variância do conjunto de
treino
Erro > 1 = Pior que prever a média
Erro < 1 = Melhor que prever a média
37. Métricas
Medidas de estatística robusta foram usadas
para descrição dos resultados
Mediana no lugar da média
MAD (Median Absolute Deviations from the
Median) no lugar do desvio padrão
MAD-Score (subtração da mediana e divisão pela
MAD) no lugar do Z-Score (subtração da média e
divisão pelo desvio padrão)
Mais resistentes a outliers
38. Manchas Solares Anuais
Série temporal
estocástica usada
amplamente na área
de estatística
289 valores
200 primeiros
usados como treino
39. Manchas Solares Anuais
1 Passo: TDNN X ESIGMN
TDNN não aprendeu o momento correto de subir
Memória da ESIGMN conseguiu capturar isso
40. Manchas Solares Anuais
Longo Prazo: ESN X MIGMN
MIGMN conseguiu aprender a sazonalidade da
série
46. Mackey-Glass (tau=17)
Série temporal
caótica amplamente
utilizada em previsão
de séries temporais
na computação
1200 valores
1000 primeiros
usados como treino
47. Mackey-Glass (tau=17)
1 Passo: TDNN X TDIGMN
Linhas de atraso selecionadas favorecem os ”TD”
Mas faltou precisão na TDIGMN
48. Mackey-Glass (tau=17)
Longo Prazo: ESN X MIGMN
Previsões de longo prazo ruins como esperado
para uma série caótica
54. Passageiros
Série temporal
estocástica
amplamente utilizada
na estatística
Também já foi alvo
de uma competição
com redes neurais
Não-estacionária
143 valores
100 primeiros
usados como treino
55. Passageiros
1 Passo: ESN X TDIGMN
ESN ficou próxima da solução trivial
TDIGMN teve excelente desempenho
56. Passageiros
Longo Prazo: ESN X TDIGMN
TDIGMN conseguiu generalizar a série para longo
prazo
58. Passageiros log-dif
Versão estacionária
da série dos
passageiros
Verificar quais
algoritmos são
sensíveis a séries
não-estacionárias
142 valores
100 primeiros
usados como treino
59. Passageiros log-dif
1 Passo: TDNN X TDIGMN
TDNN passou a funcionar bem
Faltou resolução para a TDIGMN nos 2 primeiros
picos de cada ciclo
62. Google Stock
Série temporal
financeira
Teoricamente segue
um modelo ”random-
walk” (não tem
autocorrelação)
1800 valores
1500 primeiros
usados como treino
63. Google Stock
1 Passo: Elman X RecIGMN
Aprenderam a solução trivial, como esperado
64. Google Stock
Longo Prazo: Elman X RecIGMN
RecIGMN capturou a tendência vagamente
70. Sumário
TDIGMN é a
melhor no curto
prazo...
...mas foi
favorecida por
atrasos
selecionados
(todas ”TD”)
MIGMN melhor
no longo prazo
ESIGMN melhor
compromisso
71. Variantes
Em geral, os algoritmos propostos foram
beneficiados pelo uso de linhas de atraso
adicionais para previsão de 1 passo, indicando
um papel complementar entre as diferentes
memórias
As versões naïve tiveram péssimo
desempenho, indicando a necessidade de
considerar as covariâncias das entradas no tipo
de problema considerado
72. Ajuste de Parâmetros
Tamanho do reservoir:
ESIGMN obtém menor erro com reservoir maior
para séries determinísticas (Mackey-Glass)...
...porém sofre com overfitting nas séries
estocásticas
Parâmetro de mistura (α):
Não tem um padrão definido, necessita de ajuste
para cada problema
73. Conclusões
As extensões propostas dão capacidades
temporais para a IGMN
A ESIGMN e a MIGMN são competitivas
mesmo com apenas uma passada sobre os
dados
RecIGMN precisa de ajustes
Os algoritmos propostos são capazes de fazer
processamento temporal agressivo, online e
incremental (e não necessitam de pré-
processamento para séries não-estacionárias)
Linhas de atraso adicionais são úteis para
previsões de curto prazo
74. Trabalhos Futuros
Inclusão de feedback das saídas da ESIGMN para o
reservoir, bem como utilização de técnicas de
otimização de reservoir
Reimplementação da RecIGMN e da MIGMN com
parâmetro para ponderação passado-presente e
novos experimentos
Experimentos em tarefas de mais alta
dimensionalidade, como robótica (experimento com o
”road sign problem” em um t-maze em andamento)
Aplicação em aprendizado por reforço POMDP
Pesquisa de memórias de mais longo prazo
75. Publicações Relacionadas
PINTO, R.; ENGEL, P.; HEINEN, M. Echo State
Incremental Gaussian Mixture Network for Spatio-
Temporal Pattern Processing. In: CSBC 2011 - ENIA,
2011, Natal (RN). Proceedings. . . [S.l.: s.n.], 2011.
PINTO, R.; ENGEL, P.; HEINEN, M. Recursive
Incremental Gaussian Mixture Network for Spatio-
Temporal Pattern Processing. In: CBIC 2011, 2011,
Fortaleza (CE). Proceedings. . . [S.l.: s.n.], 2011.
HEINEN, M.; ENGEL, P.; PINTO, R.; IGMN: A
Connectionist Approach for Incremental Function
Approximation. In: IEEE Transactions on Neural
Networks (submitted). → seção sobre previsão de
séries temporais