O FME (Feature Manipulation Engine) é uma ferramenta de ETL espacial que permite a extração, transformação e carga de dados, suportando mais de 340 formatos e oferecendo funcionalidades automáticas. Os principais usos incluem integração de dados, controle de qualidade, conversão de sistemas de coordenadas e automatização de fluxos de trabalho. Com 20 anos de experiência, a ferramenta é aplicada em diversos setores como utilities, mineração e energia, facilitando a distribuição e o processamento de dados em tempo real.

2. FME – FEATURE MANIPULATION ENGINE

3. FME – Para que serve?
Marco Fidos
Innovatech

4. FME – O que é?
+ Ferramenta de ETL Spatial –
Extração, Transformação e
Carga de Dados
+ 340 Formatos
+ 400 funcionalidades prontas
para uso
+ 20 anos de experiência em
mundo, em mercados verticais
como: Utilities, Mineração,
Energia, Telecom, Defesa e
governos
+ Automação
+ Multi-formatos
+ Transformação
+ Distribuição

6. Principais Usos
Integração
Qualidade de Dados
Conversão Sistemas de Coordenadas
Raster
Bancos de Dados
Informes
Distribuição de Dados
Automatização em ETL
Notificações
Real Time ETL
Internet of the Things

7. Principais Usos
• INTEGRAÇÃO – ETL
• CAD – GIS
• TI tradicional x GIS/Spatial Data
• 3D/BIM x GIS integration
• Extração - Rapidamente extraia dados a partir de
praticamente qualquer fonte, independente do
seu formato e estrutura original - incluindo
formatos populares de GIS, CAD e bancos de
dados espaciais
• Transformação - Facilmente transforme dados
em qualquer formato e da estrutura necessária
usando fluxos de trabalho repetitivos
• Carga - Carregar dados de forma integrada no
sistema de destino diretamente do FME e torná-
lo disponível exatamente quando, onde e como
você precisa

8. Principais Usos
Qualidade de Dados
• Controle automático de qualidade com FME
Valide o esquema
Valide os valores de atributos
Valide a geometria
Cumprimento de normas, padrões
QA / QC específico de acordo com os formatos
Fluxo de trabalho de validação
Reparação automática e relatórios de dados errados
Correct Complete Compliant
Baseado em
normas
Padrões e
modelos de dados
Repetitividade
Os mesmos
resultados sempre
Ênfase em
Automação
Reduzir ao mínimo
a intervenção
humana
Orientado a
Relatórios
Identificar e
reportar

9. Principais Usos
CONVERSÃO DE SISTEMAS DE COORDENADAS
• Automação
• Self-Service Portal para conversão de sist. Coord.
• Conversão fácil e intuitiva
• > 2000 sistemas de coordenadas pré-definidos
• Suporte para sistemas personalizados
(projeção, datum, elipsoide)
5
5
5
5 5
5
5
5 5
5555
5 5
55
55
5
5 55
5
5
5
555
5
5555
5
555555
5
5
5
55 5
5
555 555
55
5
55555 5555
5
5 555
55
5
55
5555 555
5
5
5
5 5
5
5
5 5
5555
5 5
5 5
55
5
5 55
5
5
5
555
5
5555
5
555555
5
5
5
55 5
5
55
5 555
55
5
5 5555 5555
5
5 555
55
5
55
5555 555
E muito
mais...

10. Principales Usos
RASTER
• Conversão de formatos (tif - jpg)
• Loading (importação de base de dados)
• Extração (exportação de bases de dados)
• Processamento (transformações)
• Enriquecer SIG com raster (raster - vector)
• Publicação de vector (vector - raster)
• Os fluxos de trabalho em 3D (drapeado,
texturas, sombras)
• Consumir desde e publicar na web
Imagens
Fotografia
Modelos de elevação
Informes
Gráficos
Modelos numéricos
Series temporais

11. Principais Usos
BANCO DE DADOS
• Carga e Extração
• Sincronização - Criar banco de dados
redundantes
• Update/Delete/Insert/Create
• Integrar Bancos de Dados
• Compartilhar informações
automaticamente
• Google Fusion Tables
• SAP HANA (via JDBC)
• Microsoft SQL Server,
AZURE, Sharepoint,
• Netezza Spatial
• Oracle
• Oracle Spatial
• PostGIS
• MySQL(MariaDB)
Database Transformers
SQLExecutor / SQLCreator
FeatureReader
Joiner
GeometryValidator
InlineQuerier – before and after
Sequence/Identity/Serial columns - example
Triggers
Stored Procedures - example
Transactions
Multiple geometry support – writing and reading
• IBM DB2, Informix, PASW
(SPSS)
• ODBC
• JDBC
• Pervasive
• Salesforce
• Socrata
• SAS
• SQLite

12. Principais Usos
RELATÓRIOS
• Relatórios com mapas
• Relatórios com dados oriundos de
todos os seus sistemas
• Agendamento e envio por evento
• Fusão de dados
• Apresentação / Styling
• Resumo

13. Principais Usos
DISTRIBUIÇÃO DE DADOS
• FME Server Data Download Service
• Streaming de dados – KML Streaming
ftp, http, ...
ODATA
OGC (WFS,
WCS, WMS, ...)
SOS
ArcGIS Online
any service...

14. Principais Usos
AUTOMAÇÃO EM ETL
• Economizar tempo!
• Iniciar fluxo de trabalho AUTOMATICAMENTE
• Baseado em evento
• Programada
• Iniciar fluxo de trabalho AUTOMATICAMENTE quando:
1. Directory Watch – assim que um dado cair em uma
pasta
2. Scheduling no dia e hora que queira, repetidamente
3. Database Triggers – depois de um trigger
4. Email Processing – quando chega um e-mail, ou
quando envio um e-mail
5. Mobile notification – quando chega um sms, ou
quando envio um sms
Event Action

15. Principais Usos
NOTIFICAÇÕES
• Publicar mensagens a uma aplicação ou
dispositivo e entregar imediatamente
varias notificações a outras aplicações ou
usuários
Para que?
Quando começar, no meio ou no final de um fluxo
Quando receber um dado, por e-mail ou ftp
Informar resultados de uma validação de dados
Envio de dados inconsistentes depois de um fluxo
Receber dados por e-mail e processar um fluxo
Informar a seus clientes sobre uma interrupção em um
serviço – agua, energia, por exemplo
Relatórios sobre os processos de atualização de estado,
migração ou produção de dados em qualquer sistema
Em apoio a tomada de decisão em tempo real
https://knowledge.safe.com/topic/FME-Server-Notification-Service

16. Principais Usos
REAL TIME DATA Workflows
• STREAMING DE DADOS
• REAL TIME DATA TRASNFORMATION
Dois tipos de Real-Time Data
Baseado em Evento ou em notificação
Eventos discretos independentes
que se produzem na razão de: <1
mensagem / segundo
Corrente continua de dados
High Velocity - sequencia de
dados de> 1 mensagem /
segundo.
http://blog.safe.com/2014/06/real-time-editing-spatial-database/
http://blog.safe.com/2014/07/ais-based-ship-tracker-monitors-100000-vessels-near-real-time/
http://demos.fmeserver.com/spatialdashboard/index.html

17. Principais Usos
INTERNET OF THE THINGS
• Meta: fácil para se conectar a
qualquer coisa!
Dispositivos: Telefones,
computadores, relógios,
eletrodomésticos, carros,
etc.
Sensores: atmosférica,
Biosensores, áudio, vídeo,
toque, calor, etc.
Serviços Web: Qualquer
coisa que possua, gere ou
distribua dados
- Todo está
conectado! -
IN 20 MIN
22

18. INNOVATECHGIS.COM
GRACIAS!

19. Contato!
Para mais informações:
https://www.facebook.com/innovatechgis/
https://twitter.com/innovatechgis/
https://www.linkedin.com/in/innovatechgis/
http://innovatechgis.com/
http://innovatechgisesp.com/
Brasil + 55 (12) 3949 2777
EEUU y Latinoamérica + 1 (954) 607-7655
marcofidos
http://pt.slideshare.net/innovatechgis
https://plus.google.com/u/2/1003499570455
29004249/posts?hl=pt-BR
mfidos@innovatechgis.com