SlideShare uma empresa Scribd logo
1 de 97
Salvador, 19 de Setembro de 2018
III Congresso de TI Unifacs
AMPLIANDO OS HORIZONTES DOS PROFISSIONAIS
DE REDES ATRAVÉS DO PYTHON
Sergio Sampaio Spinola
1
Roteiro
e uma
Pergunta
Por que os Profissionais de Redes ?
O que é e onde se encontra o Python
Python Networking
Bibliotecas: Scapy, Pysnmp, PyMongo, iPerf, Socket,
Microframeworks: Bottle, Flask
O RESTful
Interação com Simuladores: exemplo do GNS-3
Obtendo dados de gerenciamento: SNMP
Exemplos de Usos e Aplicações
Python (de Monty Python) Criada
por Guido Van Rossum (*)
• Versões mais difundidas (2.7.X e
3.X), destaca-se em ciência de
dados, machine learning,
automação de sistemas, web,
desenvolvimento de APIs e além
• “The Zen of Python”
• Irreverência, abstração, cultura,
“alto nível”
Aceitação da
Linguagem
Python
Largamente adotada e suportada
Bastante popular e cada vez mais usada entre os
jovens
No ranking Tiobe Index aparece em 4o. lugar com
quase 7% de participação entre todas as linguagens
relacionadas
Conta com um grande conjunto de libraries e
serviços API
Python possui um compromisso entre desempenho
e versatilidade.
Linguagens mais Populares
O que é
Python
Datando de 1991, a linguagem de programação Python
tem sido considerada um preenchedor de gaps, uma
forma de automatizar tarefas costumeiras ou para
rapidamente construir protótipos de aplicações que
poderiam então ser implementadas em outras
linguagens.
Ao longo dos anos o Python emergiu como uma
linguagem de primeira linha aplicada ao desenvolvimento
de software, gerenciamento de infraestrutura e análise
de dados, tornando-se uma força consistente no mundo
das aplicações web e gerenciamento de sistemas.
Evoluiu ao ponto de tornar-se um elemento chave na
elaboração de software na análise de big data e
inteligência de máquina, servindo a múltiplos propósitos
com eficiência.
Usos do Python
• Uso mais básico é como linguagem de script e automação.
• Muito além de um substituto para shell scripts e bacthes.
• É também usada para automatizar interações com web
browsers, fazer provisionamento de sistemas e interagir com
sistemas de provisionamento e configuração.
• Frequentemente descrita como “glue language,” significando
que pode permitir que códigos díspares (tipicamente
bibliotecas com interface em linguagem C) interoperem.
Comparações entre Python e Java
• Existem muitas comparações entre Python e Java, como por exemplo:
https://www.educba.com/java-vs-python/
Que
linguagem é
a melhor ?
Esta resposta depende tão somente do contexto, do propósito e
de quem usa.
Qual o nível de experiência e envolvimento do profissional com
programação ?
A que se destina ? Sistema Corporativo, Financeiro, ERP,
Enterprise, E-Commerce, Banco de Dados, Nuvem, Big Data, Data
Science, Networking, Web ... ?
A atividade de programação é a sua atividade fim ou o meio ?
Trabalha sozinho, em equipe, grupo, dupla... ?
Para resolver problemas pontuais e localizados ou um grande
sistema financeiro e de pagamentos integrado ?
Comparações:
pontos que se
destacam
Java requer mais linhas de código em comparação a
Python
Java requer “;” ao final da cada linha, Python não
Python requer a obediência estrita à indentação
Em Java você precisa declarar cada tipo de dados, já em
Python a tipagem é dinâmica
Python é reconhecidamente mais fácil e menos verbosa
do ponto de vista do programador eventual
Os códigos em Python são mais fáceis de entender
(legibilidade) para o programador iniciante
Java versus Python: Compilada versus Interpretada
Curva de Aprendizado
• “Python é fácil de aprender e usar”
• A quantidade de features por si é modesta
• Mas requer um investimento em tempo e esforço relativamente
pequeno para produzir os primeiros programas.
• A sintaxe do Python foi projetada para privilegiar a legibilidade e a
objetividade.
• Esta simplicidade tem tornado o Python uma linguagem largamente
adotada para o ensino de programação de crianças e jovens,
permitindo que novatos a adotem rapidamente.
• A ideia de fundo é que os desenvolvedores gastem mais tempo
pensando no problema a ser resolvido e menos tempo debruçados
sobre a complexidade da linguagem ou decifrando o Código de
terceiros.
Ciência de
Dados e
Machine
Learning
Análises de dados sofisticadas têm se tornado uma das
áreas onde a linguagem Python tem sido bastante
adotada.
A vasta maioria das bibliotecas usadas para data science
ou machine learning possuem interfaces Python, tornando
esta linguagem a mais popular em termos de interface de
alto nível para bibliotecas de machine learning
As bibliotecas nativas Python e web web frameworks de
terceiros fornecem fomars de criar desde REST APIs em
poucas linhas até sites direcionados a dados.
As versões mais recentes suportam fortemente operações
assíncronas, permitindo que sites manipulem dezenas de
milhares de requisições por Segundo aplicando as
bibliotecas adequadas.
Tipagem dinâmica
• Referenciando especificamente o Python para explicar a questão:
Tipagem dinâmica significa que o próprio interpretador do Python
infere o tipo dos dados que uma variável recebe, sem a necessidade
que você, o usuário da linguagem diga de que tipo determinada
variável é. Exemplo de um script Python:
http://blog.abraseucodigo.com.br/python-uma-linguagem-de-tipagem-dinamica-e-forte.html
Aprenda
Python
rapidamente
This is an int (signed, 32bits) : 42
This is a long (signed, infinite): 42L
This is a str : "bellx07n" or ’bellx07n’ (" () ’)
This is a tuple (immutable): (1,4,"42")
This is a list (mutable): [4,2,"1"]
This is a dict (mutable): { "one":1 , "two":2 }
Sem blocos delimitadores, a indentação importa
O que é “Python Networking”
• Python exerce um papel essencial em network programming.
• Biblioteca padrão Python possui suporte completo a protocolos de
rede, codificação de decodificação de dados e outros conceitos de
programação, implementados de uma forma mais simples que C++.
• Um socket é o end-point em um fluxo de comunicação entre dois
programas ou canais de comunicação que operam sobre uma rede.
• São criados usando socket API (Application Programming Interface).
• Biblioteca de sockets do Python.
https://www.w3schools.in/python-tutorial/network-programming/
Os Sockets e
o Python
Sockets permitem a comunicação entre dois
diferentes processos na mesma máquina ou em
máquinas diferentes.
É uma forma de computadores se comunicarem
usando um file descriptor.
Para o programador um socket se parece e se
comporta como um file descriptor de baixo nível.
Desta forma, comandos como read() e write()
funcionam com sockets da mesma forma que
arquivos e pipes.
+
◊ Canal não-confiável
Host: 138.36.95.240 Host: 137.37.58.250
Processo
CLIENTE
Processo
SERVIDORD D DD
D
roteador
datagrama
Sockets UDP
+
◊ Canal confiável
Host: 138.36.95.240 Host: 137.37.58.250
Stream de saída Stream de entrada
Processo
Processo
SERVIDOR
3 2 1
CLIENTE
4
1
roteador
Segmento TCP
3
Sockets TCP: Canal Confiável
Exemplo de
uso de Sockets
Problema: “Coletar os bilhetes SMDR gerados
em uma central telefônica IP, gravar em um
arquivo e posteriormente fazer filtragem,
seleção e elaborar estatísticas acerca das
ligações efetuadas e recebidas”
Solução: uma aplicação Python que cria um
socket que estabelece a conexão TCP através de
uma porta pré-determinada, adquire os dados
em um buffer e apensa os dados em um arquivo
texto.
Uma segunda aplicação faz a leitura dos dados,
separa os valores, realiza a filtragem dos dados
relevantes e armazena em um banco de dados
NoSQL (e.g., MongoDB).
Leitura de Bilhetes de uma Central IP Office
Bilhetes SMDR
Station Message Detail Recording
• Em seguida uma rotina adicional em Python faz o “parsing” do
arquivo de bilhetes e guarda as variáveis de interesse em banco de
dados para análise posterior.
Aplicação em Gerenciamento SNMP
• Protocolo largamente utilizado em ambientes de redes
• Funciona no modelo gerente-agente
• Baseado em Polling e/ou Trap através de portas específicas
• Aplicável ao gerenciamento de:
• Hosts genéricos Linux
• Switches
• Roteadores
• Impressoras inteligentes
• Firewalls
• Appliances de rede de usos diversos
26
Polling de um Objeto
SNMP GET
Exemplo: Leitura de Objetos (OIDs) via SNMP
• Plataformas e Softwares de gerenciamento são capazes de realizar todas as
leituras de dados que podem ser obtidos através de comandos de GET do
SNMP, e aquisição das variáveis MIBs, definidas pelos respectivos OIDs.
• Problema: “Queremos coletar apenas um determinado conjunto restrito de
variáveis e sinalizar alarmes específicos acerca de determinadas OIDs sem
necessidade de instalar um sistema completo de gerenciamento de
redes.”
• Em outras palavras: não quero instalar o Nagios, ou o Cacti, ou o Zabbix, ou
PRTG, WhatsUp, Solarwinds...
• Solução: Utilizando a biblioteca PySNMP é possível fazer a leitura de
qualquer OID desejada, sobre qualquer dispositivo, realizar a inferência
necessária, armazenar em banco de dados e gerar alarmes baseados em
thresholds”
Leitura de objetos do Asterisk
Biblioteca Pysnmp
Representação de Dados: JSON
• Desde sua introdução JSON (Java Script Object Notation) tem se
tornado rapidamente um padrão de fato para troca de informações.
• Vários recursos estão disponíveis em termos de APIs e
armazenamento de dados em uma base de documentos (NoSQL).
• Python suporta JSON nativamente !
• É uma representação que favorece a legibilidade
• Implementada, por exemplo, nas bibliotecas iperf e scapy
• Utilizada em APIs REST, amplamente utilizadas entre dispositivos de
rede, inclusive SDN
Comparação JSON e XML
https://www.json.org/xml.html https://codebeautify.org/jsontoxml#copy
Representação XML
Representação JSON
Representação JSON/BSON
Representação JSON/BSON
35
Startrinity: Simulador de Chamadas
36
MOS e R-
Factor
Leituras
de QoS
Codec IP e porta destino Chamadas Simultâneas
Payload RTP
Grava o
arquivo em
csv
Descrição do
Framework
Um cenário de experimentação
38
 Descrição: Dispositivos IP realizam
múltiplas chamadas de voz,
progressivas e variáveis, em
ambiente de telefonia IP, com
protocolo SIP, para um Server
(PBX) com duração de 20
segundos cada.
Context Database
DBaaS
MongoDB
Rotinas
executadas em
Python
1) Leitura do arquivo csv criado pelo Software
Startrinity
2) Filtragem dos dados coletados
3) Preparação dos dados em JSON
4) Conexão ao banco de dados MongoDB
5) Escrita no Banco de Dados
6) Polling do estado do Banco de Dados MongoDB
em nuvem, filtragem e geração de alarmes
7) Reconfiguração do iptables
Representações de dados de contexto em tempo real
40
Cenário: Comportamento
Filas x Ligações Simultâneas x MOS x Codec G.711
41
MongoDB e Mongolab
Bibliotecas
/Ferramentas:
iPerf/iPerf3
iPerf3 é uma ferramenta
para medições ativas
acerca da máxima banda
alcançável em redes IP.
Suporta vários parâmetros
de ajuste relacionados a
“timing”, buffers e
protocolos (TCP, UDP, SCTP
with IPv4 and IPv6).
Para cada teste é
reportada a banda, perda
e outros parâmetros.
Features do Iperf
• iPerf features
• TCP and SCTP
• Medição de banda
• Reporta MSS/MTU size e tamanhos de leitura observados.
• Suporte para tamanho de janela TCP.
• UDP
• Cliente pode criar UDP streams de banda especificada.
• Mede perda de pacotes
• Mede delay jitter
• Capaz de Multicast
Exemplo de utilização
Trabalhando
com
Simuladores
Simuladores de Rede atuais permitem emular redes reais
e simular ambientes plenamente operacionais
Possibilitam simular o ambiente real previamente à
instalação, permitindo analisar, prever e aplicar
adequações
Um exemplo é o GNS-3, uma ferramenta poderosa que
permite simular ambientes com roteadores com alto grau
de complexidade
Funciona com a imagem dos roteadores
Permite a captura e análise de pacotes e interação com o
ambiente externo, ou seja, sua rede local ou Internet
Permite interagir com máquinas virtuais
Exemplo
Interação direta
OSPF Discovery Tool
Descoberta dos Vizinhos por Roteador (ID e IP)
E o desenho de uma topologia...
Scapy
Scapy é um programa Python que permite ao usuário enviar,
fazer o sniff, dissecar e forjar pacotes de rede.
Estas capacidades permitem a construção de ferramentas
que podem agir como probe, realizar o scan ou simular
ataques.
A ferramenta Scapy é um programa poderoso que permite a
manipulação interativa com pacotes.
Permite forjar e decodificar pacotes de uma variedade
grande de protocolos, enviá-los, capturá-los, casar
requerimentos e respostas.
Scapy pode facilmente lidar com tarefas típicas tais como
scanning, tracerouting, probing, unit tests, ataques ou
descoberta de rede.
Pode substituir hping, arpspoof, arp-sk, arping, e
parcialmente o Nmap, tcpdump e tshark.
Pode ser incorporado a um programa em Python.
Scapy
• Depois de um probe (scan, traceroute, etc.) o Scapy sempre
devolve os pacotes plenamente decodificados sem
interpretações. Desta forma, é possível fazer o probe uma vez
e realizar a interpretação múltiplas vezes, solicitor o
traceroute e outras ações.
Usando o
Scapy
No Scapy usamos a função sniff() para capturar pacotes de rede
lsc() mostra a lista de comandos disponíveis.
ls() mostra todos os protocolos suportados
ls(protocol) permite visualizer todos os campos default para
qualquer protocol
Visualizar as camadas de pacotes com a função .summary()
Visualizar os conteúdos dos pacotes com a função .show()
Aprofundar em uma camada específica do pacote: pkts[3][2].summary()... onde o
primeiro índice define um pacote dentre uma lista de pkts e o segundo aponta para
uma camada daquele pacote específico.
Usando o método .command() packet irá devolver uma string de
commandos necessários para recriar o pacote resultante da operação de
sniff
Exemplos
• Welcome to Scapy (2.2.0)
• >>> send(IP(dst="10.1.99.2")/ICMP()/"HelloWorld")
• Sent 1 packets.
• >>>
• Envio de um endereço “spoofed”
• send(IP(src="10.1.99.100", dst="10.1.99.2")/ICMP()/"HelloWorld")
Captura pelo Wireshark
Envio de pacotes para diferentes portas
• >>> p=sr(IP(dst="10.1.99.2")/TCP(dport=[23,80,53]))
• Begin emission:
• .**Finished to send 3 packets.
• *
• Received 4 packets, got 3 answers, remaining 0 packets
• >>>
Efetuando um SYN Scan
• >>> p=sr(IP(dst="10.1.99.2")/TCP(sport=666,dport=[22,80,21,443], flags="S"))
• Begin emission:
• ***Finished to send 4 packets.
• *
• Received 4 packets, got 4 answers, remaining 0 packets
• >>> p
• (<Results: TCP:4 UDP:0 ICMP:0 Other:0>, <Unanswered: TCP:0 UDP:0 ICMP:0 Other:0>)
• >>> ans,unans=_
• >>> ans.summary()
• IP / TCP 10.1.99.25:666 > 10.1.99.2:ssh S ==> IP / TCP 10.1.99.2:ssh > 10.1.99.25:666 SA / Padding
• IP / TCP 10.1.99.25:666 > 10.1.99.2:http S ==> IP / TCP 10.1.99.2:http > 10.1.99.25:666 SA / Padding
• IP / TCP 10.1.99.25:666 > 10.1.99.2:ftp S ==> IP / TCP 10.1.99.2:ftp > 10.1.99.25:666 RA / Padding
• IP / TCP 10.1.99.25:666 > 10.1.99.2:https S ==> IP / TCP 10.1.99.2:https > 10.1.99.25:666 RA /
• Padding
• >>>
Um código Python com sniffing
• Configurar a interface em modo promíscuo
• Inicializa os contadores e o timeout
• Define os protocolos a serem filtrados
• Permite definir um nome para o arquivo de log
• Grava os dados de interesse coletados no arquivo de log
+
REST –
Representational
State Transfer
Um estilo de arquitetura que fornece padrões entre
sistemas de computação na Web tornando mais fácil a sua
comunicação
Sistemas REST-compliant são frequentemente
denominados RESTful systems, caracterizados por serem
stateless e separam as atribuições do cliente e servidor
Uma REST API define um conjunto de funções no qual
desenvolvedores podem realizer requerimentos e receber
respostas através do protocol HTTP, como um GET e POST
Em outras palavras, propicia a implementação de APIs em
que a informação é enviada e recebida como texto em
uma URL
+
Separação do
Cliente e
Servidor
No estilo REST a implementação
do cliente e do servidor pode ser
feita independentemente sem que
um conheça o outro.
Cada lado precisa conhecer
apenas o formato das
mensagens de envio de um para
outro, podendo serem mantidos
modulares e separados.
Provê a separação da
preocupação com a interface de
usuário em relação ao
armazenamento de dados,
aumentando a flexibilidade da
interface e ampliando a
escalabilidade.
O propósito é que ao utilizar a
interface REST interface,
clientes diferentes alcançam os
mesmos endpoints REST,
realizam as mesmas ações e
recebem as mesmas respostas.
Statelessness
No paradigma REST o servidor não precisa saber nada acerca do
estado do cliente e vice-versa.
Servidor e Cliente podem entender qualquer mensagem recebida,
mesmo desconhecendo mensagens anteriores.
Esta restrição é determinada pelo uso de recursos ao invés de
comandos e que são os substantivos da Web – descrevem qualquer
objeto , documento, ou coisa que precisa ser armazenada ou
enviada para outros serviços.
Interação através de operações e recursos padrão, não dependem
da implementação de interfaces.
Visa a confiabilidade, desempenho e escalabilidade, de tal forma
que os componentes possam ser gerenciados, atualizados e
reusados sem afetar o Sistema como um todo.
Requisições
e “Verbos”
REST requer que um cliente faça uma requisição ao servidor de forma a
recuperar ou modificar dados em um servidor, sendo emm geral composto de:
• HTTP verb, que define o tipo de operação a ser realizada
• Um cabeçalho, que permite ao cliente passar informação adianta sobre o requerimento
• Caminho de um recurso
• Mensagem opcional
4 HTTP verbs básicos são utilizaods em requerimentos para interagir com
recursos em um Sistema REST:
GET — recupera um recursos específico (pelo id) ou uma coleção de recursos
POST — cria um novo recurso
PUT — atualiza um recurso específico (por id)
DELETE — remove um recurso específico por id
Exemplo
Através de uma API REST é realiza a consulta a um
serviço de consulta a números de telefones
disponíveis como em um catálogo telefônico:
Opencnam, www.opencnam.com;
A informação é disponibilizada através do envio de
URIs devidamente preenchidas, no formato de API
REST, compreendendo por exemplo a consulta de
um número de telefone específico: +15551234567
O envio desta URL devidamente preenchida deve
retornar dados em formato JSON, onde o nome do
contato é “SAMPLE”.
+
Exemplo: Opencnam
URL, Query e Resposta JSON
Exemplo: RESTful API
Get: RESTful API
Microframeworks
Web
• Dois web frameworks bastante populares são o Flask e o
Bottle.
• Fornecem ferramentas, bibliotecas e tecnologias que
permitem construir uma aplicação Web.
• Esta aplicação poderá ser constituída por um conjunto de
páginas web, um blog, wiki, ou mesmo um website voltado
para o e-commerece, com acesso a bancos de dados.
• Tanto o Flask como o Bottle são parte de uma categoria
desnominada micro-framework.
• Micro-frameworks são usualmente constituídas com pouca
ou nenhuma dependência de bibliotecas externas.
• As vantagens são a leveza e simplicidade, especialmente
quando os requisitos da aplicação são igualmente leves.
• Por outro lado, a desvantagem pode ser que, nos casos em
que a implementação se demonstrar largamente aplicável, a
evolução da aplicação poderá ficar comprometida devido à
necessidade de adicionar plug ins e dependências, ou
mesmo pela limitação de recursos disponíveis.
Construindo um micro-servidor
WEB
• Estão disponíveis microframeworks que permitem
implementar serviços Web de forma rápida
• São apropriados para prototipagem e testes rápidos
• Permitem testar funções, métodos, chamadas e
comandos
• É possível construir rapidamente um serviço usando
um microframework como o Bottle, por exemplo
• O microframework Flask permite construir em
instantes um protótipo para finalidades de testes;
• É possível testar usando a Web pública por meio do
serviço Localtunnel
Um serviço pelo
Microframework Bottle
• Torna possível enviar comandos de GET e POST entre o
aplicativo em Python e a interface com o navegador.
• Neste script é disponibilizado um campo que permite
arbitrar um valor de atraso forçado no timestamp, que
introduz uma forma de simular um atraso temporal para
uma determinada aplicação.
• Este recurso foi empregado com o propósito de
exemplificar como um desvio no timestamp informado
de maneira assíncrona através de um input de usuário
poderia influenciar no processamento da aplicação.
URL REST e a resposta no Cliente/Servidor
@bottle.route(“/”)
Exemplo de coleta
Automatização
simples de
configuração
• O problema a ser tratado é como automatizar o processo
de configuração de dispositivos em uma rede de tamanho
médio;
• Neste exemplo vamos considerar a rede de tamanho
médio como aquela composta por 500 usuários,
compreendendo 10 switches, switches L3 e dois
roteadores;
• Desta forma, estamos nos referindo a redes compostas
por um determinado número de dispositivos de rede e
cujas configurações podem ser armazenadas em um
repositório central como arquivos texto;
• Uma forma simples de realizar procedimentos de
restauração e reconfiguração é utilizar o próprio Telnet, o
que pode ser feito por meio de um script Python;
Como programar automaticamente roteadores de
forma simples ?
Requerimentos
• Python é uma linguagem altamente portável e já está presente
nativamente nas versões instaladas do Debian/Ubuntu/CentOs
• O Python possui duas versões “maiores”, sendo elas a 2.7.X e
as versões 3.6+
• Existem algumas diferenças de sintaxe e bibliotecas entre as
versões. Muitos exemplos existentes podem ser encontrados
na versão 2.7 e poderão não ser executados na versão 3.6+
• Os principais pontos de atenção são as diferenças entre as
versões e estão além do escopo desta apresentação;
• Um dos principais IDEs disponíveis para Python é o Pycharm,
livremente disponível na versão Community
• O requerimento inicial de hardware do Python é mínimo e
todos os exemplos e aplicações aqui apresentados podem ser
executados em um Raspberrian (Raspeberry Pi) !
• Empacotamento de programas Python em executáveis
padrão que funcionam em computadores sem o Python
isntalado: pyinstaller
Algumas ideias/aplicações
Tais máquinas/dispositivos podem exercer o papel de coletadores, armazenadores de dados coletados, analisadores
e atuadores, implementando funções específicas associadas ao gerenciamento de redes.
Uma máquina baseada em Raspberry Pi com 2GB possui requisitos necessários e suficientes para executar operações
complexas compreendendo todas as aplicações associadas às bibliotecas: Scapy, iPerf, Sockets, Pysnmp, etc...
Uma máquina Debian para Python pode empregar com relativa folga a configuração recomendada de 512MB de
memória RAM e 2GB de disco;
Pequenas aplicações Python podem ser instaladas/ativadas sobre máquinas virtuais de capacidade bastante
econômica
Conclusões
• Vimos brevemente o poder da linguagem Python e suas bibliotecas aplicadas aos
usos e necessidades no contexto de redes de comunicação, seja em:
• Simulação, análise e medição de pacotes em uma rede local
• Uso no gerenciamento de redes SNMP em diversas situações
• Na programação de dispositivos de rede
• Comunicação com dispositivos de rede via socket
• Manipulação ágil de arquivos texto e csv resultante de coletas
• Uso eficiente e concomitante com banco de dados NoSQL (como o MongoDB)
• A versatilidade da linguagem, flexibilidade e efetividade tornam o Python a
linguagem ideal para profissionais de rede “não programadores”
• Ideal para profissionais de redes que precisam aprimorar suas técnicas de
gerenciamento e suporte, permitindo de forma rápida que estes construam suas
próprias aplicações ou adaptar aplicações e ferramentas já existentes aos seus
propósitos particulares.
Automação de Operações em Networking
Ferramenta: Ansible
• ARQUITETURA, AGENTES E SEGURANÇA
• Uma das diferenças principais entre o Ansible e outras ferramentas
neste espaço é a sua arquitetura;
• Ansible é uma ferramenta “agentless” que implementa um modelo de
‘push’ - nenhum software precisa ser instalado nas máquinas
remotas para torná-las gerenciáveis
• O Ansible por default gerencia máquinas remotas sobre SSH (Linux)
ou WinRM (Windows), usando os frameworks de gerenciamento
remote já existentes nestas plataformas.
Credenciais de Acesso
• Utiliza as credenciais de acesso informadas pelo usuário
• Não é possível realizer o “push” de instruções sem possuir as
credenciais dos sistemas remotos.
• O modelo é “push-based” onde apenas o código necessário passado
para máquinas remotas (Ansible ‘modules’)
• Máquinas remotas não podem ver ou afetar outras máquinas em
termos de configuração .
• Nenhum recurso é consumido quando o Ansible não está
gerenciando.
• Tem sido usado em ambientes de alta segurança e performance.
Exemplos
Implementação de uma extensa atualização ao nível de cluster consistindo de:
• Consulting a configuration/settings repository for information about the involved
• Configuring the base OS on all machines and enforcing desired state
• Identifying a portion of the web application servers to update
• Signaling the monitoring system of an outage window prior to bringing the servers off line
• Signaling load balancers to take the application servers out of a load balanced pool
• Stopping the web application server
• Deploying or updating the web application server code, data, and content
• Starting the web application server
• Running appropriate tests on the new server and code
• Signaling the load balancers to put the application servers back into the load balanced pool
• Signaling the monitoring system to resume alerts on any detected issues on those servers
• Repeating this process for remaining application servers in a rolling update process
• Repeating these rolling update processes for other tiers such as database or content tiers
• Sending email reports and logging as desired when updates are complete
Extensões
• Os módulos embarcados com o Ansible são implementados em
Python e PowerShell
• Novos módulos podem ser escritos em qualquer linguagem,
requerendo apenas tomar o JSON como entrada e produzir JSON
como saída.
Ansible
Recursos e Referências
• https://academy.gns3.com/
• https://www.gns3.com/
• http://snmplabs.com/pysnmp/examples/contents.html
• Spinola S., Sergio; Gestão de Contexto Aplicada ao Encaminhamento Adaptativo em Soluções
Convergentes; 2015. Dissertação de Mestrado. Disponível em:
https://pt.slideshare.net/ip10lab/gestao-contexto-qosqoe
• https://www.json.org/
• https://mlab.com/home
Python – por onde começar ?
• Existem diversas plataformas de aprendizado e cursos online na
Internet
• Gratuitos e/ou bastante acessíveis
• Por exemplo, para começar, a própria comunidade Python no Brasil:
• https://python.org.br/introducao/
Perguntas ?
Telnet
Telnet commands applied
Telnet para OSPF
Recurso no Youtube
• https://www.youtube.com/watch?v=IhroIrV9_7w
• Automatizando com o Python;exemplo com o Telnet
Automação de Operações em Networking
Ferramenta: Ansible
• ARQUITETURA, AGENTES E SEGURANÇA
• Uma das diferenças principais entre o Ansible e outras ferramentas
neste espaço é a sua arquitetura;
• Ansible é uma ferramenta “agentless” que implementa um modelo de
‘push’ - nenhum software precisa ser instalado nas máquinas
remotas para torná-las gerenciáveis
• O Ansible por default gerencia máquinas remotas sobre SSH (Linux)
ou WinRM (Windows), usando os frameworks de gerenciamento
remote já existentes nestas plataformas.
Credenciais de Acesso
• Utiliza as credenciais de acesso informadas pelo usuário
• Não é possível realizer o “push” de instruções sem possuir as
credenciais dos sistemas remotos.
• O modelo é “push-based” onde apenas o código necessário passado
para máquinas remotas (Ansible ‘modules’)
• Máquinas remotas não podem ver ou afetar outras máquinas em
termos de configuração .
• Nenhum recurso é consumido quando o Ansible não está
gerenciando.
• Tem sido usado em ambientes de alta segurança e performance.
Exemplos
Implementação de uma extensa atualização ao nível de cluster consistindo de:
• Consulting a configuration/settings repository for information about the involved
• Configuring the base OS on all machines and enforcing desired state
• Identifying a portion of the web application servers to update
• Signaling the monitoring system of an outage window prior to bringing the servers off line
• Signaling load balancers to take the application servers out of a load balanced pool
• Stopping the web application server
• Deploying or updating the web application server code, data, and content
• Starting the web application server
• Running appropriate tests on the new server and code
• Signaling the load balancers to put the application servers back into the load balanced pool
• Signaling the monitoring system to resume alerts on any detected issues on those servers
• Repeating this process for remaining application servers in a rolling update process
• Repeating these rolling update processes for other tiers such as database or content tiers
• Sending email reports and logging as desired when updates are complete
Extensões
• Os módulos embarcados com o Ansible são implementados em
Python e PowerShell
• Novos módulos podem ser escritos em qualquer linguagem,
requerendo apenas tomar o JSON como entrada e produzir JSON
como saída.
Ansible

Mais conteúdo relacionado

Semelhante a Ampliando os Horizontes dos Profissionais de Redes através do Python

Apresentação - IT Specialist
Apresentação - IT SpecialistApresentação - IT Specialist
Apresentação - IT SpecialistAlan Carlos
 
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Affinitas GmbH
 
Webinar: Desvendando as camadas de IoT
Webinar: Desvendando as camadas de IoTWebinar: Desvendando as camadas de IoT
Webinar: Desvendando as camadas de IoTEmbarcados
 
Configuração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as codeConfiguração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as codeAécio Pires
 
Django - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em pythonDjango - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em pythonPaula Grangeiro
 
Junho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em pythonJunho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em pythonGrupo de Testes Carioca
 
Introdução a programação em python d3
Introdução a programação em python d3Introdução a programação em python d3
Introdução a programação em python d3Moises de Paula
 
Micropython - Python para microcontroladores
Micropython - Python para microcontroladoresMicropython - Python para microcontroladores
Micropython - Python para microcontroladoresFabio Souza
 
Aula01 - protocolos da camada de aplicação
Aula01 - protocolos da camada de aplicaçãoAula01 - protocolos da camada de aplicação
Aula01 - protocolos da camada de aplicaçãoCarlos Veiga
 
Entendendo Frameworks web com Python
Entendendo Frameworks web com PythonEntendendo Frameworks web com Python
Entendendo Frameworks web com PythonLuiz Aldabalde
 
Entendendo Framework Web com Python
Entendendo Framework Web com PythonEntendendo Framework Web com Python
Entendendo Framework Web com PythonPythOnRio
 
Aula 1 - Introducao.pdf
Aula 1 - Introducao.pdfAula 1 - Introducao.pdf
Aula 1 - Introducao.pdfRoberto Aragy
 
Aula 5 - Protocolos de comunicação
Aula 5 - Protocolos de comunicação Aula 5 - Protocolos de comunicação
Aula 5 - Protocolos de comunicação MaraLuizaGonalvesFre
 
Slide Palestra "Metasploit Framework"
Slide Palestra "Metasploit Framework"Slide Palestra "Metasploit Framework"
Slide Palestra "Metasploit Framework"Roberto Soares
 

Semelhante a Ampliando os Horizontes dos Profissionais de Redes através do Python (20)

Apresentação - IT Specialist
Apresentação - IT SpecialistApresentação - IT Specialist
Apresentação - IT Specialist
 
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...
 
Webinar: Desvendando as camadas de IoT
Webinar: Desvendando as camadas de IoTWebinar: Desvendando as camadas de IoT
Webinar: Desvendando as camadas de IoT
 
Configuração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as codeConfiguração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as code
 
Django - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em pythonDjango - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em python
 
Junho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em pythonJunho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em python
 
Python e suas aplicações
Python e suas aplicaçõesPython e suas aplicações
Python e suas aplicações
 
Bridges Virtuais
Bridges VirtuaisBridges Virtuais
Bridges Virtuais
 
Introdução a programação em python d3
Introdução a programação em python d3Introdução a programação em python d3
Introdução a programação em python d3
 
Apostila_IC.pdf
Apostila_IC.pdfApostila_IC.pdf
Apostila_IC.pdf
 
Micropython - Python para microcontroladores
Micropython - Python para microcontroladoresMicropython - Python para microcontroladores
Micropython - Python para microcontroladores
 
Aula01 - protocolos da camada de aplicação
Aula01 - protocolos da camada de aplicaçãoAula01 - protocolos da camada de aplicação
Aula01 - protocolos da camada de aplicação
 
Introdução à sistemas distribuídos
Introdução à sistemas distribuídosIntrodução à sistemas distribuídos
Introdução à sistemas distribuídos
 
Entendendo Frameworks web com Python
Entendendo Frameworks web com PythonEntendendo Frameworks web com Python
Entendendo Frameworks web com Python
 
Entendendo Framework Web com Python
Entendendo Framework Web com PythonEntendendo Framework Web com Python
Entendendo Framework Web com Python
 
Aula 1 - Introducao.pdf
Aula 1 - Introducao.pdfAula 1 - Introducao.pdf
Aula 1 - Introducao.pdf
 
Aula 5 - Protocolos de comunicação
Aula 5 - Protocolos de comunicação Aula 5 - Protocolos de comunicação
Aula 5 - Protocolos de comunicação
 
Sessao1a
Sessao1aSessao1a
Sessao1a
 
Snort
SnortSnort
Snort
 
Slide Palestra "Metasploit Framework"
Slide Palestra "Metasploit Framework"Slide Palestra "Metasploit Framework"
Slide Palestra "Metasploit Framework"
 

Mais de IP10

Negacionismo e populismo
Negacionismo  e  populismoNegacionismo  e  populismo
Negacionismo e populismoIP10
 
Tratado do negacionismo
Tratado do negacionismoTratado do negacionismo
Tratado do negacionismoIP10
 
Gestao contexto qos_qoe
Gestao contexto qos_qoeGestao contexto qos_qoe
Gestao contexto qos_qoeIP10
 
Razões para Migrar o PBX
Razões para Migrar o PBXRazões para Migrar o PBX
Razões para Migrar o PBXIP10
 
Introdução à Telefonia IP
Introdução à Telefonia IPIntrodução à Telefonia IP
Introdução à Telefonia IPIP10
 
Spectralink ip dect-server400_prdctover_final_100213
Spectralink ip dect-server400_prdctover_final_100213Spectralink ip dect-server400_prdctover_final_100213
Spectralink ip dect-server400_prdctover_final_100213IP10
 
Avaya ipo5000 r9
Avaya ipo5000 r9Avaya ipo5000 r9
Avaya ipo5000 r9IP10
 
Anamnese para um projeto de telefonia ip
Anamnese para um projeto de telefonia ipAnamnese para um projeto de telefonia ip
Anamnese para um projeto de telefonia ipIP10
 
Telefonia IP
Telefonia IPTelefonia IP
Telefonia IPIP10
 
Conceitos e Fundamentos da Telefonia IP
Conceitos e Fundamentos da Telefonia IPConceitos e Fundamentos da Telefonia IP
Conceitos e Fundamentos da Telefonia IPIP10
 
Fundamentos da Telefonia IP
Fundamentos da Telefonia IPFundamentos da Telefonia IP
Fundamentos da Telefonia IPIP10
 
Guia axis
Guia axisGuia axis
Guia axisIP10
 
Guia vo ip 02
Guia vo ip 02Guia vo ip 02
Guia vo ip 02IP10
 

Mais de IP10 (13)

Negacionismo e populismo
Negacionismo  e  populismoNegacionismo  e  populismo
Negacionismo e populismo
 
Tratado do negacionismo
Tratado do negacionismoTratado do negacionismo
Tratado do negacionismo
 
Gestao contexto qos_qoe
Gestao contexto qos_qoeGestao contexto qos_qoe
Gestao contexto qos_qoe
 
Razões para Migrar o PBX
Razões para Migrar o PBXRazões para Migrar o PBX
Razões para Migrar o PBX
 
Introdução à Telefonia IP
Introdução à Telefonia IPIntrodução à Telefonia IP
Introdução à Telefonia IP
 
Spectralink ip dect-server400_prdctover_final_100213
Spectralink ip dect-server400_prdctover_final_100213Spectralink ip dect-server400_prdctover_final_100213
Spectralink ip dect-server400_prdctover_final_100213
 
Avaya ipo5000 r9
Avaya ipo5000 r9Avaya ipo5000 r9
Avaya ipo5000 r9
 
Anamnese para um projeto de telefonia ip
Anamnese para um projeto de telefonia ipAnamnese para um projeto de telefonia ip
Anamnese para um projeto de telefonia ip
 
Telefonia IP
Telefonia IPTelefonia IP
Telefonia IP
 
Conceitos e Fundamentos da Telefonia IP
Conceitos e Fundamentos da Telefonia IPConceitos e Fundamentos da Telefonia IP
Conceitos e Fundamentos da Telefonia IP
 
Fundamentos da Telefonia IP
Fundamentos da Telefonia IPFundamentos da Telefonia IP
Fundamentos da Telefonia IP
 
Guia axis
Guia axisGuia axis
Guia axis
 
Guia vo ip 02
Guia vo ip 02Guia vo ip 02
Guia vo ip 02
 

Ampliando os Horizontes dos Profissionais de Redes através do Python

  • 1. Salvador, 19 de Setembro de 2018 III Congresso de TI Unifacs AMPLIANDO OS HORIZONTES DOS PROFISSIONAIS DE REDES ATRAVÉS DO PYTHON Sergio Sampaio Spinola 1
  • 2. Roteiro e uma Pergunta Por que os Profissionais de Redes ? O que é e onde se encontra o Python Python Networking Bibliotecas: Scapy, Pysnmp, PyMongo, iPerf, Socket, Microframeworks: Bottle, Flask O RESTful Interação com Simuladores: exemplo do GNS-3 Obtendo dados de gerenciamento: SNMP Exemplos de Usos e Aplicações
  • 3. Python (de Monty Python) Criada por Guido Van Rossum (*) • Versões mais difundidas (2.7.X e 3.X), destaca-se em ciência de dados, machine learning, automação de sistemas, web, desenvolvimento de APIs e além • “The Zen of Python” • Irreverência, abstração, cultura, “alto nível”
  • 4. Aceitação da Linguagem Python Largamente adotada e suportada Bastante popular e cada vez mais usada entre os jovens No ranking Tiobe Index aparece em 4o. lugar com quase 7% de participação entre todas as linguagens relacionadas Conta com um grande conjunto de libraries e serviços API Python possui um compromisso entre desempenho e versatilidade.
  • 6. O que é Python Datando de 1991, a linguagem de programação Python tem sido considerada um preenchedor de gaps, uma forma de automatizar tarefas costumeiras ou para rapidamente construir protótipos de aplicações que poderiam então ser implementadas em outras linguagens. Ao longo dos anos o Python emergiu como uma linguagem de primeira linha aplicada ao desenvolvimento de software, gerenciamento de infraestrutura e análise de dados, tornando-se uma força consistente no mundo das aplicações web e gerenciamento de sistemas. Evoluiu ao ponto de tornar-se um elemento chave na elaboração de software na análise de big data e inteligência de máquina, servindo a múltiplos propósitos com eficiência.
  • 7. Usos do Python • Uso mais básico é como linguagem de script e automação. • Muito além de um substituto para shell scripts e bacthes. • É também usada para automatizar interações com web browsers, fazer provisionamento de sistemas e interagir com sistemas de provisionamento e configuração. • Frequentemente descrita como “glue language,” significando que pode permitir que códigos díspares (tipicamente bibliotecas com interface em linguagem C) interoperem.
  • 8. Comparações entre Python e Java • Existem muitas comparações entre Python e Java, como por exemplo: https://www.educba.com/java-vs-python/
  • 9. Que linguagem é a melhor ? Esta resposta depende tão somente do contexto, do propósito e de quem usa. Qual o nível de experiência e envolvimento do profissional com programação ? A que se destina ? Sistema Corporativo, Financeiro, ERP, Enterprise, E-Commerce, Banco de Dados, Nuvem, Big Data, Data Science, Networking, Web ... ? A atividade de programação é a sua atividade fim ou o meio ? Trabalha sozinho, em equipe, grupo, dupla... ? Para resolver problemas pontuais e localizados ou um grande sistema financeiro e de pagamentos integrado ?
  • 10. Comparações: pontos que se destacam Java requer mais linhas de código em comparação a Python Java requer “;” ao final da cada linha, Python não Python requer a obediência estrita à indentação Em Java você precisa declarar cada tipo de dados, já em Python a tipagem é dinâmica Python é reconhecidamente mais fácil e menos verbosa do ponto de vista do programador eventual Os códigos em Python são mais fáceis de entender (legibilidade) para o programador iniciante
  • 11. Java versus Python: Compilada versus Interpretada
  • 12. Curva de Aprendizado • “Python é fácil de aprender e usar” • A quantidade de features por si é modesta • Mas requer um investimento em tempo e esforço relativamente pequeno para produzir os primeiros programas. • A sintaxe do Python foi projetada para privilegiar a legibilidade e a objetividade. • Esta simplicidade tem tornado o Python uma linguagem largamente adotada para o ensino de programação de crianças e jovens, permitindo que novatos a adotem rapidamente. • A ideia de fundo é que os desenvolvedores gastem mais tempo pensando no problema a ser resolvido e menos tempo debruçados sobre a complexidade da linguagem ou decifrando o Código de terceiros.
  • 13.
  • 14. Ciência de Dados e Machine Learning Análises de dados sofisticadas têm se tornado uma das áreas onde a linguagem Python tem sido bastante adotada. A vasta maioria das bibliotecas usadas para data science ou machine learning possuem interfaces Python, tornando esta linguagem a mais popular em termos de interface de alto nível para bibliotecas de machine learning As bibliotecas nativas Python e web web frameworks de terceiros fornecem fomars de criar desde REST APIs em poucas linhas até sites direcionados a dados. As versões mais recentes suportam fortemente operações assíncronas, permitindo que sites manipulem dezenas de milhares de requisições por Segundo aplicando as bibliotecas adequadas.
  • 15. Tipagem dinâmica • Referenciando especificamente o Python para explicar a questão: Tipagem dinâmica significa que o próprio interpretador do Python infere o tipo dos dados que uma variável recebe, sem a necessidade que você, o usuário da linguagem diga de que tipo determinada variável é. Exemplo de um script Python: http://blog.abraseucodigo.com.br/python-uma-linguagem-de-tipagem-dinamica-e-forte.html
  • 16. Aprenda Python rapidamente This is an int (signed, 32bits) : 42 This is a long (signed, infinite): 42L This is a str : "bellx07n" or ’bellx07n’ (" () ’) This is a tuple (immutable): (1,4,"42") This is a list (mutable): [4,2,"1"] This is a dict (mutable): { "one":1 , "two":2 }
  • 17. Sem blocos delimitadores, a indentação importa
  • 18. O que é “Python Networking” • Python exerce um papel essencial em network programming. • Biblioteca padrão Python possui suporte completo a protocolos de rede, codificação de decodificação de dados e outros conceitos de programação, implementados de uma forma mais simples que C++. • Um socket é o end-point em um fluxo de comunicação entre dois programas ou canais de comunicação que operam sobre uma rede. • São criados usando socket API (Application Programming Interface). • Biblioteca de sockets do Python. https://www.w3schools.in/python-tutorial/network-programming/
  • 19. Os Sockets e o Python Sockets permitem a comunicação entre dois diferentes processos na mesma máquina ou em máquinas diferentes. É uma forma de computadores se comunicarem usando um file descriptor. Para o programador um socket se parece e se comporta como um file descriptor de baixo nível. Desta forma, comandos como read() e write() funcionam com sockets da mesma forma que arquivos e pipes.
  • 20. + ◊ Canal não-confiável Host: 138.36.95.240 Host: 137.37.58.250 Processo CLIENTE Processo SERVIDORD D DD D roteador datagrama Sockets UDP
  • 21. + ◊ Canal confiável Host: 138.36.95.240 Host: 137.37.58.250 Stream de saída Stream de entrada Processo Processo SERVIDOR 3 2 1 CLIENTE 4 1 roteador Segmento TCP 3 Sockets TCP: Canal Confiável
  • 22. Exemplo de uso de Sockets Problema: “Coletar os bilhetes SMDR gerados em uma central telefônica IP, gravar em um arquivo e posteriormente fazer filtragem, seleção e elaborar estatísticas acerca das ligações efetuadas e recebidas” Solução: uma aplicação Python que cria um socket que estabelece a conexão TCP através de uma porta pré-determinada, adquire os dados em um buffer e apensa os dados em um arquivo texto. Uma segunda aplicação faz a leitura dos dados, separa os valores, realiza a filtragem dos dados relevantes e armazena em um banco de dados NoSQL (e.g., MongoDB).
  • 23. Leitura de Bilhetes de uma Central IP Office
  • 24. Bilhetes SMDR Station Message Detail Recording • Em seguida uma rotina adicional em Python faz o “parsing” do arquivo de bilhetes e guarda as variáveis de interesse em banco de dados para análise posterior.
  • 25. Aplicação em Gerenciamento SNMP • Protocolo largamente utilizado em ambientes de redes • Funciona no modelo gerente-agente • Baseado em Polling e/ou Trap através de portas específicas • Aplicável ao gerenciamento de: • Hosts genéricos Linux • Switches • Roteadores • Impressoras inteligentes • Firewalls • Appliances de rede de usos diversos
  • 26. 26 Polling de um Objeto SNMP GET
  • 27. Exemplo: Leitura de Objetos (OIDs) via SNMP • Plataformas e Softwares de gerenciamento são capazes de realizar todas as leituras de dados que podem ser obtidos através de comandos de GET do SNMP, e aquisição das variáveis MIBs, definidas pelos respectivos OIDs. • Problema: “Queremos coletar apenas um determinado conjunto restrito de variáveis e sinalizar alarmes específicos acerca de determinadas OIDs sem necessidade de instalar um sistema completo de gerenciamento de redes.” • Em outras palavras: não quero instalar o Nagios, ou o Cacti, ou o Zabbix, ou PRTG, WhatsUp, Solarwinds... • Solução: Utilizando a biblioteca PySNMP é possível fazer a leitura de qualquer OID desejada, sobre qualquer dispositivo, realizar a inferência necessária, armazenar em banco de dados e gerar alarmes baseados em thresholds”
  • 28. Leitura de objetos do Asterisk
  • 30. Representação de Dados: JSON • Desde sua introdução JSON (Java Script Object Notation) tem se tornado rapidamente um padrão de fato para troca de informações. • Vários recursos estão disponíveis em termos de APIs e armazenamento de dados em uma base de documentos (NoSQL). • Python suporta JSON nativamente ! • É uma representação que favorece a legibilidade • Implementada, por exemplo, nas bibliotecas iperf e scapy • Utilizada em APIs REST, amplamente utilizadas entre dispositivos de rede, inclusive SDN
  • 31. Comparação JSON e XML https://www.json.org/xml.html https://codebeautify.org/jsontoxml#copy
  • 36. Startrinity: Simulador de Chamadas 36 MOS e R- Factor Leituras de QoS Codec IP e porta destino Chamadas Simultâneas Payload RTP Grava o arquivo em csv
  • 38. Um cenário de experimentação 38  Descrição: Dispositivos IP realizam múltiplas chamadas de voz, progressivas e variáveis, em ambiente de telefonia IP, com protocolo SIP, para um Server (PBX) com duração de 20 segundos cada. Context Database DBaaS MongoDB
  • 39. Rotinas executadas em Python 1) Leitura do arquivo csv criado pelo Software Startrinity 2) Filtragem dos dados coletados 3) Preparação dos dados em JSON 4) Conexão ao banco de dados MongoDB 5) Escrita no Banco de Dados 6) Polling do estado do Banco de Dados MongoDB em nuvem, filtragem e geração de alarmes 7) Reconfiguração do iptables
  • 40. Representações de dados de contexto em tempo real 40
  • 41. Cenário: Comportamento Filas x Ligações Simultâneas x MOS x Codec G.711 41
  • 43. Bibliotecas /Ferramentas: iPerf/iPerf3 iPerf3 é uma ferramenta para medições ativas acerca da máxima banda alcançável em redes IP. Suporta vários parâmetros de ajuste relacionados a “timing”, buffers e protocolos (TCP, UDP, SCTP with IPv4 and IPv6). Para cada teste é reportada a banda, perda e outros parâmetros.
  • 44. Features do Iperf • iPerf features • TCP and SCTP • Medição de banda • Reporta MSS/MTU size e tamanhos de leitura observados. • Suporte para tamanho de janela TCP. • UDP • Cliente pode criar UDP streams de banda especificada. • Mede perda de pacotes • Mede delay jitter • Capaz de Multicast
  • 46. Trabalhando com Simuladores Simuladores de Rede atuais permitem emular redes reais e simular ambientes plenamente operacionais Possibilitam simular o ambiente real previamente à instalação, permitindo analisar, prever e aplicar adequações Um exemplo é o GNS-3, uma ferramenta poderosa que permite simular ambientes com roteadores com alto grau de complexidade Funciona com a imagem dos roteadores Permite a captura e análise de pacotes e interação com o ambiente externo, ou seja, sua rede local ou Internet Permite interagir com máquinas virtuais
  • 50. Descoberta dos Vizinhos por Roteador (ID e IP)
  • 51. E o desenho de uma topologia...
  • 52. Scapy Scapy é um programa Python que permite ao usuário enviar, fazer o sniff, dissecar e forjar pacotes de rede. Estas capacidades permitem a construção de ferramentas que podem agir como probe, realizar o scan ou simular ataques. A ferramenta Scapy é um programa poderoso que permite a manipulação interativa com pacotes. Permite forjar e decodificar pacotes de uma variedade grande de protocolos, enviá-los, capturá-los, casar requerimentos e respostas. Scapy pode facilmente lidar com tarefas típicas tais como scanning, tracerouting, probing, unit tests, ataques ou descoberta de rede. Pode substituir hping, arpspoof, arp-sk, arping, e parcialmente o Nmap, tcpdump e tshark. Pode ser incorporado a um programa em Python.
  • 53. Scapy • Depois de um probe (scan, traceroute, etc.) o Scapy sempre devolve os pacotes plenamente decodificados sem interpretações. Desta forma, é possível fazer o probe uma vez e realizar a interpretação múltiplas vezes, solicitor o traceroute e outras ações.
  • 54. Usando o Scapy No Scapy usamos a função sniff() para capturar pacotes de rede lsc() mostra a lista de comandos disponíveis. ls() mostra todos os protocolos suportados ls(protocol) permite visualizer todos os campos default para qualquer protocol Visualizar as camadas de pacotes com a função .summary() Visualizar os conteúdos dos pacotes com a função .show() Aprofundar em uma camada específica do pacote: pkts[3][2].summary()... onde o primeiro índice define um pacote dentre uma lista de pkts e o segundo aponta para uma camada daquele pacote específico. Usando o método .command() packet irá devolver uma string de commandos necessários para recriar o pacote resultante da operação de sniff
  • 55. Exemplos • Welcome to Scapy (2.2.0) • >>> send(IP(dst="10.1.99.2")/ICMP()/"HelloWorld") • Sent 1 packets. • >>> • Envio de um endereço “spoofed” • send(IP(src="10.1.99.100", dst="10.1.99.2")/ICMP()/"HelloWorld")
  • 57. Envio de pacotes para diferentes portas • >>> p=sr(IP(dst="10.1.99.2")/TCP(dport=[23,80,53])) • Begin emission: • .**Finished to send 3 packets. • * • Received 4 packets, got 3 answers, remaining 0 packets • >>>
  • 58. Efetuando um SYN Scan • >>> p=sr(IP(dst="10.1.99.2")/TCP(sport=666,dport=[22,80,21,443], flags="S")) • Begin emission: • ***Finished to send 4 packets. • * • Received 4 packets, got 4 answers, remaining 0 packets • >>> p • (<Results: TCP:4 UDP:0 ICMP:0 Other:0>, <Unanswered: TCP:0 UDP:0 ICMP:0 Other:0>) • >>> ans,unans=_ • >>> ans.summary() • IP / TCP 10.1.99.25:666 > 10.1.99.2:ssh S ==> IP / TCP 10.1.99.2:ssh > 10.1.99.25:666 SA / Padding • IP / TCP 10.1.99.25:666 > 10.1.99.2:http S ==> IP / TCP 10.1.99.2:http > 10.1.99.25:666 SA / Padding • IP / TCP 10.1.99.25:666 > 10.1.99.2:ftp S ==> IP / TCP 10.1.99.2:ftp > 10.1.99.25:666 RA / Padding • IP / TCP 10.1.99.25:666 > 10.1.99.2:https S ==> IP / TCP 10.1.99.2:https > 10.1.99.25:666 RA / • Padding • >>>
  • 59. Um código Python com sniffing • Configurar a interface em modo promíscuo • Inicializa os contadores e o timeout • Define os protocolos a serem filtrados • Permite definir um nome para o arquivo de log • Grava os dados de interesse coletados no arquivo de log
  • 60. + REST – Representational State Transfer Um estilo de arquitetura que fornece padrões entre sistemas de computação na Web tornando mais fácil a sua comunicação Sistemas REST-compliant são frequentemente denominados RESTful systems, caracterizados por serem stateless e separam as atribuições do cliente e servidor Uma REST API define um conjunto de funções no qual desenvolvedores podem realizer requerimentos e receber respostas através do protocol HTTP, como um GET e POST Em outras palavras, propicia a implementação de APIs em que a informação é enviada e recebida como texto em uma URL
  • 61. + Separação do Cliente e Servidor No estilo REST a implementação do cliente e do servidor pode ser feita independentemente sem que um conheça o outro. Cada lado precisa conhecer apenas o formato das mensagens de envio de um para outro, podendo serem mantidos modulares e separados. Provê a separação da preocupação com a interface de usuário em relação ao armazenamento de dados, aumentando a flexibilidade da interface e ampliando a escalabilidade. O propósito é que ao utilizar a interface REST interface, clientes diferentes alcançam os mesmos endpoints REST, realizam as mesmas ações e recebem as mesmas respostas.
  • 62. Statelessness No paradigma REST o servidor não precisa saber nada acerca do estado do cliente e vice-versa. Servidor e Cliente podem entender qualquer mensagem recebida, mesmo desconhecendo mensagens anteriores. Esta restrição é determinada pelo uso de recursos ao invés de comandos e que são os substantivos da Web – descrevem qualquer objeto , documento, ou coisa que precisa ser armazenada ou enviada para outros serviços. Interação através de operações e recursos padrão, não dependem da implementação de interfaces. Visa a confiabilidade, desempenho e escalabilidade, de tal forma que os componentes possam ser gerenciados, atualizados e reusados sem afetar o Sistema como um todo.
  • 63. Requisições e “Verbos” REST requer que um cliente faça uma requisição ao servidor de forma a recuperar ou modificar dados em um servidor, sendo emm geral composto de: • HTTP verb, que define o tipo de operação a ser realizada • Um cabeçalho, que permite ao cliente passar informação adianta sobre o requerimento • Caminho de um recurso • Mensagem opcional 4 HTTP verbs básicos são utilizaods em requerimentos para interagir com recursos em um Sistema REST: GET — recupera um recursos específico (pelo id) ou uma coleção de recursos POST — cria um novo recurso PUT — atualiza um recurso específico (por id) DELETE — remove um recurso específico por id
  • 64. Exemplo Através de uma API REST é realiza a consulta a um serviço de consulta a números de telefones disponíveis como em um catálogo telefônico: Opencnam, www.opencnam.com; A informação é disponibilizada através do envio de URIs devidamente preenchidas, no formato de API REST, compreendendo por exemplo a consulta de um número de telefone específico: +15551234567 O envio desta URL devidamente preenchida deve retornar dados em formato JSON, onde o nome do contato é “SAMPLE”.
  • 66. URL, Query e Resposta JSON
  • 69. Microframeworks Web • Dois web frameworks bastante populares são o Flask e o Bottle. • Fornecem ferramentas, bibliotecas e tecnologias que permitem construir uma aplicação Web. • Esta aplicação poderá ser constituída por um conjunto de páginas web, um blog, wiki, ou mesmo um website voltado para o e-commerece, com acesso a bancos de dados. • Tanto o Flask como o Bottle são parte de uma categoria desnominada micro-framework. • Micro-frameworks são usualmente constituídas com pouca ou nenhuma dependência de bibliotecas externas. • As vantagens são a leveza e simplicidade, especialmente quando os requisitos da aplicação são igualmente leves. • Por outro lado, a desvantagem pode ser que, nos casos em que a implementação se demonstrar largamente aplicável, a evolução da aplicação poderá ficar comprometida devido à necessidade de adicionar plug ins e dependências, ou mesmo pela limitação de recursos disponíveis.
  • 70. Construindo um micro-servidor WEB • Estão disponíveis microframeworks que permitem implementar serviços Web de forma rápida • São apropriados para prototipagem e testes rápidos • Permitem testar funções, métodos, chamadas e comandos • É possível construir rapidamente um serviço usando um microframework como o Bottle, por exemplo • O microframework Flask permite construir em instantes um protótipo para finalidades de testes; • É possível testar usando a Web pública por meio do serviço Localtunnel
  • 71. Um serviço pelo Microframework Bottle • Torna possível enviar comandos de GET e POST entre o aplicativo em Python e a interface com o navegador. • Neste script é disponibilizado um campo que permite arbitrar um valor de atraso forçado no timestamp, que introduz uma forma de simular um atraso temporal para uma determinada aplicação. • Este recurso foi empregado com o propósito de exemplificar como um desvio no timestamp informado de maneira assíncrona através de um input de usuário poderia influenciar no processamento da aplicação.
  • 72.
  • 73. URL REST e a resposta no Cliente/Servidor
  • 76. Automatização simples de configuração • O problema a ser tratado é como automatizar o processo de configuração de dispositivos em uma rede de tamanho médio; • Neste exemplo vamos considerar a rede de tamanho médio como aquela composta por 500 usuários, compreendendo 10 switches, switches L3 e dois roteadores; • Desta forma, estamos nos referindo a redes compostas por um determinado número de dispositivos de rede e cujas configurações podem ser armazenadas em um repositório central como arquivos texto; • Uma forma simples de realizar procedimentos de restauração e reconfiguração é utilizar o próprio Telnet, o que pode ser feito por meio de um script Python;
  • 77. Como programar automaticamente roteadores de forma simples ?
  • 78. Requerimentos • Python é uma linguagem altamente portável e já está presente nativamente nas versões instaladas do Debian/Ubuntu/CentOs • O Python possui duas versões “maiores”, sendo elas a 2.7.X e as versões 3.6+ • Existem algumas diferenças de sintaxe e bibliotecas entre as versões. Muitos exemplos existentes podem ser encontrados na versão 2.7 e poderão não ser executados na versão 3.6+ • Os principais pontos de atenção são as diferenças entre as versões e estão além do escopo desta apresentação; • Um dos principais IDEs disponíveis para Python é o Pycharm, livremente disponível na versão Community • O requerimento inicial de hardware do Python é mínimo e todos os exemplos e aplicações aqui apresentados podem ser executados em um Raspberrian (Raspeberry Pi) ! • Empacotamento de programas Python em executáveis padrão que funcionam em computadores sem o Python isntalado: pyinstaller
  • 79. Algumas ideias/aplicações Tais máquinas/dispositivos podem exercer o papel de coletadores, armazenadores de dados coletados, analisadores e atuadores, implementando funções específicas associadas ao gerenciamento de redes. Uma máquina baseada em Raspberry Pi com 2GB possui requisitos necessários e suficientes para executar operações complexas compreendendo todas as aplicações associadas às bibliotecas: Scapy, iPerf, Sockets, Pysnmp, etc... Uma máquina Debian para Python pode empregar com relativa folga a configuração recomendada de 512MB de memória RAM e 2GB de disco; Pequenas aplicações Python podem ser instaladas/ativadas sobre máquinas virtuais de capacidade bastante econômica
  • 80. Conclusões • Vimos brevemente o poder da linguagem Python e suas bibliotecas aplicadas aos usos e necessidades no contexto de redes de comunicação, seja em: • Simulação, análise e medição de pacotes em uma rede local • Uso no gerenciamento de redes SNMP em diversas situações • Na programação de dispositivos de rede • Comunicação com dispositivos de rede via socket • Manipulação ágil de arquivos texto e csv resultante de coletas • Uso eficiente e concomitante com banco de dados NoSQL (como o MongoDB) • A versatilidade da linguagem, flexibilidade e efetividade tornam o Python a linguagem ideal para profissionais de rede “não programadores” • Ideal para profissionais de redes que precisam aprimorar suas técnicas de gerenciamento e suporte, permitindo de forma rápida que estes construam suas próprias aplicações ou adaptar aplicações e ferramentas já existentes aos seus propósitos particulares.
  • 81. Automação de Operações em Networking Ferramenta: Ansible • ARQUITETURA, AGENTES E SEGURANÇA • Uma das diferenças principais entre o Ansible e outras ferramentas neste espaço é a sua arquitetura; • Ansible é uma ferramenta “agentless” que implementa um modelo de ‘push’ - nenhum software precisa ser instalado nas máquinas remotas para torná-las gerenciáveis • O Ansible por default gerencia máquinas remotas sobre SSH (Linux) ou WinRM (Windows), usando os frameworks de gerenciamento remote já existentes nestas plataformas.
  • 82. Credenciais de Acesso • Utiliza as credenciais de acesso informadas pelo usuário • Não é possível realizer o “push” de instruções sem possuir as credenciais dos sistemas remotos. • O modelo é “push-based” onde apenas o código necessário passado para máquinas remotas (Ansible ‘modules’) • Máquinas remotas não podem ver ou afetar outras máquinas em termos de configuração . • Nenhum recurso é consumido quando o Ansible não está gerenciando. • Tem sido usado em ambientes de alta segurança e performance.
  • 83. Exemplos Implementação de uma extensa atualização ao nível de cluster consistindo de: • Consulting a configuration/settings repository for information about the involved • Configuring the base OS on all machines and enforcing desired state • Identifying a portion of the web application servers to update • Signaling the monitoring system of an outage window prior to bringing the servers off line • Signaling load balancers to take the application servers out of a load balanced pool • Stopping the web application server • Deploying or updating the web application server code, data, and content • Starting the web application server • Running appropriate tests on the new server and code • Signaling the load balancers to put the application servers back into the load balanced pool • Signaling the monitoring system to resume alerts on any detected issues on those servers • Repeating this process for remaining application servers in a rolling update process • Repeating these rolling update processes for other tiers such as database or content tiers • Sending email reports and logging as desired when updates are complete
  • 84. Extensões • Os módulos embarcados com o Ansible são implementados em Python e PowerShell • Novos módulos podem ser escritos em qualquer linguagem, requerendo apenas tomar o JSON como entrada e produzir JSON como saída.
  • 86. Recursos e Referências • https://academy.gns3.com/ • https://www.gns3.com/ • http://snmplabs.com/pysnmp/examples/contents.html • Spinola S., Sergio; Gestão de Contexto Aplicada ao Encaminhamento Adaptativo em Soluções Convergentes; 2015. Dissertação de Mestrado. Disponível em: https://pt.slideshare.net/ip10lab/gestao-contexto-qosqoe • https://www.json.org/ • https://mlab.com/home
  • 87. Python – por onde começar ? • Existem diversas plataformas de aprendizado e cursos online na Internet • Gratuitos e/ou bastante acessíveis • Por exemplo, para começar, a própria comunidade Python no Brasil: • https://python.org.br/introducao/
  • 92. Recurso no Youtube • https://www.youtube.com/watch?v=IhroIrV9_7w • Automatizando com o Python;exemplo com o Telnet
  • 93. Automação de Operações em Networking Ferramenta: Ansible • ARQUITETURA, AGENTES E SEGURANÇA • Uma das diferenças principais entre o Ansible e outras ferramentas neste espaço é a sua arquitetura; • Ansible é uma ferramenta “agentless” que implementa um modelo de ‘push’ - nenhum software precisa ser instalado nas máquinas remotas para torná-las gerenciáveis • O Ansible por default gerencia máquinas remotas sobre SSH (Linux) ou WinRM (Windows), usando os frameworks de gerenciamento remote já existentes nestas plataformas.
  • 94. Credenciais de Acesso • Utiliza as credenciais de acesso informadas pelo usuário • Não é possível realizer o “push” de instruções sem possuir as credenciais dos sistemas remotos. • O modelo é “push-based” onde apenas o código necessário passado para máquinas remotas (Ansible ‘modules’) • Máquinas remotas não podem ver ou afetar outras máquinas em termos de configuração . • Nenhum recurso é consumido quando o Ansible não está gerenciando. • Tem sido usado em ambientes de alta segurança e performance.
  • 95. Exemplos Implementação de uma extensa atualização ao nível de cluster consistindo de: • Consulting a configuration/settings repository for information about the involved • Configuring the base OS on all machines and enforcing desired state • Identifying a portion of the web application servers to update • Signaling the monitoring system of an outage window prior to bringing the servers off line • Signaling load balancers to take the application servers out of a load balanced pool • Stopping the web application server • Deploying or updating the web application server code, data, and content • Starting the web application server • Running appropriate tests on the new server and code • Signaling the load balancers to put the application servers back into the load balanced pool • Signaling the monitoring system to resume alerts on any detected issues on those servers • Repeating this process for remaining application servers in a rolling update process • Repeating these rolling update processes for other tiers such as database or content tiers • Sending email reports and logging as desired when updates are complete
  • 96. Extensões • Os módulos embarcados com o Ansible são implementados em Python e PowerShell • Novos módulos podem ser escritos em qualquer linguagem, requerendo apenas tomar o JSON como entrada e produzir JSON como saída.

Notas do Editor

  1. Bom dia a todos, Prezados Membros da Banca, Meu nome é Sergio Sampaio Spinola Estou aqui hoje para apresentar o trabalho de dissertação de mestrado realizado dentro do Programa de Pós Graduação em Sistemas e Computação Orientado pelo Professor Doutor Paulo Sampaio E cujo título é: