Baixado 47 vezes
Carregado porSplunk
Introdução Splunk Brasil
A Splunk, fundada em 2004, é uma empresa de software com mais de 6.500 clientes em mais de 80 países, focada em transformar dados de máquina em inteligência operacional. Ela oferece soluções que monitoram e analisam dados em tempo real, melhorando a eficiência operacional e a visibilidade de negócios. A Splunk se destacou em várias premiações, incluindo o reconhecimento como líder em SIEM pelo Gartner em 2013.
Introdução Splunk Brasil
- 1. Copyright © 2012Splunk, Inc. Splunk
- 2. Sobre a Splunk Empresa(NASDAQ: SPLK) Fundada em 2004, primeiro software em 2006 HQ: San Francisco / Region HQ: London, Hong Kong Mais de 800 funcionários, em 12 países FY2013 $198.9 million; +64% year-over-year Prêmios Splunk nomeado líder em SIEM no Quadrante Mágico do Gartner 2013. Escolhida pela a SCMagazine como a melhor solução de Event Management (Siem) Appliance em 2013. A Splunk foi escolhida pela a FastCompanyInc a solução #1 em BigData e a #4 empresa mais inovadora do mundo. 6,500 + Clientes Clientes em mais de 80 países 60 deles na Fortune 100 Maior Licença: 100 Terabytes por dia 2
- 3. Marcos Importantes 2006 -Splunk v. 1 e 2 - 150 clientes 2007 - Splunk v.3 - 350 clientes 2008 - Expansão Ásia e Europa 900 clientes 2010 - Splunk V.4.1 - 2000 mil clientes 2011- 3000 clientes 2012- Abril IPO > 100% na valorização das Ações 2013- 5600 mil clientes IPO Splunk V. 4.1 Splunk v. 3 Splunk v. 1 e 2 IPO - Abril de 2012 4.000 mil Clientes 2006 - 150 Clientes > > 2010 – 2.000 Clientes > Expansão > 380 Funcionários 2007 - 350 Clientes 3 400 Novos Clientes – Trimestre 600K Downloads gratuitos
- 4. Splunk está criandouma nova categoria de software Inovadora Plataforma de Software Explosão de Volumes de Dados Inteligência Operacional Crescimento da receita Rápido Crescimento da Base de Clientes $120 4,400 2,300 $66 1,400 400 2008 $35 800 2009 $9 2010 2011 2008 2012 Number of Customers (FYE January) $18 2009 2010 2011 $ Millions (FYE January) 4 2012
- 5. Tornar os dadosde máquina acessíveis, utilizáveis e valorizados pela TI e pelo Negócio. 5
- 6. Transformar Dados deMáquina em Inteligência Operacional Ad hoc search Monitor and alert Report and analyze Custom dashboards Developer Platform Coleta e Indexa todos os dados de Máquina Splunk storage 6 Other Big Data stores
- 7. Inovador, Poderoso eFácil de Usar Ad hoc search Monitor and alert Report and analyze Custom dashboards Developer Platform Qualquer quantidade, qualquer local, qualquer origem. SemData collection pré-definida estrutura Sem and indexing conectores customizados Sem RDBMS Splunk storage Other Big Data stores Sem necessidade de filtros e agentes 7
- 8. Desenvolvimento de novassoluções de pacotes e aplicativos no Splunk Mais de 400 Splunk Apps no Weather BigFix Sendmail PDF Report Server F5 Radio Sta ons WebSphere XenDesktop NetScaler Mul cast Ruby on Rails Google Maps Whois lookup PCI Compliance Puppet Conf. Mgt Python Mail NetFlow Audible Alerts Stock Quote Twi er Security Security Windows Javamail SCOM Nagios Unix and Linux BlueCoat ProxySG Solera DeepSee TCP/UDP Sending IronPort WSA IronPort WSA Sourcefire Splunk Monitoring RSS Input FireEye Malware YouTube IMAP SNORT Encrypt/Decrypt Enterprise Security JMS receiver Geo Loca on Developer Platform (REST API, SDKs) Small Data. Big Data. Huge Data. 8 VMware POST/GET Rqsts MS Exchange FISMA Monitoring Citrix NetScaler AS/400 - iSeries Transac on Profiling Fin. Inf. eXchange Splunk Mobile
- 9. Investigação e BuscasPoderosas Encontre e resolva problemas e incidentes dramaticamente mais rápido em toda a sua organização Web Services Shipping RFID Energy Developers Desktops Servers Security Databases/ DWH Telecoms Web Services Online Shopping Carts App Support Social Media GPS/Cellular Storage Networking Manufacturing Messaging 9 Clickstream
- 10. Como Dados deMáquina se parece? Sources Order Processing Middleware Error Care IVR Twitter 10
- 11. Dados Máquina contéminsights críticos Sources Customer ID Order ID Product ID Order Processing Order ID Customer ID Middleware Error Time Waiting On Hold Care IVR Customer ID Twitter ID Twitter Company’s Twitter ID 11 Customer’s Tweet
- 12. Dados de Máquinacontém insights críticos Sources Customer ID Order ID Product ID Order Processing Order ID Customer ID Middleware Error Time Waiting On Hold Care IVR Customer ID Twitter ID Twitter Company’s Twitter ID 12 Customer’s Tweet
- 13. E o quejá fizemos (em horas, não meses): Banco de Dados Dados Estruturados Visibilidade em tempo real Correlação de Dispositivos e Informações Registro de Dispositivos Identificação de novos dados/padrões/eventos 13
- 14. Splunk Monitora IncidentesProativamente Automaticamente monitore toda sua infraestrutura em tempo real para identificar incidentes, problemas e ataques antes que estes impactem os seus serviços e clientes RSS Email SNMP Trouble ticket 14
- 15. Monitoramento Proativo naBM&F BOVESPA IT Web Application Security & Operations Intelligence Mgmt Compliance Mgmt Problema Business Analytics Ambiente extremamente complexo, diversas aplicações e serviços executando operações de compra e venda de ações e gerenciados por equipes distintas. A cada segundo, milhões de transações de compra e venda são efetuadas. Monitoramento próativo de todo o ambiente em um único painel. Solução Alertas com visibilidade em tempo real e avisos antecipados. Informações em tempo real de todas as aplicações em mais de 2.000 servidores. Benefícios Sincronismo total dos servidores e serviços. Redução do risco de passivo potencial (perda ou atraso de ordens de compra/venda). 15
- 16. E-commerce / PagamentosOnline Inteligência Operacional em Tempo Real PagSeguro pode aumentar sua eficiência operacional e imediatamente ganhar visão em seus processos de missão crítica.. Os dashboards revelam em tempo real componentes legado que causam lentidão ao sistema, resultando em melhoria de disponibilidade e aumentando a satisfação do cliente. Payment volume comparison from today to last week by credit card brand O PagSeguro elevou sua segurança através da monitoração contínua e relatórios centralizados de acordo com os requisitos de PCI.. O Universo Online também está iniciando estudos para utilizar Splunk para medir efetividade / ROI de suas campanhas de marketing online.. Software Engineer PagSeguro “Nós conseguimos informações valiosas em tempo real através dos dashboards flexíveis do Splunk.” 16
- 17. Splunk Entrega VisibilidadeOperacional Tenha visibilidade end-to-end dos Indicadores de TI e tome decisões baseadas em informações 17
- 18. Visibilidade de Negóciosem Impressão de Danfes • A cada minuto, milhares de transações de compra são efetuadas no site. • Cada pacote transportado tem que ser acompanhado por uma Nota Fiscal. • Monitoramento próativo e Informações em tempo real de mais de 600 impressoras de 6 localidades em um único painel. • Alertas com visibilidade em tempo real e avisos antecipados. • Correlação em tempo real do carrinho de compras com as notas impressas. • Redução do risco do atraso da encomenda. Satisfação garantida ao cliente. • Redução de custos e ligações ao centro de atendimento. 18
- 19. Entregar Novos Insightspara os Usuários Obtenha uma nova visão dos dados operacionais para tomar melhores decisões de negócio. Nos últimos 60 minutos. 1. 2. 3. 4. Ativações de celulares. Receita Média por Usuário. Ativações Iphone. Ativações Android. 1 2 3 Quais foram os Planos vendidos? 19 4
- 20. Splunk Agrega Valora TI e aos Negócios Gerenciamento de Aplicativos Operações de TI Segurança E Compliance Inteligência web e digital. Developer Platform (REST API, SDKs) Small Data. Big Data. Huge Data. 20 Business Analytics Industrial Data
- 21. Inteligência Operacional alinhandoa TI aos Negócios Gerenciamento de Operações de TI Inteligência web e digital. Gerenciamento de Aplicativos Business Analytics Segurança e Compliance Customer Support LOB Owners/ Executives Operations Teams Website/Business Analysts System Administrator Application Developers Security Analysts 21 Auditors IT Executives
- 22. Por que aExperian Usa Splunk? IT Web Application Security & Operations Intelligence Mgmt Compliance Mgmt Problema Business Analytics Serviço de e-marketing com mais de 40 milhões de disparos por dia, sem visão da operação e agilidade nas métricas de resultado. Demora na resolução de problemas de envio reportado pelos clientes. Solução Monitoramento e correlação de eventos em tempo real de várias aplicações distintas para visão do desempenho das transações. Painéis com indicadores da qualidade do disparo, IP’s comprometidos, análises de qualidade do envio. Benefícios Visão em tempo real da qualidade dos envios (volume, tipos de bounces, domínios e IP’s). Informações de negócios em minútos, não dias (relatório de 3 horas são feitos em 5 minutos). 22
- 23. Diversos Clientes noBrasil… … e muito mais! 23
- 24. Copyright © 2012Splunk, Inc. Tornar os dados de máquina acessíveis, utilizáveis e valorizados pela TI e pelo Negócio 24
- 25. Splunk Entrega VisibilidadeOperacional Splunk reduz a frequência de interrupção, proporcionando um ROI anual de US $ 1.3M Planejamento de capacidade e manutenção dos ativos Ty Prikkhi “ Em questão de horas, Splunk nosepermite construir painéis para comparar correlacionar “ Entrega painéis aos executivos mostrando vendas/ativações por minuto, por loja, por mercado, por tipo de dispositivo em horas e não em semanas ou meses o que queremos, nada mais nos permite fazer isso. Senior Operations Manager 25
- 26. Obrigado Marcelo Souza msouza@splunk.com DiogoTamura dtamura@splunk.com Splunk Book! @splunkbrasil Slideshare.com/splunkbrasil 26
Notas do Editor
- #3 PrêmiosEscolhidapela a SCMagazinecomo a melhorsolução de Event Management (Siem) Appliance em 2013.A Splunkfoiescolhidapela a FastCompanyInc a solução #1 emBigData e a #4 empresamaisinovadora do mundo! Somenteatrás da Nike, Amazon e Square
- #6 At Splunk, our mission is to make machine data accessible, usable and valuable to everyone. Andthis overarching mission is what drives our company and product priorities.
- #7 Splunk’s flagship product is Splunk Enterprise. Splunk Enterprise is a fully featured, powerful platform for collecting, searching, monitoring and analyzing machine data.Splunk collects machine data securely and reliably from wherever it’s generated. It stores and indexes the data in real time in a centralized location and protects it with role-based access controls. You can even leverage other data stores. Splunk lets you search, monitor, report and analyze your real-time and historical data. Now you have the ability to quickly visualize and share your data, no matter how unstructured, large or diverse it may be. Troubleshoot problems and investigate security incidents in minutes (not hours or days). Monitor your end-to-end infrastructure to avoid service degradation or outages. Gain real-time visibility and critical insights into customer experience, transactions and behavior. Use Splunk and make your data accessible, usable and valuable across the enterprise.Splunk é uma plataforma para dados da sua máquina. Ele coleta dados de qualquer fonte, dando-lhe visibilidade em tempo real e inteligência para o que está acontecendo em toda a sua infraestrutura de TI - seja física, virtual ou na nuvem.Estes são apenas um exemplo de algumas das fontes de dados de máquina. Por exemplo, uma transação de usuário único pode se estender por vários sistemas e fontes de tais dados, ou um único serviço depende de muitos sistemas subjacentes.Splunk lhe dá um lugar para pesquisar, relatar, analisar e visualizar todos os dados.
- #8 Splunk collects and indexes any machine data from virtually any source, format or location in real time. This includes data streaming from packaged and custom applications, app servers, web servers, databases, networks, virtual machines, telecoms equipment, OS’s, sensors, and much more. There’s no requirement to “understand” the data upfront. Just point Splunk at your data or deploy Splunk forwarders to reliably stream data from remote systems at scale. Splunk immediately starts collecting and indexing, so you can start searching and analyzing. Splunknãoprecisa de banco de dados e de conectores. Nãoprecisa de estruturaprédefinida e de filtros. Não anecessidade de investimentos extras como BD, ConnectoresNo more armies of consultants, or a DBA to make it work.
- #9 Customers start by using Splunk Enterprise to address one specific solution area. Then they leverage it and their machine data to solve other pressing problems over time.Consequently, Splunk Enterprise has many critical uses across IT and the business: Application Management: provide end-to-end visibility across distributed infrastructures; troubleshoot across application environments; monitor for performance degradation; trace transactions across distributed systems and infrastructure.Development: accelerate development and test cycles; support advanced development methodologies like agile, continuous; integrate enterprise applications with SDKs and a robust API; build enterprise applications that leverage Splunk software.Infrastructure and Operations Management: proactively monitor across IT silos to ensure uptime; rapidly pinpoint and resolve problems; report on SLAs/track SLAs of service providers.Security and Compliance: provide rapid incident response, real-time correlation and in-depth monitoring across data sources; statistical analysis for advance pattern detection and threat defense.Web and Business Analytics: gain visibility and intelligence on customers, services and transactions; identify trends and patterns in real time; fully understand the impact of new product features on back-end services.
- #10 Using Splunk, organizations identify and resolve issues up to 70% faster and reduce costly escalations by up to 90%. Splunk is one place to find and fix problems, and investigate incidents across all your IT systems and infrastructure - your applications, websites, servers, networks, virtual machines, security devices, and more. This alone eliminates much of the "human latency" experienced in the trenches.1. Coletainformaçõespara se tornarumapoderosaferramenta de buscas.
- #11 Unlike traditional structured data or multi-dimensional data– for example data stored in a traditional relational database for batch reporting – machine data is non-standard, highly diverse, dynamic and high volume. You will notice that machine data events are also typically time-stamped – it is time-series data. Take the example of purchasing a product on your tablet or smartphone: the purchase transaction fails, you call the call center and then tweet about your experience. All these events are captured - as they occur - in the machine data generated by the different systems supporting these different interactions. Each of the underlying systems can generate millions of machine data events daily. Here we see small excerpts from just some of them.
- #12 When we look more closely at the data we see that it contains valuable information – customer id, order id, time waiting on hold, twitter id … what was tweeted. What’s important is first of all the ability to actually see across all these disparate data sources, but then to correlate related events across disparate sources, to deliver meaningful insight.
- #13 If you can correlate and visualize related events across these disparate sources, you can build a picture of activity, behavior and experience. And what if you can do all of this in real-time? You can respond more quickly to events that matter. You can extrapolate this example to a wide range of use cases – security and fraud, transaction monitoring and analysis, web analytics, IT operations and so on.Dado de Máquinaéuma Mina de Ouro!Vejamos um exemplo de dados de máquina. Clienteincluiprodutosaoseucarrinho de compras (website/e-commerce)Eventos de máquina são gerados a cada vez que um cliente realiza uma ação na web, como adicionarum produto ao seu carrinho de compras, ou quando completar uma transação com cartão de crédito, ou quando um servidor escreve em um banco de dados. Clientefinaliza a compra com cartão de créditoEstes eventos de máquina são o registrosde que a ação foi realizada - quando, quem, como, onde ocorreu, e se ele foi bem sucedido ou não. Tentativa de registro do web server no banco de dadosEstes eventos fornecem informações operacionais de várias formas - eles fornecem insights/conhecimentos sobre as ações dos clientes, podem detectar atividades fraudulentas ou maliciosas e mostram a fonte de erros nos sistemas próprios.
- #14 This example highlights the power of Splunk integrating to external data sources at search time. This example highlights a low-cost long distance telecoms company, where multiple carrier partners exist to route calls to a destination. In this real-world example, Splunk performs an external lookup of partner tariffs from an external RDBMS and calculates the partner carrier fee for using their network based on actual call detail records. Performing this at search times helps mitigate risk in a variable pricing environment, where tariffs may change frequently. By doing this, Splunk is able to pinpoint the lowest-cost partners for a specific customers destination, enabling the telecoms company to optimize their partnerships and consequently revenue. This is one of many use cases of Splunk correlating business data with machine data to provide better insight and intelligence. Another is providing dashboard visibility into Average Revenue Per User (ARPU), an important KPI for telecoms businesses.The Splunk solution in this particular example took 1 week, whereas traditional approaches to this problem were taking many weeks without success – with Splunk, there is no need to write database queries, or buy expensive reporting packages to query/report or visualize your data. At a time when the business is demanding more from IT at lower cost, Splunk provides a fast, flexible way to unlock powerful new insight and intelligence from your machine data.
- #15 Depois, crie os eventos para que o Splunk monitore-os pró-ativamente para você e defina os alertas a serem disparados. Esses alertas podem ser um feedrss, ou email ou até mesmo a execução de algum script. Esses eventos podem ser um simples problema no seu ambiente, já gerando um ticket de suporte ou até mesmo um evento de segurança.1. Tendo essas informações no Splunk. Você pode criar alertas quando um problema estiver ocorrendo.2. Correlacionar eventos
- #16 Before Splunk, Macy’s.com had experienced holiday downtime for six straight seasons. With more than a million unique daily visitors, downtime means lost revenue and a poor customer experience Now Macys uses Splunk to ingest all the machine data from their online store infrastructure – including web servers, e-commerce servers, and app servers. With Splunk, Macys has eliminated holiday downtime, reduced the time to identify problems by 90%, and increased their customer satisfaction.
- #18 Crie indicadores e painéis de controle, correlacionando eventos e disponibilizando para sua equipe tomar decisões mais bem embasadas. Os painéis são totalmente customizáveis e você pode criar painéis para os mais diversos perfis de usuário.
- #19 Packages in Brazil can’t be shipped unless an invoice is included in each package
- #20 *Claro CustomerInter-Call: howmuchothercustomersspendon Claro Services andthehowistheir are impactedbythisuser (exemple: Mario spendonly R$ 20,00/month, but João spends R$ 300,00/monthand Mario represents 30% ofallJoão’scalls. Probably João willnotchangehistelcooperatorbecause Claro to Claro calls are cheaperthenothertelcoto Claro calls.
- #21 Customers start by using Splunk Enterprise to address one specific solution area. Then they leverage it and their machine data to solve other pressing problems over time.Consequently, Splunk Enterprise has many critical uses across IT and the business: Application Management: provide end-to-end visibility across distributed infrastructures; troubleshoot across application environments; monitor for performance degradation; trace transactions across distributed systems and infrastructure.Development: accelerate development and test cycles; support advanced development methodologies like agile, continuous; integrate enterprise applications with SDKs and a robust API; build enterprise applications that leverage Splunk software.Infrastructure and Operations Management: proactively monitor across IT silos to ensure uptime; rapidly pinpoint and resolve problems; report on SLAs/track SLAs of service providers.Security and Compliance: provide rapid incident response, real-time correlation and in-depth monitoring across data sources; statistical analysis for advance pattern detection and threat defense.Web and Business Analytics: gain visibility and intelligence on customers, services and transactions; identify trends and patterns in real time; fully understand the impact of new product features on back-end services.
- #22 Both IT and business professionals can analyze machine data to get real-time visibility and operational intelligence.With our data engine and our customers' machine data, organizations can meaningfully improve their performance in a wide range of areas e.g. meet service levels, reduce costs, mitigate security risks, maintain compliance and gain insights.
- #23 Before Splunk, Macy’s.com had experienced holiday downtime for six straight seasons. With more than a million unique daily visitors, downtime means lost revenue and a poor customer experience Now Macys uses Splunk to ingest all the machine data from their online store infrastructure – including web servers, e-commerce servers, and app servers. With Splunk, Macys has eliminated holiday downtime, reduced the time to identify problems by 90%, and increased their customer satisfaction.
- #26 Problem: With over 5 million subscribers and annual growth rates of 10-20%, Cricket Communications has rapidly become a leading US-based provider of “no signed contracts, no limits” mobile cellular phone services (including voice, text, broadband and data). Cricket Communications regularly handles 3,000 new subscriber requests per hour – about 50 activations per minute. In order to keep up with this tremendous demand for its trademark services, Cricket Communications automated its order processing system and workflows, eliminating manually introduced errors. However, the carrier soon discovered that all its complex applications and systems needed to work without fail in order to keep the flow of orders going. If any part or subsystem experienced a failure or degradation, the whole system would quickly come to a grinding halt. Solution: Cricket Communications deployed Splunk to quickly detect and analyze system performance issues. Using proactive triggers to send alerts from Splunk, the carrier has been able to address problems before they escalate to their event management team. The Applications Operations team calculated that with Splunk in place, they have reduced outage frequency by about 15%, translating into an annual positive revenue protection impact of $1,200,000. The team also gained new operational efficiencies using Splunk and as a result was able to reassign one Full Time Employee (an approximate savings of $100,000) to other tasks. Lastly, by loading log data into Splunk and creating relevant executive dashboards, the company was also able to start looking at business trends on activations, cancellations and other critical business metrics. Benefits: In addition to tremendous cost-savings, Cricket saw the following benefits with Splunk: ROI – Cricket reported an annual ROI savings of $1,300,000 by using SplunkApplication Monitoring – Helps prevent downtime and ensure rapid account activationVendor Management – Rapid recognition and understanding of where problems lie – with Cricket Communications’ applications or those provided by third partiesOperational Intelligence – Direct visibility into business transactions and subscriber selections