O documento fornece uma introdução sobre data science e machine learning, discutindo sua história, ferramentas e aplicações. Apresenta como a data science evoluiu a partir da ciência da computação e estatística e como hoje utiliza dados estruturados e não estruturados para prever o futuro. Também explica os principais conceitos, como extração, limpeza e análise de dados usando ferramentas como Python, e como a machine learning pode ser aplicada.

1. Overview of
Data Science and
Machine Learning
Gleydson Lima
gleydson@esig.com.br

2. Mas afinal,
o que é
data science?

3. História
In 1974, Naur começa utilizar o termo
Data Science em pesquisas sobre
processamento de dados.

4. História
Em 1997, C.F. Jeff Wu publica o artigo
"Statistics = Data Science?"

5. História
Em 2001, William S. Cleveland introduz
data science como uma disciplina
independente, expandindo a estatística
para incorporar as "vantagens da
computação com dados"
Ref: "Data Science: An Action Plan for Expanding the
Technical Areas of the Field of Statistics"

6. História
2003, a Columbia University (NY)
lança a publicação The Journal of
Data Science.

8. História
Em 1960, Peter Naur usou
Data Science como um
termo substituto à ciência
da computação.
Peter Naur
Backus-Naur Form (BNF)

9. História
2012 Harvard Business Review
article "Data Scientist: The Sexiest
Job of the 21st Century"

10. https://datafloq.com/read/the-top-7-big-data-trends-for-2017/2493

14. Passado Presente Futuro
Business Intelligence (BI)
Vendas T1:
80% abaixo da meta
Data Analysis
Aprender com o passado Modelo Vendas 2019,
2020...
timeline
Por que as vendas
foram abaixo da
meta?
fit predict
Machine
Learning

15. Cientista de
Dados
Engenheiro de
Dados
Engenheiro de
Software

16. Desktop
Apps
Mobile AppsWeb Apps
SW Process
Engenheiro de Software
Data Node 1
Engenheiro de Dados
clusters, nodes, shards, arbiters,
replication, fail-over, balancing,
big data, map-reduce, data
architectures
Data Node N
Data
Extraction
Data
Analysis
Data
Visualization
Machine
Learning
Statistics
Domain Problem
Expertise
Feature
Engineering
Cientista de
Dados
Data Collect
Sensores
IoT
External Sources

18. Dados não
estruturadosDados estruturados

20. Features Business Intelligence (BI) Data Science
Data Sources Structured
(Usually SQL, often Data
Warehouse)
Both Structured and Unstructured
( logs, cloud data, SQL, NoSQL,
text)
Approach Statistics and Visualization Statistics, Machine Learning, Graph
Analysis, Neuro- linguistic
Programming (NLP)
Focus Past and Present Past, Present and Future
BI x Data Science

21. Dat
Ferramentas

22. Extrair os dados e
transformá-losem
estruturas adequadas
ao processamento
(datasets)
• Tratar dados nulos
• Analisar outliers
• Feature engeneering
• Eliminar duplicidade
• Etc..
• Construir modelo de
Machine Learning
• Testar o modelo em
diferentes algoritmos e
abordagens
• Validar o modelo

23. 1. Linguagens
2. Ferramentas transversais
3. Data Store and Computing Big Data
4. Data Cleaning and Transform
5. Data Visualization anda Analyze
6. Machine Learning
7. Caminhos para aprender

24. Linguagens

25. Linguagens

27. Ferramentas transversais

28. Jupyter Notebook

29. Jupyter Notebook

30. Jupyter Notebook
código
markdown

31. Jupyter Lab

32. Google Colaboratory

33. Anaconda

34. Armazenamento

35. Data Store and Computing
Hadoop Distributed File System ( HDFS )

36. Data Store and Computing

38. Store and Analyze

39. 80% do tempo é
estimado com
limpeza e
transformação.

40. Data Clean and Transform
https://pandas.pydata.org/

41. Data Clean and Transform
http://www.numpy.org/

42. Data Visualization

43. Data Visualization
https://matplotlib.org/

44. Data Visualization
https://seaborn.pydata.org/

45. Data Visualization
https://plot.ly/

53. Machine Learning

54. Machine Learning

55. Scikit-learn

61. Como aprender?

67. https://www.youtube.com/watch?v=9rDhY1P3YLA

69. Oportunidade em Data Science
https://esig.com.br/portalsig/trabalhe-conosco/

70. gleydson.lima.esig
gleydsonlima
gleydson.lima.esig