O documento discute perfis de cientistas de dados nos Estados Unidos, incluindo: (1) o ambiente de pesquisa e desenvolvimento em empresas é ágil e baseado em feedback contínuo, (2) cientistas de dados lidam com problemas ambíguos e focam em abordagens baseadas em dados, (3) existem diferentes perfis como analistas de dados, cientistas de dados, cientistas de pesquisa e cientistas aplicados.
Os Perfis dos Cientistas de Dados nos Estados Unidos
1. 27/08/2020 - Workshop em Ciência de Dados
Perfil do Cientista de Dados
nos Estados Unidos
Thiago Schiavo Mosqueiro
Applied Scientist @ Amazon.com
thmosqueiro.vandroiy.com
Gravação disponível no Youtube:
https://www.youtube.com/watch?v=f4q8JMpifzQ
Opiniões nesta apresentação são pessoais
2. 27/08/2020 - Workshop em Ciência de Dados
Perfis de Cientistas de Dados
nos Estados Unidos
Thiago Schiavo Mosqueiro
Applied Scientist @ Amazon.com
thmosqueiro.vandroiy.com
Gravação disponível no Youtube:
https://www.youtube.com/watch?v=f4q8JMpifzQ
Opiniões nesta apresentação são pessoais
3. 27/08/2020 - Workshop em Ciência de Dados
Aviso:
Mantenha em mente que nada do que vou falar nessa
apresentação é regra e existem experiências muito diversas
na área de ciências de dados
4. 27/08/2020 - Workshop em Ciência de Dados
Conteúdo
Hoje vamos focar em perfis de cientistas e habilidades interpessoais que
são buscadas por empresas aqui nos EUA
Summário:
• Ambiente P&D em empresas nos EUA
• Cientistas como pessoas focadas em ambiguidade
• Alguns prefis de cientistas de dados
• Perguntas Frequentes sobre o mercado
5. 27/08/2020 - Workshop em Ciência de Dados
Ambiente de Pesquisa &
Desenvolvimento (P&D)
em empresas
6. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Visão do Produto
Requerimentos
Teste
Desenvolvimento
Lançamento e Operações
7. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Visão do Produto
Requerimentos
Teste
Lançamento e Operações
Desenvolvimento
Modelo Cascata
(waterfall)
8. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Visão do Produto
Requerimentos
Teste
Desenvolvimento
Lançamento e Operações
9. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Visão do Produto
Requerimentos
Teste
Desenvolvimento
Lançamento e Operações
Thanks Viktorvoigt,
at WikiMedia
10. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Visão do Produto
Requerimentos
Teste
Desenvolvimento
Lançamento e Operações
Onde eu posso
ajudar?
11. 27/08/2020 - Workshop em Ciência de Dados
Visão do produto e requirementos
Teste
Desenvolvimento
Lançamento e Operações
Visão do Produto
Requerimentos
Stakeholders
Gerentes
Engenheiro de
Software
12. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Teste
Desenvolvimento
Lançamento e Operações
Visão do Produto
Requerimentos
Eu quero X e Y sob
condições Z e W
Stakeholders
Gerentes
Engenheiro de
Software
Experimentos mostram
X é possível, mas Y é inviável.
Podemos remover a
condição Z?
13. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Teste
Desenvolvimento
Lançamento e Operações
Visão do Produto
Requerimentos
O que é necessário para
construir X?
Stakeholders
Gerentes
Engenheiro de
Software
Precisamos de um sistema
que realize tarefas […] e
precisamos de pessoas com
talentos […]
14. 27/08/2020 - Workshop em Ciência de Dados
Ciclo de vida mais comum de projetos
Teste
Desenvolvimento
Lançamento e Operações
Visão do Produto
Requerimentos
Quais os principais components
pra lançar a funcionalidade X?
Stakeholders
Gerentes
Engenheiro de
Software
Precisamos de um novo
modelo/métrica/[…] que
use dados […]
15. 27/08/2020 - Workshop em Ciência de Dados
Teste, lançamento e operações
Teste
Desenvolvimento
Lançamento e Operações
Stakeholders
Engenheiro de
Software
Visão do Produto
Requerimentos
Qual está sendo o impacto do
lançamento de X? A condição Z
era importante mesmo?
Usuários estão reportando
reviews muito melhores com X.
Dados mostram que sem
condição Z, nós perderíamos
10% dos usuários.
16. 27/08/2020 - Workshop em Ciência de Dados
Teste, lançamento e operações
Teste
Desenvolvimento
Lançamento e Operações
Stakeholders
Engenheiro de
Software
Visão do Produto
Requerimentos Qual forma de capturer defeitos
de forma automatizada?
Você pode adicionar checagem
em quando a confiança domodelo cai abaixo de 40%? Essas
Interações provavelmenteresultam eme defeitos.
17. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Desenvolvimento
Lançamento e Operações
StakeholdersGerentes
Engenheiro de
Software
18. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Desenvolvimento
Lançamento e Operações
StakeholdersGerentes
Engenheiro de
Software
19. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Desenvolvimento
Lançamento e Operações
Palavra chave costuma ser: Ambiente Ágil ou Rápido!
20. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Lançamento e Operações
Engenheiro de
Software
Desenvolvimento
21. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Lançamento e Operações
StakeholdersGerentes
Engenheiro de
Software
Im
pressõese
sugestões
Desenvolvimento
22. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Lançamento e Operações
Engenheiro de
Software
Desenvolvimento
23. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Lançamento e Operações
Engenheiro de
Software
StakeholdersGerentes
Requerimentos
mudaram, provê
atualizações ao projeto
Desenvolvimento
24. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Desenvolvimento
Lançamento e Operações
Engenheiro de
Software
StakeholdersGerentes
25. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Desenvolvimento
Lançamento e Operações
Engenheiro de
Software
StakeholdersGerentes
Muito similar ao ambiente de
desenvolvimento acadêmico!
Também similar à
pensamentos de
desenvolvimento ágil
26. 27/08/2020 - Workshop em Ciência de Dados
Visão do Produto
Requerimentos
Desenvolvimento
Teste
Desenvolvimento
Lançamento e Operações
Engenheiro de
Software
StakeholdersGerentes
Muito similar ao ambiente de
desenvolvimento acadêmico!
Também similar à
pensamentos de
desenvolvimento ágil
27. 27/08/2020 - Workshop em Ciência de Dados
Cientista de dados como pessoas
focadas em problemas ambiguos
28. 27/08/2020 - Workshop em Ciência de Dados
Similaridades com academia
Tema principal: Cientistas de dados focam em Trabalhar com Ambiguidade
• Tarefas mais ligadas a perguntas abertas:
“Como a gente pode descobrir qual das opções 1 e 2 de solução os
consumidores preferem?”
• Acostumado(a) a testar e mudar hipóteses via experimentação:
“O modelo X não conseguiu satisfazer o requiremento de Y, teremos que
adicionar variáveis de confusão.”
• Acostumado(a) a descrever raciocínios complexos de forma direta/concisa:
“Como eu posso fazer busca por jogos ser personalizada pra cada
consumidor?”
29. 27/08/2020 - Workshop em Ciência de Dados
P&D em empresas grandes
Cientistas costumam focar-se em:
• Abordagens baseadas em dados e matemática
• Problemas conceitualmente difíceis:
Qual a forma de resolver?
• Coleta e processamento de dados, modelagem, codificação
de modelo, experimentação
30. 27/08/2020 - Workshop em Ciência de Dados
R&D em empresas grandes
Cientistas costumam focar-se em:
• Abordagens baseadas em dados e matemática
• Problemas conceitualmente difíceis:
Qual a forma de resolver?
• Coleta e processamento de dados, modelagem, codificação
de modelo, experimentação
Engenheiros de Software costumam focar:
• Desenvolvimento de sistemas testáveis e que escalam
• Problemas difíceis de execução:
Como implementar e manter?
• Design de sistemas, desenvolvimento, criação de
processos, testes, soluções de reversão
31. 27/08/2020 - Workshop em Ciência de Dados
Perfis que melhor desempenham esse papel..
• São perfis que comunicam-se de forma clara com qualquer indíviduo
• Tendem a não dizer “não” antes de pensar com calma
• Aprendem quando dizer “não” para ideias sem fundamento científico
• Assumem um papel de criar uma cultura de experimentação
• São perfis que sabem como se comunicar de forma eficaz
32. 27/08/2020 - Workshop em Ciência de Dados
Perfis que melhor desempenham esse papel..
• São perfis que comunicam-se de forma clara com qualquer indíviduo
• Tendem a não dizer “não” antes de pensar com calma
• Aprendem quando dizer “não” para ideias sem fundamento científico
• Assumem um papel de criar uma cultura de experimentação
• São perfis que sabem como se comunicar de forma eficaz
38. 27/08/2020 - Workshop em Ciência de Dados
Alguns perfis diferentes de
cientistas de dados
39. 27/08/2020 - Workshop em Ciência de Dados
As categorizações que descrevo a seguir variam de
empresa para empresa, mas parecem estar começando
a se estabelecer como padrão cada vez mais…
40. 27/08/2020 - Workshop em Ciência de Dados
Perfis: Data Analyst / Business Intelligence
Experts em visualização e reportage de métricas
importantes para a empresa
Foco:
• Desenvolvimento de KPI
• Interface com Datawarehouses gigantes
• Referência em visualização de dados
• Suporta proposta de novas ideias usando
dados e métricas para estimar oportunidades
de ganhos
41. 27/08/2020 - Workshop em Ciência de Dados
Perfis: Data Analyst / Business Intelligence
Interage com…
• Stakeholders diretamente para explicar e
sumarizar impactos
• Cientistas para entender modelos dos
quais vai criar métricas e dashboards
• Engenheiros de dados para criar
mecanismos mais robustos para gerar e
publicar métricas
42. 27/08/2020 - Workshop em Ciência de Dados
Perfis: Data Scientist
Conexão entre problemas científicos mais elaborados
e áreas estratégicas para a empresa
Foco:
• Relatórios focados em analyses mais complexas
• Interface com Datawarehouses gigantes
• Análises ad-hoc e explanatórias (“quanto a gente
deve gastar no próximo quarter?”)
• Empodera processos de tomadas de decisão
critérios lógicos e dados
• Análises mais aprofundadas nos dados em busca
de padrões
43. 27/08/2020 - Workshop em Ciência de Dados
Perfis: Data Scientist
Interage com…
• Stakeholders para explicar e sumarizar
impactos
• Cientistas para ter conhecimento mais
aprofundado dos modelos usados pelas
soluções da empresa
• Engenheiros para tornar analyses ad-hoc
em processos reprodutíveis e contínuos
44. 27/08/2020 - Workshop em Ciência de Dados
Perfis: Research Scientists
Experts absolutos em conduzir pesquisas e testar
hipóteses inovadoras. Não necessáriamente
conhecem tantos detalhes in produtos ou software.
Foco:
• Inovação por meio de experimentação
• Criação de novos algorítmos e modelos
• Criação de provas de conceito (“in-lab”)
• Melhora methodologias e provê suporte a
tomada de decisão mais complexas
• Publica papers em jornais de relevância
• Mentora cientistas mais jovens
GoodFreePhotos
45. 27/08/2020 - Workshop em Ciência de Dados
Perfis: Applied Scientist
Experts em conduzir pesquisas e testar hipóteses
inovadoras, com sólido conhecimento de produto
e desenvolvimento.
Foco:
• Inovação por meio de experimentação
• Criação de novos algorítmos e modelos
• Implementação de algorítmos novos no
ecosistema da empresa
• Melhora methodologias e provê suporte a
tomada de decisão mais complexas de forma
reprodutível
• Publica papers em jornais de relevância
• Mentora cientistas mais jovens
GoodFreePhotos
46. 27/08/2020 - Workshop em Ciência de Dados
Perfis: Research/Applied Scientists
Interage com…
• Stakeholders para entender os problemas
que precisam ser resolvidos
• Cientistas para colaborar no
desevolvimento de soluções e métricas
• Engenheiros para desenhar e participar no
desenvolvimento mais robust das soluções
científicas propostas
47. 27/08/2020 - Workshop em Ciência de Dados
Engenheiros de dados e ML
Tendência recente dado interesse de
engenheiros em ciências de dados
Exemplo de distinção:
• Engenheiros de dados: Pipelines robustas com checagem de qualidade automatizadas
• Cientistas: Experimentação e criação de novas formas de processamento de dados
• Engenheiros de ML: Processos reprodutíveis para o ciclo de vida de modelos (seleção de
features, modificações de modelo, AutoML, etc)
• Cientistas: Foco em modelagem e formas inovadoras de resolver problemas
48. 27/08/2020 - Workshop em Ciência de Dados
Progressão de carreira
Business analyst Data Scientist Research Scientist Applied Scientist
49. 27/08/2020 - Workshop em Ciência de Dados
Progressão de carreira
Business analyst Data Scientist Research Scientist Applied Scientist
Data
Engineer
Software
Development
Engineer
50. 27/08/2020 - Workshop em Ciência de Dados
Empresas menores e inexperientes em R&D
• Cientistas tendem a receber muita visibilidade!
• Contrapartida:
• Falta de cultura científica estabelecida
• Maior esforço para convencer gerentes
• Naturalmente, há menos pessoas para realizar os
diferentes papeis comentados acima.
• É comum o cientista se tornar um “faz tudo”…
CEO
51. 27/08/2020 - Workshop em Ciência de Dados
Expectativas infladas
• Ambientes assim geram expectativas irrealistas…
• Mais do que ocasionalmente, a gerentes e
recrutas procuram um candidato que é
• independente,
• experiência com AWS+AZURE+Gcloud,
• lança modelos via docker,
• gerência clusters com Spark,
• experiência como scum master,
• propões e implementa KPIs,
• cria dashboards com Tableau,
• estima finanças,
• etc…
by GoodFreePhotos
52. 27/08/2020 - Workshop em Ciência de Dados
O mito do unicórnio
• Muitos de vocês conhecem todas essas
technologias….
• Mas exigir expertise em todos os itens, essas
são qualidades de um time inteiro, não uma
única pessoa.
• Se você identificar sinais de que estão
procurando um unicórnio, FUJA!
by GoodFreePhotos
54. 27/08/2020 - Workshop em Ciência de Dados
Qual o nível de inglês esperado?
• Inglês intermediário para avançado é padrão
• Dependendo do nível, ênfase na escrita:
• Ortografia é imprescindível
• Use expressões quando tiver certeza
• Escolher termos com precisão e clareza
• Resumir e ir direto ao ponto
• Não deixe de conferir ferramentas e técnicas
do NILC-USP:
http://www.nilc.icmc.usp.br/nilc
eConnekt
@pixabay
55. 27/08/2020 - Workshop em Ciência de Dados
Como são currículos de cientistas?
Bastante variado!
• Mas uma regra é simples: Conheça sua audiência,
e prepare um currículo focado!
• Em ambientes mais acadêmicos:
• Resume contêm competências e pontos mais relevantes do
seu histórico para chamar atenção pra você como candidato
(1 página)
• Curriculum vitae é um documento focado em sumarizar a
experiência e produção do candidato, incluindo detalhes
como histórico de publicação(>2 páginas).
56. 27/08/2020 - Workshop em Ciência de Dados
Como são currículos de cientistas?
• Ter papers é bastante importante em geral! Demonstra
experiência com textos revisados por outros experts
• Experiências ensinando, como professor ou tutor,
pontuam habilidades de liderança
• Links para materiais extras relevantes podem ajudar!
• Exemplos: Figuras, animações, video abstracts, blog posts com
metodologia, etc.
• Se tiver um website com portfolio, link!
57. 27/08/2020 - Workshop em Ciência de Dados
Qual a formação de cientista de dados nos EUA?
• Tendência dos últimos anos: Curso de Mestrado
• Currículo costuma abranger:
• Matemática aplicada
• Probabilidade
• Programação científica
• Estatística / bioestatística
• Design experimental
• Visualização de dados
• Aprendizagem de máquina
• Ética e privacidade
• Comunicação
• Entre outros….
• Existem também cursos focados (e.g. Finanças ou Genômica)
58. 27/08/2020 - Workshop em Ciência de Dados
https://ischoolonline.berkeley.edu/
data-science/curriculum/
59. 27/08/2020 - Workshop em Ciência de Dados
https://www.washington.edu/
datasciencemasters/curriculum/
60. 27/08/2020 - Workshop em Ciência de Dados
https://www.coursera.org/
specializations/jhu-data-science
61. 27/08/2020 - Workshop em Ciência de Dados
Como funciona trabalho remoto?
• A maioria das empresas é bastante aberta
com trabalhar de casa
[…mesmo antes da pandemia]
• A maioria dos gerentes consideram:
• Conforto para desempenhar trabalho
• Produtividade geral
• Não esgotar cientistas
• Sugestão: Fale com o hiring manager
diretamente!
PixaBay
62. 27/08/2020 - Workshop em Ciência de Dados
Quais os requisitos mínimos mais comuns?
Exigências comuns:
• Ensino superior em áreas relevantes (indiferente sobre qual
universidade)
• Programação científica, SQL e processamento de dados
• Experiência em resolução de problemas
Preferências comuns:
• Doutorado em área relevante (física, matemática, ciências da
computação, etc)
• Experiência com datawarehouse e Spark
• Visualização de dados e criação de KPIs
• Software specificos (Weka, SASS, Matlab, etc.)
66. 27/08/2020 - Workshop em Ciência de Dados
Quais os requisitos mínimos mais comuns?
Vaga bastante alinhada
com o perfil de um
analista de dados
67. 27/08/2020 - Workshop em Ciência de Dados
Como se preparar para aplicar? Salário, entrevista?
Existem diversos recursos, como
GlassDoor e LinkedIn!
Comentários são úteis para
aprender sobre o processo
seletivo e a experiência na
compania
Antes de aceitar propostas ou
negociar, faça sua pesquisa!
68. 27/08/2020 - Workshop em Ciência de Dados
Como se preparar para aplicar? Salário, entrevista?
Existem diversos recursos, como
GlassDoor e LinkedIn!
Comentários são úteis para
aprender sobre o processo
seletivo e a experiência na
compania
Antes de aceitar propostas ou
negociar, faça sua pesquisa!
69. 27/08/2020 - Workshop em Ciência de Dados
Qual linguagem de programação se focar?
• A maioria das posições disponíveis não
requerem uma linguagem específica!
• Python tem algumas vantagens:
• Simples e rápido para uma entrevista
• Comunidade engajada!
• Web está cheia de exemplos
• Documentação excelente
• Para ver linguagens mais desejadas e outras
estatísticas nos EUA, GlassDoor ou LinkedIn
são fontes confiáveis.
Wikipedia
70. 27/08/2020 - Workshop em Ciência de Dados
R ou Python?
• Python. Mas R também.
• Muitos vão dizer Python, devido à generalidade
da línguagem
• R ainda têm vantagens em diversas áreas (e.g.
Modelos Lineares Generalizados)
• Focar em algoritmos e metodologias cria
oportunidades para colaborar com
ambos os lados
Neutral President, do Planeta Neutro
(Futurama)
71. 27/08/2020 - Workshop em Ciência de Dados
Obrigado pela atenção! J
Para contato: thmosqueiro.vandroiy.com
Gravação disponível no Youtube:
https://www.youtube.com/watch?v=f4q8JMpifzQ