SlideShare uma empresa Scribd logo
ANÁLISE DA DESISTÊNCIA DE
NOVATOS EM PROJETOS DE
SOFTWARE LIVRE:
CASO DO PROJETO HADOOP COMMON
Igor Steinmacher
Igor Scaliante Wiese
Ana Paula Chaves
Marco Aurélio Gerosa
CONTEXTO
“Um novato em projeto de software é
como um explorador que precisa se
orientar em um ambiente hostil...”
                     [Degenais et al. 2010]




                                              ... e precisam de ajuda para dar
                                              seus passos iniciais
                                         B. Dagenais, H. Ossher, R.K.E Bellamy, M.P. Robillard and J.P.
                                         de Vries, Moving into a new software project landscape, in
                                         ICSE 2010.




                                                                                                    2
PROBLEMA

Taxa de retenção de novatos em
projetos de software livre é baixa




                                     3
PROBLEMA




• Bongwon Suh, Gregorio Convertino, Ed H. Chi, and Peter Pirolli. 2009. The singularity is not near:
  slowing growth of Wikipedia. In WikiSym '09. ACM, New York, NY, USA, , Article 8 , 10 pages.
• Parul Vora, Naoko Komura. 2010. The n00b Wikipedia Editing Experience. In WikiSym '10.
• Aaron Halfaker, Aniket Kittur, and John Riedl. 2011. Don't bite the newbies: how reverts affect the
  quantity and quality of Wikipedia work. In WikiSym '11.
• Loxley Sijia Wang, Jilin Chen, Yuqing Ren, and John Riedl. Study/Results
                             Fonte: Wikimedia Editor Trends 2012. Searching for the goldilocks zone:
                             <http://strategy.wikimedia.org/?oldid=80283>




                                                                                                        4
  trade-offs in managing online volunteer groups. In CSCW '12.
OBJETIVO
Questão de Pesquisa:

  Ausência de resposta, polidez, utilidade ou o tipo de autor das
 respostas influencia na permanência de novatos em um projeto
                        de software livre?


Objetivos Específicos:
  • Durante as primeiras interações dos novatos com o projeto
      • OE1: Verificar se os novatos recebem respostas;
      • OE2: Observar quem são os autores das respostas às dúvidas
        dos novatos; e
      • OE3: Classificar as respostas recebidas pelos novatos.




                                                                     5
DADOS COLETADOS
Projeto Hadoop Common
60 meses
 • Lista de e-mails
      • 9285 discussões
      • 50128 mensagens
 • Discussões nas tarefas (Jira)
      • 7721 tarefas
      • 76065 comentários




                                   6
Lista
Tarefas   e-mails



                                                   MÉTODO
  Jira



               Mineradores




                     Identificação dos                               Verificação dos
                                             Identificação dos
                    membros existentes                                novatos que
                                                “novatos”
                         no projeto                                      ficaram
                                                (6 meses)
                        (36 meses)                                     (6 meses)
               1                         2                       3


                                               Verificação dos       Verificação dos
                                                   novatos             novatos que
                                               “desistentes”         “continuaram”
                                                 (6 meses)            (+ 12 meses)
                                         3                       4


                                                 Envio de
                                                questionário




                                                                                       7
RESULTADOS (RETENÇÃO)
Novatos na Lista de e-mails
                                             # usuários   % dos existentes   % dos novatos
                 Existentes (intervalo 1)          677

                 Novatos (intervalo 2)              67             9,90%
                 Ficaram (intervalo 3)              20             2,95%           29,85%
                 Continuaram (intervalo 4)          12             1,77%           17,91%



Novatos no Gerenciador de tarefas (Jira)
                                             # usuários   % dos existentes   % dos novatos
                 Existentes (intervalo 1)          483

                 Novatos (intervalo 2)             127            26,29%
                 Ficaram (intervalo 3)              30             6,21%           23,62%
                 Continuaram (intervalo 4)          17             3,52%           13,39%




                                                                                             8
OE1:
   OS NOVATOS SÃO RESPONDIDOS?
Novatos na Lista de e-mails
                         # pessoas        Desistiram      Aparecem nos
                                                         intervalos 3 e 4
       Sem resposta                  13     11 (84,6%)           2 (15,4%)
       Com resposta                  34     30 (88,2%)           4 (11,8%)


Novatos no Gerenciador de tarefas (Jira)
                         # pessoas        Desistiram      Aparecem nos
                                                         intervalos 3 e 4
       Sem comentários               7      6 (85,7%)           1 (14,3%)
       Com comentários           71        55 (77,5%)          16 (22,5%)




                                                                             9
OE2:
    QUEM RESPONDE AOS NOVATOS?
Lista de e-mails


20 discussões
de novatos que
desistiram
tiveram alguma
resposta de
outros novatos


                                       Nenhuma mensagem
                                       de novato respondida
                                       apenas por novatos.
                                       Apenas 2 discussões
                                       têm participação de
                                       outros novatos

•   Indícios de que experiência dos autores de respostas influencia a permanência
•   Verificou-se que alguns novatos responderam questões de maneira equivocada ou




                                                                                    10
    que não continham informações úteis
OE2:
     QUEM RESPONDE AOS NOVATOS?
               Jira


39 relatos (45%)
não contaram
com membros
centrais.
Participação
heterogênea.




                                      11 relatos (28%)
                                      não contaram com
                                      membros centrais.
                                      Participação
                                      heterogênea

 • Discussões mais extensas (# mensagens trocadas)
 • Maior contribuição dos membros centrais, e mais respostas de novatos




                                                                          11
 • Discussões mais contextualizadas, focadas, e extensas (# mensagens)
OE3: QUE TIPO DE RESPOSTA
   OS NOVATOS RECEBEM?
Lista de E-mails
         Tipo da Resposta       Desistiram            Continuaram
   Ajuda / No Tópico                         20                      7
   Não Útil / Outra questão                   5                      0
   Não Útil / Fora do tópico                  3                      0
   Indiferente                                1                      0
   Outro                                      4                      0

Gerenciador de Tarefas
   • respostas no tópico, contextualizadas e com informações úteis
   • não houve alterações ou padrões a tratar no contexto dessa questão




                                                                          12
QUESTIONÁRIO (DESISTENTES)
1. Você se lembra de ter enviado email à lista hadoop-common-dev?
2. À época, você estava interessado em continuar contribuindo com o projeto Hadoop?
          2a. Caso tenha respondido SIM à questão 2, por que desistiu?
          2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar
          mensagens à lista de desenvolvedores?
3. Você contribuiu com algum projeto de software livre depois de Junho de 2009?
4. Você já havia contribuído com algum projeto de software livre antes de Junho de 2009?



                    Questão 1      Questão 2      Questão 3     Questão 4
    Sim                   13             11
                                          11              1             7
    Não                     0              2            12              6




                                                                                           13
QUESTIONÁRIO (DESISTENTES)
 2a. Caso tenha respondido SIM à questão 2, por que desistiu?
 2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar
 mensagens à lista de desenvolvedores?
                                                        Resposta à questão 2
                    Tipo da Resposta
                                                       Sim (2a)       Não (2b)
 i. Era usuário e só quis esclarecer dúvidas              0               2
 ii. Pergunta não respondida ou resposta não agradou      2               0
 iii. Falta de ajuda em escolher tarefa                   3               0
 iv. Diz não ter sido aceito pelo projeto                 1               0
 v. Mudou de foco ou empresa                              4               0
 vi. Voltou depois ao projeto                             1               0

“... meu problema era como começar a contribuir... se eu tivesse alguém
para segurar minha mão, isso poderia ter ajudado...”




                                                                                 14
“eles não responderam à minha pergunta”.
CONCLUSÕES
 Ausência de resposta, polidez, utilidade ou o tipo de autor das
respostas influencia na permanência de novatos em um projeto
                       de software livre?

  ausência de resposta
 polidez da resposta  má recepção (questionário)
 utilidade da resposta  direcionamento / mensagens negativas
 tipo do autor  experiência de quem responde
  Adicionalmente  fatores externos

  As interações iniciais exercem influência na decisão de permanecer
   colaborando no projeto
       “Habilidades sociais” são requeridas




                                                                        15
OPORTUNIDADES FUTURAS
Estender a análise para outros projetos


Estabelecer uma classificação mais rigorosa
  • Entrevistas com outros desistentes e conduzir estudos de caso
    específicos


Estudar proposta de uma abordagem para análise automatizada
do conteúdo do padrão das discussões (análise de discurso)




                                                                    16
PERGUNTAS?


Igor Steinmacher       Ana Paula Chaves
igorfs@utfpr.edu.br    anachaves@utfpr.edu.br
Igor Scaliante Wiese   Marco Aurélio Gerosa
igor@utfpr.edu.br      gerosa@ime.usp.br

Mais conteúdo relacionado

Destaque

ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...
ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...
ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...
Igor Steinmacher
 
Sat. challenge mfs 96 kg bracket
Sat. challenge mfs 96 kg bracketSat. challenge mfs 96 kg bracket
Sat. challenge mfs 96 kg bracket
purebader
 
Bhasker shrivastava cv
Bhasker shrivastava cvBhasker shrivastava cv
Bhasker shrivastava cv
bhasker shrivastava
 
Deja que la vida se exprese a traves
Deja que la vida se exprese a travesDeja que la vida se exprese a traves
Deja que la vida se exprese a traves
Mercedes Mata
 
Saq412 13
Saq412 13Saq412 13
Saq412 13
adarmejear
 
Examen 3 fredy_ortega
Examen 3 fredy_ortegaExamen 3 fredy_ortega
Examen 3 fredy_ortega
jorgepaez2012
 
Parapsychologie1 gruppe6
Parapsychologie1 gruppe6Parapsychologie1 gruppe6
Parapsychologie1 gruppe6
Erasmus+
 
Chupacabra Gruppe3
Chupacabra Gruppe3Chupacabra Gruppe3
Chupacabra Gruppe3
Erasmus+
 
Sn rk 2050
Sn rk 2050Sn rk 2050
Sn rk 2050
farefare80
 
Transistores
TransistoresTransistores
Transistores
Carlos Saenz
 
Mas alla-del-estres
Mas alla-del-estresMas alla-del-estres
Mas alla-del-estres
cavalim
 
Reinkarnation
ReinkarnationReinkarnation
Reinkarnation
Erasmus+
 

Destaque (14)

ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...
ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...
ICSE 2016 - Overcoming Open Source Project Entry Barriers with a Portal for N...
 
Sat. challenge mfs 96 kg bracket
Sat. challenge mfs 96 kg bracketSat. challenge mfs 96 kg bracket
Sat. challenge mfs 96 kg bracket
 
Bhasker shrivastava cv
Bhasker shrivastava cvBhasker shrivastava cv
Bhasker shrivastava cv
 
Deja que la vida se exprese a traves
Deja que la vida se exprese a travesDeja que la vida se exprese a traves
Deja que la vida se exprese a traves
 
Resolución 038 2015
Resolución 038 2015Resolución 038 2015
Resolución 038 2015
 
Saq412 13
Saq412 13Saq412 13
Saq412 13
 
Examen 3 fredy_ortega
Examen 3 fredy_ortegaExamen 3 fredy_ortega
Examen 3 fredy_ortega
 
Parapsychologie1 gruppe6
Parapsychologie1 gruppe6Parapsychologie1 gruppe6
Parapsychologie1 gruppe6
 
Chupacabra Gruppe3
Chupacabra Gruppe3Chupacabra Gruppe3
Chupacabra Gruppe3
 
Sn rk 2050
Sn rk 2050Sn rk 2050
Sn rk 2050
 
Cartelmaleta
CartelmaletaCartelmaleta
Cartelmaleta
 
Transistores
TransistoresTransistores
Transistores
 
Mas alla-del-estres
Mas alla-del-estresMas alla-del-estres
Mas alla-del-estres
 
Reinkarnation
ReinkarnationReinkarnation
Reinkarnation
 

Último

Ferramentas que irão te ajudar a entrar no mundo de DevOps/CLoud
Ferramentas que irão te ajudar a entrar no mundo de   DevOps/CLoudFerramentas que irão te ajudar a entrar no mundo de   DevOps/CLoud
Ferramentas que irão te ajudar a entrar no mundo de DevOps/CLoud
Ismael Ash
 
INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...
INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...
INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...
Faga1939
 
Aula combustiveis mais utilizados na indústria
Aula combustiveis mais utilizados na indústriaAula combustiveis mais utilizados na indústria
Aula combustiveis mais utilizados na indústria
zetec10
 
Apresentação sobre Deep Web e anonimização
Apresentação sobre Deep Web e anonimizaçãoApresentação sobre Deep Web e anonimização
Apresentação sobre Deep Web e anonimização
snerdct
 
Subindo uma aplicação WordPress em docker na AWS
Subindo uma aplicação WordPress em docker na AWSSubindo uma aplicação WordPress em docker na AWS
Subindo uma aplicação WordPress em docker na AWS
Ismael Ash
 
se38_layout_erro_xxxxxxxxxxxxxxxxxx.docx
se38_layout_erro_xxxxxxxxxxxxxxxxxx.docxse38_layout_erro_xxxxxxxxxxxxxxxxxx.docx
se38_layout_erro_xxxxxxxxxxxxxxxxxx.docx
ronaldos10
 

Último (6)

Ferramentas que irão te ajudar a entrar no mundo de DevOps/CLoud
Ferramentas que irão te ajudar a entrar no mundo de   DevOps/CLoudFerramentas que irão te ajudar a entrar no mundo de   DevOps/CLoud
Ferramentas que irão te ajudar a entrar no mundo de DevOps/CLoud
 
INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...
INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...
INTELIGÊNCIA ARTIFICIAL + COMPUTAÇÃO QUÂNTICA = MAIOR REVOLUÇÃO TECNOLÓGICA D...
 
Aula combustiveis mais utilizados na indústria
Aula combustiveis mais utilizados na indústriaAula combustiveis mais utilizados na indústria
Aula combustiveis mais utilizados na indústria
 
Apresentação sobre Deep Web e anonimização
Apresentação sobre Deep Web e anonimizaçãoApresentação sobre Deep Web e anonimização
Apresentação sobre Deep Web e anonimização
 
Subindo uma aplicação WordPress em docker na AWS
Subindo uma aplicação WordPress em docker na AWSSubindo uma aplicação WordPress em docker na AWS
Subindo uma aplicação WordPress em docker na AWS
 
se38_layout_erro_xxxxxxxxxxxxxxxxxx.docx
se38_layout_erro_xxxxxxxxxxxxxxxxxx.docxse38_layout_erro_xxxxxxxxxxxxxxxxxx.docx
se38_layout_erro_xxxxxxxxxxxxxxxxxx.docx
 

Análise da Desistência de Novatos em Projetos de Software Livre: Caso do Projeto Hadoop Common

  • 1. ANÁLISE DA DESISTÊNCIA DE NOVATOS EM PROJETOS DE SOFTWARE LIVRE: CASO DO PROJETO HADOOP COMMON Igor Steinmacher Igor Scaliante Wiese Ana Paula Chaves Marco Aurélio Gerosa
  • 2. CONTEXTO “Um novato em projeto de software é como um explorador que precisa se orientar em um ambiente hostil...” [Degenais et al. 2010] ... e precisam de ajuda para dar seus passos iniciais B. Dagenais, H. Ossher, R.K.E Bellamy, M.P. Robillard and J.P. de Vries, Moving into a new software project landscape, in ICSE 2010. 2
  • 3. PROBLEMA Taxa de retenção de novatos em projetos de software livre é baixa 3
  • 4. PROBLEMA • Bongwon Suh, Gregorio Convertino, Ed H. Chi, and Peter Pirolli. 2009. The singularity is not near: slowing growth of Wikipedia. In WikiSym '09. ACM, New York, NY, USA, , Article 8 , 10 pages. • Parul Vora, Naoko Komura. 2010. The n00b Wikipedia Editing Experience. In WikiSym '10. • Aaron Halfaker, Aniket Kittur, and John Riedl. 2011. Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In WikiSym '11. • Loxley Sijia Wang, Jilin Chen, Yuqing Ren, and John Riedl. Study/Results Fonte: Wikimedia Editor Trends 2012. Searching for the goldilocks zone: <http://strategy.wikimedia.org/?oldid=80283> 4 trade-offs in managing online volunteer groups. In CSCW '12.
  • 5. OBJETIVO Questão de Pesquisa: Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto de software livre? Objetivos Específicos: • Durante as primeiras interações dos novatos com o projeto • OE1: Verificar se os novatos recebem respostas; • OE2: Observar quem são os autores das respostas às dúvidas dos novatos; e • OE3: Classificar as respostas recebidas pelos novatos. 5
  • 6. DADOS COLETADOS Projeto Hadoop Common 60 meses • Lista de e-mails • 9285 discussões • 50128 mensagens • Discussões nas tarefas (Jira) • 7721 tarefas • 76065 comentários 6
  • 7. Lista Tarefas e-mails MÉTODO Jira Mineradores Identificação dos Verificação dos Identificação dos membros existentes novatos que “novatos” no projeto ficaram (6 meses) (36 meses) (6 meses) 1 2 3 Verificação dos Verificação dos novatos novatos que “desistentes” “continuaram” (6 meses) (+ 12 meses) 3 4 Envio de questionário 7
  • 8. RESULTADOS (RETENÇÃO) Novatos na Lista de e-mails # usuários % dos existentes % dos novatos Existentes (intervalo 1) 677 Novatos (intervalo 2) 67 9,90% Ficaram (intervalo 3) 20 2,95% 29,85% Continuaram (intervalo 4) 12 1,77% 17,91% Novatos no Gerenciador de tarefas (Jira) # usuários % dos existentes % dos novatos Existentes (intervalo 1) 483 Novatos (intervalo 2) 127 26,29% Ficaram (intervalo 3) 30 6,21% 23,62% Continuaram (intervalo 4) 17 3,52% 13,39% 8
  • 9. OE1: OS NOVATOS SÃO RESPONDIDOS? Novatos na Lista de e-mails # pessoas Desistiram Aparecem nos intervalos 3 e 4 Sem resposta 13 11 (84,6%) 2 (15,4%) Com resposta 34 30 (88,2%) 4 (11,8%) Novatos no Gerenciador de tarefas (Jira) # pessoas Desistiram Aparecem nos intervalos 3 e 4 Sem comentários 7 6 (85,7%) 1 (14,3%) Com comentários 71 55 (77,5%) 16 (22,5%) 9
  • 10. OE2: QUEM RESPONDE AOS NOVATOS? Lista de e-mails 20 discussões de novatos que desistiram tiveram alguma resposta de outros novatos Nenhuma mensagem de novato respondida apenas por novatos. Apenas 2 discussões têm participação de outros novatos • Indícios de que experiência dos autores de respostas influencia a permanência • Verificou-se que alguns novatos responderam questões de maneira equivocada ou 10 que não continham informações úteis
  • 11. OE2: QUEM RESPONDE AOS NOVATOS? Jira 39 relatos (45%) não contaram com membros centrais. Participação heterogênea. 11 relatos (28%) não contaram com membros centrais. Participação heterogênea • Discussões mais extensas (# mensagens trocadas) • Maior contribuição dos membros centrais, e mais respostas de novatos 11 • Discussões mais contextualizadas, focadas, e extensas (# mensagens)
  • 12. OE3: QUE TIPO DE RESPOSTA OS NOVATOS RECEBEM? Lista de E-mails Tipo da Resposta Desistiram Continuaram Ajuda / No Tópico 20 7 Não Útil / Outra questão 5 0 Não Útil / Fora do tópico 3 0 Indiferente 1 0 Outro 4 0 Gerenciador de Tarefas • respostas no tópico, contextualizadas e com informações úteis • não houve alterações ou padrões a tratar no contexto dessa questão 12
  • 13. QUESTIONÁRIO (DESISTENTES) 1. Você se lembra de ter enviado email à lista hadoop-common-dev? 2. À época, você estava interessado em continuar contribuindo com o projeto Hadoop? 2a. Caso tenha respondido SIM à questão 2, por que desistiu? 2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores? 3. Você contribuiu com algum projeto de software livre depois de Junho de 2009? 4. Você já havia contribuído com algum projeto de software livre antes de Junho de 2009? Questão 1 Questão 2 Questão 3 Questão 4 Sim 13 11 11 1 7 Não 0 2 12 6 13
  • 14. QUESTIONÁRIO (DESISTENTES) 2a. Caso tenha respondido SIM à questão 2, por que desistiu? 2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores? Resposta à questão 2 Tipo da Resposta Sim (2a) Não (2b) i. Era usuário e só quis esclarecer dúvidas 0 2 ii. Pergunta não respondida ou resposta não agradou 2 0 iii. Falta de ajuda em escolher tarefa 3 0 iv. Diz não ter sido aceito pelo projeto 1 0 v. Mudou de foco ou empresa 4 0 vi. Voltou depois ao projeto 1 0 “... meu problema era como começar a contribuir... se eu tivesse alguém para segurar minha mão, isso poderia ter ajudado...” 14 “eles não responderam à minha pergunta”.
  • 15. CONCLUSÕES Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto de software livre?  ausência de resposta polidez da resposta  má recepção (questionário) utilidade da resposta  direcionamento / mensagens negativas tipo do autor  experiência de quem responde  Adicionalmente  fatores externos  As interações iniciais exercem influência na decisão de permanecer colaborando no projeto  “Habilidades sociais” são requeridas 15
  • 16. OPORTUNIDADES FUTURAS Estender a análise para outros projetos Estabelecer uma classificação mais rigorosa • Entrevistas com outros desistentes e conduzir estudos de caso específicos Estudar proposta de uma abordagem para análise automatizada do conteúdo do padrão das discussões (análise de discurso) 16
  • 17. PERGUNTAS? Igor Steinmacher Ana Paula Chaves igorfs@utfpr.edu.br anachaves@utfpr.edu.br Igor Scaliante Wiese Marco Aurélio Gerosa igor@utfpr.edu.br gerosa@ime.usp.br