SlideShare uma empresa Scribd logo
1 de 27
Baixar para ler offline
Extração de dados da Plataforma Lattes: análise da rede de colaboração científica dos professores do PPGCC – UFLA 
Miguel Thiago Alvarenga 
Thiago Bellotti Furtado 
Programa de Pós-Graduação em Ciência da Computação – PPGCC 
Estudos Avançados em Mineração WEB e Aplicações - PCC519 1 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 11 de setembro de 2014
1. 
Contexto 
2. 
Objetivo 
3. 
Ferramentas 
4. 
Análises das redes 
5. 
Referencial Teórico 
Sumário 11 de setembro de 2014 2 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com
Contexto 11 de setembro de 2014 3 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
• 
“Rede é uma abstração que permite codificar algum tipo de relacionamento entre pares de objetos” (Figueiredo, 2013). 
• 
Vários tipos de formações de redes 
• 
Como entender seu comportamento? 
• 
Entender sua topologia. 
• 
Influências nos processos e funcionalidades 
• 
Modelos Matemáticos 
• 
Capturar aspectos topológicos
Objetivo 11 de setembro de 2014 4 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
Coletar informações científicas dos professores do Programa de Pós Graduação do Departamento de Ciência da Computação – PPGC na Plataforma Lattes, gerando uma rede de relacionamento para análise de interatividade.
Ferramentas 11 de setembro de 2014 5 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
2 ferramentas foram utilizadas: 
• 
ScriptLattes: 
• 
Linguagem Python (Open Source); 
• 
Coletar dados automatizada no Lattes; 
• 
Grafos, Representação Espacial e Gráficos; 
• 
Saída em HTML para análise dos resultados; 
• 
Arquivos de configuração (.conf e .list); 
• 
Base de dados em .gdf e .txt; 
• 
http://scriptlattes.sourceforge.net/; 
• 
Versão 8.09 (não gera xml).
Ferramentas 11 de setembro de 2014 6 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
• 
Gephi: 
• 
Versão 0.8.2; 
• 
Linguagem Java; 
• 
Análise de Redes; 
• 
Funções para analisar a topologia da rede; 
• 
https://gephi.github.io/
Ferramentas 11 de setembro de 2014 7 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
• 
ScriptLattes: 
Arquivo .list 
Id Lattes 
Nome Autor (vértices) 
1 - Configurar o arquivo .list informando os dados do autor
Ferramentas 11 de setembro de 2014 8 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
• 
ScriptLattes: 
Arquivo .config 
2 - Configurar o arquivo .config informando os dados a serem coletados
Ferramentas 11 de setembro de 2014 9 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
• 
ScriptLattes: 
2 - Execução 
$ cd <nome_diretorio_scriptLattes> 
$ ./scriptLattes.py ./exemplo/teste-03.config 
- Index.html - Teste-03.gdf - .css - .txt
Ferramentas 11 de setembro de 2014 10 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
• 
ScriptLattes: 
3 - Resultados
Ferramentas 11 de setembro de 2014 11 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
• 
Gephi: 
• 
Dados coletados pelo ScriptLattes importados no Gephi
Análise da Rede 11 de setembro de 2014 12 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
Distribuição de Grau: 0.899 
• 
Conexões entre os nós da rede
Análise da Rede 11 de setembro de 2014 13 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
Caminhos e Distância: 
 
Sequência de vértice sem repetição onde exista uma aresta 
 
Quão separados estão os dois nós mais distantes
Análise da Rede 11 de setembro de 2014 14 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
Colaboração 
Produção Bibliográfica
Análise da Rede 11 de setembro de 2014 15 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
Artigo em Periódico 
Livros
Análise da Rede 11 de setembro de 2014 16 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
Trabalho em congresso 
Capítulo de Livro
Análise da Rede 11 de setembro de 2014 17 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
Excentricidade 
Centralidade
Análise da Rede 11 de setembro de 2014 18 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
Centralidade de intermediação: 
 
Frequência que um nó aparece em caminhos mais curtos entre nós da rede.
Análise da Rede 11 de setembro de 2014 19 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
Centralidade de proximidade: 
 
Distância média de um determinado nó inicial para todos os demais nós da rede.
Análise da Rede 11 de setembro de 2014 20 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
Excentricidade: 
 
Distância de um determinado nó inicial até o nó mais distante dele na rede.
Análise da Rede 11 de setembro de 2014 21 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
Coeficiente de Clusterização: 0,000 (triangulação = 0) 
 
Indica como os nós estão inseridos em sua vizinhança 
 
Qual a chance de dois vértices que se conectam estarem conectado a outro
Análise da Rede 11 de setembro de 2014 22 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
Densidade da rede: 0,11 
 
Mede quanto que uma rede está próxima de ser completa.
Análise da Rede 11 de setembro de 2014 23 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
HITS: 
 
Calcula dois valores distintos para cada nó: Authirity e Hub; 
 
Authirity: mede o quanto são valiosas as informações armazenada naquele nó; 
 
Hub: mede a qualidade das conexões deste nó.
Análise da Rede 11 de setembro de 2014 24 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
 
PageRank: 
 
Classifica as “páginas” dos nós de acordo com a frequência com que um usuário, seguindo ligações de maneira não aleatória, chega à “página” do nó.
Referências Bibliográficas 11 de setembro de 2014 25 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
Mena-Chalco, J. P; Cesar Junior, R. M. ScriptLattes: an open-source knowledge extraction system from the Lattes platform. Journal of the Brazilian Computer Society, 15(4), 31-39. Recuperado em 10 de setembro de 2014, de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104- 65002009000400004&lng=pt&tlng=en. 10.1007/BF03194511. 
ScriptLattes: uma ferramenta para extração e visualização de conhecimento a partir de Currículo Lattes. Disponível em <http://scriptlattes.sourceforge.net/> 
Gephi: makes graphs handy. Disponível em <https://gephi.github.io/users/download/> 
Figueiredo, D. R. Introdução a Redes Complexas. Em: de Souza, A.F., Jr. Meira, W. (editores), Atualizações em Informática 2011, PUC-Rio, Cap. 7, pp 303--358, 2011
11 de setembro de 2014 26 
Dúvidas? 
Obrigado! 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com
11 de setembro de 2014 27 
Obrigado! 
miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 
1. 
Dados de 2010 a 2014 
2. 
Gerar 3 redes: 
1. 
Somente professores DCC 
2. 
Todos professores Mestrado 
3. 
Todos professores DCC 
3. 
Gerar rede UFOP do mestrado

Mais conteúdo relacionado

Semelhante a Extração de dados da Plataforma Lattes: análise da rede de colaboração científica dos professores do PPGCC – UFLA

Colaboração em software de código aberto: um framework para análise em re...
Colaboração em software de código aberto: um framework para análise em re...Colaboração em software de código aberto: um framework para análise em re...
Colaboração em software de código aberto: um framework para análise em re...William Rufino
 
Ampliando os Horizontes dos Profissionais de Redes através do Python
Ampliando os Horizontes dos Profissionais de Redes através do PythonAmpliando os Horizontes dos Profissionais de Redes através do Python
Ampliando os Horizontes dos Profissionais de Redes através do PythonIP10
 
Desmitificando as aplicações RESTFul usando Django Rest Framework
Desmitificando as aplicações RESTFul usando Django Rest FrameworkDesmitificando as aplicações RESTFul usando Django Rest Framework
Desmitificando as aplicações RESTFul usando Django Rest FrameworkBruno Oliveira
 
Collaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlay
Collaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlayCollaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlay
Collaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlayCiro Cavani
 
Programar 1215
Programar  1215Programar  1215
Programar 1215tugafree
 
Revista programar 51
Revista programar 51Revista programar 51
Revista programar 51Renato Lucena
 
Configuração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as codeConfiguração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as codeAécio Pires
 
TDCSP2019 - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...
TDCSP2019  - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...TDCSP2019  - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...
TDCSP2019 - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...Fulvio Mascara
 
Resenha _big_data_sentiment_analysis (3)
Resenha  _big_data_sentiment_analysis (3)Resenha  _big_data_sentiment_analysis (3)
Resenha _big_data_sentiment_analysis (3)Luana da Silva
 
Pentest em aplicações web (Daniel Moreno) (By- Slayer).pdf
Pentest em aplicações web (Daniel Moreno) (By- Slayer).pdfPentest em aplicações web (Daniel Moreno) (By- Slayer).pdf
Pentest em aplicações web (Daniel Moreno) (By- Slayer).pdfxererenhosdominaram
 
Junho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em pythonJunho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em pythonGrupo de Testes Carioca
 
Django - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em pythonDjango - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em pythonPaula Grangeiro
 
Sistemas de recomendações e neo4J na cloud computing
Sistemas de recomendações e neo4J na cloud computingSistemas de recomendações e neo4J na cloud computing
Sistemas de recomendações e neo4J na cloud computingPriscila Mayumi
 
Uso do GitHub no processo de desenvolvimento de software na Administração Púb...
Uso do GitHub no processo de desenvolvimento de software na Administração Púb...Uso do GitHub no processo de desenvolvimento de software na Administração Púb...
Uso do GitHub no processo de desenvolvimento de software na Administração Púb...Anne Caroline
 

Semelhante a Extração de dados da Plataforma Lattes: análise da rede de colaboração científica dos professores do PPGCC – UFLA (20)

Colaboração em software de código aberto: um framework para análise em re...
Colaboração em software de código aberto: um framework para análise em re...Colaboração em software de código aberto: um framework para análise em re...
Colaboração em software de código aberto: um framework para análise em re...
 
Introdução a Framework Flask
Introdução a Framework FlaskIntrodução a Framework Flask
Introdução a Framework Flask
 
Ampliando os Horizontes dos Profissionais de Redes através do Python
Ampliando os Horizontes dos Profissionais de Redes através do PythonAmpliando os Horizontes dos Profissionais de Redes através do Python
Ampliando os Horizontes dos Profissionais de Redes através do Python
 
Projeto ely
Projeto elyProjeto ely
Projeto ely
 
Apresentação para Agenda Digital do Ministério da Cultura
Apresentação para Agenda Digital do Ministério da CulturaApresentação para Agenda Digital do Ministério da Cultura
Apresentação para Agenda Digital do Ministério da Cultura
 
Desmitificando as aplicações RESTFul usando Django Rest Framework
Desmitificando as aplicações RESTFul usando Django Rest FrameworkDesmitificando as aplicações RESTFul usando Django Rest Framework
Desmitificando as aplicações RESTFul usando Django Rest Framework
 
Cp2011 python agil-ramiroluz
Cp2011 python agil-ramiroluzCp2011 python agil-ramiroluz
Cp2011 python agil-ramiroluz
 
Collaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlay
Collaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlayCollaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlay
Collaborative Filtering por Fatores Latentes - Recomendação para o GlobosatPlay
 
Programar 1215
Programar  1215Programar  1215
Programar 1215
 
Revista programar 51
Revista programar 51Revista programar 51
Revista programar 51
 
Configuração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as codeConfiguração de ativos de rede utilizando a abordagem infrastructure as code
Configuração de ativos de rede utilizando a abordagem infrastructure as code
 
TDCSP2019 - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...
TDCSP2019  - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...TDCSP2019  - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...
TDCSP2019 - Trilha: Machine Learning - Uso de PyTorch para aplicações de Vis...
 
Resenha _big_data_sentiment_analysis (3)
Resenha  _big_data_sentiment_analysis (3)Resenha  _big_data_sentiment_analysis (3)
Resenha _big_data_sentiment_analysis (3)
 
Pentest em aplicações web (Daniel Moreno) (By- Slayer).pdf
Pentest em aplicações web (Daniel Moreno) (By- Slayer).pdfPentest em aplicações web (Daniel Moreno) (By- Slayer).pdf
Pentest em aplicações web (Daniel Moreno) (By- Slayer).pdf
 
Junho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em pythonJunho 2016 - Django - A sua cápsula de soluções web em python
Junho 2016 - Django - A sua cápsula de soluções web em python
 
Django - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em pythonDjango - A sua cápsula de soluções web em python
Django - A sua cápsula de soluções web em python
 
OpenIoT
OpenIoT OpenIoT
OpenIoT
 
Sistemas de recomendações e neo4J na cloud computing
Sistemas de recomendações e neo4J na cloud computingSistemas de recomendações e neo4J na cloud computing
Sistemas de recomendações e neo4J na cloud computing
 
Uso do GitHub no processo de desenvolvimento de software na Administração Púb...
Uso do GitHub no processo de desenvolvimento de software na Administração Púb...Uso do GitHub no processo de desenvolvimento de software na Administração Púb...
Uso do GitHub no processo de desenvolvimento de software na Administração Púb...
 
Arquitetura peer to-peer (p2p)
Arquitetura peer to-peer (p2p)Arquitetura peer to-peer (p2p)
Arquitetura peer to-peer (p2p)
 

Extração de dados da Plataforma Lattes: análise da rede de colaboração científica dos professores do PPGCC – UFLA

  • 1. Extração de dados da Plataforma Lattes: análise da rede de colaboração científica dos professores do PPGCC – UFLA Miguel Thiago Alvarenga Thiago Bellotti Furtado Programa de Pós-Graduação em Ciência da Computação – PPGCC Estudos Avançados em Mineração WEB e Aplicações - PCC519 1 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 11 de setembro de 2014
  • 2. 1. Contexto 2. Objetivo 3. Ferramentas 4. Análises das redes 5. Referencial Teórico Sumário 11 de setembro de 2014 2 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com
  • 3. Contexto 11 de setembro de 2014 3 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com • “Rede é uma abstração que permite codificar algum tipo de relacionamento entre pares de objetos” (Figueiredo, 2013). • Vários tipos de formações de redes • Como entender seu comportamento? • Entender sua topologia. • Influências nos processos e funcionalidades • Modelos Matemáticos • Capturar aspectos topológicos
  • 4. Objetivo 11 de setembro de 2014 4 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com Coletar informações científicas dos professores do Programa de Pós Graduação do Departamento de Ciência da Computação – PPGC na Plataforma Lattes, gerando uma rede de relacionamento para análise de interatividade.
  • 5. Ferramentas 11 de setembro de 2014 5 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 2 ferramentas foram utilizadas: • ScriptLattes: • Linguagem Python (Open Source); • Coletar dados automatizada no Lattes; • Grafos, Representação Espacial e Gráficos; • Saída em HTML para análise dos resultados; • Arquivos de configuração (.conf e .list); • Base de dados em .gdf e .txt; • http://scriptlattes.sourceforge.net/; • Versão 8.09 (não gera xml).
  • 6. Ferramentas 11 de setembro de 2014 6 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com • Gephi: • Versão 0.8.2; • Linguagem Java; • Análise de Redes; • Funções para analisar a topologia da rede; • https://gephi.github.io/
  • 7. Ferramentas 11 de setembro de 2014 7 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com • ScriptLattes: Arquivo .list Id Lattes Nome Autor (vértices) 1 - Configurar o arquivo .list informando os dados do autor
  • 8. Ferramentas 11 de setembro de 2014 8 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com • ScriptLattes: Arquivo .config 2 - Configurar o arquivo .config informando os dados a serem coletados
  • 9. Ferramentas 11 de setembro de 2014 9 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com • ScriptLattes: 2 - Execução $ cd <nome_diretorio_scriptLattes> $ ./scriptLattes.py ./exemplo/teste-03.config - Index.html - Teste-03.gdf - .css - .txt
  • 10. Ferramentas 11 de setembro de 2014 10 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com • ScriptLattes: 3 - Resultados
  • 11. Ferramentas 11 de setembro de 2014 11 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com • Gephi: • Dados coletados pelo ScriptLattes importados no Gephi
  • 12. Análise da Rede 11 de setembro de 2014 12 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  Distribuição de Grau: 0.899 • Conexões entre os nós da rede
  • 13. Análise da Rede 11 de setembro de 2014 13 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  Caminhos e Distância:  Sequência de vértice sem repetição onde exista uma aresta  Quão separados estão os dois nós mais distantes
  • 14. Análise da Rede 11 de setembro de 2014 14 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com Colaboração Produção Bibliográfica
  • 15. Análise da Rede 11 de setembro de 2014 15 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com Artigo em Periódico Livros
  • 16. Análise da Rede 11 de setembro de 2014 16 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com Trabalho em congresso Capítulo de Livro
  • 17. Análise da Rede 11 de setembro de 2014 17 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com Excentricidade Centralidade
  • 18. Análise da Rede 11 de setembro de 2014 18 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  Centralidade de intermediação:  Frequência que um nó aparece em caminhos mais curtos entre nós da rede.
  • 19. Análise da Rede 11 de setembro de 2014 19 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  Centralidade de proximidade:  Distância média de um determinado nó inicial para todos os demais nós da rede.
  • 20. Análise da Rede 11 de setembro de 2014 20 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  Excentricidade:  Distância de um determinado nó inicial até o nó mais distante dele na rede.
  • 21. Análise da Rede 11 de setembro de 2014 21 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  Coeficiente de Clusterização: 0,000 (triangulação = 0)  Indica como os nós estão inseridos em sua vizinhança  Qual a chance de dois vértices que se conectam estarem conectado a outro
  • 22. Análise da Rede 11 de setembro de 2014 22 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  Densidade da rede: 0,11  Mede quanto que uma rede está próxima de ser completa.
  • 23. Análise da Rede 11 de setembro de 2014 23 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  HITS:  Calcula dois valores distintos para cada nó: Authirity e Hub;  Authirity: mede o quanto são valiosas as informações armazenada naquele nó;  Hub: mede a qualidade das conexões deste nó.
  • 24. Análise da Rede 11 de setembro de 2014 24 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com  PageRank:  Classifica as “páginas” dos nós de acordo com a frequência com que um usuário, seguindo ligações de maneira não aleatória, chega à “página” do nó.
  • 25. Referências Bibliográficas 11 de setembro de 2014 25 miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com Mena-Chalco, J. P; Cesar Junior, R. M. ScriptLattes: an open-source knowledge extraction system from the Lattes platform. Journal of the Brazilian Computer Society, 15(4), 31-39. Recuperado em 10 de setembro de 2014, de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104- 65002009000400004&lng=pt&tlng=en. 10.1007/BF03194511. ScriptLattes: uma ferramenta para extração e visualização de conhecimento a partir de Currículo Lattes. Disponível em <http://scriptlattes.sourceforge.net/> Gephi: makes graphs handy. Disponível em <https://gephi.github.io/users/download/> Figueiredo, D. R. Introdução a Redes Complexas. Em: de Souza, A.F., Jr. Meira, W. (editores), Atualizações em Informática 2011, PUC-Rio, Cap. 7, pp 303--358, 2011
  • 26. 11 de setembro de 2014 26 Dúvidas? Obrigado! miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com
  • 27. 11 de setembro de 2014 27 Obrigado! miguelthiago.ufla@gmail.com – thiagobellotti@gmail.com 1. Dados de 2010 a 2014 2. Gerar 3 redes: 1. Somente professores DCC 2. Todos professores Mestrado 3. Todos professores DCC 3. Gerar rede UFOP do mestrado