O slideshow foi denunciado.
Seu SlideShare está sendo baixado. ×

Ciência Aberta e os requisitos dos financiadores: Open Access e Open Data no H2020

Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio

Confira estes a seguir

1 de 98 Anúncio

Ciência Aberta e os requisitos dos financiadores: Open Access e Open Data no H2020

Baixar para ler offline

Apresentação no workshop OpenAIRE na Universidade do Algarve, atividade promovida pela Biblioteca da UAlg - Abril 2017.

Apresentação no workshop OpenAIRE na Universidade do Algarve, atividade promovida pela Biblioteca da UAlg - Abril 2017.

Anúncio
Anúncio

Mais Conteúdo rRelacionado

Diapositivos para si (16)

Semelhante a Ciência Aberta e os requisitos dos financiadores: Open Access e Open Data no H2020 (16)

Anúncio

Mais recentes (20)

Ciência Aberta e os requisitos dos financiadores: Open Access e Open Data no H2020

  1. 1. CIÊNCIA ABERTA e os requisitos dos financiadores: Open Access e Open Data no H2020 Universidade do Algarve, 28 de abril de 2017 Pedro Príncipe Universidade do Minho (OpenAIRE)
  2. 2. AGENDA 2 Open Access no H2020: publicações 1 Open Data no H2020: dados 2 Serviços e ferramentas OpenAIRE 3
  3. 3. OPEN ACCESS INFRASTRUCTURE OpenAIRE for research in Europe 3 www.openaire.eu
  4. 4. Projeto orientado pelas políticas Open Access da CE Infraestrutura de base participativa Sistema Integrado de Info Científica Infraestrutura que resulta de: 4
  5. 5. POLÍTICAS OPEN ACCESS NA UNIÃO EUROPEIA OpenAIRE apoia a implementação das 6 SERVIÇO PARA A COMISSÃO EUROPEIA DO OPEN ACCESS NO H2020 PROMOÇÃO E ALINHAMENTO DE POLÍTICAS NACIONAIS SISTEMA DE INFO PARA IDENTIFICAÇÃO DE RESULTADOS, MONITORIZAÇÃO
  6. 6. As políticas dos financiadores As Políticas Europeias no 7ºPQ e no Horizonte 2020 A política da Fundação para a Ciência e a Tecnologia
  7. 7. O acesso aberto como prática padrão de disseminação da investigação resultante de financiamento público da UE. A CE recomendou aos Estados Membros: • Desenvolvimento de políticas nacionais para disponibilizar em acesso aberto a investigação resultante de financiamento. • E aos financiadores de ciência e instituições o desenvolvimento das suas próprias políticas, coordenadas a nível nacional e Europeu.
  8. 8. Open Innovation, Open Science, Open to the World Carlos Moedas Comissário Europeu para a Investigação, Ciência e Inovação, 2015 “ ”
  9. 9. Acesso Aberto no H2020 1
  10. 10. DEFAULT O Open Access é o para os resultados de investigação no H2020
  11. 11. 10 anos para o default OPEN ACCESS da CE 12 Piloto OA do 7ºPQ (2008) • Acordos com Claúsula Especial 39 • 20% das áreas do programa • Depósito em repositórios • Orientações do ERC: Depósito em repositórios (disciplinar/institucional) e embargo. Horizonte 2020 (2014) • Todos os acordos • 100% das áreas do programa • Depósito em Repositórios • Projeto-piloto de Dados Científicos Abertos
  12. 12. Multi-beneficiary General Model Grant Agreement 29.2 Open access to scientific publications 29.3 Open access to research data http://ec.europa.eu/research/participants/data/ref/h2020/grants_manual/amga/h2020-amga_en.pdf Open Access no Horizonte 2020
  13. 13. OA no H2020: sumário de requisitos
  14. 14. REQUISITOS DE ACESSO ABERTO E QUEM ESTÁ ABRANGIDO? CADA BENEFICIÁRIO DEVERÁ ASSEGURAR O ACESSO ABERTO A TODAS AS PUBLICAÇÕES CIENTÍFICAS COM REVISÃO POR PARES RELATIVAS A RESULTADOS DE PROJETOS
  15. 15. Requisitos Open Access no H2020 Os autores podem escolher entre as duas vias principais para o Acesso Aberto: • Auto-arquivo (‚green‘ open access): o artigo é depositado num repositório – o acesso aberto é frequentemente atrasado (‚período embargo‘) • Publicação em acesso aberto (‚gold‘ open access): o artigo é publicado imediatamente em acesso aberto, através da revista/editor. Existem frequentemente custos de publicação (taxas de publicação ou APCs). O artigo tem sempre de ser depositado num repositório, mesmo quando for usada a „via dourada“.
  16. 16. Open Access no Horizonte 2020 Onde depositar: Os investigadores devem depositar num repositório digital de publicações científicas à sua escolha: • REPOSITÓRIO INSTITUCIONAL DA INSTITUIÇÃO DE AFILIAÇÃO. OU • REPOSITÓRIO DISCIPLINAR/TEMÁTICO ADEQUADO. OU • REPOSITÓRIO CENTRALIZADO, EX. O REPOSITÓRIO ZENODO DISPONIBILIZADO PELO PROJETO OPENAIRE. Onde O quê Quando
  17. 17. Open Access no Horizonte 2020 O que depositar: UMA CÓPIA LEGÍVEL POR MÁQUINA DA VERSÃO PUBLICADA  versão final do editor, incluindo todas as modificações do processo de revisão pelos pares, copyediting e edição gráfica, e alterações de formatação (geralmente um documento PDF). OU VERSÃO FINAL COM REVISÃO PELOS PARES ACEITE PARA PUBLICAÇÃO  versão final do artigo com revisão pelos pares aceite para publicação numa revista, incluindo todas as alterações do processo de revisão pelos pares, mas ainda não formatado pelo editor (também conhecido como versão de "post-print"). Onde O quê Quando
  18. 18. Open Access no Horizonte 2020 Quando depositar: Cada beneficiário deve depositar o mais cedo possível, o mais tardar na data de publicação. Onde O quê Quando
  19. 19. Open Access no Horizonte 2020 Quando deve ser assegurado o Acesso Aberto? O Acesso Aberto deve ser assegurado imediatamente, ou após um período de embargo:  imediatamente, se é uma publicação em acesso aberto (Gold OA),  no prazo de seis meses da publicação (12 meses para publicações das ciências sociais e humanas) em qualquer outro caso. Onde O quê Quando
  20. 20. INVESTIGADOR/AUTOR DECIDE ONDE PUBLICAR Verifica as políticas editoriais em www.sherpa.ac.uk/romeo Revistas de Acesso Aberto doaj.org Verificar os custos de processamento do artigo Revistas de subscrição/assinatura Auto-arquivo no repositório openaire.eu ACESSO ABERTO IMEDIATO ACESSO ABERTO IMEDIATO OU ADIADO
  21. 21. Projetos com participação PT Aprox. 920 participações em projetos (174 projetos com coordenação de instituições portuguesas). 22
  22. 22. Projetos H2020 com participação da UAlg 23 AtlantOS - Optimizing and Enhancing the Integrated Atlantic Ocean Observing System INSPIRATION - INtegrated Spatial PlannIng, land use and soil management Research ActTION In-Business Growth - Innovative Sustainable Business Growth at Global Level iBROW - Innovative ultra-BROadband ubiquitous Wireless communications through terahertz transceivers … Atualmente em curso ou aprovados…
  23. 23. Projetos H2020 com participação do Alg 25 Atualmente em curso ou aprovados… CENTRO DE CIÊNCIAS DO MAR DO ALGARVE pp2EMBRC - European Marine Biology Resource Centre preparatory phase 2 ALGAE4A-B - Development of Microalgae-based novel high added-value products for the Cosmetic and Aquaculture industry AQUAEXCEL2020 - AQUAculture infrastructures for EXCELlence in European fish research towards 2020 ELIXIR-EXCELERATE - Fast-track ELIXIR implementation and drive early user exploitation across the life- sciences. EMBRIC - European Marine Biological Research Infrastructure Cluster to promote the Blue Bioeconomy MINOUW - Science, Technology, and Society Initiative to minimize Unwanted Catches in European Fisheries WiseFeed - Improving sustainability and performance of aquafeeds
  24. 24. Os APCs (Article Processing Charges) são elegíveis? Sim! • Para publicação em acesso aberto, os investigadores podem publicar em revistas de acesso aberto, ou em revistas de assinatura que também possibilitam o acesso aberto a artigos individuais (revistas hibrídas). • Quando existam, os APCs pagos pelos beneficiários são elegíveis para reembolso durante o período do projeto.
  25. 25. Custos de Publicação Os custos de disseminação, para publicar em revistas/livros de acesso aberto, são custos elegíveis durante o período do projeto. Que orçamento se deve considerar nas propostas? APC = Article Processing Charges Orçamento para publicações = APC Médio x número de publicações Método 1: APC médio baseado na lista de revistas usadas pelo consórcio (verificar preços nos sites das revistas/consultar bibliotecário) Método 2: APC médio baseado nos valores globais de mercado
  26. 26. Custos de publicação: APC Médio? Björk/Solomon (2014) estimam que o preço médio dos Article Processing Charges (APC) • é de 1,020 EUR para revistas de acesso aberto e • 1,980 EUR para revistas híbridas (revistas de assinatura com opção de acesso aberto a artigos individuais) Ambos os tipos de publicação podem ser reembolsados nos projetos H2020. Presentemente não há um limite para o custo dos APCs. (Para o piloto de Acesso Aberto Dourado pós FP7, o limite é 2,000 EUR)
  27. 27. Algumas questões a considerar 1. Publicar todos os artigos em revistas que usam APC não será a melhor solução, uma vez que poderá implicar o uso de uma parte importante do orçamento do projeto. Por isso, uma estratégia combinando o acesso aberto VERDE e DOURADO é altamente recomendada. 2. O crescente mercado de publicações em acesso aberto apresenta alguns desafios/problemas • Muitas revistas/editores novos, alguns de qualidade questionável („revistas predatórias“, http://scholarlyoa.com/publishers/) É preciso algum cuidado a selecionar as revistas para publicação. Consultar ‚white lists‘ como o DOAJ.
  28. 28. O que se espera dos projetos? Os projetos devem planear desde o princípio a sua prática Open Access: • Durante a fase de redação da proposta • Delinear a estratégia de disseminação e exploração, incluindo OA >> secção „Impacto“ da proposta (como serão partilhados os resultados, geridos e partilhados os dados?) • Incluir recursos para os custos de publicação (quantos artigos, com que custo médio?), usando uma estratégia que combine acesso aberto VERDE e DOURADO • Durante o projeto • Aspetos adicionais nos Consortium Agreement? (onde depositar, quem é responsável, etc.) • Implementação da estratégia de disseminação, monitorização/reporte nas avaliações. • Resolução de dúvidas ou problemas? (embargos, repositórios para resultados específicos, etc.) • Após o final do projeto • São previstas publicações após o final do projeto (ie que não serão cobertas pelo orçamento)? – existe um piloto para publicações FP7 após os final dos projetos • Quem é responsável pelo depósito em repositórios após o final do projeto?
  29. 29. Quais são as consequência do não cumprimento com os requisitos de Acesso Aberto? • Se um beneficiário não cumprir com qualquer das suas obrigações, o financiamento pode ser reduzido (Article 43) e podem também ser aplicadas outras medidas descritas no Chapter 6 of the General Model Grant Agreement.
  30. 30. Política de Acesso Aberto da FCT (maio de 2014) QUALQUER TIPO DE PUBLICAÇÃO INCLUINDO: ARTIGOS PUBLICADOS EM REVISTAS ATAS E OUTROS PRODUTOS RESULTANTES DE CONFERÊNCIAS LIVROS TESES DE DOUTORAMENTO E MESTRADO Todas as publicações sujeitas a arbitragem por pares ou a outros processos de revisão ou validação científica que incluam resultados de I&D financiados total ou parcialmente pela FCT.
  31. 31. Open Access no H2020 ?
  32. 32. Dados Abertos no H2020 2
  33. 33. A partir de 2017 será o default… 36 Projeto piloto O default …
  34. 34. Piloto de dados abertos no H2020 O Projeto-piloto que visa melhorar e maximizar o acesso e a reutilização dos dados de investigação gerados por projetos financiados pela CE. OBJETIVO EC: “information already paid for by the public should not be paid for again. Open data is data that is free to access and reuse” 1º
  35. 35. Piloto de dados abertos no H2020 Áreas científicas abrangidas pelo projeto-piloto até 2016: • Future and Emerging Technologies • Research infrastructures – (new: coverage of the whole area) • Leadership in enabling and industrial technologies – Information and Communication Technologies • Nanotechnologies, Advanced Materials, Advanced Manufacturing and Processing, and Biotechnology: ‘nanosafety’ and ‘modelling’ topics (new) • Societal Challenge: Food security, sustainable agriculture and forestry, marine and maritime and inland water research and the bioeconomy - selected topics as specified in the work programme (new) • Societal Challenge: Climate Action, Environment, Resource Efficiency and Raw materials – except raw materials • Societal Challenge: Europe in a changing world – inclusive, innovative and reflective Societies • Science with and for Society • Cross-cutting activities - focus areas – part Smart and Sustainable Cities (moved from Energy WP) PROJETOS DE OUTRAS ÁREAS SÃO ENCORAJADOS A ADERIR VOLUNTARIAMENTE
  36. 36. Dados Abertos no H2020 QUE DADOS? Dados para validar os resultados apresentados em publicações científicas. Outros dados, conforme especificado no plano de gestão de dados.
  37. 37. REQUISITOS NA PRÁTICA (simplificados) Dados Científicos Abertos Criar um plano de gestão dos dados Assegurar o depósito num repositório Associar licenças CC Providenciar ferramentas O foco deve ser o planeamento >> para a disponibilização dos dados, facilitando o depósito e a licença para permitir a reutilização.
  38. 38. Dados abertos no H2020 - OPT OUT 42 • Em caso de conflito com as obrigações de confidencialidade. • Em caso de conflito com as obrigações nacionais de segurança. • Em caso de conflito com as regras em matéria de proteção de dados pessoais. • Se o projeto não gerar/recolher dados. • Em caso de conflito com a obrigação de proteção dos resultados (se é esperado que os resultados sejam comercial ou industrialmente explorados). • Se a realização do objetivo principal do projeto (ação) ficar comprometido com a disponibilização aberta dos dados. Os projetos podem optar por sair do piloto, na fase de proposta ou durante a execução (devidamente justificado no plano de projeto), com base em: “opt out does not affect the evaluation… Proposals will not be penalised for opting out”
  39. 39. Razões do opting out (propostas) Dados CE (DG RTD European Commission, Abril 2017): Calls in core-areas: 65% stay in, Opt out 35%. Other areas: Voluntary opt in 14%
  40. 40. Abordagem prática dos princípios FAIR • Findable Registar identificadores persistentes (PIDs), providenciar metadados, registar num recurso pesquisável, repositório... • Accessible Recuperável pelo PID usando o protocolo standard, metadados devem permanecer acessíveis mesmo que os dados não... • Interoperable – Usar linguagens formais e amplamente aplicáveis, usar vocabulários padrão, referências qualificadas... • Reusable – Metadados com qualidade, licença e proveniência com clareza, utilização de padrões da comunidade disciplinar... www.force11.org/group/fairgroup/fairprinciples
  41. 41. REQUISITOS NA PRÁTICA (simplificados) Cumprimentos dos Dados Científicos Abertos no H2020 Criar um plano de gestão dos dados Assegurar o depósito num repositório Associar licenças CC Providenciar ferramentas Algumas dicas práticas!
  42. 42. Planos de Gestão de Dados 50
  43. 43. DMPonline https://dmponline.dcc.ac.uk • Ferramenta web para ajudar os investigadores a elaborar o seu plano de gestão de dados. • Disponibilizada de forma gratuita pelo DCC • Incluiu já um template para o Horizonte 2020
  44. 44. H2020 template 52
  45. 45. Exemplos disponíveis no Zenodo • Helix Nebula – High Energy Physics example • https://zenodo.org/record/48171#.WATexnriF40 • Tweether – engineering (micro-electronics) example • https://zenodo.org/record/55791#.WATei3riF40 • AutoPost – ICT example https://zenodo.org/record/56107#.WATefXriF40 RDM Seminar @ ISERD, Tel Aviv - Oct 1, 2016 53
  46. 46. Planos – exemplos: • 108 DMPs from the National Endowment for the Humanities www.neh.gov/divisions/odh/grant-news/data-management-plans-successful-grant- applications-2011-2014-now-available • 20+ scientific DMPs submitted to the NSF (USA) provided by UCSD • http://libraries.ucsd.edu/services/data-curation/data-management/ dmp-samples.html • Example DMP collection from Leeds University • https://library.leeds.ac.uk/research-data-tools • Further examples: • www.dcc.ac.uk/resources/data-management-plans/guidance-examples 54
  47. 47. Onde depositar e onde encontrar um repositório? 1. Num arquivo de dados ou repositório externo e de âmbito temático ou disciplinar 2. Num repositório de dados institucional, ou de unidade de investigação devidamente estabelecido e com facilidades de gestão de dados.  Zenodo.org  Pesquisar no diretório de repositórios: re3data.org
  48. 48. www.re3data.org
  49. 49. Zenodo (OpenAIRE/CERN repository) www.zenodo.org
  50. 50. www.zenodo.org
  51. 51. www.dcc.ac.uk/resources/how-guides/license-research-data Licenças associadas a dados científicos: info de apoio Limitações CREATIVE COMMONS NCNon-Commercial o que é considerado comercial? SA Share Alike Reduz potencial de interoperabilidade! ND No Derivatives Restringe severamente o uso! Horizonte 2020 recomendação de uso ou
  52. 52. http://www.curationexchange.org/ Custos?
  53. 53. Dados abertos no H2020 – na prática em PT Dados para validar os resultados apresentados em publicações. Outros dados, conforme especificado no plano de gestão de dados.
  54. 54. Open Data no H2020 ?
  55. 55. Serviços e ferramentas OpenAIRE 3
  56. 56. Estabelecimento de políticas e mandatos Desenvolvimento de infraestruturas de informação
  57. 57. OpenAIRE www.openaire.eu
  58. 58. Infraestrutura OpenAIRE Repositórios de publicações Repositórios de dados Sistemas CRIS Diretórios e registos (projetos) Revistas de Acesso Aberto Repositórios de Software Validation Cleaning De-duplication Enrichment By inference Financiadores, admin. de ciência e comunidades de investigação • Impacto da Investigação • Tendências na Investigação • Tendências no Open Access Repositórios (data providers) • Validação de Repositórios e outros sistemas • Serviço de notificação para Repositórios (broker) • Estatísticas de uso & analytics de repositórios Investigadores e coordenadores de projetos • Ligar publicações, dados, software (claim) • Depositar publicações, dados, software • Serviço de descoberta e feedback do utilizador final • Informação de apoio e serviços de helpdesk Content Providers Info Space Services Serviços ao utilizador final Project initiative FunderFunding Result Publication Data Software Organization GUIDE LINES TERMS OF USE
  59. 59. ALGUNS SERVIÇOS & FERRAMENTAS
  60. 60. PARTILHAR, DEPOSITAR E PUBLICAR EM OA
  61. 61. Depositar uma única vez resultados dos Projetos no Repositório Automaticamente MAIS VISIBILIDADE, MAIOR IMPACTO, SIMPLIFICAR REPORTING.
  62. 62. LOCALIZAR UM REPOSITÓRIO ADEQUADO Depositar uma única vez! Via OpenAIRE 72
  63. 63. Localizar onde depositar
  64. 64. TODOS OS REPOSITÓRIOS PORTUGUESES LIGADOS À INFRAESTRUTURA EUROPEIA
  65. 65. Repositório (órfão) de publicações e dados científicos 76
  66. 66. INFO DOS PROJETOS COM FINANCIAMENTO NOS REGISTOS BIBLOGRÁFICOS ‘Associar’ 77 API
  67. 67. Identificar os projetos no processo de depósito de uma publicação Pesquisar por nome,acrónimoou id do projeto… e selecionar OpenAIRE – lista de projetos API
  68. 68. AGREGAR RESULTADOS, APOIAR REPORTING
  69. 69. Página para Projetos - CE: 7ºPQ & H2020
  70. 70. Página para Projetos – nacionais (FCT)
  71. 71. Lista de publicações por projeto https://www.openaire.eu/search/find/projects O portal OpenAIRE inclui uma App Box para gerar a lista de publicações do projeto. Simplifica o relatório e a comunicação dos resultados do projeto.
  72. 72. Página para Organizações
  73. 73. EC's participant portal (reporting)
  74. 74. EC's participant portal
  75. 75. Ferramenta para ligar publicações a projetos https://www.openaire.eu/participate/claim Ligar publicações ou dados a projetos. Identificar o projeto, pesquisar e selecionar a publicação ou datasets e indicar o tipo de acesso.
  76. 76. DESCOBRIR, ACEDER, REUTILIZAR www.openaire.eu
  77. 77. Serviços e ferramentas para projetos Depositar em Open Access Partilhar Dados de investigação Ligar publicações, projetos e datasets Reportar resultados dos projetos Monitorização e estatísticas Serviço de descoberta e acesso 90
  78. 78. NOTIFICATION BROKER Serviço aos repositórios 91 (Meta)data and links exchange among different data providers.
  79. 79. OpenAIRE para financiadores Alinhamento de políticas OA
  80. 80. OPENAIRE INTEGRA DADOS DOS PROJETOS FINANCIADOS PELA FCT
  81. 81. INTEGRAÇÃO DOS DADOS DOS PROJETOS FCT NO OPENAIRE 95 Lista de projetos da FCT adicionada ao sistema de informação OpenAIRE Processo de text-mining para inferir projetos associados às publicações Resultados processados e enriquecidos na infraestrutura OpenAIRE
  82. 82. Set. 2016 23371 pubs 21620 Open Access FCT info: 11601 projetos 2000-2015 + 25676 bolsas 2000-2015 Projetos FCT no OpenAIRE: alguns números
  83. 83. OpenAIRE facilita a identificação dos projetos (CE, FCT…) 97
  84. 84. www.openaire.eu @openaire_eu facebook.com/groups/openaire linkedin.com/groups/OpenAIRE-3893548 pedroprincipe@sdum.uminho.pt 98 obrigado

Notas do Editor

  • As you may know…
  • In multi-beneficiary projects it is also possible for specific beneficiaries to keep their data closed if relevant provisions are made in the consortium agreement and are in line with the reasons for opting out
  • relates to controversial or security issues that might have undesired societal consequences if research results became known prematurely
  • The use of a Data Management Plan (DMP) is required for projects participating in the Open Research Data Pilot, detailing what data the project will generate, whether and how they will be exploited or made accessible for verification and re-use, and how they will be curated and preserved.
  • Use an external data archive or repository already established for your research domain to preserve the data according to recognised standards in your discipline.
    If available, use an institutional research data repository, or your research group’s established data management facilities.
    Use a well-known data repository in your own country.
    Use a cost-free (data) repository such as Zenodo.
    Search for other data repositories here: re3data.org
  • Approach: deposit once – easy for researchers/research managers – and openaire will offer services.
  • If a researcher isn’t sure where to deposit , OPenAIRE can help.
  • This is stated in the AO H2020 mandate, OpenAIRE is helping to make it easy.
  • Example: Uminho repositor.
  • Also to be used by participants portal reporting tool   For publications accessible via OpenAIRE, references to these publications (with link to the project ID) are displayed automatically in the reporting section of the Participant Portal for the project.  Simply check if the references are directly linked to the work performed within the project. If so, tick these publications as relevant and they will then be included in the table of publications when the report is generated. links and federates existing repositories. As such it provides access to publications that have been deposited in all repositories that are technically interoperable with OpenAIRE ("OpenAIRE compliant")
    http://ec.europa.eu/research/participants/docs/h2020-funding-guide/grants/grant-management/reports/periodic-reports_en.htm
  • Also to be used by participants portal reporting tool   For publications accessible via OpenAIRE, references to these publications (with link to the project ID) are displayed automatically in the reporting section of the Participant Portal for the project.  Simply check if the references are directly linked to the work performed within the project. If so, tick these publications as relevant and they will then be included in the table of publications when the report is generated. links and federates existing repositories. As such it provides access to publications that have been deposited in all repositories that are technically interoperable with OpenAIRE ("OpenAIRE compliant")
    http://ec.europa.eu/research/participants/docs/h2020-funding-guide/grants/grant-management/reports/periodic-reports_en.htm
  • One of our major services for Open Science is to aggregate content from many different sources from Europe and beyond. But we don't stop there! We apply cleaning, transformation, disambiguation processes, and identify relationships among all research entities: publications, data, funding, researchers, organisations and data sources.

×