Material utilizado na apresentação do TDC Summit IA em SP/2024.

1. Classificação da informação:Uso Interno
Apresentação
GenAI na Qualidade
de Software
Como isso mudou a qualidade no Sicredi

2. Quemsomos?
BrunoLusadaCosta
BacharelemAnáliseeDesenv.deSistemas
QualityEngineerSpecialistnoSicredi
Andresda SilvaSantos
GraduandoemSistemasdeInformação
QualityEngineerSpecialistnoSicredi

3. Contextualizando
Antesdetudo,vamosnavegarumpouconosproblemase
necessidadesquetínhamosparaentendercomoesta
iniciativasurgiu:
Elevaramaturidadetécnicadaoperação
Padronizarosprojetosdeautomação
Necessidades:
Capacitarnovosprofissionais
BaixoíndicederealizaçãodeCodeReview
Inúmerosprojetoscombaixocompliance(foradopadrão)
Problemas:
Maisde300QE`scriandocódigonãosupervisionado
Construçãodesoluçõesforadastackrecomendada
TítulodaIniciativa:
ImplementarousodeIAnosprocessosinternosdeQualidade
Objetivo:
IdentificaroportunidadesondeousodeInteligênciaArtificialpodeajudar
nocontextodaHorizontaldeQualidade.
X
Solução:
GarantiracriaçãodecódigonopadrãodaHorizontal

4. Comogarantiracriaçãodetestes padronizados
edequalidade?

5. Alternativas

6. Alternativas

7. QualityAssistant
EntãofoicriadooQualityAssistant
OQualityAssistantéumaaplicaçãoSpringresponsávelporrealizar
aintegraçãocomoGitlabeaOpenAIparaavaliaçãodemerge
requests.
• Analisarefornecerumfeedbackdetalhadosobreocódigo
criado/atualizado
• Regraspreviamentecadastradasparaanálisearmazenadasem
umbanco

8. QualityAssistant

9. Desafios
Quaisforamosprincipaisdesafiosaolongodestajornada?
• Assertividadenasrespostasdomodelo
• Gestãodajaneladecontexto(inputstokens)
• Formulaçãodosprompts
• Gestãodeativos/custosdasolução
• LGPDepolíticasdenãovazamentodedados
• Aceitaçãoeadesãoporpartedaorganização

10. OPontodeVirada

11. PromptEngineering
Entendimentodastécnicasquetestamos:
Techniquesto improvereliability
Zero-shot Selection-inference prompting Zero-shot-CoT

12. Zero-shot
Primeiraversão
• Nãorequerexemplosde
dados
• Agnósticoàtarefa
• Capazderealizartarefassem
treinamentoespecífico
• Usaconhecimentogeral
adquiridoduranteo
treinamento
• Dependefortementeda
qualidadedotreinamento
prévio
Large Language Models areZero-Shot Reasoners

13. Selection-inferenceprompting
Segundaversão
• Envolveaseleçãode
informaçõesrelevantesdeum
conjuntomaior
• Depoisdaseleção,realiza
inferênciascombasenas
informaçõesescolhidas
• Útilemtarefasquerequerem
compreensãoeanálisede
grandesvolumesdedados
• Promoveaeficiênciaaofocar
eminformaçõespertinentes
paraatarefa
Selection-Inference:ExploitingLLMsfor InterpretableLogicalReasoning

14. Zero-shot-CoT
Versãofinal
• “Let’sthinkstepbystep”
• Nãorequerexemplosde
dados
• Agnósticoàtarefa
• Raciocíniomulti-etapas
• Amplagamadetarefascom
umúnicomodelo
• Promptemduasetapas
Large Language Models areZero-Shot Reasoners

15. Zero-shot
Large Language Models areZero-Shot Reasoners
Zero-shotvsZero-shot-CoT

16. Zero-shot-CoT
Large Language Models areZero-Shot Reasoners
Zero-shotvsZero-shot-CoT

17. Resultados&Custos
Sugestões balizadasnos direcionadoresinternosda
Qualidade
Feedbacks positivosdos usuários sobre a velocidadee
fidelidadedas sugestões
Redução* do tempo da etapa Code Review de Testes
Resultados
Custos
~R$2,50 por análise com ~20 regras
Aumento na qualidadedo código gerado
* Os dados deste indicador ainda estão sendo avaliados

18. Classificação da informação:Uso Interno
Perguntas?

19. RecadodoSicredi
Quer saber como é fazer
parte desse time?
Acesse o QR e confira o depoimento
de quem já trabalha por uma sociedade
mais próspera todos os dias.
Saiba mais sobre o Sicredi e acompanhe
nossas oportunidades em:
LinkedIn Gupy Instagram
www.sicredi.com.br https://br.linkedin.com/company/sicredi https://sicredi.gupy.io/ www.instagram.com/sicredi/
talento
O Seu
para um mundo melhor

20. Classificação da informação:Uso Interno
Obrigado!
brunolusa andres-s-santos