2. Knowit QMO
•
Startet opp 1.1.2012 som et selskap i Knowit.
•
Eid av Knowit ON, Knowit QM Bergen og ansatte.
•
Leverer testledere, tekniske tester, testrådgiver, prosjektleder (adm./tekn.) og leveanseansvarlig.
•
Per i dag 7 ansatte – aktiv rekruttering på erfarne medarbeidere.
•
QMO tilbyr:
•
•
Fagutvikling
•
•
Spennende kunde og oppdrag
Godt sosialt miljø
QMO ansatte skal:
•
Være lidenskapelig på fag
•
Være motivert for å bygge opp noe
•
Bidra til et godt sosialt miljø
5. Bakgrunn
•
Risk management er en kjent teknikk i Prosjektstyringsmetodikken.
•
Ble anvendt i testdisiplin og omtalt i mange publiserte litteraturer siden 1999/2000.
•
Lite konkrete erfaringer eller best-praksis tilgjengelig, spesielt for norske forhold.
•
Teknikken er rimelig fastlagt men baseres mye på kvalitativ og subjektiv vurdering.
•
Erfaringer må bygges opp og gjelder for kun din egen organisasjon? Hvordan?
•
Noe til felles som kan gjenbrukes / anvendes på tvers av organisasjoner?
6. Forventning
•
Få innblikk i temaet – risikobasert testing.
•
Diskutere hvordan denne teknikken blir praktisert – hva fungerer og hva fungerer ikke.
•
Utveksle konkrete erfaringer.
•
Hva kan vi som fagnettverk gjøre for å bli bedre på dette?
Kunnskapsdeling og nettverksbygging !!!
7.
8. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
9. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
Sentralisert og in-housing QA funksjon for å sikre god
forretnings- og domeneforståelse.
• Forretningsforståelse er en avgjørende forutsetning.
• Fokus på kombinasjon mellom QA-fag og domenekunnskap.
10. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
Sentralisert og in-housing QA funksjon for å sikre god
forretnings- og domeneforståelse.
• Forretningsforståelse er en avgjørende forutsetning.
• Fokus på kombinasjon mellom QA-fag og domenekunnskap.
Større investering på QA i nye utviklingsprosjekter og
samme innvestering på QA i forvaltning.
• Utviklingsprosjekt – flere og mer alvorlige risikoer.
• Forvaltning – risikobasert testing er kostnadseffektiv samt
testautomatisering (effectiveness and efficiency)
11. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
Sentralisert og in-housing QA funksjon for å sikre god
forretnings- og domeneforståelse.
• Forretningsforståelse er en avgjørende forutsetning.
• Fokus på kombinasjon mellom QA-fag og domenekunnskap.
Større investering på QA i nye utviklingsprosjekter og
samme innvestering på QA i forvaltning.
• Utviklingsprosjekt – flere og mer alvorlige risikoer.
• Forvaltning – risikobasert testing er kostnadseffektiv samt
testautomatisering (effectiveness and efficiency)
Mangel på forankring på grunn av få ROI-metrikker.
• Kvantitativ tilnærming som assosierer til
forretningsmessige konsekvenser.
12. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
Sentralisert og in-housing QA funksjon for å sikre god
forretnings- og domeneforståelse.
• Forretningsforståelse er en avgjørende forutsetning.
• Fokus på kombinasjon mellom QA-fag og domenekunnskap.
Større investering på QA i nye utviklingsprosjekter og
samme innvestering på QA i forvaltning.
• Utviklingsprosjekt – flere og mer alvorlige risikoer.
• Forvaltning – risikobasert testing er kostnadseffektiv samt
testautomatisering (effectiveness and efficiency)
Mangel på forankring på grunn av få ROI-metrikker.
• Kvantitativ tilnærming som assosierer til
forretningsmessige konsekvenser.
Økning i QA-investering på mobiler.
• Nye plattformer – nye type risikoer!
13. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
Sentralisert og in-housing QA funksjon for å sikre god
forretnings- og domeneforståelse.
• Forretningsforståelse er en avgjørende forutsetning.
• Fokus på kombinasjon mellom QA-fag og domenekunnskap.
Større investering på QA i nye utviklingsprosjekter og
samme innvestering på QA i forvaltning.
• Utviklingsprosjekt – flere og mer alvorlige risikoer.
• Forvaltning – risikobasert testing er kostnadseffektiv samt
testautomatisering (effectiveness and efficiency)
Mangel på forankring på grunn av få ROI-metrikker.
• Kvantitativ tilnærming som assosierer til
forretningsmessige konsekvenser.
Økning i QA-investering på mobiler.
• Nye plattformer – nye type risikoer!
Økt QA fokus og investering på testing av sikkerhet,
funksjonalitet og ytelse på SaaS.
• Ny leveransemodell – nye type risikoer!
14. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
Sentralisert og in-housing QA funksjon for å sikre god
forretnings- og domeneforståelse.
• Forretningsforståelse er en avgjørende forutsetning.
• Fokus på kombinasjon mellom QA-fag og domenekunnskap.
Større investering på QA i nye utviklingsprosjekter og
samme innvestering på QA i forvaltning.
• Utviklingsprosjekt – flere og mer alvorlige risikoer.
• Forvaltning – risikobasert testing er kostnadseffektiv samt
testautomatisering (effectiveness and efficiency)
Mangel på forankring på grunn av få ROI-metrikker.
• Kvantitativ tilnærming som assosierer til
forretningsmessige konsekvenser.
Økning i QA-investering på mobiler.
• Nye plattformer – nye type risikoer!
Økt QA fokus og investering på testing av sikkerhet,
funksjonalitet og ytelse på SaaS.
• Ny leveransemodell – nye type risikoer!
Større investering i og dårlig utnyttelse av testmiljø.
• Behov – risiko – fokus – investering.
15. Funnene på test og kvalitetssikring
Funn
Hva kan risikobasert testing bidra med?
Sentralisert og in-housing QA funksjon for å sikre god
forretnings- og domeneforståelse.
• Forretningsforståelse er en avgjørende forutsetning.
• Fokus på kombinasjon mellom QA-fag og domenekunnskap.
Større investering på QA i nye utviklingsprosjekter og
samme innvestering på QA i forvaltning.
• Utviklingsprosjekt – flere og mer alvorlige risikoer.
• Forvaltning – risikobasert testing er kostnadseffektiv samt
testautomatisering (effectiveness and efficiency)
Mangel på forankring på grunn av få ROI-metrikker.
• Kvantitativ tilnærming som assosierer til
forretningsmessige konsekvenser.
Økning i QA-investering på mobiler.
• Nye plattformer – nye type risikoer!
Økt QA fokus og investering på testing av sikkerhet,
funksjonalitet og ytelse på SaaS.
• Ny leveransemodell – nye type risikoer!
Større investering i og dårlig utnyttelse av testmiljø.
• Behov – risiko – fokus – investering.
Mangel på testmetodikk for smidig utvikling.
• Utføre riktige tester ofte og tidsriktig samt at testingen kan
stoppe når som helst uten at viktig kvalitet forringes.
16. Om temaet
1. Hvorfor er risikobasert testing viktig?
2. Hvilke prinsipper gjelder for risikobasert testing?
3. Hvordan gjør vi risikobasert testing?
FOKUS PÅ VIRKNINGSFULL (effective) TESTING VED Å TESTE RIKTIG !!!
17. Hvorfor
• Kan ikke teste alt innenfor begrenset tid og ressurser som er avsatt til testing.
• Rammebetingelser for test er ofte gitt. Ingen eller liten påvirkningsmulighet.
• Testing blir ofte skviset ut / nedprioritert pga. tidspress eller forsinkelser.
• Ved feil i produksjon blir det ofte stilt spørsmål ”Hvorfor har vi ikke testet det?”
18. Risikobasert testing i korte trekk
• Vurdering av applikasjonens ulike funksjonsmessige områder i forhold til de forretningsmessige
konsekvenser ved funksjonsfeil og sannsynlighet for stor feilhyppighet i funksjonen.
• Pragmatisk anvendelse av risikostyring i planlegging og gjennomføring av test slik at testingen blir
mest mulig avkastning av investeringen.
• Risikobasert testing kan vi gi oss _tilstrekkelig_ tiltro til kvaliteten på systemet før testingen eventuelt
blir innstilt eller forkortet ned.
• Har et forretningsorientert fokus med hensyn til risiko.
• Er et levende rammeverk / verktøykasse som blir beriket med praktiske og empiriske erfaringer.
19. Prinsipper for risikobasert testing
• Ikke alle tester har samme viktighet:
• Noen tester reduserer risiko for feil i drift
• Andre tester øker ikke verdi og tiltro til systemet
• Tiltro til og kvaliteten på systemet øker ved å teste høyest prioriterte tester først – Det vil da gi mulighet
for å kunne finne kritiske / alvorlige feil tidig.
• Vi kan sette systemet i drift tidlig dersom vi fokuserer på systemområder som er antatt å ha høy risiko i
stedet for å sløse tid og ressurser på systemområder som har liten sannsynlighet for å feile eller
konsekvens av feil er lav
22. Identifisere
Mål:
• Målet med denne aktiviteten er å identifisere potensielle problemområder for et system.
Problemområdet blir dernest brutt ned i moduler, komponenter eller funksjoner.
Best praksis:
• Idemyldring, brain-storming eller intervjuer med eksperter fra både forretnings- og teknisk side.
• Bruk oversikt over komponenter / funksjoner eller oversikt over testemner, testcases, …
• Benytte ”Produkt-risikoene” som blir identifisert i prosjektet
”Velg et pragmatisk nivå!”
23. Analysere
Mål:
• Målet med denne aktiviteten er å vurdere og fastsette sannsynlighet og konsekvens knyttet til
risikoområder.
Best praksis:
• Kvalitativ – normativ beskrivelse av menneskers opplevelse og erfaring
• Kvantitativ – menneskers opplevelse og erfaringer uttrykkes i målbare og distinkte verdier
• Kombinasjon av begge deler
”Gjør det enkelt!”
25. Kvalitativ analyse – sannsynlighet
Sannsynlighet
Lav
Middels
Høy
Uendret
Endret
Ny
Historisk feilrate
Lav
Middels
Høy
Størrelse
Liten
Medium
Stor
Få grensesnitt /
komponenter
Flere grensesnitt /
komponenter
Mange grensesnitt /
komponenter
?
?
?
Kriterium
Endringsrate
Kompleksitet
Andre …
26. Kvalitativ analyse – konsekvens
Konsekvens
Lav
Medium
Høy
Visning
Endring av data
Kalkulasjon /
Validering
Konsekvens for
forretning
Ikke merkbar
Feil informasjon
under prosessering
Juridisk /
Økonomisk /
Omdømme
Brukshyppighet
Sjelden
Ofte
Veldig ofte
# berørte brukere
Noen få
Grupper
Stort antall
?
?
?
Kriterium
Prosess/Funksjon
Andre …
27. Kvalitativ analyse – risiko
Sannsynlighet
XX-3
XX-1
XX-5
XX-12
XX-2
XX-4
XX-7
XX-6
XX-9
XX10
XX-8
XX – test case,
test egenskap,
funksjon
modul/komponent
Konsekvens
31. Kvantitativ analyse – risiko
Indikator
Sannsynlighet
Konsekvens
Risiko = S * K
Rekkefølge
for test
XX-1
0,58
2
1,16
4
XX-2
0,48
3
1,44
2
XX-3
0,52
2,5
1,25
3
XX-4
1
4
4
1
Funksjon
32. Planlegge
Mål:
• Finne en passende strategi og identifisere tiltak for gjennomføring av test. Hensikten med tiltak er å
redusere sannsynligheten eller skadeomfang.
Best praksis:
• Prioritering av tester (rekkefølge) basert på resultater fra risikoanalyse.
• Leveranseplan av komponenter baseres på rekkefølgen.
• Inspeksjoner hos leverandør på at det arbeidet som de skal gjøre blir gjort.
• Bistå leverandøren med testing av systemet på et tidligere tidspunkt.
• Sette de mest erfarne testerne på å designe og gjennomføre de høyt prioriterte testene.
• Automatisere prioriterte tester for å øke test-effektivitet.
33. Gjennomføre og rapportere
Mål:
• Gjennomføre iht. testplan og fortløpende rapportere status basert på risikobildet.
Best praksis:
• Ulike teststrategier for ulike tester av ulike prioritet - viktige tester trenger mer tid og må testes nøye.
• Regelmessig vurdering sammen med Kunden for å avveie ”tidlig driftssetting” vs. ”100% fullført test”.
• Rapportere med henblikk på risiko
• Status på testene (ok, ikke-ok, ikke-påbegynt, …) - se neste foil
• Antall feil av ulike kategorier/alvorlighetsgrader fordelt på risikonivåene
• Feilrettingsrate (forhold mellom #feil rettet og #feil funnet) for hvert risikonivå
35. Korrigere og lære
Mål:
• Måledata samles og analyseres for å både korrigere kursen (strategier og planer revurderes) og trekke
lærdommer (identifikasjon/analyse av risiko, estimater under planlegging, osv.) til fremtidige prosjektet.
Best praksis:
• Dersom feilene som er avdekket stammer fra systemområder med lav risiko – Re-evaluere !!!
• Revurdering av risiko-trigger og gyldighet på forutsetninger
• Erfaringsdatabase
36. Take-away
•
Mange publiserte litteratur om tematikken.
•
Må etablere og tilpasse grunnlaget for risikoanalyse (kriteria, verdiskala, vekting, osv…) for din egen
organisasjon.
•
Risikoanalyse, teststrategi og rapportering/læring må finpusses kontinuerlig med kontekst-relevante
erfaringer eller best praksis fra andre.
•
Vanskelig med innsalg og å få forankring pga. manglende metrikker og empiriske studier.
•
Ettertanke: Hvordan kan vårt fagnettverk bidra med videre arbeid?
