Testing Trends & Benchmarks 2013

1. Trends & Benchmarks Report Schweiz
Wo stehen wir – wohin geht es?
In Kooperation mit
Testing 2013

2. Testing Trends & Benchmarks Schweiz 2013 2Inhaltsverzeichnis
EDITORIAL
TRENDWAVE 2013
KEY MESSAGES
PROJEKTE
VORGEHEN
AGILITÄT
REIFE
ORGANISATION
TESTAUFWAND
TESTWERKZEUGE
TESTAUTOMATISIERUNG
ERHEBUNGSGRUNDLAGEN
Requirements Trends & Benchmarks Schweiz 2013
Agile Trends & Benchmarks Schweiz 2013
3
4
6
7
8
9
10
12
14
15
16
17
18
19

3. Neu führt SwissQ die Studie zu den Trends & Benchmarks in Kooperation mit dem
Institut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu-
sammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmen
geworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischen
der akademischen und unternehmerischen Welt schlagen zu können.
Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave®
und
die Benchmarks.
Im ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies auf
Basis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigsten
Themen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich der
Einfluss der Marktveränderungen auf das eigene Unternehmen abschätzen und
es können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfache
Massnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench-
marks intern bekannt zu machen.
Wie bereits in den letzten Jahren offeriert SwissQ den Unternehmen die Gelegen-
heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel-
publikum sind vor allem die Tester Community, Software Ingenieure, Projektleiter,
Requirements Engineers und das Management. Die Präsentation ermöglicht, einen
externen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und
den Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei-
terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisse
aus dem Requirements Engineering und Agile Report auch miteinbezogen werden.
Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks.
Die Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleich
mit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er-
laubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln.
Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl der
Neuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseits
immer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro-
jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünen
Wiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom-
plett neu gebaut, was oft sehr teuer ist.
Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie-
le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingt
es, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an den
Übergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel-
len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehen
bzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier muss
sicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden.
Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen.
Da ist es spannend zu sehen, dass zu den am häufigsten angewandten Techniken
zur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge-
hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Das
drückt sich wiederum darin aus, dass von den Testaktivitäten die Testfallermittlung
am schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zu
ziehen?
Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierung
und dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangs
erwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt-
finden, bei denen naturgemäss die Sicherstellung der bestehenden Funktionalität
mittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede-
rum ist ein zwingendes Instrument, um der wachsenden Regression Herr
zu werden.
Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren,
neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in
Ihrem Unternehmen zu ergreifen.
Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in der
Schweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarks
ergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildet
einerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchen
und Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu-
rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben.
Testing Trends & Benchmarks Schweiz 2013 3EDITORIAL

4. INTRODUCTION GROWTH MATURITY DECLINE
TIME
Priority
INTRODUCTION – Das Thema wurde
erkannt und einige Unternehmen
arbeiten an ersten Umsetzungen. Es
ist allerdings nicht absehbar, ob sich
dieser Trend positiv weiterentwickelt
und das Testing tatsächlich erheblich
beeinflussen wird.
GROWTH – Das Thema wird immer
mehr anerkannt und viele Unterneh-
men gehen darauf ein. Es entstehen
die ersten Werkzeuge und Beratungs-
firmen bieten Dienstleistungen dazu
an. Mit der fehlenden Erfahrung bei
der Umsetzung gehen oft diverse
Risiken einher.
MATURITY – Die meisten Unterneh-
men arbeiten an der Umsetzung oder
haben diese bereits abgeschlossen.
Das Wissen zu dem Thema ist oft sehr
verbreitet, wobei häufig auch Unter-
arten dazu entstehen.
DECLINE – Das Thema wurde von
den meisten Unternehmen, mit
Ausnahme einzelner Nachzügler,
bereits umgesetzt. Wissen in diesen
Bereichen neu aufzubauen generiert
oft keinen Nutzen mehr, da dieses in
Kürze obsolet wird.
TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 4
Agile Test Management
Session Based Testing / SET
ISTQB FL & AL Level
Outsourcing
ISO 9126
ALM Tools
Security & Penetration Testing
Model Based Testing
ISO 25010
Business Driven Test Automation
Waterfall / Scrum Hybrid
Agile Testing
Keyword Driven Test Automation
Exploratory Testing
Scrum (but)
App / Mobile Testing
Accessibility Testing
Load and Performance Testing
Embedded Testing

5. Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert
haben – Smartphones und Tablets, SocialMedia und die Cloud - finden vermehrt
auch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt-
gefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten und
verlangen Funktionen und Content auf diesen nutzen zu können. Doch auch die
Usability Anforderungen an herkömmliche Anwendungen steigen rasant – was auf
dem Handy geht, muss doch am Monitor erst recht möglich sein.
Steigende Komplexität der IT und Öffnung der Unternehmungen durch das Thema
Mobile sind die Herausforderungen der modernen Organisationen. Diese rasante
Entwicklung stellt nicht nur Business Analysten und Software Entwickler vor neue
Herausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän-
diger und vor allem schneller.
Kein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agil
durchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trends
erkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro-
dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf.
Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist Agile
Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil
mit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezug
auf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss,
stellt viele Tester und ihre Organisationen vor erhebliche Probleme.
Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der
grössten Herausforderungen aufgreift: Die mangelhafte Qualität von Anforderun-
gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann
nur von Vorteil sein.
Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio-
nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für viele
inzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen können
dabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das uns
schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöst
wurde.
Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen.
In Testautomatisierung wird weiter investiert, die Testabdeckung kann weiter
erhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei-
gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio-
nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.
Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen und
Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglich
aktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto-
mation oder die sinkende Beschäftigung externer Testressourcen.
TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 5

6. 4 5 6Die Reife des Requirement Enginee-
ring Prozesses hat gegenüber dem
Test weiterhin Nachholbedarf.
Mangelhafte Anforderungen sind
die grösste Herausforderung im
Testing.
Von den Testaktivitäten wird
die Testfallermittlung klar am
schlechtesten bewertet.
Strukturiert Testfälle herzuleiten,
fällt vielen immer noch schwer.
Bei der Ausbildung wird weiterhin
auf Zertifikate gesetzt. Der ISTQB
Foundation Level und Advanced
Level Test Manager waren und
bleiben populär.
7 8 9In die Testautomatisierung und
den Auf- und Ausbau der
Regressionstests wird stetig
investiert. Das Outsourcing ist für
viele keine gangbare Lösung.
Der durchschnittliche Testaufwand
im Verhältnis zum Gesamtprojekt-
aufwand wurde über die Jahre
konstant auf 16 - 20% geschätzt.
Bei den Tools für das Testmanage-
ment und die Testautomatisierung
zersplittert der Markt zusehends.
Zudem kann man sich in den
wenigsten Firmen auf ein Tool
einigen.
2 31 Es gibt eine Verschiebung zu we-
niger Neuentwicklungen und mehr
Erweiterungen und Wartungs-
projekten. Dafür steigt der Anteil
der Mega-Projekte über 20 Mio. CHF
stetig.
Neue, technologie- und prozess-
getriebene Vorgehen, wie mobile
Testing, agiles Testen oder Session
Based Test Management, setzen
sich immer mehr durch.
Wasserfall und agile Vorgehen
halten sich die Waage, und werden
oft in Kombination eingesetzt.
Wasserfall / Scrum Hybrid Projekte
sind auf dem Vormarsch, lösen aber
viele Unsicherheiten aus.
KEY MESSAGES Testing Trends & Benchmarks Schweiz 2013 6

7. Projekterfolg
Die letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt.
Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zu
stoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an-
deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time und
on budget beendet werden (von 23.7% auf 36.3%)!
Projektart
Im letzten Jahr betrug der Anteil der Neuentwicklung noch 39%.
Es gab eine klare Verschiebung hin zu weniger Neuentwicklungen
und mehr Erweiterungen und Wartungsprojekten.
Projekte
Erweiterung einer
bestehenden Lösung
Neuentwicklung
Betrieb, Support, Wartung,
Re-Design, ...
Migration
Einführung Standard-Software
Erfahrung der Mitarbeiter
Erfüllung des Auftrags/Ziele
Erfüllung von Regularien
Flexibilität
Prozesse
Business-/ Kundenfokus
Innovation
Standardisierung
Qualität
Budget und Ressourcen
Effizienz
4
Sehr gut
3
Gut
2
Zufriedenstellend
1
Ungenügend
3.07
2.87
2.85
2.84
2.73
2.65
2.64
2.49
2.46
2.39
2.35
Testing Trends & Benchmarks Schweiz 2013 7
Projektgrösse (in CHF)
47%
25%
17%
6%
5%
bis 1 Mio
0%
20%
40%
über 20 Miobis 20 Mio
48.7%
38.3%
12.9%
Aufstellung der IT
Durchschnittliche Bewertung
Projekt im
Rahmen, über
Budget und/oder
Zeit
Projekt in Zeit,
Budget,
Funktionalität
beendet
Projekt
verlängert/neu
geplant
Projekt mit
grossen funkt.
Änderungen
Projekt
gestoppt
0%
20%
10%
40%
30%
23.7%
37.2%
23.7%
35.1%
25.1%
17.5%
20.8%
36.3%
27.1%
14.7%
18.1%
11.6%
0.6%
4.1%
4.2%
2011 2012 2013
über 20 Mio
2011 2012 2013
15%
10%
5%
0%
5.2%
10.8%
12.9%

8. VORGEHEN
Angewandte Vorgehensmodelle
Viele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfall
hat erstaunlicherweise wieder zugelegt, was mit der gestiegenen Anzahl
Grossprojekte zusammenhängen kann, wobei die Umsetzung in den ver-
schiedenen Teams agil erfolgt.
Agil
49%
(51%)
Iterativ
20%
(22%)
RUP
10%
(16%)
Hermes
10%
(12%)
Wasserfall
53%
(40%)
Gründe für agile Methoden
Besserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrund
für den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischen
Business und IT und die Beschleunigung von Time-to-Market.
Beschleunigung Time-to-Market
Mit sich ändernden
Prioritäten umgehen
Zusammenarbeit
Business – IT verbessern
Entwicklungsprozesse vereinfachen
Produktivität erhöhen
Teammoral verbessern
Wartbarkeit erhöhen
Kosten reduzieren
Risiken minimieren
Sichtbarkeit erhöhen
Testing Trends & Benchmarks Schweiz 2013 8
Scrum
Lean Development
Agile Hybrid (Mix aus
verschiedenen Methoden)
( ) = Werte Umfrage 2012
Extreme Programming (XP)
Agile Unified Process (AgileUP)
Kanban
ScrumBan
Feature Driven Development (FDD)
0% 20% 40% 60% 80% 100%
12.1%
10.7%
6.4%
5.7%
3.6%
24.3%
29.3%
85.7%

9. Testing im Kontext von Agilität
AGILITäT Testing Trends & Benchmarks Schweiz 2013 9
Voll einverstanden Mehrheitlich einverstanden Nicht einverstanden Kann ich nicht beurteilen
31.7%
glauben immer noch an grosse
zentrale Vorgaben.
50%
setzen auf Embedded
Testing. Der Durchbruch
ist geschafft, Testen ent-
faltet immer mehr seinen
Nutzen.
66.2%
sehen immer noch die
Existenzberechtigung der
Rolle des Test Managers.
74.3%
der Befragten setzen neben
dem explorativen Testen
weitere Testarten ein.
57.6%
sehen keine Unsicherheit in
Bezug auf Prozesse. Dies im
Gegensatz zu den Aussagen der
IT- Executives.
91.4%
sehen weiterhin Bedarf an
Testspezifikationen und
Testfällen.
Die Abnahmetests erfolgen
direkt im Sprint
Man hat jederzeit den Überblick, was
gerade getestet wird
Jedes Team organisiert sich selbstständig
und macht Testing ein bisschen anders
Die Unsicherheit der Tester ist grösser
geworden, da die Prozesse unklar sind
Es braucht deutlich weniger Aufwand
für das Testing
Es gibt keine formalen Vorgaben mehr
bezüglich Dokumentation von Tests
Es werden keine Testspezifikationen /
Testfälle mehr benötigt
Die Rolle Test Manager gibt es nicht mehr
Wir arbeiten ausschliesslich mit
Akzeptanzkriterien
Wir testen nur explorativ
Wir wenden Embedded Testing an
0% 20% 40% 60% 80% 100%
17.1% 74.3%
91.4%
35.0% 50.7%
74.6%15.9%
9.3% 82.1%
21.6% 66.2%
25.2% 57.6%
13.6% 36.4% 15.0% 35.0%
14.4% 46.0% 31.7%
21.6% 51.8% 20.1%
21.6% 38.8% 32.4%

10. REIFE
Ansehen des TestensReifegrad
Beurteilen beim Testing etwas über einem Drittel die Reife als schwach
oder mittelmässig, sind es beim RE fast die Hälfte der Befragten.
Ausgezeichnet
Sehr gut
Gut
M
ittelm
ässig
Schw
ach
0%
20%
10%
40%
30%
Test
RE
Testing Trends & Benchmarks Schweiz 2013 10
Es ist für den Erfolg der Organisation
strategisch
Es ist ein wichtiger Faktor, um
verlässliche Software zu produzieren
Es ist ein notwendiges Übel
Es hat tiefe Priorität
Die Kosten für Tests könnten
wir uns sparen
0% 10% 20% 30% 40% 50%
19%
51%
8%
2%
20%
Die grössten Herausforderungen
Die „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sich
prompt zum Renner entwickelt, der allen anderen ein paar Prozentpunkte
streitig gemacht hat.
( ) = Werte Umfrage 2012
Testum-
gebung
Auto-
matisierung
Zu späte
Lieferung
der SW
Zu wenig
Budget /
Ressourcen
Tester zu
spät
involviert
Anforde-
rungen
mangelhaft
50%
(63%)
30%
(38%)
29%
(30%)
26%
(NEU)
22%
(33%)
21%
(30%)
19%
(24%)
Testdaten

11. REIFE
Anwendung der Testtechniken
Die grundlegenden Black Box-Techniken kommen nur sporadisch
zum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- und
Grenzwertanalyse.
Zufriedenheit mit Testaktivitäten
Die Aktivitäten Testmanagement und Testdurchführung schneiden am
besten ab. Das klare Schlusslicht bildet die Testfallermittlung.
Testing Trends & Benchmarks Schweiz 2013 11
100%
80%
60%
40%
20%
0%
56%
32%
12%
46%
39%
15%
38%
44%
18%
56%
35%
9%
44%
38%
18%
Testm
anagem
ent
Testplanung
Testfallerm
ittlung
Testdurchführung
Testausw
ertung
38%
sind zufrieden mit der Testfallermittlung.
Dies deckt sich mit den Erfahrungen bei
SwissQ Test Assessments. Strukturiert
Testfälle herzuleiten fällt vielen schwer.
Nur
Zufrieden Mittelmässig Unzufrieden
Anwendungsfallbasiert
Risikobasiert
Exploratives Testen
Geschäftsprozessbasiert
Äquivalenzklassenanalyse
Grenzwertanalyse
Fehlerbasiert
Checklistenbasiert
Entscheidungstabellen
Zustandsbasiert
Klassifikationsbaumverfahren
0% 10% 20% 30% 40% 50% 60%
56.8%
42.0%
41.6%
40.1%
23.7%
21.8%
18.3%
11.7%
10.4%
7.6%
1.9%
Anwendungsfälle und Geschäftspro-
zesse bilden eine ideale Basis für die
Definition von Testfällen. Die Techniken
sind entsprechend verbreitet.
40.1%
wenden exploratives Testen an.
Wobei der Begriff oft mit Adhoc
Testing gleichgesetzt wird.

12. ORGANISATION
Ausbildung
Nach wie vor ist der ISTQB Foundation Level das meistverbreitete Zertifikat.
Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und Projekt
Management ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem Certified
Scrum Master auf.
Wer führt Testaktivitäten durch?
Testing Trends & Benchmarks Schweiz 2013 12
Unit Tests
84% Entwickler
52% IT Tester
54% IT Tester
48% Fachbereich Endbenutzer
54% IT Tester
Entwickler IT Tester RE / BA NiemandFachbereich
Endbenutzer
Systemtests
Abnahmetests
Testautomatisierung
Last & Performance Tests
Hab ich schon Ist geplant Mal in ferner Zukunft
0% 20% 40% 60% 80% 100%
ISTQB Foundation Level
ISTQB Advanced Level
Test Manager
IREB® Cert. Professional for
Requirements Engineering
Certified Scrum Master
ISTQB Advanced Level
Technical Test Analyst
Agile Testing
ISTQB Expert Level
Projektmanagement
(IPMA, PMI, ...)
ISTQB Advanced Level
Test Analyst
Qualitätsmanagement
(dipl. Quality Manager, ...)
Certified Product Owner
Agiles Requirements Engineering
ITIL

13. ORGANISATION
Investitionen
Der Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbau
der Regressionstests. Am anderen Ende der Skala finden sich wie gehabt die
Auslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter.
Einsatz externer Ressourcen
Testing Trends & Benchmarks Schweiz 2013 13
Insgesamt nehmen 58.9% externe Unterstützung in
Anspruch. Der Anteil des Outsourcing hat sich gegenüber
2012 von 5.9% auf 8.8% leicht erhöht, ist aber immer
noch relativ klein.
41.1%
58.9%
Die Unterstützung der Testaktivitäten durch
externe Ressourcen hat sich gegenüber dem
letzten Jahr verringert. So beziehen nun 41.1%
statt 33.8% keine externen Ressourcen mehr.
Investitionen
nehmen ab
Investitionen
nehmen zu
Testautomatisierung
Auf- und Ausbau Regressionstests
Testdaten-Management
Testumgebungen
Aus-/ Weiterbildung Mitarbeiter
Testmanagement-Tools
Testprozesse / Methoden
Anstellung neuer Test-Mitarbeiter
Auslagerung von Testaktivitäten
Keine externen Ressourcen
Bezug externer Ressourcen
(Insourcing)
Bezug als Dienstleistung
(Managed Service)
Auslagerung an externe
Ressourcen (Outsourcing)
41.1%
11.9%
38.2%
8.8%

14. TESTAUFWAND Testing Trends & Benchmarks Schweiz 2013 14
Testaufwand im Verhältnis zum
Gesamtaufwand
Testaufwand im Verhältnis zum
Entwicklungsaufwand
Auf den ersten Blick scheint sich
der Testaufwand von Jahr zu
Jahr stark zu verändern.
Analysiert man die Zahlen
genauer, stellt man jedoch
fest, dass der durchschnittliche
Testaufwand im Verhältnis zum
Gesamtprojektaufwand konstant
auf 16 – 20% geschätzt wurde.
Ähnlich wie beim Gesamtauf-
wand hat es beim Testaufwand
im Verhältnis zum Entwicklungs-
aufwand über die Jahre hinweg
Verschiebungen gegeben.
Trotzdem ist auch hier der
Durchschnitt stabil bei
21 - 30% geblieben.
2011 2012 2013
< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber
0%
20%
10%
30%
16 – 20%
Gesamt-
aufwand
21 – 30%
Entwicklungs-
aufwand
12.5%
19.4%
20.1%
23.5%
14.4%
8.2%
1.9%
2011 2012 2013
< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber
0%
20%
10%
30%
6.9%
9.7%
16.9%
21.3%
20.7%
20.4%
4.1%

15. TESTWERKZEUGE
Testautomatisierungs-Tools
Insgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie-
dene Tools genannt.
Testmanagement-Tools
HP QC /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aber
zu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Markt
angesichts der stetig wachsenden Zahl von Alternativen zersplittert.
Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich die
MS Office Palette).
Testing Trends & Benchmarks Schweiz 2013 15
0% 20%
3%
1%
2%
3%
3%
4%
6%
7%
20%
38%
52%
9%
14%
40%
HP QC / ALM
MS Office
Tricentis Tosca
Eigene Entwicklung
MS TFS Test Manager
Polarion QA / ALM
Bugzilla Testopia
IBM Rational
Quality Manager
Inflectra Spira
TestLink
SmartBear QAComplete
SilkCentral Test Manager
keines
0% 10% 20%
34.5%
27.2%
24.1%
15.3%
8.8%
18.0%
5.0%
4.2%
4.2%
4.2%
3.4%
2.3%
30%
HP Quick Test Professional (QTP)
Eigenentwicklung
Tricentis Tosca
xUnit (z.B. jUnit, TestNG, ...)
Selenium (RC/WebDriver)
MS TFS / Visualstudio
QF Test
Ranorex
FitNesse
Lisa
Canoo Webtest
Andere
IBM Rational Functional Tester
(RFT)
0% 20% 40%
2012 2013
HP Quick Test
Professional (QTP)
Eigenentwicklung
Selenium
(RC/WebDriver)
Tricentis Tosca
26.8%
0% 20% 40% 60%
2012 2013
HP QC / ALM
MS Office
Tricentis Tosca
MS TFS Test
Manager
Eigene
Entwicklung

16. TESTAUTOMATISIERUNG
Kosteneinsparungen
Insgesamt wird das Potential für Einsparungen durch Automatisierung
höher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicher
Teil der Teilnehmenden gesagt, dass keine Aussage möglich ist.
Testautomatisierung pro Teststufe
Testing Trends & Benchmarks Schweiz 2013 16
Automatisierte Tests auf
Stufe Systemtest
82%
der Befragten haben
automatisierte Tests
auf einer oder mehreren
Stufen.
% der Testfälle automatisiert
0 – 10% 11 – 20% 21 – 50% 51 – 80% > 80%
0%
60%
40%
20%
2011 2012 2013
7.3%
0%
10%
20%
30%
40%
23.7%
21.8%
10.2%
16.1%
33.3%
24.9%
10.7%
2.8%
22.6%
19.5%Kosten
gestiegen
6.9%
Keine
Aussage
möglich
bis 10% bis 50%bis 20% bis 80%
2012 2013Unit Tests Systemtests Abnahmetests
% der Testfälle automatisiert
0% 1 – 10% 21 – 50%11 – 20% 51 – 80% über 80%
14.2%
21.5%
8.8%
22.2%
34.5%
22.2%
14.9%
13.8%
8.8%
12.3%
22.2%
9.2%
0%
20%
40%
60%
80%
13.8%
5.4%
12.6%
6.1%
12.6%
44.8%

17. ERHEBUNGSGRUNDLAGEN
Aufgabenbereich
Viele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle.
Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breit
gefächert.
Wirtschaftssektor
Wenig überraschend ist, dass der Anteil an Finanzen und Versicherungen
stetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013.
Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%.
Testing Trends & Benchmarks Schweiz 2013 17
0%
2001–...
501–2000
251–500
51–250
11–50
1–10
5% 10% 15% 20% 25% 30% 35%
29.0%
14.9%
13.7%
23.8%
13.7%
5.0%
0%
IT
Finanzen, Versicherungen
Staatliche und staatsnahe Betriebe
Industrie
Transport und Verkehr
Telekom
MedTech
Andere
10% 20% 30% 40%
24.8%
37.7%
9.0%
8.7%
5.9%
4.2%
2.4%
7.3%
IT-Mitarbeitende
Über die Hälfte der Befragten arbeitet in Firmen mit mehr als
250 IT-Mitarbeitenden.
Test Manager
Test Engineer / Test Analyst / Tester
Berater / Consultant
Projektleiter
Teamleiter
Abteilungsleiter / Bereichsleiter
Requirements Engineer
Business Analyst
Quality Manager / QS-Verantwortlicher
Softwareentwickler / Developer
SW Engineer in Test / Testautomatisierer
C-Level (CEO / CIO / ...)
Scrum Master
Product Owner
0% 10% 20% 30% 40%
35.5%
27.8%
18.6%
18.3%
17.8%
13.5%
14.0%
12.6%
12.0%
5.2%
5.7%
6.0%
6.6%
7.4%

18. Requirements Trends & Benchmarks Schweiz 2013
Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it.
Requirements Trends & Benchmarks Schweiz 2013
Viele weitere Zahlen und Details sind im
Requirements Trends & Benchmark Report 2013 zu finden.
Testing Trends & Benchmarks Schweiz 2013 18
RE-Aufwand im Verhältnis zum
Gesamtaufwand
< 5%
0%
10%
20%
10-15% 15-20% 20-30% 30-50% darüber5-10%
24.7%
22.6%
20.4%
RE Aufwand im Verhältnis zum Gesamtaufwand
10.8%
18.3%
2.73%
0.5%
Zufriedenheit
Zufrieden Mittelmässig Unzufrieden
Erheben von Anforderungen
Analysieren von Anforderungen
Verwalten von Anforderungen
Dokumentieren von Anforderungen
Prüfen von Anforderungen
0% 20% 40% 60% 80% 100%
40.5%28.2%
42.1%44.1% 13.8%
33.3%48.7% 17.9%
44.1%35.9% 20.0%
41.0%36.4% 22.6%
31.3%

19. Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it.
Agile Trends & Benchmarks Schweiz 2013
Viele weitere Zahlen und Details sind im
Agile Trends & Benchmark Report 2013 zu finden.
Agile Trends & Benchmarks Schweiz 2013 Testing Trends & Benchmarks Schweiz 2013 19
Management Practices
Sprint Review / Product Demo
Definition of Done
Planning Poker
Daily Standup
Release Planning
Velocity Chart
Co-Location
Backlog Management
Retrospektiven
Dedicated Product Owner
On-Site Customer
Burndown Chart
Taskboard
Definition of Ready
Work in Progress (WiP) Limits
78.6%
75.7%
73.6%
64.3%
62.1%
61.4%
60.0%
50.0%
42.1%
41.4%
28.6%
17.9%
16.4%
9.3%
7.1%
0% 20% 40%
Verwendete Tools im agilen Umfeld
MS Office (Word, Excel)
MS Team Foundation Server
IBM Rational Team Concert
Version One
Andere
Atlassian JIRA / Greenhopper
Bugzilla
Scrumy
Inflectra SpiraDevelopment
HP QC / ALM
Eigene Entwicklung
Rally Software Development
52.9%
47.1%
37.9%
20.0%
10.7%
8.6%
6.4%
4.3%
2.1%
3.6%
1.4%
14.3%
0% 20% 40% 60%

20. Über Uns
SwissQ unterstützt ihre Kunden in den Themen Requirements, Testing und Agilität.
Wir stellen dabei sicher, dass die richtige Funktionalität schnell und richtig geliefert
wird. Dies durch das Bereitstellen von Expertise, Ressourcen, Assessments, Methoden
und Trainings.
Unsere Vision ist es, die Wertsteigerung in der IT durch perfektes Requirements
Engineering, professionelles Software Testing und den bewussten Einsatz von
agilen Methoden zu verbessern. Nebst der Erbringung von hochqualitativen Services,
verfolgen wir diese Vision durch die Schaffung von unabhängigen Plattformen wie
dem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- und
Erfahrungsaustausch ermöglichen. Ausserdem helfen wir hellen Köpfen, ihr Wissen
durch unsere Schulungen zu erweitern.
© by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürich
www.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39
Twitter: @SwissQ | Facebook: swissqconsulting