S i mp ós i o B r a s i l ei r o d e Q u a l i d a d e d e S of t wa r e - S B Q S
QUALIDADE
                               I n s t i t u t o N ok i a d e T ec n ol og i a                VALIDAÇÃO

                                                                          B ug
   MANTIS
                                                                                       INdT
   E xp e riência e m Au tom ação d o P roce s s o d e
     Te s te s e m Am b ie nte Ágil com S C R U M e
               F e rram e ntas O p e nS ou rce
                      AGILIDADE
                                                                                           SE E
                                                                                             L NIUM
   Verificação                                       T e s t L in k
                    E l n e C o lin s & L u a n a L o b ão
                      ia         l
  SCRUM                              é
                                  Be l m      – P A , J u n 2 0 10
Agenda
                                        1. I n t r od u ç ão


                                        1. C on t ext o d o
                                           A mb i en t e
                                         1. P r oc es s o d e T es t e
                                            A u t oma t i z a d o

                                      1. E xec u ç ão d o P r oc es s o


                                      1. R es u l t a d os & C on c l u s ã

C o m p a n y C o n f id e n t ia l
Introdução




C o m p a n y C o n f id e n t ia l
                                      3
N T R O D U Ç ÃO
       P r o je t o w e b c o m m e t o d o l g ia ág il S c r u m
                                             o
      re qu e r e s f orço d e t e s t e

       I d e n t if ic a r p r o b l m a s n o s b r o w s e r s
                                    e
      F ir e f o x , I E 6 e I E 7


       N e c e s s id a d e q u e o p r o c e s s o d e t e s t e
      f o s s e ág il e e f e t iv o


       Au t o m a ç ão d e t e s t e s f u n c io n a is



C o m p a n y C o n f id e n t ia l
                                                           4
Contexto do Ambiente




C o m p a n y C o n f id e n t ia l
                                      5
TE X TO D O A M B I E N TE

       I n s t it u t o N o k ia d e T e c n o l g ia – I N d T
                                                o

              É u m a in s t it u iç ão in d e p e n d e n t e e s e m f in s
              l c r a t iv o s c o m p r o m e t id a c o m a r e a l a ç ão d e
              u                                                       iz
              p e s q u is a e d e s e n v o l im e n t o d e s o l ç õe s t e c n o l g ic a s
                                             v                    u                   ó
              a t r a v é s d o d e s e n v o l im e n t o d e a p l a ç õe s , n o v a s
                                               v                    ic
              t e c n o l g ia s e c o n c e it o s .
                         o


              A ár e a o n d e a e x p e r iê n c ia f o i d e s e n v o l id a f o i
                                                                          v
              T e c n o l g ia s d e P r o d u t o e M a n u f a t u r a (P M T ).
                        o




C o m p a n y C o n f id e n t ia l
                                                                          6
TE X TO D O A M B I E N TE
       S C RU M

               M e t o d o l g ia ág il e f l x í v e l c e n t r a d a n o t r a b a l o
                             o               e         ,                               h
              e m e q u ip e ;
               U t il a d a p a r a o d e s e n v o l im e n t o in c r e m e n t a l e
                        iz                              v
              it e r a t iv o d e q u a l u e r p r o d u t o
                                        q




C o m p a n y C o n f id e n t ia l
                                                                        7
TE X TO D O A M B I E N TE
       O n L in e C u s t o m e r S a t is f a c t io n S u r v e y -
      O CS S

               F o r n e c e r o r e s u l a d o s o b r e P e s q u is a d e
                                           t
              S a t is f a ç ão d o C l n t e a o t im e d e d e s e n v o l im e n t o
                                      ie                                     v
              d o p r o je t o

               We b , l g u a g e m
                           in          Ru b y , f r a m e w o r k Ra il , I D E Ap t a n a
                                                                      s
              S t u d io , M y S Q L

               Ap e n a s 1 r e c u r s o p a r a e x e c u ç ão d e t e s t e

               P o u c o t e m p o e s t im a d o p a r a t e s t e

               S e m f e r r am e n t as p ar a t e s t e o u p r o c e s s o
              f o r m al
C o m p a n y C o n f id e n t ia l
                                                                       8
Processo de Teste




C o m p a n y C o n f id e n t ia l
                                      9
O CE S S O D E TE S TE
        Ar t e f a t o s p r in c ip a is : P l n o d e T e s t e ,
                                               a
       E s p e c if ic a ç ão d e C a s o s d e T e s t e e Re l t ór io
                                                                  a
       d e E x e c u ç ão d e C a s o s d e T e s t e


        M é t r ic a : 10 0 % d e f u n c io n a l a d e
                                                  id


        T e s t a d o r f a z ia p a r t e d a e q u ip e s c r u m


        An ál e d e f e r r a m e n t a s d e a u t o m a ç ão d e
                 is
       t e s t e s ab e r t as
               T e s t l k , M a n t is e S e l n iu m
                        in                     e

 C o m p a n y C o n f id e n t ia l
                                                            10
O CE S S O D E TE S TE
        C ic l a c a d a s p r in t :
              o

                E s t u d o d a s F e r r a m e n t a s d e t e s t e – p r im e ir o
               s p r in t
                C o n f ig u r a ç ão d o a m b ie n t e d e t e s t e – s e g u n d o
               s p r in t
                P l n e ja m e n t o d o s c a s o s d e t e s t e d a s e s t ór ia s
                    a
               d o s p r in t
                E s c r e v e r s c ip t s d e t e s t e a u t o m át ic o s
                E x e c u t a r t e s t e s e x p l r a t ór io s e o s t e s t e s
                                                   o
               a u t o m át ic o s
                Ge r a r r e l t ór io s d e e x e c u ç ão d e t e s t e s
                              a
                C a d a s t r a r d e f e it o s
                Va l a r d e f e it o s e e x e c u t a r r e g r e s s ão d e t e s t e s
                       id
               (s u í t e a u t o m át ic a )
 C o m p a n y C o n f id e n t ia l
                                                                         11
Execução do Processo




C o m p a n y C o n f id e n t ia l
                                      12
E     xec u ç ão d o                      P   r oc es s o
        S e l n iu m
             e
                 S u í t e d e f e r r a m e n t a s o p e n - s o u r c e q u e a u x il m
                                                                                         ia
                n a e x e c u ç ão d e t e s t e s f u n c io n a is e m u m s is t e m a
                We b ;




                 F u n c io n a n o s p r in c ip a is b r o w s e r ’s , p l t a f o r m a s e
                                                                             a
                l g u ag e n s
                in


    C o m p a n y C o n f id e n t ia l
                                                                             13
E     xec u ç ão d o                      P   r oc es s o




    C o m p a n y C o n f id e n t ia l
                                                            14
E     xec u ç ão d o                      P   r oc es s o




    C o m p a n y C o n f id e n t ia l
                                                            15
E     xec u ç ão d o                      P   r oc es s o




    C o m p a n y C o n f id e n t ia l
                                                            16
E     xec u ç ão d o                      P   r oc es s o




    C o m p a n y C o n f id e n t ia l
                                                            17
E     xec u ç ão d o                      P   r oc es s o




    C o m p a n y C o n f id e n t ia l
                                                            18
Resultados & Conclusão




C o m p a n y C o n f id e n t ia l
                                      19
E S U L TA D O S
        C o b e r t u r a 10 0 % d a s f u n c io n a l a d e s
                                                       id


        T e s t e s d e r e g r e s s ão e n c o n t r a v a m n o v o s
       d e f e it o s n a s f u n c io n a l a d e s a n t e r io r m e n t e
                                           id
       c o n c l í d as
                u


        T e s t e s a u t o m át ic o s d e t e c t a v a m p r o b l m a s
                                                                     e
       d e in t e r f a c e e c o m p a t ib il a d e e n t r e
                                              id
       brows e rs


        D e f e it o s d e in t e r f a c e c o r r e s p o n d e r a m a
       6 5 % d o s d e f e it o s e n c o n t r a d o s n a a p l a ç ão
                                                                  ic
 C o m p a n y C o n f id e n t ia l
                                                              20
E S U L TA D O S
        9 5 % d o s d e f e it o s d e in t e r f a c e e r a m     de
       in c o m p a t ib il a d e d e b r o w s e r s
                          id


        Re l t ór io s g e r a d o s a u t o m a t ic a m e n t e
               a
       e c o n o m iz a v a m t e m p o


        Au t o m a ç ão p r o p ic io u m a is t e m p o p a r a
       t e s t e s e a v a l ç ão d e d e s e m p e n h o d o s is t e m a
                           ia


        O c l n t e n ão e n c o n t r o u p r o b l m a s d e
                  ie                                    e
       in t e r f a c e e a s f u n c io n a l a d e s f o r a m
                                             id
       g a r a n t id a s
 C o m p a n y C o n f id e n t ia l
                                                            21
O N C L U S ÃO
       No s c r u m                  é n e c e s s ár io a t u a l a r t e s t e s a
                                                                  iz
      c a d a s p r in t
       O t e m p o p a r a o p r im e ir o s p r in t                  com    t este
      f o i o m a io r
       Re a p r o v e it a m e n t o d e s c r ip t s d e t e s t e
       E s t im a t iv a d e t e m p o p a r a c o r r e ç ão d e
      d e f e it o s t in h a q u e s e r m a io r
       P e s q u is a p o r n o v a s f e r r a m e n t a s d e t e s t e
       Ap l a ç ão d o p r o c e s s o e m
           ic                                                o u t r o s p r o je t o s
       F o r m a l a ç ão d o p r o c e s s o d e t e s t e n a
                  iz
      em pres a


C o m p a n y C o n f id e n t ia l
                                                                      22
O B RI GAD A!




C o m p a n y C o n f id e n t ia l
                                                      23

Experiência em Automação do Processo de Testes em Ambiente Ágil com SCRUM e ferramentas OpenSource

  • 1.
    S i mpós i o B r a s i l ei r o d e Q u a l i d a d e d e S of t wa r e - S B Q S QUALIDADE I n s t i t u t o N ok i a d e T ec n ol og i a VALIDAÇÃO B ug MANTIS INdT E xp e riência e m Au tom ação d o P roce s s o d e Te s te s e m Am b ie nte Ágil com S C R U M e F e rram e ntas O p e nS ou rce AGILIDADE SE E L NIUM Verificação T e s t L in k E l n e C o lin s & L u a n a L o b ão ia l SCRUM é Be l m – P A , J u n 2 0 10
  • 2.
    Agenda 1. I n t r od u ç ão 1. C on t ext o d o A mb i en t e 1. P r oc es s o d e T es t e A u t oma t i z a d o 1. E xec u ç ão d o P r oc es s o 1. R es u l t a d os & C on c l u s ã C o m p a n y C o n f id e n t ia l
  • 3.
    Introdução C o mp a n y C o n f id e n t ia l 3
  • 4.
    N T RO D U Ç ÃO  P r o je t o w e b c o m m e t o d o l g ia ág il S c r u m o re qu e r e s f orço d e t e s t e  I d e n t if ic a r p r o b l m a s n o s b r o w s e r s e F ir e f o x , I E 6 e I E 7  N e c e s s id a d e q u e o p r o c e s s o d e t e s t e f o s s e ág il e e f e t iv o  Au t o m a ç ão d e t e s t e s f u n c io n a is C o m p a n y C o n f id e n t ia l 4
  • 5.
    Contexto do Ambiente Co m p a n y C o n f id e n t ia l 5
  • 6.
    TE X TOD O A M B I E N TE  I n s t it u t o N o k ia d e T e c n o l g ia – I N d T o É u m a in s t it u iç ão in d e p e n d e n t e e s e m f in s l c r a t iv o s c o m p r o m e t id a c o m a r e a l a ç ão d e u iz p e s q u is a e d e s e n v o l im e n t o d e s o l ç õe s t e c n o l g ic a s v u ó a t r a v é s d o d e s e n v o l im e n t o d e a p l a ç õe s , n o v a s v ic t e c n o l g ia s e c o n c e it o s . o A ár e a o n d e a e x p e r iê n c ia f o i d e s e n v o l id a f o i v T e c n o l g ia s d e P r o d u t o e M a n u f a t u r a (P M T ). o C o m p a n y C o n f id e n t ia l 6
  • 7.
    TE X TOD O A M B I E N TE  S C RU M  M e t o d o l g ia ág il e f l x í v e l c e n t r a d a n o t r a b a l o o e , h e m e q u ip e ;  U t il a d a p a r a o d e s e n v o l im e n t o in c r e m e n t a l e iz v it e r a t iv o d e q u a l u e r p r o d u t o q C o m p a n y C o n f id e n t ia l 7
  • 8.
    TE X TOD O A M B I E N TE  O n L in e C u s t o m e r S a t is f a c t io n S u r v e y - O CS S  F o r n e c e r o r e s u l a d o s o b r e P e s q u is a d e t S a t is f a ç ão d o C l n t e a o t im e d e d e s e n v o l im e n t o ie v d o p r o je t o  We b , l g u a g e m in Ru b y , f r a m e w o r k Ra il , I D E Ap t a n a s S t u d io , M y S Q L  Ap e n a s 1 r e c u r s o p a r a e x e c u ç ão d e t e s t e  P o u c o t e m p o e s t im a d o p a r a t e s t e  S e m f e r r am e n t as p ar a t e s t e o u p r o c e s s o f o r m al C o m p a n y C o n f id e n t ia l 8
  • 9.
    Processo de Teste Co m p a n y C o n f id e n t ia l 9
  • 10.
    O CE SS O D E TE S TE  Ar t e f a t o s p r in c ip a is : P l n o d e T e s t e , a E s p e c if ic a ç ão d e C a s o s d e T e s t e e Re l t ór io a d e E x e c u ç ão d e C a s o s d e T e s t e  M é t r ic a : 10 0 % d e f u n c io n a l a d e id  T e s t a d o r f a z ia p a r t e d a e q u ip e s c r u m  An ál e d e f e r r a m e n t a s d e a u t o m a ç ão d e is t e s t e s ab e r t as T e s t l k , M a n t is e S e l n iu m in e C o m p a n y C o n f id e n t ia l 10
  • 11.
    O CE SS O D E TE S TE  C ic l a c a d a s p r in t : o  E s t u d o d a s F e r r a m e n t a s d e t e s t e – p r im e ir o s p r in t  C o n f ig u r a ç ão d o a m b ie n t e d e t e s t e – s e g u n d o s p r in t  P l n e ja m e n t o d o s c a s o s d e t e s t e d a s e s t ór ia s a d o s p r in t  E s c r e v e r s c ip t s d e t e s t e a u t o m át ic o s  E x e c u t a r t e s t e s e x p l r a t ór io s e o s t e s t e s o a u t o m át ic o s  Ge r a r r e l t ór io s d e e x e c u ç ão d e t e s t e s a  C a d a s t r a r d e f e it o s  Va l a r d e f e it o s e e x e c u t a r r e g r e s s ão d e t e s t e s id (s u í t e a u t o m át ic a ) C o m p a n y C o n f id e n t ia l 11
  • 12.
    Execução do Processo Co m p a n y C o n f id e n t ia l 12
  • 13.
    E xec u ç ão d o P r oc es s o S e l n iu m e  S u í t e d e f e r r a m e n t a s o p e n - s o u r c e q u e a u x il m ia n a e x e c u ç ão d e t e s t e s f u n c io n a is e m u m s is t e m a We b ;  F u n c io n a n o s p r in c ip a is b r o w s e r ’s , p l t a f o r m a s e a l g u ag e n s in C o m p a n y C o n f id e n t ia l 13
  • 14.
    E xec u ç ão d o P r oc es s o C o m p a n y C o n f id e n t ia l 14
  • 15.
    E xec u ç ão d o P r oc es s o C o m p a n y C o n f id e n t ia l 15
  • 16.
    E xec u ç ão d o P r oc es s o C o m p a n y C o n f id e n t ia l 16
  • 17.
    E xec u ç ão d o P r oc es s o C o m p a n y C o n f id e n t ia l 17
  • 18.
    E xec u ç ão d o P r oc es s o C o m p a n y C o n f id e n t ia l 18
  • 19.
    Resultados & Conclusão Co m p a n y C o n f id e n t ia l 19
  • 20.
    E S UL TA D O S  C o b e r t u r a 10 0 % d a s f u n c io n a l a d e s id  T e s t e s d e r e g r e s s ão e n c o n t r a v a m n o v o s d e f e it o s n a s f u n c io n a l a d e s a n t e r io r m e n t e id c o n c l í d as u  T e s t e s a u t o m át ic o s d e t e c t a v a m p r o b l m a s e d e in t e r f a c e e c o m p a t ib il a d e e n t r e id brows e rs  D e f e it o s d e in t e r f a c e c o r r e s p o n d e r a m a 6 5 % d o s d e f e it o s e n c o n t r a d o s n a a p l a ç ão ic C o m p a n y C o n f id e n t ia l 20
  • 21.
    E S UL TA D O S  9 5 % d o s d e f e it o s d e in t e r f a c e e r a m de in c o m p a t ib il a d e d e b r o w s e r s id  Re l t ór io s g e r a d o s a u t o m a t ic a m e n t e a e c o n o m iz a v a m t e m p o  Au t o m a ç ão p r o p ic io u m a is t e m p o p a r a t e s t e s e a v a l ç ão d e d e s e m p e n h o d o s is t e m a ia  O c l n t e n ão e n c o n t r o u p r o b l m a s d e ie e in t e r f a c e e a s f u n c io n a l a d e s f o r a m id g a r a n t id a s C o m p a n y C o n f id e n t ia l 21
  • 22.
    O N CL U S ÃO  No s c r u m é n e c e s s ár io a t u a l a r t e s t e s a iz c a d a s p r in t  O t e m p o p a r a o p r im e ir o s p r in t com t este f o i o m a io r  Re a p r o v e it a m e n t o d e s c r ip t s d e t e s t e  E s t im a t iv a d e t e m p o p a r a c o r r e ç ão d e d e f e it o s t in h a q u e s e r m a io r  P e s q u is a p o r n o v a s f e r r a m e n t a s d e t e s t e  Ap l a ç ão d o p r o c e s s o e m ic o u t r o s p r o je t o s  F o r m a l a ç ão d o p r o c e s s o d e t e s t e n a iz em pres a C o m p a n y C o n f id e n t ia l 22
  • 23.
    O B RIGAD A! C o m p a n y C o n f id e n t ia l 23