Komentarz do projektu Małopolskiego Instytutu Kultury: Poprawa jakości gromadzenia danych – o publicznych i niepublicznych instytucjach kultury w Polsce

1. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
1
Komentarz do projektu Małopolskiego Instytutu Kultury:
Poprawa jakości gromadzenia danych – o publicznych i niepublicznych instytucjach kultury w
Polsce
Marcin Śliwa, Mazowiecki Instytut Kultury
Kaja Dziarmakowska, Pracownia Badań i Innowacji Społecznych „Stocznia”
KULTURALNA EWALUACJA – JAK I DLACZEGO EWALUOWAĆ PROJEKTY KULTURALNE?
Refleksje na podstawie trzech lat obecności
Mazowieckiego Centrum Kultury i Sztuki w Szydłowcu
I. Wprowadzenie
Artykuł, który macie Państwo przed sobą, powstał w ramach projektu Małopolskiego Instytutu
Kultury (MIK) pt. Poprawa jakości gromadzenia danych o publicznych i niepublicznych
instytucjach kultury w Polsce, finansowanego z grantu Ministerstwa Kultury i Dziedzictwa
Narodowego (MKiDN) w ramach programu Obserwatorium kultury. W projekcie wzięli udział
m.in. przedstawiciele Mazowieckiego Instytutu Kultury: Agata Roman oraz niżej podpisany, by
podzielić się doświadczeniami w zakresie ewaluacji projektów edukacyjnych i animacyjnych.
Poniższy artykuł, będący częścią projektu, powstał we współpracy z Kają Dziarmakowską,
niezależną ekspertką specjalizującą się w ewaluacji projektów edukacyjnych. Współpracuje ona
z Pracownią Badań i Innowacji Społecznych „Stocznia”, która na zlecenie MKiDN opracowała
ogólnodostępne narzędzia ewaluacyjne dla projektów edukacji kulturalnej1
.
Uznaliśmy, że warto skonfrontować doświadczenie praktyczne z wiedzą teoretyczną i
dodatkowo zakotwiczyć wspólny namysł w konkretnym projekcie, a właściwie trzyletnim
1
http://www.mkidn.gov.pl/pages/strona-glowna/finanse/programy-ministra/programy-mkidn-
2014/edukacja/edukacja-kulturalna.php

2. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
2
eksperymentalnym i interdyscyplinarnym programie edukacyjno-artystyczno-animacyjnym
Mazowieckiego Centrum Kultury i Sztuki (MCKiS; obecnie Mazowiecki Instytut Kultury) w
Szydłowcu na południowym Mazowszu2
. Rozmawialiśmy, analizowaliśmy obszerną
dokumentację foto, video, teksty, debaty, które narosły wokół projektu. Postanowiliśmy skupić
się na barierach w ewaluacji projektów animacyjnych i edukacyjnych. Efekty przedstawiamy
Państwu poniżej.
Marcin Śliwa
II. Witajcie w raju – niszczycielskie polowanie na autentyczność
Podróżowanie bywa niemoralne. Kiedyś – w czasach, gdy kolonizacji poddano pół świata – było
to może bardziej jaskrawe, oczywiste. Dziś o masowej turystyce uzależniającej lokalne
społeczności od kapryśnego ruchu turystycznego mówi się, że jest kolonizacją w białych
rękawiczkach. Pragnienie odkrywania nowych miejsc i kultur, zanurzania się w nieznanym
rytmie, obcowania z autentycznością, to z pozoru czyste i nieszkodliwe motywy. Można by wręcz
powiedzieć, że dzięki takim doświadczeniom przenikają się kultury, budują nowe więzi, a świat
staje się miejscem lepszym i bardziej sprawiedliwym. Cóż, kiedy podróżowanie bez głębszej
refleksji prowadzi (en masse i w uproszczeniu) do podporządkowywania kolejnych miejsc
dyktatowi paru sieci hotelarskich…
Jak daleka jest „chęć poszerzania pola kultury” od napędzającego podróżnika „apetytu
odkrywcy”? Czy rezydencje i tzw. loty do lokalnych społeczności, niewielkich domów kultury,
gminnych bibliotek, prywatnych muzeów to działania służące odwiedzanym czy odwiedzającym?
Pytanie o to, jakie konsekwencje przynoszą wizyty animacyjne w lokalnych społecznościach oraz
– szerzej – jakie są faktyczne efekty działań prowadzonych w ramach edukacji kulturalnej,
bardzo często wybija się na pierwszy plan dyskusji o tego rodzaju przedsięwzięciach.
2
Materiały zostały zebrane na stronie: www.ciecie.org [dostęp: 20.12.2015].

3. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
3
W debacie Pułapki partycypacji 3
, pomyślanej jako dynamiczny komentarz do filmów
4xDudziarska i Szydłowiec, które zrealizowano w związku z działaniami MCKiS w 2012 r., wątek
„kolonizacyjny” wybija się bardzo wyraźnie, a rozmowa ogniskuje się wokół obawy o dalszy los
„obudzonych” i czystość motywacji edukatorów. W związku z trzyletnią obecnością MCKiS w
Szydłowcu nieraz padały pytania o ostatecznych beneficjentów sytuacji aranżowanej przez
edukatorów (podobnie zresztą dzieje się przy okazji wielu innych przedsięwzięć animacyjnych
czy edukacyjnych, niezależnie od ich skali, zwykle znacznie mniejszej niż w omawianym
przypadku):
 Kiedy i pod jakimi warunkami można mówić o wspieraniu kapitału społecznego, a kiedy
prowadzone działania są eksploatowaniem lokalnej społeczności na zewnętrzny użytek?
 Czy korzyści czerpane przez instytucje prowadzące działalność kulturalną są z gruntu złe i
niemoralne? Czy możliwa jest sytuacja, w której obie strony relacji stoją po wygranej
stronie?
 Gdzie kończy się odpowiedzialność edukatora za społeczność/instytucję, w której za
sprawą jego działań miała się dokonać zmiana?
Wzmożona uważność, szacunek, empatia to bezwzględnie prawidłowe, choć może naiwnie
brzmiące rozwiązania powyższych dylematów. Za praktyczny wariant tych romantycznych
postulatów należałoby uznać aktywne zainteresowanie efektami działań animacyjnych –
ewaluację.
III. Odkładanie na jutro – o praktykach ewaluacyjnych w projektach edukacji kulturalnej
Współpraca z edukatorami i animatorami przy ewaluacji ich projektów pozwala się domyślać, że
postrzegają oni ewaluację jako pożądany element działań – planują, że kiedyś na pewno warto
się za to zabrać na poważnie i solidnie, poświęcić środki i czas, może zaprosić specjalistę. Kiedyś
tak, tym razem trzeba będzie jeszcze polegać na własnym osądzie. Gorzej, gdy pojawi się
potrzeba udokumentowania projektu w sprawozdaniu. To wówczas zaczynają krążyć naprędce
3
„Pułapki partycypacji” – debata wokół filmów „4xDudziarska” oraz „Szydłowiec”, 08.10.2012, [online:]
http://www.ciecie.org/pulapki-partycypacji-debata-wokol-filmow-4xdudziarska-oraz-szydlowiec/ [dostęp:
20.12.2015].

4. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
4
tworzone ankiety, wówczas zlicza się głowy na listach obecności, cytuje okolicznościowe notki
pojawiające się w lokalnej prasie... Inaczej mówiąc, podejmuje się spory wysiłek, którego
efektem jest produkowanie wiedzy dość powtarzalnej (zwłaszcza z perspektywy osoby czytającej
raporty spływające pod koniec okresu sprawozdawczego od beneficjentów programów), a przy
tym, niestety, powierzchownej i budzącej spore wątpliwości co do obiektywizmu sprawozdawcy.
Trudno podjąć na tej podstawie decyzję o dalszym losie programów, z których finansowane są
projekty, trudno dobrać właściwe elementy wsparcia, trudno promować dobre praktyki, służyć
głosem doradczym. Z kolei dla realizatorów projektów kulturalnych ewaluacja na potrzeby
sprawozdania dla grantodawcy to tylko formalny i zwykle przykry obowiązek, który nie niesie
realnej korzyści (np. w postaci uzyskania istotnych informacji o funkcjonowaniu elementów
projektu). W takim wydaniu ewaluowanie się oznacza dopełnienie biurokratycznych wymogów,
a treść ewaluacji jest nastawiona na spełnienie wyobrażonych oczekiwań grantodawcy, a nie na
zaspokojenie ciekawości autora projektu.
Nie dziwi wobec tego, że w najbardziej popularnym scenariuszu myślenie o ewaluacji pojawia
się w projektach edukacji kulturalnej jako ostatni akord, który ma wieńczyć i spinać działania.
Ma się zacząć w zasadzie już „po wszystkim”, gdy ważne (i ciekawe) rzeczy zostaną zrobione, gdy
będzie czas na oddech i pomyślenie o rzeczach nawet jeśli istotnych, to przecież
drugoplanowych. Jak ewaluacja właśnie. Niestety, w takim momencie nakładają się na siebie
ryzyka z bardzo różnych „życiowych” obszarów. Najbardziej banalną, ale niemożliwą do
pokonania czy zignorowania przeszkodą jest brak czasu. Otóż koniec projektu oznacza, cóż, jego
koniec właśnie. Kończą się pieniądze na wynagrodzenia dla realizatorów, pojawia się
konieczność wprawiania w ruch kolejnych przedsięwzięć, zespół zaczyna się rozglądać za
nowymi aktywnościami. Najwyższy poziom osiąga też znużenie – zwykłe, wstydliwe, ale bardzo
ludzkie zmęczenie tematem. Motywacja do kolejnych, a skądinąd właściwie niekoniecznych,
nadmiarowych działań w projekcie nie mogłaby być niższa. Wydaje się, choć trudno mówić o
tym głośno, że z tego rodzaju wypaleniem zmaga się wielu edukatorów. Działania animacyjne są
z natury bardzo angażujące, często przez wiele miesięcy żyje się intensywnie, jakby nieswoim
życiem, czasem faktycznie z dala od domu, w innym miejscu, wśród innych, nagle bliskich ludzi.

5. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
5
Po takim doświadczeniu trudno spojrzeć na wszystko z dystansu. Przypadek obecności MCKiS w
Szydłowcu pokazuje, że im wyższa intensywność działań, im dłuższe zaangażowanie, tym więcej
czasu może wymagać decyzja o „powrocie ewaluacyjnym”. Bo choć zamiary ewaluacyjne
towarzyszyły działaniom podejmowanym na miejscu, były to raczej luźne intencje niż konkretne
plany i siłą rzeczy nigdy nie stały się one meritum aktywności. Nie mogąc konkurować z
bieżącymi wydarzeniami, miały się wydarzyć później, co w praktyce zaowocowało odsunięciem
ewaluacji w czasie na – jak się obecnie wydaje – co najmniej rok od zakończenia działań
animacyjnych w Szydłowcu. Na szczęście w trakcie trzyletniej obecności zebrano wiele
materiałów, które mogą stanowić dobrą, bogatą i bardzo różnorodną podstawę do ewaluacji,
nawet tak odsuniętej w czasie. W przypadku wielu projektów taka dokumentacja jednak w ogóle
nie powstaje, co znacznie utrudnia odtworzenie realiów projektu i zewaluowanie go w
późniejszym terminie4
.
IV. Zmiana akcentów – jak przeorientować myślenie o ewaluacji?
Choć z różnych stron słychać głosy o pojawieniu się mody na ewaluację, biurokratyczne odium
nie sprzyja zmianie paradygmatu ewaluacyjnego przyjętego w wielu instytucjach. Studiując
raporty z ewaluacji, można odnieść wrażenie, że musi być to przedsięwzięcie poważne, na
odpowiednim poziomie naukowego zaawansowania, odwołujące się do statystyk, operujące
językiem liczb i wykresów. Umacniać taki wizerunek mogą także opisy, takie jak ten ze strony
Polskiego Towarzystwa Ewaluacyjnego, gdzie ewaluacja przedstawiana jest jako:
 ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego
usprawnienia, rozwoju lub lepszego rozumienia;
 zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości projektu przy
zwróceniu uwagi na zagadnienia istotne dla zainteresowanych;
4
Ewaluacja ex post jest opisywana w literaturze przedmiotu, funkcjonuje też powszechnie w rzeczywistości
projektowej, jednak powyższe argumenty pokazują, że jest to przedsięwzięcie obarczone ryzykiem – nie zawsze
bowiem udaje się dotrzeć do materiałów i osób pozwalających dokonać pełnej i pogłębionej ewaluacji już po
zakończeniu działań w projekcie.

6. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
6
 ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w
kontekście założonych celów, porównywanie rezultatów projektu ze wstępnymi
zamierzeniami5
.
Aby nieco uprościć sprawę, w najogólniejszym ujęciu można jednak powiedzieć, że ewaluacja to
proces pozwalający na sprawdzenie, czy w projekcie zrobiono wszystko, by zrealizować
zamierzenia stojące za podjętymi działaniami. Ewaluacja to nie audyt i nie rozliczenie
realizatorów z wykonanych zadań. Jej funkcją nie jest sprawowanie kontroli, ale refleksja,
głębokie zastanowienie się nad sensem projektu, nad jego faktycznym wpływem na otoczenie.
Sednem ewaluacji jest próba zrozumienia, co takiego zadziało się pod wpływem naszych
oddziaływań, czy coś drgnęło? Coś się zmieniło? Czy tak właśnie miało być?
Powinna być ponadto, jak postulują autorzy poradnika Ewaluacja, jak to się robi?6
, procesem
samokształcenia, wobec czego próby scedowania tej części pracy nad projektem na
zewnętrznych specjalistów mijają się z celem. Mądra ewaluacja nigdy nie wydarzy się bez
udziału zespołu projektu. Naprawdę i niezależnie od tego, jak wiele osób czytając te słowa,
prycha z rozdrażnieniem albo wręcz odczuwa chęć ucieczki. Na szczęście zaangażowanie
autorów i realizatorów projektu w działania ewaluacyjne nie musi być procesem bolesnym.
Dobra ewaluacja powinna respektować naturę projektu, pasować do niego jak szyty na miarę
garnitur. Tragiczne przypadki ankietowania uczestników spektakli teatralnych w momencie
największych wzruszeń albo równie dramatyczne odpytywanie rodziców z tego, „co pomyślały
ich dzieci”, to nie ewaluacja, tylko pusty rytuał, bez większych szans na wartościowe wnioski.
Innymi słowy, ewaluacja, aby dostarczać rzetelnej wiedzy o projekcie, musi być do niego
adekwatna, i to pod wieloma względami. Musi uwzględniać metody pracy. Rozmiary i budżet
projektu. Jego kalendarz. Specyfikę zespołu i uczestników. A wreszcie – musi dawać możliwość
prześledzenia wpływu projektu na jego otoczenie.
5
http://www.pte.org.pl/index.php/o-ewaluacji/czym-jest-ewaluacja, dostęp: 29.12.2014
6
Poradnik do pobrania: http://stocznia.w1.laboratorium.ee/publikacje-stoczni/, dostęp: 29.12.2014

7. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
7
Odwołując się bezpośrednio do doświadczeń z realizacji projektów podczas obecności MCKiS w
Szydłowcu, można opisać pożądaną ewaluację także jako taką, która wspierałaby realizatorów
już w trakcie programu, pozwalając korygować kurs i dokonywać świadomych wyborów
decydujących o kształcie kolejnych zamierzeń. W ujęciu długofalowym idealna ewaluacja
pozwalałaby sprawdzić, kto skorzystał na projekcie, tzn. czy – niezależnie od chęci – projekt
pozwolił osiągnąć pożądaną przez autorów zmianę społeczną. A biorąc pod uwagę aspekt jak
najbardziej praktyczny, powinna móc uwiarygodniać projekt w oczach partnerów i przyszłych
mecenasów podobnych działań.
Oznacza to zatem, że ewaluacja idealna powinna:
 być częścią zaplanowanych w projekcie działań, towarzyszyć im od samego początku;
 angażować osoby najlepiej rozumiejące projekt – autorów, realizatorów;
 odwoływać się do otoczenia;
 „mówić” tym samym językiem co pozostałe działania projektowe;
 przynosić sensowną, wartościową dla autorów projektu wiedzę – bazować na
wskaźnikach, które pozwolą sprawdzić, na ile osiągnięto zamierzone cele, co się udało, a
co nie;
 być efektywna – nie generować niepotrzebnych, dodatkowych ruchów, powinna dziać
się niejako przy okazji;
 być jasna i czytelna – dawać mierzalne, porównywalne wyniki.
V. Mierzenie niewysłowionego – specyfika ewaluacji projektów edukacji kulturalnej
Przestrzeń działania edukatora kulturalnego i animatora jest trudna do precyzyjnego
zdefiniowania. Jak jednoznacznie i bez wątpliwości odróżnić ją od dziedziny sztuki? Jednym ze

8. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
8
sposobów jest skoncentrowanie się nie na działaniach i metodach pracy, ale celach
przedsięwzięć:
Istnieje tradycyjne rozróżnienie na artystę i edukatora. Jeśli artysta ma dokładnie
uświadomiony cel swojego działania, to nie jest artystą. Dokładnie odwrotnie jest z
edukatorem. On ma właśnie klarownie sformułowany cel. Ja wolę artystów edukatorów,
niż szaleńców bożych. Bo taki szaleniec jest zwolniony z odpowiedzialności za to, co robi7
.
Artysta skierowany jest na siebie, tymczasem edukator skupia się na konsekwencjach swoich
działań:
Kiedy my wchodzimy w społeczność, by ją zmienić za pomocą sztuki, interesuje nas
przede wszystkim właśnie ta społeczność. Chcemy mieć trwałe, mierzalne rezultaty,
widoczne zmiany. Interesuje nas stan, w jakim zostawiamy „obudzonych” przez nas z
letargu ludzi, interesują nas ich dalsze losy. Wy [artyści] używacie społeczności jako
paliwa dla sztuki, a my sztuki jako paliwa dla społeczności. To fundamentalna różnica,
fundamentalnie inna odpowiedzialność8
.
Sfera projektów czysto artystycznych, realizowanych z pozycji sztuki, nie edukacji czy animacji,
jest trudna do zmierzenia. Niektóre strategie artystyczne zakładają poświęcenie człowieka lub
społeczności w celu wskazania problemu społecznego, moralnego, a nawet osiągnięcia czystej
wartości artystycznej. Są projekty, które są anarchistyczną interwencją artysty, więc ich
ewaluację można (chyba) uznać za bezcelową. Są też działania delikatne, sztuka efemeryczna,
relacyjna, intuicyjna, performatywna – tu bardzo trudno wyobrazić sobie ewaluatora z
odpowiednim wyczuciem, ale i śmiałością, by chcieć takie przedsięwzięcia ewaluować. Z kolei aż
się prosi o ewaluację wysokobudżetową klasyczna „sztuka wysoka”, tworzona przez wielkie i
średnio wielkie, a nawet małe i nieistotne instytucje – sztuka, która pochłania olbrzymie
budżety, a jej ważkość społeczna jest dyskusyjna.
7
Marcin Śliwa, Posłaniec, który nas budzi, w: Wojciech Kłosowski [red.], Kierunek kultura. W stronę żywego
uczestnictwa w kulturze, s. 25, [online:]
http://www.kierunekkultura.waw.pl/images/stories/PDF/kierunek_kultura_w_strone_zywego_uczestnictwa_w_kul
turze.pdf [dostęp 07.01.2015].
8
Tamże, s. 22

9. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
9
Niezależnie jednak od poglądów na ewaluację działań artystycznych, jeśli zgodzimy się, że
nastawienie na cel i zainteresowanie oddźwiękiem społecznym to elementy konstytuujące
edukację kulturalną, naturalną konsekwencją takiego ujęcia powinna być właśnie ewaluacja
działań. Tymczasem, choć jest to dziedzina, która aż się prosi o ewaluację, praktyka wygląda
zupełnie inaczej. Dlaczego tak się dzieje?
Podobnie jak skoncentrowanie na celach może odróżniać działania edukacyjne i animacyjne od
uprawiania sztuki, tak ich eksperymentalny, innowacyjny charakter odróżnia je zwykle od reszty
projektów zaangażowanych społecznie. Oryginalność form oddziaływania wymaga
wyjątkowego, specjalnie zakrojonego podejścia, co – przy ograniczonym budżecie – może stać
się poważną przeszkodą w zorganizowaniu adekwatnej ewaluacji. Z kolei zastosowanie bardziej
konwencjonalnych metod może nie wystarczyć do pomiaru wpływu projektu. Odwołanie się do
tradycyjnych metod badawczych może też dostarczyć realizatorom przykrego dyskomfortu (któż
chciałby się wcielić w rolę ankietera tuż po tym, gdy inspirował, otwierał oczy na nowe, był
„mistrzem karnawału”?), a nawet wiązać się z ryzykiem negatywnego oddziaływania na odbiór
projektu (czy zakreślanie kwadracików ankiety nie zniweczy magii wydarzenia?, czy nie wzbudzi
niesmaku, nie zniechęci do udziału w kolejnych przedsięwzięciach?).
Obecność MCKiS w Szydłowcu to trzy lata eksperymentalnych przedsięwzięć obejmujących tak
różne inicjatywy, jak koncert w kamieniołomie, warsztaty recyclingowo-modowe, wykłady o
tuningu, świetlna instalacja artystyczna na polach uprawnych, warsztaty stolarskie, instalacja
„błotna” w starej synagodze, partycypacyjne tworzenie mapy turystycznej i kilkadziesiąt innych
maksi-, midi-, mini- i mikroprzedsięwzięć. Wspólnym mianownikiem było „poszerzanie pola
kultury”, cel szeroki na tyle, że w praktyce uniemożliwia zastosowanie jednorodnej metody
ewaluacyjnej. Zmierzenie poziomu realizacji takiego celu wymaga uzgodnienia przez inicjatora
projektu i jego ewaluatora, czym jest pole, o które chodzi, a następnie opracowania szeregu
wskaźników, które mogłyby świadczyć o jego poszerzeniu. Jest to z oczywistych względów
trudne, cele projektów edukacyjnych łatwiej bowiem zrozumieć i wyczuć na poziomie intuicji niż
opowiedzieć precyzyjnym językiem.

10. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
10
Opracowanie procedury ewaluacyjnej dla Szydłowca dodatkowo utrudniał fakt ewoluowania
przedsięwzięcia. Podczas trzech lat pracy zmieniały się szczegółowe zamierzenia,
doprecyzowywały cele. Można powiedzieć, że projekt „łagodniał”, a inaczej, że „dostrajał się” do
rzeczywistości zastanej na miejscu. W pewnym sensie taki właśnie efekt powinna przynieść
dobrze funkcjonująca maszyna ewaluacyjna – pozwolić w porę zmienić kurs i nie tyle dopuścić
do błędów (tych nie unikniemy, realizując projekty eksperymentalne), ile szybko na nie
zareagować. Dodatkową wartością ewaluacji byłoby jednak reagowanie na przeszkody w
uporządkowany sposób, uczenie się instytucjonalne, nie tylko zdobywanie doświadczeń przez
kolejne osoby realizujące konkretne działania. Wnioski płynące zarówno z sukcesów, jak i
porażek miałyby szansę przysłużyć się nie tylko pojedynczym realizatorom, ale stać się realną
korzyścią dla całych instytucji czy społeczności. Uporządkowanie wiedzy o efektach aktywności
edukacyjnej, zebranie wniosków o tym, jakie konkretne korzyści może przynieść, można uznać
obecnie za jeden z ważniejszych celów ewaluacji przedsięwzięć zbliżonych do działań w
Szydłowcu oraz szeregu innych projektów o podobnym charakterze.
Omawiany przypadek Szydłowca jest o tyle szczególny, że spośród setek projektów
animacyjnych i kulturalno-edukacyjnych realizowanych każdego roku, miał on zupełnie
wyjątkową skalę – obejmował wydarzenia korzystające z dorobku i narzędzi różnych dziedzin
sztuki, miał niezwykle szerokie zaplecze instytucjonalne (w Szydłowcu pojawili się
przedstawiciele MCKiS oraz innych warszawskich instytucji: Centrum Sztuki Współczesnej,
Muzeum Sztuki Nowoczesnej, Akademii Sztuk Pięknych, Krytyki Politycznej, Centrum Myśli Jana
Pawła II i wielu, wielu innych znanych i mniej znanych podmiotów – instytucji, organizacji,
kolektywów artystycznych, niezależnych artystów i animatorów). Ponadto od samego początku
było to przedsięwzięcie pomyślane jako rodzaj dłuższej rezydencji, a więc oddziaływania
długofalowego, a nie akcyjnego. Przy takiej skali działań tym więcej mówi o kondycji ewaluacji w
sferze edukacji kulturalnej brak doradcy ewaluacyjnego w zespole realizatorów (trzeba jednak
uczciwie powiedzieć, że kilka lat temu nieobecność takiej osoby nie budziła żadnego
zaskoczenia, wręcz przeciwnie – zaangażowanie badacza ewaluatora uznano by pewnie za
posunięcie niecodzienne, jeśli nie dziwaczne).

11. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
11
Nawet przy najmniejszej skali działań, jaką byłaby pojedyncza interwencja animacyjna (np.
warsztat kreatywny w ramach lekcji muzealnej), ewaluacja wiąże się z trudnościami
wynikającymi z braku rutyny w prowadzeniu tego typu działań. Realizatorom brakuje własnych
doświadczeń w tym zakresie (jeśli nie brać pod uwagę zliczania uczestników wydarzeń i
wymienia tej liczby w sprawozdaniu), wiedza o tym, gdzie szukać wskazówek, jest słaba, a w
kręgu zawodowych znajomości edukatorów rzadko kiedy znajduje się ktoś taki jak badacz
ewaluator.
Sprawy nie ułatwia także to, że budżety projektów niekoniecznie obejmują takie pozycje jak
profesjonalna ewaluacja. Należy tu jednak podkreślić, że w wielu, zwłaszcza ogólnopolskich
programach grantowych ewaluacja coraz częściej jest elementem nie tylko wymaganym, ale i
traktowanym jako odrębna dziedzina kosztów. Cóż, gdy stałą praktyką finansowania projektów
kulturalnych jest ograniczanie wnioskowanego budżetu o kilka–kilkadziesiąt procent,
realizatorzy stają wobec konieczności redukowania kosztów, co skutkuje m.in. likwidacją
budżetu na badania.
Doświadczenia z Szydłowca pokazują, że nawet pewna swoboda finansowa nie daje gwarancji
przeprowadzenia ewaluacji. O ile budżet na badania nie zostanie zawczasu wyłoniony i
zamrożony, o tyle wydatki ewaluacyjne mogą się przekładać na poczucie utraty środków
niezbędnych do sfinansowania bieżących działań projektowych. To prosta droga do odłożenia
planów ewaluacyjnych na inne, lepsze czasy.
Ewaluacja wymaga zatem wysiłku, doświadczenia, czasu i pieniędzy, co na ogół niweczy szanse
na jej zaistnienie w sferze projektów edukacyjnych. Na domiar złego elementem, który najsilniej
przekłada się na niechęć edukatorów, jest coraz bardziej powszechny… wymóg jej
przeprowadzania. Narzucanie ewaluacji bez zaoferowania realizatorom wsparcia we
wprowadzaniu jej w życie tworzy wokół tego procesu złą atmosferę, lokując go w świecie
biurokratycznych fanaberii.
Trudno się też oprzeć wrażeniu, że nieprzychylny ewaluacji klimat to skutek zjawiska
specyficznego nie tylko dla projektów edukacyjnych czy kulturalnych, ale znacznie szerszego i

12. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
12
przenikającego różne dziedziny życia. Analizując styl działania przeróżnych instytucji, organizacji,
a także pojedynczych osób można dojść do wniosku, że za niechęć do ewaluacji odpowiada nasz
narodowy charakter. Generalnie, wydaje się, że my Polacy nie mamy najlepszych doświadczeń z
planowaniem i myśleniem strategicznym. Panuje u nas raczej kultura prowizorki, improwizacji,
kult „załatwiania” i „łatania”. To nasz narodowy żywioł i nasza tradycja. Także instytucjonalna9
.
Planowanie i regularna weryfikacja rezultatów łatwo może zostać uznana za nudziarstwo. W
sferze działań artystycznych, ale także okołoartystycznych jest to w zasadzie „przestępstwo”.
Dlatego myśląc o ewaluacji projektów edukacji kulturalnej, konieczne musimy zaproponować
działania niestandardowe, zaskakujące, zabawne. I jakkolwiek forma nie powinna dominować
nad treścią, to z pewnością nie wolno jej zaniedbywać.
VI. Kulturalna ewaluacja – jak zwiększyć szanse na bezbolesną ewaluację projektów
edukacyjnych i animacyjnych?
W obliczu tak licznych przeciwności wydaje się, że tylko wyjątkowy entuzjazm realizatora
projektu może sprawić, by działaniom edukacji kulturalnej towarzyszyła ewaluacja. Istnieje
jednak szereg sposobów, dzięki którym prawdopodobieństwo przeprowadzenia ewaluacji w
sposób elastyczny i bezbolesny wzrasta.
Dobrze zaplanowana ewaluacja jest efektywna pod względem czasu i środków finansowych,
dzieje się – jeśli tylko to możliwe – przy okazji podstawowej aktywności projektowej, korzysta z
zasobów, które siłą rzeczy są obecne w projekcie, unika generowania dodatkowych wysiłków. W
projekcie powstaje mnóstwo materiałów, które jeśli do nich ponownie i wielokrotnie
(krytycznie?) nie zajrzymy, po prostu się zmarnują. A przecież gromadziliśmy je pieczołowicie i z
intuicją, że warto to robić, że to ważne, by je przechować. Szuflady i regały są pełne
dokumentacji, na komputerach zapisujemy masę interesujących ewaluacyjnie danych.
Warunkiem tego, by uczynić z nich materiał, z którego można wyciągnąć wartościowe wnioski,
9
Por. Marcin Śliwa w rozmowie z Pauliną Sobieszuk: Strategia Rozwoju Kultury w województwie mazowieckim na
lata 2013-2020 jako wyraz odpowiedzialności za „obudzonych”, [w:] Wojciech Kłosowski [red.], Proces
powstawania strategii rozwoju kultury w województwie mazowieckim na lata 2013–2020, s. 13 [online:]
http://www.mazowia.org.pl/files/proces_powstawania_strategii_rozwoju_kultury_mazowia_57ra.pdf [dostęp:
20.12.2015].

13. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
13
jest względny porządek – oznaczone daty czy choćby notka pozwalająca rozpoznać, z jakiego
wydarzenia pochodzi dane zdjęcie, czego dotyczy ważny mail, kiedy powstało nagranie, film itp..
Przy prowadzeniu działań animacyjnych w dość skrupulatny sposób zbiera się dane na temat
frekwencji na wydarzeniach. Sprawdza się ją nawykowo, a poza tym jest to dość łatwy do
mierzenia wskaźnik, często wymagany przez grantodawców jako miara oceny przedsięwzięcia.
Wymóg szacowania liczby odbiorców działań, czyli próba określenia zasięgu oddziaływania
przekłada się na krzywdzącą dla ewaluacji opinię, że polega ona w gruncie rzeczy na zliczaniu i
nie ma szans na oddanie ducha projektu. Jest bowiem jasne, że liczba zapełnionych miejsc
będzie słusznym miernikiem w odniesieniu do oceny sukcesu komercyjnego, jednak o
powodzeniu wydarzenia o charakterze niekomercyjnym ciężko wnioskować tylko na podstawie
jego popularności. Bywa przecież i tak, że obiektywnie niskiej frekwencji towarzyszy poczucie, że
projekt nie był klapą, że miał swój wpływ na społeczność albo będzie „pączkował” w przyszłości.
W Szydłowcu fiaskiem frekwencyjnym okazał się, ku zaskoczeniu i rozgoryczeniu organizatorów,
pewien nietypowy wykład. Dotyczył światowych trendów w tuningu samochodowym, stanowiąc
ofertę absolutnie unikatową, adresowaną do niszowego grona zagorzałych miłośników tej
sztuki, których w Szydłowcu nie brakuje. Wykładowca był charyzmatyczny, a promocji
wydarzenia nawet z perspektywy czasu nie można niczego zarzucić. Uczestniczył w nim jednak
zaledwie trzy osoby i nie była to frekwencja, którą można uznać za zadowalającą, nawet gdyby
wszystkie one napisały po latach doktoraty z tej wyjątkowej dziedziny. Zawiódł, jak to się zdarza
w takich sytuacjach, kalendarz – wykład odbywał się w godzinach pracy zainteresowanych.
Zdarzenie to może figurować jako niebywała klapa w sprawozdaniu, można też o nim
wspominać w ramach anegdoty. Ewaluacja, w której można by się odwołać do liczb, obserwacji
czy wywiadów, stanowiłaby krok w kierunku przekucia tej jakby nie było porażki w sensowną
wytyczną na przyszłość (nie tylko naukę dla pomysłodawców).
Trzeba podkreślić, że frekwencja nie musi być złą miarą. Nie mówi wszystkiego, na pewno nie
należy uznawać jej za główny wskaźnik w ewaluacji, ale jest przecież czegoś wyraźnym
świadectwem. Dokumentując frekwencję z wydarzenia na wydarzenie, gromadzimy bogate

14. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
14
dane. Możemy na tej podstawie śledzić zmianę w partycypacji. Oczywiście, aby zwiększyć
trafność wnioskowania, lepiej byłoby wyposażyć nasze narzędzie ewaluacyjne w dodatkowe
miary. Idealna byłaby uporządkowana obserwacja (jak przygotować arkusz obserwacyjny i
prowadzić obserwację, można się dowiedzieć np. z Miniporadnika ewaluacji dla realizatorów
projektów Edukacji kulturalnej przygotowanym dla MKiDN przez Pracownię Badań i Innowacji
Społecznych „Stocznia”10
), sprawdzi się jednak także „wrażeniowa” notatka głosowa albo zapiski
w formie SMS w telefonie. Wzmianki o atmosferze, komentarze do wydarzenia, obserwacje
reakcji uczestników, refleksje o obecnych i nieobecnych można potraktować jako dane
jakościowe, które w zestawieniu z pomiarami frekwencji powiedzą nam dużo o tym, co się
naprawdę zadziało w trakcie naszej obecności. Czy udało nam się wejść w dialog, czy kogoś
zainteresowaliśmy, podrzuciliśmy komuś myśl, a może tylko pozwoliliśmy nieco rozwiać nudę,
dostarczyliśmy rozrywki, dzięki nam ktoś mógł spędzić czas w inny niż zwykle sposób? To, czy
wyniki ewaluacji nas usatysfakcjonują, zależy od celów, jakie sobie wyznaczyliśmy. Istotne, że
nawet tak proste zabiegi i intuicyjne wnioski wnoszą zupełnie nową jakość, która pozwala
skomentować działania edukacyjne, lepiej je ukierunkować, wzmacnia motywację, pokazuje
sens czy bezsens zastosowanych rozwiązań.
Trudno wymienić, a nawet wyobrazić sobie, jak różne formy mogą przybrać dane przydatne przy
ewaluowaniu przedsięwzięcia. W przypadku obecności MCKiS w Szydłowcu niezwykle cennym z
perspektywy ewaluatora zasobem jest bogaty materiał filmowy wyprodukowany w ramach
projektu. Dokumentacja projektów edukacyjnych MCKIS była wielokrotnie wykorzystywana w
różnego rodzaju konferencjach, sympozjach czy warsztatach organizowanych przez podmioty
zewnętrzne. Ponadto trafiła do Archiwum Wizualnego Uniwersytetu Adama Mickiewicza w
Poznaniu – w kategorii dziesięciu najlepiej udokumentowanych projektów animacyjno-
edukacyjnych w Polsce. Prawdopodobnie zostanie wykorzystana jako ważny zasób badawczy.
10
Maja Durlik, Kaja Dziarmakowska, Miniporadnik ewaluacji dla realizatorów projektów edukacji kulturalnej, 2013,
[online:]http://stocznia.org.pl/wp-content/uploads/2014/04/Miniporadnik_ewaluacji_cc_by.pdf [dostęp:
20.12.2015].

15. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
15
Jeśli weźmiemy pod uwagę specyfikę tego rodzaju danych11
, wypowiedzi sfilmowane w trakcie
działań mogą posłużyć za wywiady z uczestnikami i realizatorami, w zależności od zawartości
merytorycznej filmu można wykorzystać go także jako sposób na utrwalenie powstałych w
przedsięwzięciu prac, zapis ewentualnych zmian w sposobie ekspresji uczestników wydarzeń,
zmian w filmowanym otoczeniu i na wiele innych sposobów. Przy analizie niezbędne będzie
wspieranie się dodatkowymi materiałami (w omawianym przypadku świetnym zastanym
źródłem danych jest blog o działaniach w Szydłowcu), próby kontaktu i przeprowadzenia
wywiadów lub ankiet z uczestnikami i dużym zespołem realizatorów.
Nawet bliska ideału „ewaluacja mimochodem”, czyli ta dokonywana przy okazji podstawowych
działań projektowych, wymaga wysiłku. Zebrany materiał zdjęciowy, blog, nagrania koncertów,
filmy to źródło danych, które wymaga prześledzenia, uporządkowania i analizy pod kątem
konkretnych pytań badawczych. W wersji minimalistycznej, dokładnie tak jak przy najbardziej
złożonych badawczo planach, ewaluacja rozpoczyna się od odtworzenia celów przedsięwzięcia,
nazwania ich w sposób jak najprostszy, postawienia pytań o spełnienie tych celów i znalezienia
takich wskaźników, które pozwoliłyby na te pytania odpowiedzieć12
. Trzeba pamiętać o
ograniczeniach, które wynikają z przyjętych procedur. Ewaluowanie się po latach jest obarczone
brzemieniem upływu czasu, ewaluacja na podstawie zapisów wolontariuszy lub własnych
naprędce tworzonych notatek może się okazać zbyt ogólnikowa, mało pogłębiona, nie całkiem
obiektywna. Warto sięgać do opinii innych, uzupełniać swoje zdanie o wrażenia uczestników
wydarzenia, współpracowników. Nie należy jednak być zbyt ostrożnym, unikać rozstrzygnięć.
Jeśli ewaluacja ma służyć wewnętrznym celom, pomagać w podejmowaniu decyzji o projekcie,
kierunkowaniu działań, to intuicja (wynikająca przecież i z doświadczenia, i z wyczucia) nie jest
mniej ważnym argumentem. Jeśli z kolei ewaluacja służy także celom zewnętrznym, ma
stanowić rodzaj uwiarygodnienia przedsięwzięcia, to konieczne będą jasne, powtarzalne,
obiektywne miary. Zakres pytań, a także zasoby, którymi dysponuje ewaluator, będą decydować
11
Film nie jest czystym zapisem wydarzeń, został „przefiltrowany” przez realizatora, stąd istotne mogą być np.
uzupełniające rozmowy i odwołania do dodatkowych źródeł.
12
W przypadku materiału filmowego dalsza procedura badania może polegać na oglądaniu wynotowywaniu
„znalezisk”, które następnie kategoryzujemy i analizujemy pod kątem postawionych pytań ewaluacyjnych.

16. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
16
o kształcie ewaluacji. Pomocą dla ewaluatorów amatorów mogą być gotowe narzędzia
badawcze np. Zrób to sam. Jak zostać badaczem społeczności lokalnych? Poradnik dla domów
kultury13
, Miniporadnik ewaluacji dla realizatorów projektów kulturalnych14
.
Dobrym, obiektywizującym, rozwiązaniem będzie zatrudnienie do prześledzenia dokumentacji
projektowej zewnętrznego badacza. Także w przypadku projektów większych, trudnych do
zbadania metodami „chałupniczymi”, po amatorsku, warto zatrudnić zewnętrznego ewaluatora
lub zespół. Trudno o większy banał, jednak nie może tu tych słów zabraknąć: o wyborze nie
powinno przesądzać kryterium cenowe. Jeśli przeszkodą jest niezwykle szczupły budżet, może
sprawę rozwiąże zwrócenie się po wsparcie do najbliższego koła studentów socjologii?
Kimkolwiek by nie byli, ważne, by badacze opracowywali założenia ewaluacji równolegle z
powstawaniem planów projektu edukacyjnego. Pozwoli to nie tylko zminimalizować koszty
badania, ale przede wszystkim uporządkuje myślenie o ewaluacji na tyle, by powstały
adekwatne i kreatywne narzędzia badawcze.
VII. Postscriptum
W powyższym artykule nie wyczerpujemy kwestii ewaluacji projektów animacyjnych,
artystycznych i edukacyjnych. Jesteśmy raczej przekonani, że to głos w aktualnej debacie.
Namysł nad tą problematyką będzie jednym z kluczowych wyzwań, które stawiamy sobie w
ramach Mazowieckiego Obserwatorium Kultury, które właśnie uruchomiliśmy w Mazowieckim
Instytucie Kultury.
13
Michał Danielewicz [i in.], Zrób to sam. Jak zostać badaczem społeczności lokalnych? Poradnik dla
domów kultury, [online:] http://www.kulturalna.warszawa.pl/pi/73489_1.pdf [dostęp: 04.01.2013].
14
Maja Durlik, Kaja Dziarmakowska, dz. cyt.

17. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego
17
W ramach badań obserwatorium podejmiemy trud zewaluowania kluczowych projektów
warszawskiego MIK – od interdyscyplinarnych i eksperymentalnych działań w Szydłowcu po
projekty impresaryjne. O wynikach będziemy Państwa informować na bieżąco.