Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (7)
Similar to sessie 28 - Aan de slag met cijfers en onderzoeken - deel 1
Similar to sessie 28 - Aan de slag met cijfers en onderzoeken - deel 1 (20)
More from Vereniging Vlaamse Jeugddiensten
More from Vereniging Vlaamse Jeugddiensten (20)
sessie 28 - Aan de slag met cijfers en onderzoeken - deel 1
- 2. Evidence based jeugdbeleid ? Een op kennis gebaseerd jeugdbeleid ~ Een op data en ervaring gebaseerd jeugdbeleid • 2 Monitoring Benchmark Indicatoren Onderzoek Steekproef ………
- 3. • 3 31/03/2017 Heb ik wel de nodige expertise? Waar begin ik? Waar vind ik tijd? Hoe moet ik de cijfers interpreteren? Waar vind ik betrouwbare cijfers? Hoe communiceer ik moeilijke data? HELP!
- 4. Een op kennis gebaseerd beleid DOEL: zo goed mogelijk beleid voeren, gebaseerd op en getoetst aan de realiteit Kennis: geheel van data (cijfers en kwalitatieve resultaten), onderzoek, praktijken en ervaring Leerproces Realiteit is altijd veel complexer dan 1 of 2 indicatoren kunnen weergeven. • 4
- 5. Met heel wat mogelijke voordelen Tijd en geld: efficiëntie Kwaliteitsverhogend Lange termijnperspectief Helpt prioriteiten stellen: Agenda-setting Leerdimensie Innovatie • 5
- 6. Maar ook heel wat risico’s Tijd en geld – ten koste van wat? Moeilijk te begrijpen – te communiceren democratisch principe Link met praktijk? Data-driven beleid - enkel meetbare fenomenen krijgen aandacht. Daarom KENNIS Policy by numbers - cijfers halen enige wat telt – ‘cherry picking’ • 6 31/03/2017
- 7. Met statistiek kan je alles bewijzen… • 7 31/03/2017
- 8. CONCLUSIE • 8 31/03/2017 Kennis kan je ondersteunen om goede en doordachte beleidskeuzes te maken, het maakt zelf geen beleidskeuzes
- 9. Dan toch maar wat…. statistiek? Beschrijvende cijfers correlatie vs. causaliteit Steekproef: hoe groter, hoe beter? Betrouwbaarheidsintervallen en significantie Kwalitatief onderzoek • 9 31/03/2017
- 10. Dan toch maar wat…. statistiek? Beschrijvende cijfers : beschrijving van bepaalde gegevens • 10 31/03/2017 Frequenties, aantallen Centrummaten: Gemiddelde, Mediaan, Modus Spreidingsmaten: standaardafwijking, spreidingsbreedte
- 11. Dan toch maar wat…. statistiek? Correlatie vs causaliteit • 11 31/03/2017 Bij correlatie gaat men onderzoeken hoe twee variabelen samenhangen (geen causaliteit) Causaliteit is enkel af te leiden als er een variabele wordt gemanipuleerd en alle andere variabelen constant worden gehouden. (zogenaamd experimenteel design) MEESTAL: Vragenlijsten, surveys, tellingen = CORRELATIE
- 12. • 12 31/03/2017
- 13. • 13 31/03/2017
- 14. • 14 31/03/2017
- 15. • 15 31/03/2017
- 16. • 16 31/03/2017
- 17. • 17 31/03/2017
- 18. • 18 31/03/2017
- 19. Dan toch maar wat…. statistiek? Beschrijvende cijfers correlatie vs. causaliteit Steekproef: hoe groter, hoe beter? Betrouwbaarheidsintervallen en significantie Kwalitatief onderzoek • 19 31/03/2017
- 20. Dan toch maar wat…. statistiek? Beschrijvende cijfers correlatie vs. causaliteit Steekproef: hoe groter, hoe beter? Betrouwbaarheidsintervallen en significantie Kwalitatief onderzoek • 20 31/03/2017
- 21. Dan toch maar wat…. statistiek? Beschrijvende cijfers correlatie vs. causaliteit Steekproef: hoe groter, hoe beter? Betrouwbaarheidsintervallen en significantie Kwalitatief onderzoek • 21 31/03/2017
- 22. BRAINSTORM WAAR HAAL JIJ JE MATERIAAL? • 22
- 23. Bronnenmateriaal lokale focus • Regionale statistieken Gemeentelijke profielschetsen, thematische informatie • Bevolkingscijfers (2010-2016) • Census 2011 (10-jaarlijkse volkstelling) • Kind en Gezin Gemeentelijke kindrapporten, Kind in Vlaanderen • Stadsmonitor 2014 • Cijferboek lokaal Jeugdbeleid en online cijferboek applicatie • 23 31/03/2017
- 24. Bronnenmateriaal Vlaams niveau • JOP - Databank Databank publicaties wetenschappelijk onderzoek over kinderen en jongeren in Vlaanderen en Interactieve JOP monitor • Keki – Databank Vlaams onderzoek en publicaties over kinderrechten • Vrind 2016 • Vlaamse Armoedemonitor 2016 • Kennisbank van Kind en Samenleving • Kinderrechtencoalitie – databank • HBSC cijfers Vlaanderen • Afdeling jeugd Staat van de jeugd, nieuwsbrief jong geleerd, onderzoeksrapporten jeugdonderzoek, kinderrechtenmonitor • 24 31/03/2017
- 25. En verder ook nog…. • Welzijn, Volksgezondheid en Gezin • Jaarverslag Jongerenwelzijn • VDAB • Onderwijs • Sport Vlaanderen (vroegere Bloso) • Cultuur • Mobiliteit • 25 31/03/2017
- 26. Bronnenmateriaal internationaal • Unicef what do you think? report cards, jaarverslagen • Eurostat - Dashboard of EU Youth Indicators • European Knowledge Center for Youth Policy (EKCYP) – Europees onderzoeksnetwerk jeugdbeleid • HBSC data • 26 31/03/2017
- 27. En natuurlijk…. Eigen registratie jeugddienst en gemeente Thesisonderzoek (op vraag aan wetenschapswinkel) Leernetwerk, intervisie, gesprekken en overleg Resultaten participatieoefeningen en eigen onderzoekjes Materiaal koepels: VDS, Formaat,… Adviezen jeugdraad (en andere) Je eigen ervaring • 27 31/03/2017
- 28. Aan de slag Inventariseer vraag en aanbod Waarvoor heb je cijfers, data, onderzoek nodig? Waar kan je die vinden? Interpreteer Wat zegt het materiaal ons en wat niet? Hoe betrouwbaar is de bron? Wat valt op? Wat ligt in de lijn van de verwachtingen? Wat weten we al (kennis) en wat weten we niet? Nodig om bijkomende inspanningen te doen? Contextualiseer Ben ik het gemiddelde? Hoe lezen mensen uit de praktijk dit? Zijn er andere bronnen die ons hetzelfde of iets anders zeggen? Actie Wat wil ik bereiken? Wil je het gemiddelde zijn? Hoe wil je de actie opvolgen? Documenteer Geef aan waar je je op gebaseerd hebt, welke redenering je volgde • 28 31/03/2017
- 29. Wat zou je kunnen helpen? • 29 31/03/2017
Editor's Notes
- We voeren een evidence based jeugdbeleid of we zijn bezig met een op kennis en data gebaseerd jeugdbeleid. Dit staat in contrast met een op ‘ervaring’ of ‘instinct’ gebaseerd beleid. (zie mopje). De laatste jaren horen we zinnen als: We doen aan monitoring. In onze gemeente hebben we een aantal benchmarks vastgelegd. We zoeken nog goede indicatoren voor ons strategisch meerjarenplan. Is er onderzoek dat die stelling onderbouwt? Hoeveel mensen hebben meegedaan aan dat onderzoekje dat je me hier presenteert = steekproef? Allemaal termen die de afgelopen jaren een vaste plaats hebben gekregen in het beleid, zowel op het Vlaamse als op het lokale niveau. Vooraleer we dus volop in de bronnen duiken wil ik graag wat meer vertellen over het voeren van een kennis gebaseerd beleid. Want hoewel men door te werken met cijfers en data probeert te objectiveren en op een meer neutrale manier beleid wil gaan ontwikkelen is een kennis gebaseerd beleid niet altijd zo neutraal als gedacht wordt. Cijfers zijn objectief, maar de interpretatie is dat niet. Met deze sessie willen we jullie al tenminste een paar handvaten geven om om te gaan met dit gegeven.
- Bij sommige mensen voor wie het allemaal relatief nieuw is, krijg ik vaak het gevoel dat cijfers en data een onoverwinbare berg lijken. Er is veel onzekerheid, men krijgt het gevoel dat men dingen verwacht die niet mogelijk of haalbaar zijn. Met het materiaal van vandaag wil ik jullie de weg tonen naar waar goed materiaal ligt, Vooral ook proberen om jullie wat vertrouwen te geven om te werken met cijfers, data en kennis. Anderzijds wat wapenen om cijfers kritisch te bekijken en te weten dat niet alles te objectiveren is en per se enkel door cijfers moet worden geleid.
- Binnen de afdeling Jeugd, maar ook binnen Europa spreken we meer en meer van een op kennis gebaseerd beleid. De reden waarom we een op kennis gebaseerd beleid willen voeren is om zo goed mogelijk beleid te voeren. Je zou het ook wel doordacht beleid kunnen noemen: een beleid waar je eerst op basis van alle kennis die je hebt gaat reflecteren over de te volgen stappen. En kennis slaat voor ons dan zowel op data (ruwe data, indicatoren, kerncijfers, bevolkingsstatistieken), onderzoek (een interpretatie van data, kan zowel kwantitatief als kwalitatief zijn), praktijken (wat gebeurt er nu al, welke methodieken worden al gebruikt, welke signalen geven mensen uit de praktijk mij, wat werkt en wat werkt niet) en ervaring (uit gesprekken, ervaring in het veld, als persoon). Het geheel van al die bronnen is kennis. Natuurlijk is het nooit mogelijk om alle kennis over iets te hebben. De beste experten baseren zich ook maar op specifieke zaken die ze onderzoeken, artikels die ze lezen, gesprekken die ze met hun collega’s voeren en hun eigen synthese die ze daaruit maken. Je kan er naar streven om kennis zo objectief en neutraal mogelijk te maken, door verschillende bronnen te raadplegen, kritisch te reflecteren van waar ze komen, maar onderzoek en interpretatie kan nooit neutraal zijn en zijn altijd gebaseerd op keuzes: waarom heeft men die vraag gesteld en geen andere? Waarom heeft men gekozen om die analysetechniek er uit te halen? Waarom heeft men op die manier of met die mensen gesproken? Het is een leerproces: door regelmatig te werken met cijfers, onderzoek en daarover na te denken krijg je ook meer inzicht in wat de betekenis ervan kan zijn. De realiteit is altijd veel complexer dan een indicator kan weergeven. Het is dus essentieel om na te denken over wat die indicator je leert. Wat hij betekent. Voorbeeld cijfers GASboetes: De overlast in onze gemeente is sterk gedaald want er zijn het voorbije jaar 25% minder gasboetes uitgeschreven. Het aantal gasboetes is dan een indicator van overlast, wat zeker te beargumenteren valt. Maar misschien werd er dit jaar minder vastgesteld omdat de gasambtenaar een half jaar ziek was? Misschien was er nog evenveel overlast, maar had het zich verplaatst naar minder zichtbare locaties? Misschien was er vorig jaar een prioriteit om in te zetten op GAS waardoor de cijfers van vorig jaar uitzonderlijk waren? Pas als je dat soort vragen gaat stellen en beantwoorden krijgt de data inhoud. Een indicator, het woord zegt het zelf, is een eerste indicatie. Een signaal waar je verder mee aan de slag kan. Niet meer en niet minder dan dat.
- Toch heeft een kennisgebaseerd beleid heel wat mogelijke voordelen: Efficiëntie: duidelijkere beslissingen mogelijk Kwaliteit: zoals gezegd, beleid sluit beter aan bij de actuele situatie Lange termijn:door je te baseren op bepaalde indicatoren die elk jaar weer gemeten worden: manier om beslissingen te maken jaar in jaar uit, evolutie van bepaalde zaken Cijfers signaleren problemen Leerdimensie: kennis wordt vergroot, verder bouwen op Innovatie: vernieuwende oplossingen voor bestaande problemen gebaseerd op deze vergaarde kennis
- ‘Met statistiek kan je alles bewijzen’ is een klassieker, maar accurater is ‘met cijfers kan je mensen makkelijk op het verkeerde been zetten’. Voorbeeld: ‘25% van de jongeren is asociaal’. Dit lijkt veel, maar hoeveel is het bij volwassenen? We kunnen niet benchmarken. Is het een algemene vaststelling of zijn er specifieke groepen, ja of nee? Hoe werd dit gemeten? Welke vragen werden gesteld? En is de conclusie dan niet: 75% jongeren zijn wel sociaal? Cijfers geven een signaal, niet het antwoord. Vooral cijfers in isolatie zijn gevaarlijk!!
- Maar om jullie wat op weg te helpen in de stapel data, onderzoek, monitoring… toch maar wat basisbegrippen uit de statistiek. Vooraleer jullie weglopen of bibberend onder de bank kruipen: het is maar een slide en ik beloof geen wiskunde te gebruiken.
- Een belangrijke eerste reeks begrippen waar ik jullie iets over wil vertellen zijn: beschrijvende cijfers. Deze cijfers geven meestal gewoon aan hoe vaak iets voorkomt in de bestudeerde groep: aantallen en frequenties en percentages en gebruikte maten om dat samen te vatten: gemiddeldes en spreidingsmaten: mediaan, kwartielen, variatie. Bij correlatie gaat men onderzoeken hoe twee variabelen samenhangen. Als de enen omhoog gaat wat doet de andere dan? Dit zegt niets over hoe de ene de andere beïnvloed, zegt alleen maar dat die twee zaken op een of andere manier iets met elkaar te maken hebben. Dit is een valkuil waar mensen vaak intrappen.
- Bij correlatie gaat men onderzoeken hoe twee variabelen samenhangen. Als de enen omhoog gaat wat doet de andere dan? Dit zegt niets over hoe de ene de andere beïnvloed, zegt alleen maar dat die twee zaken op een of andere manier iets met elkaar te maken hebben. Dit is een valkuil waar mensen vaak intrappen. Causaliteit betekent dat je kan aanduiden dat het ene het andere veroorzaakt. bv. Tijdsdimensie voor nodig. In de meeste analyse hebben we dat niet!
- Een goed voorbeeld is: als er meer ijsjes verkocht worden, verdrinken meer mensen. Als dit wordt gevonden in een onderzoek, is de menselijke neiging om een causaal verband te leggen. Mensen eten te veel ijs en krijgen misschien krampen? En verdrinken daardoor. Veel logischer is dat door de warme dag
- Een goed voorbeeld is: als er meer ijsjes verkocht worden, verdrinken meer mensen. Als dit wordt gevonden in een onderzoek, is de menselijke neiging om een causaal verband te leggen. Mensen eten te veel ijs en krijgen misschien krampen? En verdrinken daardoor. Veel logischer is dat door de warme dag
- Een goed voorbeeld is: als er meer ijsjes verkocht worden, verdrinken meer mensen. Als dit wordt gevonden in een onderzoek, is de menselijke neiging om een causaal verband te leggen. Mensen eten te veel ijs en krijgen misschien krampen? En verdrinken daardoor. Veel logischer is dat door de warme dag er meer mensen ijs eten
- Een goed voorbeeld is: als er meer ijsjes verkocht worden, verdrinken meer mensen. Als dit wordt gevonden in een onderzoek, is de menselijke neiging om een causaal verband te leggen. Mensen eten te veel ijs en krijgen misschien krampen? En verdrinken daardoor. Veel logischer is dat door de warme dag
- Een goed voorbeeld is: als er meer ijsjes verkocht worden, verdrinken meer mensen. Als dit wordt gevonden in een onderzoek, is de menselijke neiging om een causaal verband te leggen. Mensen eten te veel ijs en krijgen misschien krampen? En verdrinken daardoor. Veel logischer is dat door de warme dag
- Een goed voorbeeld is: als er meer ijsjes verkocht worden, verdrinken meer mensen. Als dit wordt gevonden in een onderzoek, is de menselijke neiging om een causaal verband te leggen. Mensen eten te veel ijs en krijgen misschien krampen? En verdrinken daardoor. Veel logischer is dat door de warme dag
- Een goed voorbeeld is: als er meer ijsjes verkocht worden, verdrinken meer mensen. Als dit wordt gevonden in een onderzoek, is de menselijke neiging om een causaal verband te leggen. Mensen eten te veel ijs en krijgen misschien krampen? En verdrinken daardoor. Veel logischer is dat door de warme dag er meer mensen zin in ijs hebben en er meer mensen op het strand zijn en zwemmen. Waardoor het aantal ijsjes en het aantal verdrinkingen gelijktijdig stijgt. Dit is een veel complexere situatie dan onze beginsituatie. Hier zien we dus dat er met een grote context rekening moet gehouden worden voor we correlaties zomaar kunnen interpreteren. Met een multivariatie analyse gaat men meestal verder onderzoeken hoe die twee dingen samenhangen: door te controleren voor andere factoren.
- Een ander bekende stelling is: hoe groter de steekproef, hoe beter het onderzoek. Klopt en niet. Klopt omdat een grote steekproef meer spreiding toelaat. Als je iets wil weten over de inwoners van je gemeente en je stelt de vraag aan inwoners uit vijf straten of aan inwoners uit 20 straten zal je in totaal meer verschillende types huizen, straten en dus ook mensen hebben kunnen meenemen. Een grotere steekproef geeft ook een grotere power: verbanden worden duidelijker en meer zichtbaar, zeker in analyses waar je bv op veel zaken wil controleren. Klopt niet omdat je een steekproef van 10.000 mensen kan trekken die helemaal de bevolking niet vertegenwoordigen. Als je iets wil vertellen over jongeren tussen 12 en 30 en je bevraagd 3000 jongeren door in het laatste jaar van het secundaire een vragenlijst te verspreiden, dan heb je geen goede steekproef. Veel onderzoek is gebaseerd op online surveys, telefonische vragenlijsten, overdag in de winkelstraat. Maar ook wetenschappelijk onderzoek: pyschologie en studenten, weigeringen. Zal wel behandeld worden in de artikels en rapporten, maar wie leest dat?
- Betrouwbaarheidsintervallen en significantie: nog twee toverwoorden. Belangrijk om te onthouden: vaak verschillen dingen niet zo hard als dat men ze laat uitschijnen.Bv: 10 % meer jongeren kijken dagelijks tv dan 10 jaar geleden. Dit zegt niets over hoe de actuele situatie is, omdat we altijd een steekproef van jongeren bevragen. De waarschijnlijkheid dat dit waar is voor alle jongeren kan worden berekend. Hiervoor is het belangrijk te checken of een bepaald verschil significant is en hoe groot het betrouwbaarheidsinterval is.
- Kwalitatief onderzoek: jaren miskend geweest, nu meer en meer expertise over. Voordeel: complexiteit, nadeel: representativiteit en subjectieve codering
- Maar gedaan met de les, terug naar de essentie van deze sessie. Vooraleer ik met jullie een reeks bronnen wil overlopen wil ik graag eens horen wat jullie allemaal gebruiken als bronnenmateriaal om lokaal jeugdbeleid te maken. Je mag het heel breed trekken , eigen ervaring, gesprekken met mensen in het veld, boeken die je leest, websites. Graag zo concreet mogelijk. Graag op post-it, (1 bron per post-it) aan muur komen hangen 15 min
- Regionale statistieken: arbeidsmarkt, armoede, cultuur, demografie, onderwijs,…. Cijferboek straks behandeld Bevolkingscijfers: bevolkinsaantallen, loop van de bevolking (immigratie, geboorten,…), wettelijke bevolking per gemeente per geslacht Census 2011: 38 indicatoren: bevolking, woning, werk en opleidingsniveau Kind en gezin: vaccinaties, kinderopvang, adopties. Kindrapporten tot 2015. Stadsmonitor: leefkwaliteit centrumsteden, duurzame ontwikkeling, gezins/kindvriendelijkheid: Aalst, Antwerpen, Brugge, Brussel, Genk, Gent, Hasselt, Kortrijk, Leuven, Mechelen, Oostende, Roeselare, Sint-Niklaas en Turnhout.
- JOP: publicaties + interactieve jop monitor (laatste cijfers 2013) Keki: kinderrechten Vlaamse studiedienst Kinderrechtencoalitie: nota’s, wetten, programma’s HBSC: Health behavior in school children survey (Europese survey), academische artikels, factsheets,…2013-2014 Onderzoek uitgeschreven door afdeling jeugd: worden een paar uitgelicht
- WVG: mantelzorg, gezinsenquete VDAB: werkloosheidscijfers per streek, geslacht, leeftijd Sport Vlaanderen: wetenschappelijke studies, brochures en regelgeving, Mobiliteit: verplaatsingsgedrag, verkeerstellingen,…
- Eurostat: eerst account aanmaken: visuele vergelijkingen, basisstatistieken over heel veel topics EKCYP: denktank, online database: nationaal jeugdbeleid over heel europa. Vergelijkende cijfers over jongeren. Europees jeugdonderzoek Hbsc: 45 landen: Europa en Noord-Amerika: Welzijnsdata, gezondheidsgedrag bij jongeren. 11, 13 ,15 jaar. Elke 4 jaar
- Nog wat praktische tips om zelf aan de slag te gaan met cijfers en data
- We weten dat er massa’s materiaal is, maar dat het niet zo toegankelijk is. Of moeilijk bruikbaar voor lokaal beleid wegens geen tijd, onvoldoende achtergrondkennis, geen toegang,… Vanuit de afdeling Jeugd hebben we tot nu altijd het cijferboek gemaakt. Nu hebben we de online tool van het cijferboek. Wat zou nog meer kunnen helpen? Denk Out of the box, wilde ideeën,…