Infosheet
Kansrijke Start & Monitoring en Evaluatie (M&E)
Een van de succesfactoren in een duurzame aanpak Kansrijke Start is het monitoren en evalueren (M&E) van de aanpak en de samenwerking. Dit helpt bij het zichtbaar maken van ontwikkeling, het bijsturen en doorontwikkelen van je aanpak en bij het bouwen en onderhouden van de samenwerking.
Met monitoren bedoelen we het verzamelen van gegevens om de voortgang in beeld te hebben en te bewaken. In een evaluatie geef je betekenis aan die gegevens. Voor het uitvoeren van M&E kun je veel kanten op en meerdere methoden kiezen. De volgende aandachtspunten helpen je op weg.
Eerste stappen en focus
Het is belangrijk om al in het begin keuzes te maken over het monitoren en evalueren. Start daar zo vroeg mogelijk mee. Maak daarom al snel een M&E-plan, waarin staat met welk(e) doel(en) en voor welke doelgroep(en) je gaat monitoren en evalueren.
- Eerst stel je vast voor wie de M&E is en waarom zij een M&E willen. Als je dat vooraf bedenkt , is het een kleine stap naar welke data je daarvoor moet monitoren. Dat scheelt later zoeken naar data die je misschien nooit hebt bijgehouden.
Monitoren en evalueren doe je om verschillende redenen:
- Verantwoorden; laten zien welke resultaten de aanpak oplevert in cijfers (kwantitatief) of verhalen (kwalitatief). Het geeft inzicht in de opbrengsten van je aanpak (output) en de gewenste effecten (outcome). Het laat je organisatie, bestuurders, raad, inwoners en samenwerkingspartners zien wat de aanpak oplevert;
- Leren en verbeteren; inzicht geven in de aanpak en de samenwerking, beschrijven wat wel en wat niet werkt;
- Enthousiasmeren en betrokken houden; het vieren van successen met coalitiepartners en met elkaar in de wijk, buurt;
- Borgen; het structureel en duurzaam maken van de aanpak en/of goedwerkende onderdelen, het vastleggen van (samenwerkings)afspraken.
De handreiking het Vizier helpt je om het doel van de monitoring en evaluatie te formuleren en te bepalen welke gegevens je hierbij nodig hebt. Kijk het webinar over Monitoring & Evaluatie terug waarin je meegenomen wordt in de onderdelen van het Vizier.
- Breng in kaart wie de gebruikers van de verzamelde gegevens zijn (opdrachtgever(s), bestuurders, coalitiepartners en/of (aanstaande) ouders ). Goede afstemming met hen en verwachtingsmanagement zijn belangrijk. Bespreek bijvoorbeeld op welk niveau zij gegevens willen zien en waarvoor ze de gegevens gebruiken. Je komt samen met degene(n) voor wie je monitort en evalueert vaak tot betere, meer realistische uitkomstmaten en manieren van evalueren.
- Daarna ga je stap voor stap het doel van de M&E preciezer formuleren en onderzoeken welke data je nodig hebt. Breng focus aan – je hoeft en kunt niet alles. Weeg dus ook de kaders en voorwaarden (zoals budget, menskracht enzovoort) waarbinnen je je M&E moet opzetten.
- Tot slot oriënteer je je op instrumenten en experts die je bij de uitvoering kunnen ondersteunen. Raadpleeg hiervoor De keuzehulp instrumenten en stappenplan. Hierin staat een selectie van lichte tot zware instrumenten om je aanpak op verschillende manieren te volgen.
- Speel zoveel mogelijk in op veranderingen gaande weg. Misschien moet je tussentijds je M&E plannen herijken en wijzigen. Dat kan ook betekenen dat andere data nodig zijn.
Wat als je beperkt budget of tijd hebt?
Minimaal- of geen budget voor M&E? Dat hoeft de M&E niet in de weg te staan. Klein starten en het simpel houden kan ook heel waardevol zijn. Enkele tips:
- Gebruik zoveel mogelijk bestaande gegevens en data. Let wel op dat je die data in verband kunt brengen met het project of programma; anders heb je er niets aan.
- Ook een simpele evaluatie staat of valt met een goed verhaal bij de cijfers. Haal daarom ook verhalen uit de praktijk op. Voer bijvoorbeeld gesprekken met de doelgroep en betrokken partijen. Hoe ervaren zij dat het gaat? Hoe beoordelen zij de data? Op zoek naar een andere, leuke manier van gegevens verzamelen? Kijk dan in de brochure van Movisie; Monitoren in het sociaal domein; zo kan het ook!
- Ga na of je samen kunt werken met een GGD, academische werkplaats en/of universiteit of hogeschool, om studenten in te kunnen schakelen bij het doen van onderzoek.
M&E van de samenwerking
Het monitoren en evalueren van de samenwerking is een belangrijk middel om de samenwerking rond Kansrijke Start te ontwikkelen en te onderhouden. Door stil te staan bij hoe de samenwerking gaat en te zien wat het oplevert, enthousiasmeer je partners en resultaten zien geeft energie. Zeker wanneer de samenwerking stroef verloopt of wanneer er een conflict is, helpt het evalueren van de samenwerking om deze te versterken. Bovendien kan er gaandeweg veel veranderen; nieuwe partners, veranderingen bij organisaties, onverwachte ontwikkelingen en nieuwe opgaven. Ook kan de samenwerking in een andere fase komen.
Samen leren
Monitoren wat je samen doet en wat het oplevert is ook belangrijk om te kunnen leren met elkaar. En samen leren is extra belangrijk in een aanpak die complex is zoals Kansrijke Start. Dit vraagt een gezamenlijke inzet met heldere doelen, durven experimenteren en al doende te leren en daar de ruimte voor hebben.
Praktijkvoorbeeld Samen leren in Utrecht
De gemeente Utrecht zet zich in voor een kansrijke start voor alle kinderen in Utrecht, samen met professionals, vrijwilligers en ervaringsdeskundigen. Op zowel wijk, als stedelijk- en regionaal niveau hebben zij een beweging in gang gezet die ervoor moet zorgen dat alle kinderen in Utrecht een kansrijke start krijgen. Monitoring en evaluatie van die beweging is van groot belang. Wat gaat goed en wat kan beter? Samen leren en verbeteren staat hierbij centraal. Lees verder over hoe Utrecht dit aanpakt. Wil jij ook aan de slag met monitoren en evalueren? Kijk hier voor inspiratie en concrete handvatten voor M&E voor en door wijknetwerken geboortezorg Utrecht. Deze zijn ook bruikbaar voor andere samenwerkingsverbanden die werken aan Kansrijke Start.
Reflectie inbouwen
Evalueer frequent en plan dit in. Probeer te voorkomen dat het evalueren pas gebeurt als er problemen of knelpunten zijn. Bepaal in afstemming met je partners de frequentie en plan dit met elkaar.
- Ga met elkaar na welke onderwerpen van belang zijn om vervolgens per onderwerp vragen te formuleren. Denk aan onderwerpen als: betrokken partners (juiste partners aan tafel, deskundigheid en mandaat en draagvlak/steun eigen organisatie), taakopvatting (helder en nog passend), groei (nieuwe partners worden betrokken, partners mobiliseren anderen tot actie) en betrokkenheid achterban, zichtbaarheid, verwachtingen, financiering, inzet, structuur, communicatie en resultaat. Ook de 5 condities van samenwerken (Common Eye) zijn erg bruikbaar: gedeelde ambitie, belangen, relatie, organisatie en proces. Zie ter inspiratie het reflectie-instrument (VO raad) dat hierop gebaseerd is.
- Er bestaan meerdere vragenlijsten om de samenwerking te monitoren. Zoals de Coordinated Action Checklist en de Zelfscan samenwerken. Benut deze ter inspiratie en om vragen uit de lijsten zelf te gebruiken.
- In de eerder genoemde keuzehulp vind je een aantal instrumenten zoals bestaande vragenlijsten en de tijdlijnmethode.
Praktijkvoorbeeld: Coalitie Eindhoven monitort de samenwerking
Het verbeteren van de samenwerking is een van de speerpunten voor de Eindhovense coalitie Kansrijke start. Samenwerken gebeurt niet alleen binnen de coalitie, maar ook met de achterban. Hoe ervaren zij de samenwerking? Om op deze vraag een antwoord te krijgen zette de coalitie een vragenlijst uit onder medewerkers van de partnerorganisaties. Lees hier hoe dat verliep en wat dit opleverde voor de samenwerking.
Doelen als basis voor M&E
De basis voor het kunnen volgen of de aanpak en de samenwerking het gewenste resultaat opleveren, zijn gezamenlijke doelen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. Zeker als doelen zich over een lange termijn uitstrekken (bijvoorbeeld 10 jaar), is het verstandig om ook voor de korte termijn doelen te bepalen.
Doelen geven goed richting in wat je kunt volgen. Met deze doelen kun je op koers blijven en kijken of gaandeweg aanpassingen nodig zijn. Vooral SMART-doelen helpen om te bepalen of een resultaat bereikt is. Door het benoemen van aantallen, percentages en periodes, kun je gemakkelijker een betekenisvolle uitspraak doen. Als je een doel SMART formuleert, krijg je ook zicht op bruikbare indicatoren. De handreiking Doelen stellen biedt je hierbij praktische handvatten.
Landelijke doelen lokaal concreet maken
Veel gemeenten/coalities gaan uit van de doelen van het landelijke actieprogramma Kansrijke start. Als je dat doet, maak de doelen dan concreet voor je eigen lokale of regionale situatie en stel ze samen met de coalitiepartners op, zodat ze breed gedragen worden.
Proces- en uitkomstniveau
Bepaal welke informatie nodig is om tijdens en na de aanpak en samenwerking zicht op resultaten te krijgen. Op welk niveau is dit nodig (wijk/dorp/inwoner)? Beoogde resultaten kunnen zowel op 1. proces- of samenwerkingsniveau als op 2. Uitkomstniveau worden geformuleerd.
- proces- of samenwerkingsniveau – denk aan:
- Verbeterde vroegsignalering en doorverwijzing;
- De samenwerking tussen medische en sociale professionals is verbeterd;
- Bij de Kansrijke Start aanpak is meer samenwerking met (aanstaande) ouders;
- Bredere bekendheid en meer overzicht over het aanbod binnen het sociale en medisch domein.
Maar ook het aantal partners in de coalitie, het succesvol betrekken van bijvoorbeeld huisartsen, een viertal netwerkbijeenkomsten per jaar.
- Uitkomstniveau denk aan:
- Het aantal ouders dat met een interventie bereikt wordt;
- De indicatoren voor een kansrijke start in (aanstaande) gezinnen in een kwetsbare situatie.
Praktijkvoorbeeld: Delftse instrumentenkoffer
In de Delftse coalitie Kansrijke start werken professionals in het medische en sociale domein integraal samen. Om deze samenwerking te ondersteunen, te volgen en te zien wat die oplevert, besloot de coalitie een instrumentenkoffer te ontwikkelen. Deze kent vijf onderdelen : ‘meten & weten’ (vragenlijst en indicatoren samenwerking), ‘informatie delen’ (werkafspraken), ‘reflecteren’ ( onder andere spiegelgesprekken met zwangeren en/of ouders), ‘samenwerken & leren’, en ‘het integraalbehandelplan’. De laatste drie onderdelen zijn nog in ontwikkeling. Lees meer over de instrumentenkoffer.
Bruikbare gegevens en indicatoren
- Ga na of de bestaande (openbare) gegevens en data toereikend zijn voor wat je wilt weten, bijvoorbeeld via lokale en regionale partners. Op waarstaatjegemeente.nl staan meerdere indicatoren per gemeente (en op wijkniveau) die relevant zijn voor Kansrijke start. Je kiest indicatoren die aantonen of je de doelen behaald hebt of niet. Een indicator is een uitkomstmaat of eigenschap waarvan je kunt meten hoe het ermee gesteld is.
Landelijke en lokale indicatoren
Het RIVM monitort sinds 2019 het landelijke actieprogramma Kansrijke Start. Daarvoor is een indicatorenset ontwikkeld met vijftien indicatoren. Daarnaast heeft het RIVM een Indicatorenset Lokale Monitoring Kansrijke Start ontwikkeld met cijfers per gemeente op indicatoren voor-, tijdens- en na de zwangerschap. Je leest hier om welke indicatoren het gaat en hoe ze tot stand zijn gekomen. Lokale coalities kunnen de indicatoren gebruiken bij de monitoring en evaluatie van de lokale kansrijke start aanpak (afhankelijk van de lokale doelen). Op de website Regiobeeld.nl vind je de resultaten voor een aantal van de indicatoren uit de set voor je eigen gemeente.
- Houd in gedachten dat indicatoren een benadering zijn van de werkelijkheid en altijd een interpretatie vragen. Doe dit bij voorkeur samen met de betrokken partners en de mensen op wie het gaat.
- Kijk ook naar indicatoren waar je al op kortere termijn succes mee kunt boeken. Zo zal het terugdringen van het aantal zwangeren dat rookt tijdens en na de zwangerschap over het algemeen eerder bereikt kunnen worden dan de (uiteindelijke) afname van perinatale sterfte.
M&E: Doe het samen!
Bij de aanpak Kansrijke start zijn meerdere partners betrokken. Verzamel de gegevens ook gezamenlijk en deel de resultaten met elkaar. En als uit evaluaties blijkt dat het goed of beter gaat, geef je partners dan ook de credits en het ‘podium’.
- Maak afspraken over welke gegevens worden verzameld en welke bijdrage partners daaraan kunnen leveren. Het gaat niet alleen om cijfers; het ‘tellen’, maar ook om het ‘vertellen’. Denk aan een interview waarin professionals vertellen over de verbeterde samenwerking sinds Kansrijke start.
- Ook het monitoren en evalueren van de samenwerking doe je samen: waarom en voor wie je de samenwerking monitort en evalueert, hoe dit gebeurt, hoe dit past in het proces en wie daarbij betrokken zijn (gehele samenwerkingsverband, deel?). Zorg ervoor dat de samenwerkende partijen zich kunnen vinden in de manier waarop dit gebeurt.
- Zorg hierbij ook voor het perspectief van (aanstaande) ouders of de mensen waarover het gaat, bijvoorbeeld gesprekken met (aanstaande) ouders die baat hebben gehad bij de Kansrijke start aanpak. Bespreek ook samen met (aanstaande) ouders en/of ervaringsdeskundigen de vragen en de manier van monitoren en evalueren en duid samen de resultaten.
Verhalen en cijfers combineren
Wanneer je de aanpak en samenwerking rond Kansrijke Start monitort en evalueert kun je naast cijfers (tellen) ook verhalen (vertellen) gebruiken. De combinatie van deze twee maakt het sterker. Cijfers worden vaak gezien als hard en objectief, maar het verhaal erachter ken je niet. De verhalen van (aanstaande) ouders en/of professionals, kunnen inzicht geven in hoe beleid, programma’s of samenwerking uitpakken en waarom. Verhalen geven inzicht in ervaringen en de waarderingen van (aanstaande) ouders of van betrokken professionals. Van verhalen kun je bijvoorbeeld leren en je kunt ermee enthousiasmeren.
In de webinar De kracht van verhalen gaven we uitleg over wat de kracht van verhalen bij M&E kan zijn en hoorde we van de gemeenten Zeist en Kampen hoe zij verhalen hebben ingezet in hun evaluaties. Kijk de webinar terug.
- Niet alle inwoners worden meegenomen in onderzoek. Bijvoorbeeld omdat ze leven in sociaal kwetsbare situaties, moeite hebben met lezen en schrijven, de Nederlandse taal niet spreken of geen digitale vaardigheden hebben. Hierdoor wordt hun perspectief niet meegenomen. Maar wanneer je je onderzoeksmethoden aanpast, kun je hen goed betrekken bij jouw (evaluatie)onderzoek. Lees meer over inclusief onderzoek.
- Communiceer over behaalde resultaten; grote, maar zeker ook kleine. Hiermee houd je iedereen aan tafel, houd je de energie vast en onderstreep je de gezamenlijkheid. Ga na hoe je resultaten wilt laten zien. Kijk of je cijfers ook op andere manieren kunt presenteren, zoals via film of foto’s of ondersteund met verhalen of een persona/portret van (aanstaande) ouders.
Webinars monitoring & evaluatie
Webinar Monitoring & Evaluatie
Dit webinar vond plaats op 28 juni 2022. Dit webinar is bedoeld voor projectleiders Kansrijke Start en GIDS-ambtenaren die een start willen maken met Monitoring & Evaluatie, of er behoefte aan hebben om hun kennis wat op te frissen. Tijdens het webinar geven we basiskennis over monitoring en evaluatie, een overzicht van verschillende methoden en inspireren we je met voorbeelden uit andere gemeenten. Uiteraard helpen we je met het opdoen van ideeën voor concrete vervolgstappen.
Webinar RIVM - Basis monitoren en evalueren Kansrijke Start
Wil je weten of je lokale aanpak van Kansrijke Start werkt? Wil je resultaten zichtbaar maken? Leren van samenwerking? Vaak kun je dan vele kanten op. Hoe geef je focus aan? In dit webinar bespreken we manieren om dit vorm te geven. Inspirerend en praktisch, zodat je ermee aan de slag kunt. We nemen je mee in de eerste stappen M&E en een overzicht van verschillende methoden en voorbeelden uit andere gemeenten.
Het webinar is bedoeld voor projectleiders/coalitiepartners Kansrijke Start die een start willen maken met M&E of er behoefte aan hebben om hun kennis wat op te frissen.
Webinar RIVM - Monitoren interventies Kansrijke Start
In dit webinar presenteren we verschillende voorbeelden van het volgen van de invoering van interventies. Onderzoekers en projectleiders van lokale coalities die hiermee ervaring hebben, vertellen je hoe ze dit hebben aangepakt of hoe ze dit gaan inrichten.
Het webinar is bedoeld als inspiratie voor projectleiders van lokale coalities, beleidsmedewerkers, partners en onderzoekers die betrokken zijn het lokaal volgen van Kansrijke Start of de inrichting ervan.
Webinar RIVM - Monitoren en evalueren samenwerking Kansrijke Start
Dit webinar geeft inzicht in de verschillende mogelijkheden om (het proces naar) samenwerking te monitoren tussen bijvoorbeeld professionals uit de geboortezorg en de jeugdgezondheidszorg. Ook gaan we in gesprek met 2 lokale coalities die ervaring hebben met het volgen/evalueren van de samenwerking.
Het webinar is bedoeld als inspiratie voor projectleiders van lokale coalities, beleidsmedewerkers, partners en onderzoekers die betrokken zijn bij lokale monitoring Kansrijke Start of de inrichting ervan. De bijeenkomst is ook interessant voor bijvoorbeeld bestuurders van Verloskundige Samenwerkingsverbanden (VSV’s) die betrokken zijn bij monitoring van de samenwerking.
Webinar RIVM - Inzicht in kwetsbaarheid Kansrijke Start
Tijdens dit webinar nemen we je mee in de mogelijkheden om zwangeren en gezinnen met een verhoogd risico op kwetsbaarheid in kaart te brengen voor je gemeente (of regio of wijk). De bijeenkomst geeft je inzicht in de laatste stand van zaken. We presenteren het dashboard op de RIVM-website Regiobeeld.nl met indicatoren voor de lokale monitoring, waar elke gemeente (maar ook Verloskundige Samenwerkingsverbanden) data over kwetsbaarheid kunnen vinden.
Daarnaast vertellen we ook inspirerende voorbeelden uit de praktijk. Een lokale coalitie presenteert hoe zij hun aanpak voor (aanstaande) gezinnen in een kwetsbare situatie hebben ingericht, op basis van prevalenties en impact van factoren van kwetsbaarheid.
Een ander voorbeeld uit de praktijk komt vanuit een Verloskundig Samenwerkingsverband. Zij presenteren hoe zij gezinnen in een kwetsbare situatie signaleren en aan de hand van behoeften van het gezin ondersteuning inzetten en hoe ze dit willen monitoren.
Het webinar is bedoeld voor professionals, bestuurders en onderzoekers die betrokken zijn bij lokale monitoring Kansrijke Start en de inrichting ervan.
Webinar RIVM - Inzet ervaringsdeskundigheid bij lerend evalueren Kansrijke Start
In dit webinar presenteren we voorbeelden van participatief actiegericht onderzoek en inzet van ervaringsdeskundigen bij lokale monitoring. Zowel onderzoekers, projectleiders van lokale coalities en ervaringsdeskundigen, nemen je mee in hoe ze dit hebben aangepakt of hoe ze dit aan het inrichten zijn.
Het webinar is bedoeld ter inspiratie voor projectleiders van lokale coalities, beleidsmedewerkers, partners en onderzoekers die betrokken zijn bij lokale monitoring Kansrijke Start of de inrichting ervan.
Webinar RIVM - Gebruik Dashboard lokale indicatoren Kansrijke Start
In dit webinar bespreken we manieren om de gegevens uit monitoring te gebruiken. Lokale coalities die ervaring hebben met het bespreken van gegevens van indicatoren, vertellen hoe ze dit hebben aangepakt.
Het webinar is bedoeld voor professionals, bestuurders en onderzoekers die betrokken zijn bij lokale monitoring en de inrichting ervan.
Webinar RIVM: Impact van kwetsbaarheid op zorggebruik en zorguitgaven.
In dit webinar presenteren we de resultaten van recente onderzoeken die van belang zijn bij lokale monitoring. We nemen je mee in mogelijkheden om zwangeren en gezinnen met een verhoogd risico op kwetsbaarheid te identificeren op basis van landelijk beschikbare data. Vervolgens presenteren we eerste bevindingen van onderzoek naar de relatie tussen kwetsbaarheid en gebruik en kosten van zorg. Als laatste zoomen we in op het dashboard (te vinden op www.regiobeeld.nl/kansrijkestart) waar gegevens per gemeente te vinden zijn op indicatoren op Kansrijke Start (bijvoorbeeld het percentage zwangeren in een zeer kwetsbare situatie). Een projectleider van lokale coalities en onderzoeker vertellen hoe zij deze gegevens gebruiken in de praktijk, zowel in de regio als in de wijk.
De webinar is bedoeld ter inspiratie voor projectleiders van lokale coalities, beleidsmedewerkers, partners en onderzoekers die betrokken zijn bij lokale monitoring Kansrijke Start of de inrichting ervan.
Nog vragen?
Heb je na het lezen van dit document nog vragen over het bouwen en versterken van lokale coalities Kansrijke Start? Neem dan gerust per mail contact op met de Pharos adviseurs via Kansrijkestart@pharos.nl.
Gezamenlijk werken we aan tijdige en passende ondersteuning voor (aanstaande) zwangeren en jonge ouders in een kwetsbare situatie en een kansrijke start voor meer kinderen.