Infosheet

Kansrijke Start & Monitoring en Evaluatie (M&E)

Een van de succesfactoren in een duurzame aanpak Kansrijke Start is het monitoren en evalueren (M&E) van de aanpak en de samenwerking. Dit helpt bij het zichtbaar maken van ontwikkeling, het bijsturen en doorontwikkelen van je aanpak en bij het bouwen en onderhouden van de samenwerking.

Met monitoren bedoelen we het verzamelen van gegevens  om de voortgang in beeld te hebben en te bewaken. In een evaluatie geef je betekenis aan die gegevens. Voor het uitvoeren van M&E kun je veel kanten op en meerdere methoden kiezen. De volgende aandachtspunten helpen je op weg.

Eerste stappen en focus

Het is belangrijk om al in het begin keuzes te maken over het monitoren en evalueren. Start daar zo vroeg mogelijk mee. Maak daarom al snel een M&E-plan, waarin staat met welk(e) doel(en) en voor welke doelgroep(en) je gaat monitoren en evalueren.

  • Eerst stel je vast voor wie de M&E is en waarom zij een M&E willen. Als je dat vooraf bedenkt , is het een kleine stap naar welke data je daarvoor moet monitoren. Dat scheelt later zoeken naar data die je misschien nooit hebt bijgehouden.

Monitoren en evalueren doe je om verschillende redenen:

  • Verantwoorden; laten zien welke resultaten de aanpak oplevert in cijfers (kwantitatief) of verhalen (kwalitatief). Het geeft inzicht in de opbrengsten van je aanpak (output) en de gewenste effecten (outcome). Het laat je organisatie, bestuurders, raad, inwoners en samenwerkingspartners zien wat de aanpak oplevert;
  • Leren en verbeteren; inzicht geven in de aanpak en de samenwerking, beschrijven wat wel en wat niet werkt;
  • Enthousiasmeren en betrokken houden; het vieren van successen met coalitiepartners en met elkaar in de wijk, buurt;
  • Borgen; het structureel en duurzaam maken van de aanpak en/of goedwerkende onderdelen, het vastleggen van (samenwerkings)afspraken.

De handreiking het Vizier helpt je om het doel van de monitoring en evaluatie te formuleren en te bepalen welke gegevens je hierbij nodig hebt. Kijk het webinar over Monitoring & Evaluatie terug waarin je meegenomen wordt in de onderdelen van het Vizier.

  • Breng in kaart wie de gebruikers van de verzamelde gegevens zijn (opdrachtgever(s), bestuurders, coalitiepartners en/of (aanstaande) ouders ). Goede afstemming met hen en verwachtingsmanagement zijn belangrijk. Bespreek bijvoorbeeld op welk niveau zij gegevens willen zien en waarvoor ze de gegevens gebruiken. Je komt samen met degene(n) voor wie je monitort en evalueert vaak tot betere, meer realistische uitkomstmaten en manieren van evalueren.
  • Daarna ga je stap voor stap het doel van de M&E preciezer formuleren en onderzoeken welke data je nodig hebt. Breng focus aan – je hoeft en kunt niet alles. Weeg dus ook de kaders en voorwaarden (zoals budget, menskracht enzovoort) waarbinnen je je M&E moet opzetten.
  • Tot slot oriënteer je je op instrumenten en experts die je bij de uitvoering kunnen ondersteunen. Raadpleeg hiervoor De keuzehulp instrumenten en stappenplan. Hierin staat een selectie van lichte tot zware instrumenten om je aanpak op verschillende manieren te volgen.
  • Speel zoveel mogelijk in op veranderingen gaande weg. Misschien moet je tussentijds je M&E plannen herijken en wijzigen. Dat kan ook betekenen dat andere data nodig zijn.

Wat als je beperkt budget of tijd hebt?

Minimaal- of geen budget voor M&E? Dat hoeft de M&E niet in de weg te staan. Klein starten en het simpel houden kan ook heel waardevol zijn. Enkele tips:

  • Gebruik zoveel mogelijk bestaande gegevens en data. Let wel op dat je die data in verband kunt brengen met het project of programma; anders heb je er niets aan.
  • Ook een simpele evaluatie staat of valt met een goed verhaal bij de cijfers. Haal daarom ook verhalen uit de praktijk op. Voer bijvoorbeeld gesprekken met de doelgroep en betrokken partijen. Hoe ervaren zij dat het gaat? Hoe beoordelen zij de data? Op zoek naar een andere, leuke manier van gegevens verzamelen? Kijk dan in de brochure van Movisie; Monitoren in het sociaal domein; zo kan het ook!
  • Ga na of je samen kunt werken met een GGD, academische werkplaats en/of universiteit of hogeschool, om studenten in te kunnen schakelen bij het doen van onderzoek.

M&E van de samenwerking

Het monitoren en evalueren van de samenwerking is een belangrijk middel om de samenwerking rond Kansrijke Start te ontwikkelen en te onderhouden. Door stil te staan bij hoe de samenwerking gaat en te zien wat het oplevert, enthousiasmeer je partners en resultaten zien geeft energie. Zeker wanneer de samenwerking stroef verloopt of wanneer er een conflict is, helpt het evalueren van de samenwerking om deze te versterken. Bovendien kan er gaandeweg veel veranderen; nieuwe partners, veranderingen bij organisaties, onverwachte ontwikkelingen en nieuwe opgaven. Ook kan de samenwerking in een andere fase komen.

Samen leren

Monitoren wat je samen doet en wat het oplevert is ook belangrijk om te kunnen leren met elkaar. En samen leren is extra belangrijk in een aanpak die complex is zoals Kansrijke Start. Dit vraagt een gezamenlijke inzet met heldere doelen, durven experimenteren en al doende te leren en daar de ruimte voor hebben.

Reflectie inbouwen

Evalueer frequent en plan dit in. Probeer te voorkomen dat het evalueren pas gebeurt als er problemen of knelpunten zijn. Bepaal in afstemming met je partners de frequentie en plan dit met elkaar.

Aan de slag

Je kunt meerdere onderwerpen rond het samenwerken monitoren en evalueren.

  • Ga met elkaar na welke onderwerpen van belang zijn om vervolgens per onderwerp vragen te formuleren. Denk aan onderwerpen als: betrokken partners (juiste partners aan tafel, deskundigheid en mandaat en draagvlak/steun eigen organisatie), taakopvatting (helder en nog passend), groei (nieuwe partners worden betrokken, partners mobiliseren anderen tot actie) en betrokkenheid achterban, zichtbaarheid, verwachtingen, financiering, inzet, structuur, communicatie en resultaat. Ook de 5 condities van samenwerken (Common Eye) zijn erg bruikbaar: gedeelde ambitie, belangen, relatie, organisatie en proces. Zie ter inspiratie het reflectie-instrument (VO raad) dat hierop gebaseerd is.
  • Er bestaan meerdere vragenlijsten om de samenwerking te monitoren. Zoals de Coordinated Action Checklist, de  (TNO) of de zelfscan. Benut deze ter inspiratie en om vragen uit de lijsten zelf te gebruiken en mogelijk kun je vragenlijsten (of onderdelen daarvan) combineren.
  • In de eerder genoemde keuzehulp vind je een aantal instrumenten zoals bestaande vragenlijsten en de tijdlijnmethode.

Praktijkvoorbeeld: Coalitie Eindhoven monitort de samenwerking

Het verbeteren van de samenwerking is een van de speerpunten voor de Eindhovense coalitie Kansrijke start. Samenwerken gebeurt niet alleen binnen de coalitie, maar ook met de achterban. Hoe ervaren zij de samenwerking? Om op deze vraag een antwoord te krijgen zette de coalitie een vragenlijst uit onder medewerkers van de partnerorganisaties. Lees hier hoe dat verliep en wat dit opleverde voor de samenwerking.

Doelen als basis voor M&E

De basis voor het  kunnen volgen of de aanpak en de samenwerking het gewenste resultaat opleveren, zijn gezamenlijke doelen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. Zeker als doelen zich over een lange termijn uitstrekken (bijvoorbeeld 10 jaar), is het verstandig om ook voor de korte termijn doelen te bepalen.

Doelen geven goed richting in wat je kunt volgen. Met deze doelen  kun je op koers blijven en kijken of gaandeweg aanpassingen nodig zijn. Vooral SMART-doelen helpen om te bepalen of een resultaat bereikt is. Door het benoemen van aantallen, percentages en periodes, kun je gemakkelijker een betekenisvolle uitspraak doen. Als je een doel SMART formuleert, krijg je ook zicht op bruikbare indicatoren. De handreiking Doelen stellen biedt je hierbij praktische handvatten.

Landelijke doelen lokaal concreet maken

Veel gemeenten/coalities gaan uit van de doelen van het landelijke actieprogramma Kansrijke start. Als je dat doet, maak de doelen dan concreet voor je eigen lokale of regionale situatie en stel ze samen met de coalitiepartners op, zodat ze breed gedragen worden.

Proces- en uitkomstniveau

Bepaal welke informatie nodig is om tijdens en na de aanpak en samenwerking zicht op resultaten te krijgen. Op welk niveau is dit nodig (wijk/dorp/inwoner)? Beoogde resultaten kunnen zowel op 1. proces- of samenwerkingsniveau als op 2. Uitkomstniveau worden geformuleerd.

  1. proces- of samenwerkingsniveau – denk aan:
    • Verbeterde vroegsignalering en doorverwijzing;
    • De samenwerking tussen medische en sociale professionals is verbeterd;
    • Bij de Kansrijke Start aanpak is meer samenwerking met (aanstaande) ouders;
    • Bredere bekendheid en meer overzicht over het aanbod binnen het sociale en medisch domein.

Maar ook het aantal partners in de coalitie, het succesvol betrekken van bijvoorbeeld huisartsen, een viertal netwerkbijeenkomsten per jaar.

  1. Uitkomstniveau denk aan:
    • Het aantal ouders dat met een interventie bereikt wordt;
    • De indicatoren voor een kansrijke start in (aanstaande) gezinnen in een kwetsbare situatie.

Praktijkvoorbeeld: Delftse instrumentenkoffer

In de Delftse coalitie Kansrijke start werken professionals in het medische en sociale domein integraal samen. Om deze samenwerking te ondersteunen, te volgen en te zien wat die oplevert, besloot de coalitie een instrumentenkoffer te ontwikkelen. Deze kent vijf onderdelen : ‘meten & weten’ (vragenlijst en indicatoren samenwerking), ‘informatie delen’ (werkafspraken), ‘reflecteren’ ( onder andere spiegelgesprekken met zwangeren en/of ouders), ‘samenwerken & leren’, en ‘het integraalbehandelplan’. De laatste drie onderdelen zijn nog in ontwikkeling. Lees meer over de instrumentenkoffer.

Bruikbare gegevens en indicatoren

  • Ga na of de bestaande (openbare) gegevens en data toereikend zijn voor wat je wilt weten, bijvoorbeeld via lokale en regionale partners. Op waarstaatjegemeente.nl staan meerdere indicatoren per gemeente (en op wijkniveau) die relevant zijn voor Kansrijke start. Je kiest indicatoren die aantonen of je de doelen behaald hebt of niet. Een indicator is een uitkomstmaat of eigenschap waarvan je kunt meten hoe het ermee gesteld is.

Landelijke en lokale indicatoren

Het RIVM monitort sinds 2019 het  landelijke  actieprogramma Kansrijke Start. Daarvoor is een indicatorenset ontwikkeld met vijftien indicatoren. Daarnaast heeft het RIVM een Indicatorenset Lokale Monitoring Kansrijke Start ontwikkeld met cijfers per gemeente op indicatoren voor-, tijdens- en na de zwangerschap. Je leest hier om welke indicatoren het gaat en hoe ze tot stand zijn gekomen. Lokale coalities kunnen de indicatoren gebruiken bij de monitoring en evaluatie van de lokale kansrijke start aanpak (afhankelijk van de lokale doelen). Op de website Regiobeeld.nl vind je de resultaten voor een aantal van de indicatoren uit de set voor je eigen gemeente.

  • Houd in gedachten dat indicatoren een benadering zijn van de werkelijkheid en altijd een interpretatie vragen. Doe dit bij voorkeur samen met de betrokken partners en de mensen op wie het gaat.
  • Kijk ook naar indicatoren waar je al op kortere termijn succes mee kunt boeken. Zo zal het terugdringen van het aantal zwangeren dat rookt tijdens en na de zwangerschap over het algemeen eerder bereikt kunnen worden dan de (uiteindelijke) afname van perinatale sterfte.

M&E: Doe het samen!

Bij de aanpak Kansrijke start zijn meerdere partners betrokken. Verzamel de gegevens ook gezamenlijk en deel de resultaten met elkaar. En als uit evaluaties blijkt dat het goed of beter gaat, geef je partners dan ook de credits en het ‘podium’.

  • Maak afspraken over welke gegevens worden verzameld en welke bijdrage partners daaraan kunnen leveren.  Het gaat niet alleen om cijfers; het ‘tellen’, maar ook om het ‘vertellen’. Denk aan een interview waarin professionals vertellen over de verbeterde samenwerking sinds Kansrijke start.
  • Ook het monitoren en evalueren van de samenwerking doe je samen: waarom en voor wie je de samenwerking monitort en evalueert, hoe dit gebeurt, hoe dit past in het proces en wie daarbij betrokken zijn (gehele samenwerkingsverband, deel?). Zorg ervoor dat de samenwerkende partijen zich kunnen vinden in de manier waarop dit gebeurt.
  • Zorg hierbij ook voor het perspectief van (aanstaande) ouders of de mensen waarover het gaat, bijvoorbeeld gesprekken met  (aanstaande) ouders die baat hebben gehad bij de Kansrijke start aanpak. Bespreek ook  samen met (aanstaande) ouders en/of ervaringsdeskundigen de vragen en de manier van monitoren en evalueren en duid samen de resultaten.

Verhalen en cijfers combineren

Wanneer je de aanpak en samenwerking rond Kansrijke Start monitort en evalueert kun je naast cijfers (tellen) ook verhalen (vertellen) gebruiken. De combinatie van deze twee maakt het sterker. Cijfers worden vaak gezien als hard en objectief, maar het verhaal erachter ken je niet. De verhalen van (aanstaande) ouders en/of professionals, kunnen inzicht geven in hoe beleid, programma’s of samenwerking uitpakken en waarom. Verhalen geven inzicht in ervaringen en de waarderingen van (aanstaande) ouders of van betrokken professionals. Van verhalen kun je bijvoorbeeld leren en je kunt ermee enthousiasmeren.

In de webinar De kracht van verhalen gaven we uitleg over wat de kracht van verhalen bij M&E kan zijn en hoorde we van de gemeenten Zeist en Kampen hoe zij verhalen hebben ingezet in hun evaluaties. Kijk de webinar terug.

  • Niet alle inwoners worden meegenomen in onderzoek. Bijvoorbeeld omdat ze leven in sociaal kwetsbare situaties, moeite hebben met lezen en schrijven, de Nederlandse taal niet spreken of geen digitale vaardigheden hebben. Hierdoor wordt hun perspectief niet meegenomen. Maar wanneer je je onderzoeksmethoden aanpast, kun je hen goed betrekken bij jouw (evaluatie)onderzoek. Lees meer over inclusief onderzoek.
  • Communiceer over behaalde resultaten; grote, maar zeker ook kleine. Hiermee houd je iedereen aan tafel, houd je de energie vast en onderstreep je de gezamenlijkheid. Ga na hoe je resultaten wilt laten zien. Kijk of je cijfers ook op andere manieren kunt presenteren, zoals via film of foto’s of ondersteund met verhalen of een persona/portret van (aanstaande) ouders.

Nog vragen?

Heb je na het lezen van dit document nog vragen over het bouwen en versterken van lokale coalities Kansrijke Start? Neem dan gerust per mail contact op met de Pharos adviseurs via Kansrijkestart@pharos.nl.

Gezamenlijk werken we aan tijdige en passende ondersteuning voor (aanstaande) zwangeren en jonge ouders in een kwetsbare situatie en een kansrijke start voor meer kinderen.