28 juli 2010

Een basisset van 12 indicatoren om te meten hoe effectief de Centra voor Jeugd en Gezin (CJG’s) zijn. Dat is het eerste resultaat van een onderzoek dat in opdracht van het programmaministerie voor Jeugd en Gezin is uitgevoerd door Deloitte. Henriëtte van Aken (beleidsadviseur en CJG-coördinator Almere) en Anne Willems (CJG-coördinator Tilburg) waren nauw betrokken bij de totstandkoming van de basisset.

Hoe is deze basisset tot stand gekomen?

Willems: “In Tilburg zijn wij al 2 jaar actief met ons CJG. Ongeveer een jaar geleden hebben wij bij het programmaministerie voor Jeugd en Gezin gevraagd of het niet mogelijk zou zijn om de effectiviteit van CJG’s op landelijk niveau te bekijken. Het leek ons niet handig als iedere gemeente zelf het wiel zou gaan uitvinden. Jeugd en Gezin heeft toen een aantal workshops georganiseerd om te kijken of er belangstelling was voor een gezamenlijke aanpak. Dat was het geval. Zeker bij CJG’s die net als wij al wat langer bezig waren. Dat was het begin van een klankbordgroep waarin het ministerie, de VNG en verschillende gemeenten deelnamen. Er is verder gesproken met verschillende onderwijs- en zorgpartners. Het resultaat daarvan zijn de indicatoren die er nu liggen.”

Van Aken: “Wij waren in Almere ook al langer bezig met het zoeken naar indicatoren, samen met de CJG-partners. Toen we hoorden dat het ministerie bereid was te helpen bij een gezamenlijke aanpak, zijn we daar direct op ingegaan.”

Willems: “Via bijeenkomsten en interviews hebben zo’n 60 professionals meegewerkt – mensen die in de praktijk dan wel beleidsmatig bij CJG-vorming betrokken zijn. Het onderzoek is begeleid door een klankbordgroep met daarin naast CJG-experts van gemeenten en VNG ook mensen die ervaring hebben met indicatorenontwikkeling vanuit ITJ, Actiz, Primo nh, Flexus Jeugdplein). Met deze aanpak is het echt een basisset voor en door het veld geworden!”

Waarom is de basisset indicatoren zo belangrijk?

Van Aken: “Als gemeente maak je beleid en financier je programma’s. Op een gegeven moment wil je weten of je daarmee je doelen bereikt. Met andere woorden, wat is het effect? De indicatoren helpen te meten of de CJG’s daadwerkelijk bijdragen aan een betere ondersteuning van jeugdigen en gezinnen.”

Willems: “Wat ik ook belangrijk vind aan deze set van indicatoren, is dat de link is gelegd met de indicatoren uit het Basismodel CJG met daarin onder andere de vijf WMO-functies uit prestatieveld 2 (informatie en advies, signalering, toeleiding naar hulp, licht pedagogische hulp en coördinatie van zorg).”

Wat gaan jullie nu doen met deze basisset?

Willems: “In Tilburg hebben we al een vrij uitgebreide registratie en veel van de indicatoren kunnen we zo gebruiken. Maar ook CJG’s die net starten, kunnen de basisset gebruiken om hun eerste evaluatiesystemen en registraties in te richten. De basisset is in ieder geval ook beperkt genoeg, dus de administratieve lasten blijven te overzien.”

Van Aken: “Het is een start, een groeimodel. We moeten in de praktijk kijken of er nog behoefte is aan aanpassingen. Iedere gemeenten kan voor zichzelf aanvullingen doen. De link met het zorg- en adviesteam (ZAT) staat bijvoorbeeld nog niet in deze basisset. Voor Almere zal ik die wel toevoegen, omdat in Almere het ZAT een belangrijk casuïstiekoverleg vormt binnen het CJG.”

Hoe zijn jullie tot deze 12 indicatoren gekomen?

Van Aken: “Eigenlijk is alles begonnen vanuit de vraag: ‘Wanneer is een CJG succesvol?’ Daarover hebben we met een klankbordgroep nagedacht. Een van de antwoorden zou kunnen zijn: ‘Als er goed wordt samengewerkt’. Maar als de samenwerking tussen de professionals goed is, dan weet je nog niet of het resultaat voor kinderen en ouders ook succesvol is. Bij de indicatoren zie je dan ook dat het begrip effectiviteit vanuit meerdere kanten benaderd wordt. Er zijn verschillende soorten indicatoren.”

Willems: “Het verschil tussen de zogenaamde output-indicatoren en de outcome-indicatoren is belangrijk. De outcome beschrijft echt wat het de klant oplevert. Kunnen ouders bij het CJG vinden wat hen is beloofd? Krijgen ze antwoord op hun vragen en vermindert dit hun problemen? De output is een meer cijfermatig gegeven. De output meet je bijvoorbeeld door te registreren hoeveel bezoekers het CJG ontvangt, welke vragen worden gesteld, waar de bezoekers naartoe worden verwezen.”

Wat is nu de volgende stap?

Van Aken: “Nu we weten wat we moeten meten, is de volgende vraag hoe we de indicatoren meten. Om bijvoorbeeld de mate van tevredenheid te meten bij CJG-bezoekers, heb je vragenlijsten nodig. Voor een deel houden gemeenten al dat soort registraties bij. Maar voor een deel gaat het om nieuwe indicatoren. En het zou natuurlijk mooi zijn als we bij de basisset van indicatoren ook standaard instrumenten zouden kunnen ontwikkelen. Zodat je steeds meer eenduidige resultaten krijgt.”

Willems: “Een indicator zoals de ‘mate van tevredenheid per product’ houden wij in Tilburg nu ook al bij. Andere indicatoren, zoals de kosten per productgroep, zijn nieuw. Hoe verhoudt de opbrengst van het CJG zich tot de kosten? Wat levert de investering vanuit de BDU-gelden op? Wat levert de samenwerking tussen de partners op? Het zijn moeilijke vragen, omdat alles met alles te maken heeft. Maar het lijkt me toch belangrijk een poging te doen om dat eens per productgroep te onderzoeken.”

Vereist het komen tot instrumenten om de indicatoren te meten opnieuw een gezamenlijke aanpak?

Willems: “Voor sommige indicatoren hebben gemeenten al instrumenten. Voor andere indicatoren zou het handig zijn landelijk af te stemmen om tot instrumenten te komen. Iets waar je ook gezamenlijk over zou kunnen nadenken, is hoe we de indicatoren kwantificeren. Als je het bijvoorbeeld hebt over het bereik van een CJG, wanneer spreek je dan van een goed bereik? Wanneer ben je tevreden? Dat moet nog worden uitgewerkt.”

Van Aken: “Van Aken: “Het werken met dit soort indicatoren en het opstellen van instrumenten, vergt de nodige specialistische kennis. Dus ik ben wel voorstander van een gezamenlijke aanpak. Wat ik er bovendien mooi aan vind is dat je dan opnieuw gebruik kunt maken van de input vanuit het hele veld. Dat ondersteunt de gedachte van het CJG. Het gaat allemaal om samenwerking. Door deze gezamenlijke aanpak ondersteun je de basisgedachte van het CJG en maak je er effectief gebruik van.”

Extra informatie over de basisset indicatoren effectiviteit CJG

Achtergrond

Om te kunnen beoordelen of de Centra voor Jeugd en Gezin (CJG’s) echt zorgen voor betere ondersteuning van jeugdigen en gezinnen hebben gemeenten een set van indicatoren nodig. Daarom heeft Jeugd en Gezin een basisset indicatoren laten opstellen, die in nauw overleg met gemeenten, VNG en professionals tot stand is gekomen. De voorliggende basisset is daarmee voor en door gemeenten tot stand gekomen. Deze basisset en de achtergronden van de set zijn te vinden in het  rapport van Deloitte.

De basisset bestaat uit 12 indicatoren (te vinden op bladzijde 3 van het rapport), samengevat:
1 Percentage ouders en jeugdigen dat CJG weet te vinden;
2 Mate van tevredenheid (beleving) van ouders en jeugdigen per product van CJG;
3 Mate waarin ouders en jeugdigen vermindering problematiek ervaren;
4 Samenwerkingsafspraken, SMART geformuleerd;
5 Gemiddelde kosten per productgroep;
6 Aantal en type bezoekers CJG;
7 Soort contacten dat met het CJG heeft plaatsgevonden;
8 Aantal en type vragen dat in het CJG is gesteld;
9 Aantal en soorten signalen;
10 Aantal en soort toeleidingen naar verschillende vormen van hulp binnen en buiten het CJG;
11 Type ondersteuning dat in het CJG wordt aangeboden;
12 Aantal jeugdigen en gezinnen waarvoor één gezin één plan is geregeld.

In de voorliggende basisset bleken outcome indicatoren vooralsnog een brug te ver. Na gebruik in de praktijk zou kunnen blijken dat toch aanscherping of uitbreiding in de richting van outcome mogelijk is.

Operationalisering

De basisset definieert wat te meten. De vervolgvraag is hoe te meten. In de operationalisering wordt per indicator bepaald hoe deze gemeten kan worden. Voor sommige indicatoren worden nu al gegevens verzameld. Als eerste stap worden daarom bestaande indicatoren/vragenlijsten (o.a. van de jeugdgezondheidszorg, welzijnswerk, zorg- en adviesteams, onderwijs en BJZ) in beeld gebracht. Voor andere indicatoren is het nodig dat nieuwe instrumenten worden ontwikkeld.

Bij de operationalisering is een belangrijk aandachtspunt dat administratieve lasten echt geminimaliseerd zijn. Daarom is het gebruik van indicatoren in de praktijk onderdeel van de operationalisering.

De basisset indicatoren is gebaseerd op het basismodel CJG. Uit de praktijk en uit onderzoek blijkt dat de samenwerking tussen het CJG en de zorgstructuren in het onderwijs nog nadere aandacht behoeft. Daarom zal de samenwerking tussen onderwijs en CJG in de operationalisering van de indicatoren verder worden uitgewerkt.

Na operationalisering van deze basisset hebben gemeenten een instrument in handen om de resultaten van het eigen CJG te volgen en met de lokale partners periodiek te bespreken. Operationalisering is nodig om te komen tot een eenduidige beschrijving van begrippen. Hierdoor kunnen gemeenten ook onderling hun resultaten vergelijken. Op deze operationalisering is daarom landelijke regie nodig.

Tijdpad

1. Operationalisering van de basisset (najaar 2010/voorjaar 2011)
2. Gebruik in de praktijk door steeds meer gemeenten (2011)
3. Evaluatie en bijstelling (begin 2012)

Toepassing indicatoren voor een landelijk beeld over de effectiviteit van CJG’s

Op dit moment geven gemeenten via de rapportage Brede Doel Uitkering (BDU) inzicht in voortgang van de CJG- ontwikkeling. Maar op termijn moet er landelijk zicht zijn op de resultaten van Centra voor Jeugd en Gezin. De verder te ontwikkelen basisset is ook voor dit landelijke beeld op termijn de basis. De informatiebehoefte op landelijk niveau is immers een afgeleide van de informatie die de gemeenten zelf nodig hebben om hun CJG te kunnen besturen.