Audit op de enquête: uitkomst vernietigend, enquête onbruikbaar

Vanuit de achterban is er veel commotie over de ‘sturende en misleidende’ enquête. Er heeft zich een team geformeerd, van experts, om te kijken of het echt zo erg is. En zo erg is het.

Voornaamste kritiekpunten: de enquête is niet onafhankelijk. De doelgroep (inwoners) wordt niet aangeschreven, alleen de ‘huishoudens’. De enquête is onvolledig. De gegeven informatie is selectief. De vraagstelling bevat ‘vage’ begrippen (hoog, laag, ver …). De voorinformatie is misleidend (turbines zijn inpasbaar in het landschap, ook door toepassing van houtwallen …). De betrouwbaarheid is laag, de interpreteerbaarheid van de resultaten kan door de vage vraagstelling alle kanten op.

Onderstaand het volledige audit rapport, zoals door Het Team verstrekt aan het Actiecomité.

Aan: Actiecomité Op en Um ’t Hengels Zand

Van: het audit team Enquete

Datum: 28 december 2020

Audit op de Enquête

Actiecomité ‘Op en Um ’t Hengelse Zand’  heeft ‘de achterban’ gevraagd naar haar mening over de enquête. Als onderdeel van het proces van de gemeente om te komen tot kaderstelling voor de mogelijke plaatsing van windmolens.

Spontaan hebben we met 4 mensen een team geformeerd van vier academici, die bekend zijn met de praktijk van onderzoek.  Enkele sociaal wetenschappers, een medisch specialist, en iemand met kennis van statistiek, methoden en technieken.

Ons team heeft zich over de volgende vraag gebogen.

‘Is deze enquête een treffende bijdrage aan het bepalen van de kaders van windturbines? Meet deze enquête wat zij meten wil (validiteit)? En is de mate van betrouwbaarheid (nauwkeurigheid) afdoende?’ Anders geformuleerd: ‘is dit een goede enquête, en levert zij  een juist beeld op?’

Wat is het advies van ons team aan de gemeente zijn?

Omwille van de leesbaarheid hebben we een meer praktische invalshoek gekozen, en vermijden we al te academisch taalgebruik.

Bronnen:

• De enquête (gedrukte versie)
• Verslag Vraaggesprek met onderzoeksbureau Het Pon
• Respons Het Pon op vraaggesprek

Puntsgewijs wordt een aantal aspecten beoordeeld.

Deze aspecten zijn gekozen omdat zij van grote invloed (kunnen) zijn op het optreden van meetfouten.

Onafhankelijkheid

De onafhankelijkheid van de enquête  is gezien de grote impact en polarisatie van groot belang.

Wat opvalt in het proces, is dat:

• Onderzoeksinstituut Het Pon geeft aan dat de gemeente invloed heeft uitgeoefend op de vraagstelling.
• Het Pon geeft aan dat aan het einde van het proces de formulering van de vragen door de gemeente zijn ‘gecheckt en aangepast’.
• In een vraaggesprek geeft Het Pon aan voor 100% achter de validiteit te staan. Achteraf corrigeert Het Pon het verslag, en wil het gegeven dat zij voor 100% achter de enquête staat, verwijderd zien. Dit verbaast ons zeer. Een onderzoeksbureau behoort hier voor in te staan.
• Het aspect ‘afstand tot windmolens’ is bewust summier gehouden.
• De onderwerpen ‘natuur’ en ‘alternatieve energiebronnen’ zijn bewust achterwege gelaten.
• De gemeente zal zelf de ‘kale cijfers’ en de opmerkingen van de respondenten interpreteren.

De invloed van de gemeente is dermate groot, dat er van ‘onafhankelijkheid’ geen sprake is.

Doel van de enquête

Het doel is niet (helder) verwoord op het formulier. Dit had beter gekund, maar zal niet significant de respons of de uitkomst beïnvloeden.

Doelgroep: inwoners of huishoudens?

De doelgroep bestaat uit de inwoners van de gemeente Bronckhorst. De enquête is echter verstuurd naar (alle) 16.000 huishoudens. De reden hiervoor is het team niet duidelijk. Wordt er onterecht van uit gegaan dat de verschillende personen binnen een huishouden dezelfde mening hebben, of tot een gedeelde mening zullen komen?  Daarnaast heeft niet iedere inwoner van Bronckhorst een gelijk wegende stem. (Een huishouden met 3 volwassen personen telt voor 1 respons). Waarom niet ‘alle inwoners van 18 jaar en ouder’?

Conclusie: De keuze voor ‘huishoudens’ is  arbitrair, en werkt nadelig op de betrouwbaarheid.

Lengte van de enquête: Prima

Volledigheid. De vragenlijst richt zich op windmolens. Zijn de drie gekozen onderwerpen dekkend?

De gekozen onderwerpen zijn: betrokkenheid, landschap en gezondheid. Het domein is breder. We missen: leefbaarheid (incl. recreatie) en natuur. De volgende wezenlijke aspecten komen niet of onvoldoende aan de orde.

• Afstand van woningen tot windmolens.

• De (subsidie)kosten.

• Schadevergoeding voor waardedaling woning/onverkoopbaarheid woning.

• Het fenomeen ‘overlast’, derving van woon- en leefgenot.

Conclusie: Hierdoor is de vragenlijst te beperkt, en dient deze uitgebreid te worden met het bovenstaande. Omdat belangrijke deelaspecten niet meegenomen worden, is het niet mogelijk de respons op deze enquête op een verantwoorde manier te interpreteren.

Voorinformatie; volledigheid en selectiviteit

Aangenomen mag worden dat een substantieel deel van de doelgroep niet goed op de hoogte is van de actuele ontwikkelingen rondom windturbines (hoogte) en evenmin bekend is met gezondheidsonderzoeken, en de recente ervaringsgegevens van omwonenden van turbines in andere regio’s. Dit stelt eisen aan de voorinformatie. Aan deze eisen wordt niet voldaan, of zeer beperkt voldaan.

Wel wordt genoemd:

• Een hoge windmolen levert meer duurzame energie op dan een lage windmolen

• Van hoge windmolens heb je er minder nodig

• Hoge windmolens vallen meer op in het landschap dan lage

Niet wordt genoemd:

• Een hoge windmolen vraagt meer subsidie
• Een hoge windmolen van 250 meter is vanaf 30 a 40 kilometer afstand zichtbaar.
• Een hoge windmolen maakt meer geluid, en zorgt voor een 24/7 geluidsoverlast tot op 3 á 4 km.
• Een hoge windmolen (van 250 meter) veroorzaakt drukgolven (laagfrequent ‘geluid’) die tot op 7 km voelbaar zijn.
• Evenmin worden ervaringsgevens van recente windmolenprojecten gedeeld. Denk aan de Hoekse Waard, bijvoorbeeld.
• Er wordt verzuimd om door middel van visualisaties-op-schaal de effecten inzichtelijk te maken.
• Er wordt verzuimd melding te maken van snel groeiend bewijs voor de schade van windturbinegeluid en infrageluid voor de mens die te dicht bij woont. Slaapstoornissen worden zeer vaak beschreven: het immuunsysteem gaat hiervan minder functioneren met alle gevolgen voor onze afweer en ontwikkeling van kanker. Kinderen krijgen concentratie en ontwikkelingsstoornissen. Hartritmestoornissen komen vaker voor.
• Er wordt verzuimd melding te maken van de effecten op de biodiversiteit.
• Er wordt geen voorinformatie gegeven over regels voor schadeloosstelling, hulp voor mensen die om gezondheidsredenen gedwongen zijn te verhuizen, uitkoopconstructies voor mensen die elders een nieuw bestaan op moeten bouwen.

Conclusie: Het team stelt vast dat de voorinformatie en inleidingen bij de vragen meestal onvolledig zijn, en met weglaten van de nadelen, selectief zijn. Hiermee wordt een onterechte geruststellende suggestie gewekt.

Eenduidigheid gehanteerde begrippen

Zijn de relevante begrippen eenduidig geformuleerd? Verstaat iedereen hier hetzelfde onder, en is een gehanteerd begrip maar voor één uitleg vatbaar? Bij een enquête is het van belang dat helder en eenduidig verwoord wordt, waar het over gaat. De betekenis dient voor iedereen duidelijk te zijn. Dit betreft een vanzelfsprekende en cruciale eis die aan een enquête gesteld wordt.

Aan deze eis wordt slechts sporadisch voldaan. Hoofdzakelijk wordt gebruik gemaakt van multi interpretabele begrippen. Het gebrek aan eenduidigheid doet zich te vaak voor.

• Hoge, lage windmolens. Wat is laag, en wat is hoog? Is 100 meter laag? Of juist hoog?
• Ver van de bebouwde kom. Wat is ver? 500 meter? 1.200 meter? 3.000 meter? 7.000 meter?
• ‘Niet te hoog’. Wat is dat?
• ‘Aandacht voor de natuur’. Wat betekent dat?
• ‘Kleinschalig windpark’. Wat is kleinschalig en grootschalig?
• In bepaalde gevallen stilzetten. Wanneer? Dit is wettelijk geregeld.
• ‘Een deel van de opbrengsten’. Welk deel?
• ‘Maximaal inzetten op …’.
• ‘Hoge eisen stellen aan …’. Welke?
• ‘Korting’. Hoeveel?
• ‘Haalbaar en betaalbaar’. Wat is betaalbaar voor de inwoner?
• Etc.

Conclusie: Het team stelt vast dat op het gebied van eenduidigheid, de enquête enorm tekort schiet. De begrippen zijn voor meerdere uitleg vatbaar, of zo abstract dat ze geen inhoud meer hebben. Hierdoor zijn de resultaten niet interpreteerbaar inzake de kaderstelling. De volgende vragen zullen daarom moeten vervallen: 8, 10, 13 en 21.

Foute vooronderstellingen en misleidende informatie

• ‘Inpasbaarheid in het landschap’ suggereert dat hier sprake van kan zijn. Echter ‘lage en hoge windmolens’ zijn niet inpasbaar in het kleinschalige landschap van Bronckhorst. Een windmolen van 100 meter, of 180 meter, of 250 meter torent gigantisch boven het landschap uit. ‘Inpasbaarheid’ is een onjuiste vooronderstelling.
• In de inleiding van de vragen over ‘landschap’  wordt gesteld dat voor de ‘inpassing in het landschap houtwallen geplaatst kunnen worden’, of ‘andere elementen die karakteristiek zijn voor het landschap’. Bij windmolens vanaf enige hoogte is dit niet mogelijk. Dit is misleidend.
• Bij vragen op het gebied van landschapsarchitectuur en planologie wordt is het gangbaar, en wordt als eis gesteld, dat een visualisatie-op-schaal gemaakt wordt. Een visualisatie met ‘lage’ en ‘hoge’ windmolens ontbreekt.

Conclusie: Om bovenstaande redenen is de onterechte beïnvloeding zodanig hoog, en de informatiegraad zo laag, dat de antwoorden op de vragen over het landschap niet geïnterpreteerd kunnen worden. Deze vragen dienen derhalve geschrapt te worden (vraag 14 tot en met 18).

Betrouwbaarheid

De resultaten worden door Het Pon gecorrigeerd voor achtergrondkenmerken, zoals leeftijd en geslacht. Koop- of huurwoning en opleidingsniveau. Zij doet dit om onder- of oververtegenwoordiging van bepaalde groepen (bijvoorbeeld bepaalde leeftijdsgroepen) in de respons te corrigeren.

Hiermee wordt de onterechte suggestie gewekt dat de non-respondenten van een bepaalde categorie dezelfde mening hebben als de wel-respondenten van deze zelfde categorie. Deze aanname is alleen maar juist wanneer het om relevante categorieën gaat. Het team betwijfelt of de gekozen categorieën de juiste zijn.  In het geval van ‘Lid zijn van een natuurorganisatie’ of ‘Houden van wandelen’, is de representatiefactor vele malen hoger, lijkt het.

Conclusie: Het team is van mening dat een ‘correctie’ op basis van de gekozen minder relevante achtergrondkenmerken, de betrouwbaarheid negatief beïnvloed.

Validiteit en Interpreteerbaarheid

Vanwege het (nagenoeg) ontbreken van belangrijke aspecten zoals natuur, leefomgeving, afstand, kosten en andere alternatieven is de uitkomst onvoldoende interpreteerbaar.

Het veelvuldig gebruik van niet eenduidig gedefinieerde begrippen werkt onbetrouwbaarheid in de hand, gaat ten koste van de validiteit. Ook om deze reden is de uitkomst onvoldoende interpreteerbaar.

Hierdoor wordt veel ruimte gecreëerd voor interpretatie-naar-willekeur.

Wanneer bijvoorbeeld 100% van de respondenten aan zou geven ‘lage windmolens’te willen, wat betekent dit dan? Niet hoger dan 80 meter? Of niet hoger dan 150 meter?

Conclusie en aanbeveling

De enquête is onvolledig. Belangrijke aspecten zijn weggelaten. Ook bevat zij veelvuldig niet-eenduidig-gedefinieerde-begrippen, waardoor de respondent niet weet wat er bedoeld wordt.

Door het gebruik van misleidende voorinformatie (houtwallen …) is de enquête sturend, en soms suggestief. De uitkomst is niet of nauwelijks interpreteerbaar, met een te lage betrouwbaarheid.

Advies: het team adviseert de gemeente om door een onafhankelijke partij een audit uit te laten voeren op het proces, en de enquête als product. Het team verwacht dat de uitkomst van deze audit negatief zal zijn. Het team adviseert om wachtende de uitkomst van deze audit, de verdere verwerking van de enquête op te schorten.