Determinants of investment behaviour. Methods and applications of meta-analysis

Uitkomsten project Mark Koetse (VU)
Proefschrift 'Determinants of investment behaviour. Methods and applications of meta-analysis’

Context en onderzoeksaanpak

De schijnbare contradictie tussen de economische aantrekkelijkheid van bestaande energiebesparende technologieën aan de ene kant, en de trage en beperkte adoptie van deze technologieën aan de andere, wordt in het algemeen aangeduid als de energie-efficiëntie paradox. In de wetenschappelijke literatuur zijn verschillende verklaringen voor deze paradox naar voren gebracht, zoals tekort aan informatie en kennis, financiële restricties, en verborgen kosten van technologieadoptie. Deze dissertatie zich op twee belangrijke onderwerpen voor het begrijpen van investeringsgedrag, te weten het effect van onzekerheid op investeringen en het potentieel voor substitutie tussen kapitaalgoederen en energie in productieprocessen. Een belangrijk kenmerk van de literatuur over investeren onder onzekerheid is dat de theoretische inzichten niet eenduidig zijn aangaande de richting van de relatie. Bovendien vertonen ook de empirische studies over dit onderwerp een grote variatie aan uitkomsten en karakteristieken. Dit laatste geldt tevens voor de empirische literatuur over substitutie tussen kapitaal en energie, met als consequentie dat deze studies verschillende antwoorden geven op de vraag of kapitaal en energie substitueerbaar zijn.
Om de variatie aan uitkomsten van empirische studies op een systematische en kwantitatieve manier te analyseren gebruiken wij meta-analyse als methode van onderzoek. Meta-analyse complementeert de inzichten verkregen uit descriptieve literatuuroverzichten doordat het gebruik maakt van een kwantitatief en statistisch welomschreven raamwerk. Dientengevolge is één van de voordelen van meta-analyse dat het inzicht verschaft in de empirische relevantie van de mogelijke verklaringen voor de variatie in uitkomsten van empirische studies. Daarnaast geeft de methode een meer betrouwbare schatting van de onderliggende relatie dan de schattingen afkomstig van individuele empirische studies.
Meta-analyse heeft echter ook zijn specifieke methodische problemen. Het gebruik van deze methode voor het doen van economisch onderzoek is mede daardoor niet onomstreden en nog steeds in ontwikkeling. Het valt buiten het bestek van deze dissertatie om het geheel aan methodische problemen te onderzoeken. Wij hebben er voor gekozen om twee methodische problemen te bestuderen die voorkomen in vrijwel elke economische meta-analyse, maar die ook in andere onderzoeksgebieden een belangrijk probleem vormen. Ten eerste heeft vrijwel elke economische meta-analyse te maken met systematische variatie in empirische schattingen veroorzaakt door, onder andere, misspecificatie in primaire modellen. Ten tweede hebben meta-analyses in het algemeen te maken met aselecte variatie in empirische schattin-gen welke wordt veroorzaakt doordat uitkomsten van empirische studies verschillen in precisie en doordat de omvang van de te bestuderen relatie op aselecte wijze varieert tussen primaire studies. Ter introductie besteden we in Hoofdstuk 3 uitgebreid aandacht aan deze problemen en presenteren we de metaschatters die zijn ontwikkeld om de potentieel negatieve effecten van deze problemen te verminderen of teniet te doen. In Hoofdstukken 4 en 5 van deze dissertatie bestuderen wij de effecten van de hierboven beschreven methodische problemen en onderzoeken we de niet-asymptotische eigenschappen van een aantal bekende en veelgebruikte metaschatters. De relevante onderzoeksvraag in deze hoofdstukken is of, en zo ja in hoeverre, de meta-modellen die ontwikkeld om deze methodische problemen tegen te gaan ook daadwerkelijk effectief zijn.
In Hoofdstuk 6 presenteren we de meta-analyse naar het effect van onzekerheid op investeringsgedrag, terwijl Hoofdstuk 7 een meta-analyse presenteert naar het potentieel voor substitutie tussen kapitaalgoederen en energie. Gegeven de variatie aan theoretische en empirische inzichten is richten de twee meta-analyses zich ten eerste op het verschaffen van inzicht in de richting en omvang van het effect van onzekerheid op investeringen en het potentieel voor substitutie van kapitaal voor energie. De onder liggende empir ische studies vertonen echter niet slechts variatie in de empirische schattingen. Ook in onderzoeksopzet en modelspecificatie zijn aanzienlijke verschillen aanwezig, en het is niet aannemelijk dat uitkomsten van studies met verschillende modelspecificaties ook dezelfde onderliggende populatie representeren. Dientengevolge is het aannemelijk dat er aanzienlijke systematische variatie aanwezig is in de uitkomsten van de onderliggende empirische studies. Daarom is een tweede en zeker niet minder belangrijke doelstelling van de twee empirische applicaties om te onderzoeken welke factoren (verschillen in opzet en modelspecificatie van primaire empirische studies) daadwerkelijk relevant zijn voor het verklaren van variatie in de uitkomsten.

Belangrijkste Onderzoeksresultaten

Meta-analyse als methode van onderzoek
Met behulp van Monte-Carlo simulatie technieken trachten wij in Hoofdstukken 4 en 5 de praktijk van het doen van een meta-analyse te repliceren. Kort samengevat hanteren wij in deze hoofdstukken het volgende datageneratie proces. We genereren primaire data waarbij we de richting en omvang van de werkelijke empirische relatie bepalen. Vervolgens schatten wij de primaire modellen en gebruiken we de uitkomst van het schatten van deze modellen als input voor de meta-analyses. Tenslotte gebruiken we verscheidene meta-modellen voor het schatten van een meta-effect en analyseren we de afwijking tussen dit geschatte effect en de werkelijke empirische relatie. Hierbij gebruiken we de bias en de variantie van de schatter en de statistische significantie van het geschatte effect om het presteren van de verschillende meta-modellen te meten.
In Hoofdstuk 4 bestuderen we de invloed van systematische variatie in uitkomsten van empirische studies, welke wordt veroorzaakt door misspecificaties in primaire modellen, op de uitkomsten van een meta-analyse. De standaard procedure om te corrigeren voor dit soort problemen is het opnemen van dummyvariabelen in de meta-modelspecificatie. We analyseren het presteren van deze schatter ten opzichte van het presteren van een metaschatter die geen rekening houdt met systematische variatie in empirische uitkomsten. Specifiek komt deze laatste schatter neer op het simpelweg berekenen van het gemiddelde van de empirische uitkomsten. Hoofdstuk 5 behandelt aselecte variatie in empirische uitkomsten, welke wordt veroorzaakt door het feit dat uitkomsten van empirische studies verschillen in precisie en doordat de omvang van de te bestuderen relatie op aselecte wijze varieert tussen primaire studies. Deze twee vormen van variatie worden over het algemeen in een meta-analyse opgenomen door de uitkomsten van studies (en ook de dummyvariabelen als deze zijn opgenomen in de modelspecificatie) te wegen met hun respectievelijke standaardfouten. We analyseren de effectiviteit van dergelijke schatters in het reduceren van de effecten van de twee hierboven genoemde problemen.
Details en nuanceringen buiten beschouwing latend zijn de resultaten eenduidig. Het opnemen van dummyvariabelen in de meta-modelspecificatie is in hoge mate effectief in het tegengaan van de negatieve effecten van systematische variatie in uitkomsten van empirische studies. Ook blijkt dat de negatieve effecten van aselecte variatie aanzienlijk geringer zijn wanneer de geschatte variantie van studie uitkomsten wordt opgenomen in de meta-modelspecificatie. De resultaten in Hoofdstuk 5 laten zien dat meta-modellen die de data wegen met de standaardfouten van de empirische schattingen (i.e., de ‘fixed effects’ regressie en de ‘mixed effects’ schatter), beduidend beter presteren dan de OLS schatter wanneer we de heterogeniteit in va-riantie van studies doen toenemen (ofwel, de heteroskedasticiteit in de meta-analyse doen toenemen). Deze patronen veranderen in belangrijke mate wanneer we de werkelijke empirische relatie laten variëren tussen studies, en de variantie van deze populatie van ware onderliggende effecten doen toenemen. In deze situatie neemt het presteren van de ‘fixed effects’ schatter ten opzichte van het presteren van de andere twee schatters af, omdat deze schatter geen rekening houdt met de mogelijkheid dat de werkelijke empirische relatie niet constant is tussen studies. Verder convergeert de OLS schatter naar de ‘mixed effects’ schatter omdat de gewichtenstructuren van beide schatters meer en meer op elkaar gaan lijken wanneer de variantie van de verdeling van de werkelijke empirische relatie toeneemt. Conclusie laten onze resultaten zien dat onder alle omstandigheden de ‘mixed effects’ schatter met dummyvariabelen om te controleren voor systematische variatie te prefereren is boven de overige metaschatters. Als kanttekening dient te worden opgemerkt dat het moeilijk is om vast te stellen in hoeverre onze kwantitatieve resultaten de werkelijkheid van het doen van meta-analyse in economisch onderzoek benaderen. Daarentegen zijn we er van overtuigd dat de kwalitatieve patronen en bevindingen niet specifiek zijn voor onze experimenten, en daarom ook algemene methodische implicaties hebben.

De invloed van onzekerheid op investeringen
In Hoofdstuk 6 doen we een meta-analyse op het teken en de statistische significantie van empirische schattingen van het effect van onzekerheid op investeringen. We schatten twee verschillende modellen. Ten eerste passen we de procedure toe die gebruikelijk is bij het doen van een dergelijke meta-analyse. We delen de empirische uitkomsten op in verschillende categorieën, gebaseerd op hun teken en statistische significantie, en schatten vervolgens een ‘ordered probit’ model op de resulterende categoriale variabele. In ons geval delen we de uitkomsten op in significant negatieve, insignificante, en significant positieve uitkomsten, en schatten we een ‘ordered probit’ model met dummyvariabelen om te corrigeren voor systematische variatie. Een nadeel van bovenstaande procedure is dat het creëren van een categoriale variabele automatisch leidt tot het onnodig weggooien van beschikbare en mogelijk relevante informatie over de uitkomsten van studies. Om deze reden passen we een tweede procedure toe, waarbij we een regressiemodel schatten op de z-waarden van de empirische uitkomsten. Uiteindelijk presenteren we de marginale effecten voor deze twee modellen, ofwel de veranderingen in de kans op het vinden van een significant negatieve, een insignificante, en een significant positieve empirische uitkomst.
Hoewel de resultaten geen definitief inzicht verschaffen in de richting van het effect van onzekerheid op investeringen, blijkt uit een simpele telling van studie-uitkomsten dat slechts een zeer beperkt aantal studies een positieve relatie schat die statistisch significant is op een significantieniveau van 5%. Dit wordt bevestigd door de schatting van onze meta-modellen, welke laten zien dat de kans op het vinden van een significant positieve relatie klein is. Verder blijkt uit de marginale effecten dat, met een klein aantal uitzonderingen, de meeste factoren die een effect zouden kunnen hebben op de uitkomst van een studie geen substantieel effect hebben op de kans van het vinden van een positief significant resultaat.
Aangezien in de literatuur verscheidene factoren zijn geïdentificeerd die de richting van de relatie kunnen beïnvloeden, is een tweede en niet minder belangrijke onderzoeksvraag welke factoren daadwerkelijk empirisch relevant zijn. Ondanks dat meta-analyse in het algemeen geen definitieve inzichten kan verschaffen in de empirische relevantie en correctheid van bepaalde onderliggende theorieën, aannamen en modelspecificaties, kan het toepassen van de methode wel bijdragen aan het verklaren van de variatie in uitkomsten van empirische studies. Het blijkt dat de uitkomsten van de twee geschatte meta-modellen kwalitatief vergelijkbaar zijn. De resultaten laten zien dat verscheidene factoren relevant zijn in het verklaren van de variatie in uitkomsten van studies, ondanks dat de twee modellen bij sommige factoren verschillen over de richting en omvang van het effect. Verschillen tussen primaire studies in de wijze van het meten van investeringen en onzekerheid, en verscheidene operationele verschillen, blijken relevant te zijn. Verder verschaft de invloed van verschillen in modelspecificatie op het resultaat van een studie belangrijk inzichten voor theoretische discussies. Zo laat de invloed van de specificatie van een investeringsmodel op de uitkomst van de studie zien dat de ad hoc wijze van modelbouw in empirische investeringsstudies aanzienlijke consequenties kan hebben voor de uitkomsten van een studie. Zo heeft het niet opnemen van prijzen van inputfactoren in investeringsmodellen een grote invloed op de uitkomst van de studie, maar ook andere verklarende variabelen, zoals de financiële situatie en de omvang van een bedrijf, blijken uitermate relevant.

Substitutie tussen kapitaalgoederen en energie in productieprocessen

De meta-analyse in Hoofdstuk 7 is gericht op het bestuderen van het potentieel voor substitutie tussen kapitaalgoederen en energie in een productieproces. Het overgrote merendeel van de empirische studies over dit onderwerp gebruikt eenzelfde productiefunctie voor het schatten van deze relatie, waardoor de verschillen in empirische uitkomsten niet gerelateerd kunnen zijn aan verschillen in de gebruikte productiefunctie. Wel is een belangrijk onderscheid te maken tussen kruisprijs en substitutie-elasticiteiten. De eerste meet een procentuele verandering in de vraag naar kapitaal ten gevolge van een één-procent toename in de prijs van energie. Aldus incorporeert een kruisprijs elasticiteit de inkomenseffecten ten gevolge van een verandering in de prijs van energie, en meet deze elasticiteit het economische en niet het technische substitutiepotentieel. Substitutie of Morishima elasticiteiten laten deze inkomenseffecten buiten beschouwing en meten precies het technische substitutiepotentieel. Welke elasticiteit geprefereerd dient te worden hangt met name af van de onderzoeks- of beleidsvraag. Beleidsplannen gericht op energiemanagement zullen geïnteresseerd zijn in de daadwerkelijke verandering in de vraag naar energiebesparende kapitaalgoederen. Wetenschappelijke studies naar, bijvoorbeeld, puur substitutiepotentieel in verschillende sectoren van de economie waarschijnlijk meer geïnteresseerd zijn in substitutie-elasticiteiten. Om deze reden gebruiken we beide typen elasticiteiten en voeren we een analyse uit op het teken en de omvang van de geschatte elasticiteiten uit bestaande empirische studies. We gebruiken een ‘mixed effects’ model met dummyvariabelen om te controleren voor systematische variatie in de empirische schattingen, en schatten het model met aparte coëfficiënten voor kruisprijs en substitutie-elasticiteiten. De resultaten geven een duidelijk inzicht in welke factoren relevant zijn in het verklaren van de variatie in empirische schattingen. Met name het uitsluiten van parameters die corrigeren voor niet-neutrale technologische veranderingen heeft een grote invloed op zowel de geschatte kruisprijs als de geschatte substitutie-elasticiteit. Verder geven primaire studies vertekende schattingen van de kruisprijs elasticiteit wanneer parameters voor schaalopbrengsten en materiaal als input factor worden weggelaten uit de productiefunctie schattingen. Substitutie-elasticiteiten blijken echter niet gevoelig voor het niet opnemen van deze laatste twee parameters in productiefunctieschattingen. Onze resultaten suggereren aldus dat kapitaal en energie te separeren zijn van materiaal in het schatten van een productiefunctie. Aan de andere kant blijkt dat studies die gebruik maken van cross-sectie en panel data hogere substitutie-elasticiteiten produceren, waarschijnlijk omdat deze typen data meer langetermijn veranderingen incorporeren. Verder blijkt het jaar van evaluatie van de elasticiteit niet bij te dragen aan een verklaring van de variatie in uitkomsten. Dit suggereert dat de toename in beschikbaarheid en het presteren van energiebesparende technologieën over de jaren niet heeft geleid tot een toename in substitutiepotentieel. De verklaring voor dit enigszins verrassende resultaat is waarschijnlijk dat het overgrote deel van de studies gebruikt maakt van data uit de jaren zeventig en tachtig. Omdat het aantal studies uit de jaren negentig beperkt is kunnen nauwelijks conclusies getrokken worden over de ontwikkeling van kapitaalenergie substitutiepotentieel in meer recente jaren.
Rekening houdend met de systematische variatie in uitkomsten, laten onze resultaten zien dat technisch substitutiepotentieel tussen kapitaalgoederen en energie omvangrijk is. De ideaaltypische geschatte substitutie-elasticiteit is gelijk aan .64 op korte termijn, en stijgt naar .89 en 1.21 in de middellange en lange termijn, respectievelijk. Echter, ondanks dat het technische substitutiepotentieel aanzienlijk is, overheerst het inkomenseffect op korte en middellange termijn; de kruisprijs elasticiteiten zijn klein en statistisch ni et verschillend van nul. Op lange termijn daarentegen overheerst het substitutie-effect, wat er op wijst dat ook het economisch substitutiepotentieel groot is, maar dat een daadwerkelijke verandering in de vraag naar energiebesparende kapitaalgoederen ten gevolge van een verandering in de prijs van energie een langetermijn fenomeen is.

Conclusies en Vervolgonderzoek

Ondanks dat de potentiële voordelen van meta-analyse als methode van onderzoek bekend zijn, is de toepassing van de methode binnen economisch onderzoek van relatief recente datum. Een mogelijke reden hiervoor is dat meta-analyse, en met name de toepassing van de methode binnen economisch onderzoek, enkele specifieke methodische problemen kent. Tot nu toe is relatief weinig ondernomen om de invloed van deze problemen op de resultaten van een meta-analyse te onderzoeken. Om deze reden bestuderen we in deze dissertatie de effecten van enkele veelvoorkomende methodische problemen. Daarbij laten we met behulp van Monte-Carlo simulaties zien dat de negatieve invloed van deze problemen op de resultaten van een meta-analyse grotendeels ondervangen kan worden door het toepassen van bekende meta-analytische methoden. Onze bevindingen tonen aan dat meta-analyse als methode van onderzoek een aantal belangrijke voordelen kent. Dit wil uiteraard niet zeggen dat meta-analyse geen beperkingen heeft. Mogelijk restricties doen zich bijvoorbeeld voor wanneer de geschatte coëfficiënten van primaire studies niet dezelfde meeteenheid hebben, wat een analyse van de omvang van de onderliggende relatie moeizaam of zelfs onmogelijk maakt. Verder is het onderzoeken van de mogelijke oorzaken van variatie in studie-uitkomsten afhankelijk van de mate van variatie in karakteristieken van de onderliggende studies. Om deze redenen moeten de inzichten verkregen uit meta-analyse gezien worden als een aanvulling op, en niet als een vervanging van, de inzichten verkregen uit descriptieve literatuuroverzichten en primaire analyses. Deze mogelijke beperkingen in ogenschouw nemend, laten de toepassingen in Hoofdstukken 6 en 7 zien dat meta-analyse een substantiële bijdrage kan leveren aan het begrijpen van economische fenomenen. Bovendien kan een meta-analyse verklaren geven voor de verschillen in empirische inzichten over een bepaald onderwerp. Dit laatste maakt dat de methode bijdraagt aan verdere theoretische ontwikkeling, aanwijzingen geeft voor modelbouw in toekomstig empirisch onderzoek, en inzicht verschaft in de mogelijke consequenties van de in empirische studies te maken keuzes (bijvoorbeeld met betrekking tot het type data dat wordt gebruikt, of aangaande de econometrische specificatie van het empirische model). Bovendien laten de resultaten in Hoofdstuk 7 zien dat meta-analyse schattingen produceert die gebruikt kunnen worden voor het kalibreren van belangrijke parameters in economische modellen.
Uiteraard zijn er verschillende methodische problemen die achterwege gelaten zijn in deze dissertatie. Vervolgonderzoek moet bijvoorbeeld uitwijzen in hoeverre de kwantitatieve bevindingen van onze Monte-Carlo simulaties de werkelijkheid van het doen van meta-analyse in economisch onderzoek voldoende benaderen. Hiervoor zouden we de parameters in ons studieontwerp in meer detail dienen te kalibreren, bijvoorbeeld door de uitkomsten van de primaire studies verder af te stemmen op uitkomsten van werkelijke empirische studies. Verder is een interessante extensie van ons studieontwerp om andere veelvoorkomende problemen in primaire studies te introduceren, zoals multicollineariteit, heteroskedasticiteit, en autocorrelatie. Het effect van deze zaken op standaardfouten van empirische schattingen, en daarmee op het presteren van metaschatters die deze standaardfouten opnemen in de model-specificatie, is grotendeels onbekend. Tenslotte, aangezien standaardfouten van schattingen in primaire studies niet altijd beschikbaar zijn, wordt vaak voorgesteld om het aantal observaties in een primaire studie te gebruiken als benadering van de standaardfout. Echter, omdat het aantal observaties slechts een van de factoren is die de omvang van de standaardfout beïnvloedt, is het van belang om te onderzoeken onder welke omstandigheden het gebruiken van het aantal observaties in een primaire studie een goed alternatief is voor het gebruiken van de standaardfout.
In deze dissertatie zijn twee potentieel belangrijke methodische problemen, die aangeduid worden met ‘public ation bias’ en ‘multiple sampling’, achterwege gelaten. ‘Publication bias’ wordt veroorzaakt doordat de te gebruiken empirische schattingen in een meta-analyse niet op aselecte wijze worden geselecteerd. Denk hierbij bijvoorbeeld aan een selectie op basis van de omvang en de statistische significantie van schattingen, wat tot een mogelijke vertekening van de resultaten van een meta-analyse leidt. Ondanks dat uitgebreid onderzoek is gedaan naar de mogelijke consequenties van dit probleem (zie, onder andere, Stanley, 2005; Florax, 2002a; Sutton et al., 2000b; Hedges, 1992), zijn deze analyses in het algemeen gebaseerd op mogelijk restrictieve veronderstellingen. Onderzoek naar de beperkingen van procedures en correcties voor ‘publication bias’ wanneer deze veronderstellingen worden losgelaten is grotendeels afwezig. Het ‘multiple sampling’ probleem doet zich voor wanneer in een meta-analyse meerdere resultaten uit eenzelfde studie (of afkomstig van eenzelfde dataset) worden gebruikt. Hierdoor ontstaat afhankelijkheid tussen de observaties in de meta-analyse, wat tot vertekening van de resultaten kan leiden. Beoordeeld op basis van inzichten van studies naar dit specifieke probleem (zie, onder andere, Bijmolt en Pieters, 2001; Brons en Florax, 2005), is de wijze waarop we voor dit probleem corrigeren in onze empirische applicaties mogelijk niet optimaal. Echter, het model dat door ons optimaal is bevonden voor het corrigeren van aselecte variatie in empirische uitkomsten, en het model om te corrigeren voor ‘multiple sampling’ (zie Bijmolt and Pieters, 2001), zijn niet te verenigen. In dit licht is het vergelijken van deze twee modellen onder aselecte variatie in empirische uitkomsten, en onder ‘multiple sampling’, cruciaal voor verdere ontwikkeling van meta-modellen.