View More View Less
  • 1 Rheinisch-Westfälisches Institut für Wirtschaftsforschung Essen Germany
Restricted access

In Europe, the new member states face the challenge to implement and evaluate EU-funded policies. This paper sketches the experiences in evaluating policy instruments funded by the European Social Fund (ESF) in Germany and discusses lessons to be learned from the comprehensive evaluation of ESF-funded policy measures in Germany in the programming period 2000–2006. It presents the matching procedure we used to estimate the net effect of the projects scrutinised. The experiences from the evaluation not merely comprise the methodological aspect (how to evaluate effectiveness and efficiency of labour-market policies), but also consequences that can be drawn in respect to the institutional background.

  • Augurzky, B. — Kluve, J. (2004): Assessing the performance of matching algorithms when selection into treatment is strong. RWI Discussion Paper No . 21 , RWI-Essen.

  • Augurzky, B. — Fertig, M. — Kluve, J. — Rothgang, M. (2004): Does ESF-Funded Training of the Unemployed Work? Mimeo.

  • BRD (2001a): Einheitliches Programmplanungsdokument zur Entwicklung des Arbeitsmarktes und der Humanressourcen. Jahresbericht 2000 — für die Interventionen des Ziels 3 in Deutschland , Deutschland.

  • BRD (2001b): Regionalübergreifendes Operationelles Programm zur Entwicklung des Arbeitsmarktes und der Humanressourcen. Jahresbericht 2000 — für die Interventionen des Ziels 1 in Deutschland , Deutschland.

  • BRD (2001c): Einheitliches Programmplanungsdokument zur Entwicklung des Arbeitsmarktes und der Humanressourcen. Programmergänzung — für die Interventionen des Ziels 3 in Deutschland , Deutschland.

  • Deeke, A. — Kruppe, T. (2006): Die Evaluation des ESF-BA-Programms am Beispiel der Förderung beruflicher Weiterbildung. Zeitschrift für Arbeitsmarktforschung , 39: 391–424.

    Kruppe T. , 'Die Evaluation des ESF-BA-Programms am Beispiel der Förderung beruflicher Weiterbildung ' (2006 ) 39 Zeitschrift für Arbeitsmarktforschung : 391 -424.

    • Search Google Scholar
  • EC (ed.) (2007): Cohesion Policy 2007-13. National Strategic Reference Frameworks . Luxembourg: Office for Official Publications of the European Communities.

    '', in Cohesion Policy 2007-13. National Strategic Reference Frameworks , (2007 ) -.

  • Eckl, V. — Rothgang, M. — Schumacher, P. M. (2008): An Evaluation of ESF Financed Labour-market policy in West-Germany. Mimeo.

  • Holland, P. W. (1986): Statistics and causal inference (with discussion). Journal of the American Statistical Association , 81: 945–970.

    Holland P. W. , 'Statistics and causal inference (with discussion) ' (1986 ) 81 Journal of the American Statistical Association : 945 -970.

    • Search Google Scholar
  • Kluve, J. (2004): On the role of counterfactuals in inferring causal effects. Foundations of Science , 9: 65–101.

    Kluve J. , 'On the role of counterfactuals in inferring causal effects ' (2004 ) 9 Foundations of Science : 65 -101.

    • Search Google Scholar
  • Lindblom, C. E. (1959): The science of muddling through. Public Administration Review , No. 19: 79–80.

  • Lindblom, C. E. (1980): The Policy-making Process . Belmont, CA: Wadsworth.

    Lindblom C. E. , '', in The Policy-making Process , (1980 ) -.

  • Luhmann, N. (1984): Soziale Systeme. Grundriss einer allgemeinen Theorie . Frankfurt am Main: Suhrkamp.

    Luhmann N. , '', in Soziale Systeme. Grundriss einer allgemeinen Theorie , (1984 ) -.

  • Portney, K. E. (1986): Public Policy . An Introduction to the Theory and Practice of Policy Analysis. Aldershot: Edward Elgar.

    Portney K. E. , '', in Public Policy , (1986 ) -.

  • Rosenbaum, P. R. — Rubin, D. B. (1983): The central role of the propensity score in observational studies for causal effects. Biometrika , 70(1): 41–55.

    Rubin D. B. , 'The central role of the propensity score in observational studies for causal effects ' (1983 ) 70 Biometrika : 41 -55.

    • Search Google Scholar
  • Rothgang, M. — Schiemann, F. (2006): ESF-Dachevaluierung für Deutschland: Ein schwieriges oder gar “unmögliches” unterfangen? In: Brinkmann, C. — Koch, S. — Mendius, H. G. (eds): Wirkungsforschung und Politikberatung — Eine Gratwanderung? Beiträge zur Arbeitsmarktund Berufsforschung 300 . Nürnberg: Institut für Arbeitsmarkt- und Berufsforschung.

    Schiemann F. , '', in Wirkungsforschung und Politikberatung — Eine Gratwanderung? Beiträge zur Arbeitsmarktund Berufsforschung 300 , (2006 ) -.

    • Search Google Scholar
  • Rothgang, M. — Dehio, J. — Lageman, B. — Schiemann, F. — Schuldt, K. et al. (2004): Befunde zur Halbzeitbewertung. Die Evaluierung der arbeitsmarktpolitischen Maßnahmen des ESF in Deutschland, EPPD Ziel 3 und OP des Bundes Ziel 1. RWI-Materialien Heft 3 , RWI-Essen.

  • Rubin, D. B. (1974): Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology , 66: 688–701.

    Rubin D. B. , 'Estimating causal effects of treatments in randomized and nonrandomized studies ' (1974 ) 66 Journal of Educational Psychology : 688 -701.

    • Search Google Scholar
  • Rubin, D. B. (1986): Which Ifs have causal answers? Journal of the American Statistical Association , 81: 961–962.

    Rubin D. B. , 'Which Ifs have causal answers? ' (1986 ) 81 Journal of the American Statistical Association : 961 -962.

    • Search Google Scholar
  • RWI/ SÖSTRA/Ronning, G. (2005a): Evaluierung der arbeitsmarktpolitischen Maßnahmen des ESF in Deutschland. Förderperiode 2000–2006. EPPD Ziel 3. Aktualisierung der Halbzeitbewertung. Endbericht. Forschungsprojekt im Auftrag des Bundesministeriums für Arbeit und Soziales, gefördert aus dem ESF. RWI: Projektberichte.

    Ronning G. , '', in EPPD Ziel 3. Aktualisierung der Halbzeitbewertung. Endbericht. Forschungsprojekt im Auftrag des Bundesministeriums für Arbeit und Soziales, gefördert aus dem ESF , (2005 ) -.

    • Search Google Scholar
  • RWI/ SÖSTRA/Ronning, G. (2005b): Evaluierung der arbeitsmarktpolitischen Maßnahmen des ESF in Deutschland. Förderperiode 2000–2006. OP des Bundes Ziel 1. Aktualisierung der Halbzeitbewertung. Endbericht. Forschungsprojekt im Auftrag des Bundesministeriums für Arbeit und Soziales, gefördert aus dem ESF. RWI: Projektberichte.

    Ronning G. , '', in OP des Bundes Ziel 1. Aktualisierung der Halbzeitbewertung. Endbericht. Forschungsprojekt im Auftrag des Bundesministeriums für Arbeit und Soziales, gefördert aus dem ESF , (2005 ) -.

    • Search Google Scholar
  • Schmidt, C. M. (2001): Knowing what works. The case of rigorous Program Evaluation. CEPR Discussion Paper No. 2826 .

  • Windhoff-Heritier, A. (1987): Policy-Analyse. Eine Einführung . Frankfurt-New York: Campus.

    Windhoff-Heritier A. , '', in Policy-Analyse. Eine Einführung , (1987 ) -.