메타평가란?(개념, 유형)

안녕하세요 에듀몬입니다. '메타'란 무슨 의미일까요? 메타인지, 메타분석, 메타기억 등 주변에서 메타를 접두어로 가진 단어들을 어렵지 않게 발견할 수 있는데요. 메타(meta)란 '어떤 활동이나 행위의 뒤에 따라오는 활동 또는 행위'를 의미를 지닙니다. 가령 메타인지란 인지에 대한 인지, 즉 학습자의 지식의 범위와 수준 등에 대해 잘 인지하고 있는 것을 메타인지로 표현할 수 있겠습니다. 이번 시간에는 평가에 대한 평가, 메타평가에 대해 알아보도록 하겠습니다.

 

 

1. 메타평가의 개념

 

  거의 50년 동안 좋은 평가 과정의 특징으로 평가되는 메타평가는 믿을 수 있고 신뢰할만한 평가 결과를 제공하는데 긴요한 것으로 알려져 있습니다. 이 평가는 Scriven이 교육학 관련 문헌에서 기술한 것으로, 평가자체를 평가받을 필요가 있다고 주장하면서 그러한 활동을 가리켜 메타평가라고 처음 표현했습니다(Scriven, 1969). 하지만 평가 활동의 적정성 여부를 평가하기 위해 Orata(1940)는 평가가 소기의 목적을 달성하지 못한다면 평가 활동의 합리성과 적정성 여부를 다시 평가해 볼 필요가 있다고 주장하면서 ‘평가에 대한 평가(evaluation of evaluation)’라는 개념을 처음 언급했습니다. 그 이후 Scriven(1969)이‘메타평가(meta-evaluation)’라는 용어로 표현하면서 이러한 유형의 평가 활동에 대한 필요성을 주장하기 시작된 것입니다.

  메타평가에 대한 정의는 다양합니다. Scriven은 메타평가의 도구로서 KEC(Key Evaluation Checklist)을 제안하였는데, 메타평가란 간접적으로는 평가자들에 대한 평가로서 윤리적, 과학적 책무를 의미한다고 하였습니다.

  Dror(1971)는 평가의 환류시스템을 강조하면서 메타 평가를 평가시스템에 대한 평가(evaluation of the evaluation system)로 정의했으며, Lessinger(1970), Provus(1971), Seligman(1973) 등은 메타평가를 평가의 질적인 향상을 위해 평가연구를 모니터링하며 평가 수행 과정에서 도출된 정책제안과 결론의 타당성을 평가하는 과정으로 인식하고 이를 프로그램에 대한 감사(program auditing)로 정의하였습니다.

  메타 평가에 대한 체계적 접근을 최초로 시도한 것으로 인정받는 Cook& Gruder(1978)는 메타평가를 경험적 총괄적 평가(empirical summative evaluation)로 파악하고 있습니다. 이는 기존 평가에 대한 진단을 통해서 향후 무엇을 어떻게 해야 하는지를 환류해 평가자들이 평가의 본 목표를 달성할 수 있도록 조언하기 위한 수단이라고 했습니다.

  Stufflebeam(2001)은 메타평가의 사용이 증가하는 것에 대해 형성적 메타평가와 총괄적 메타평가를 모두 언급하고, 평가 가이드를 위한 평가에 관해서 그리고 그것의 강점과 약점을 보고하기 위해 서술적이고 비판적인 정보로써 설명했습니다.

  Nilsson과 Hogben(1983)은 메타평가를 평가연구에 대한 평가의 개념과 더불어 평가 자체의 기능(function)과 실천(practice)에 대한 평가로 파악해 좀 더 광범위한 것으로 파악하고 있습니다.

  Larson과 Berliner(1983)는 메타평가의 시스템적 측면을 강조해 전체적인 평가시스템 및 절차에 대한 평가를 메타평가로 보고 있어 평가 투입(input), 과정(process), 결과(outcome)에 대한 평가로 정의하고 있습니다. 그는 의사결정자들에게 평가에 내포된 정보의 질에 대한 독립적 평가를 제공하고, 평가자 선정의 가이드라인을 제공하며, 다수의 독립적이지만 유사한 프로그램으로부터 지식을 획득하고 평가자체의 검토 수단을 제공하기 위해서 메타평가가 필요하다는 것입니다.

  Chelimsky(1985)는 프로그램의 효과에 대한 정보를 제공하여 책무성과 정책형성을 유도하고 알려지지 않은 연구의제를 제공함으로서 정책 집행을 실현하기 위한 평가 활동이라고 보았습니다. 즉, 메타평가를 “평가결과의 종합(evaluation synthesis)”이라고 보고 있어 가장 협의의 개념으로 정의되고 있습니다.

  Cooksy & Caracelli(2005)는 평가의 과정과 결과의 질적 측면을 결정하기 위해 평가를 체계적으로 조망하는 일련의 과정이라고 정의하고 있습니다.

  김명수(2003)는‘상위평가’로 번역하여 ‘평가체계에 대한 평가’, 즉 평가를 위한 여러 투입요소, 평가과정, 그리고 평가의 효과에 대한 평가로 정의하였습니다.

  이찬구(1997)는‘과정평가와 총괄평가의 수행 중 또는 수행 후에 평가 기조, 평가 자원, 평가 수행, 평가 활용 등 평가 활동의 과정과 내용 및 결과를 검토하고 평가함으로써 정책평가의 질을 제고하여 결과 활용을 증진시키려는 활동’으로 정의하였습니다.

  노화준(2015)은 ‘평가종합(evaluation synthesis)’와 구분하여 접근하였는데, 평가 종합이 하나 또는 여러 개의 기존 평가에서 발견했던 사실들을 재분석하는 형태인 반면, 메타평가는 평가 그 자체와 피드백(feedback) 기능을 평가하는 것이라고 정의하였습니다.

  이와 같은 학자들의 정의는 기본적으로 평가에 대한 환류를 바탕으로 평가의 질적 개선을 추구하기 위해 Orata가 말한 ‘평가의 평가’라는 점에서 는 공통점을 가지고 있습니다. 하지만 메타평가의 대상이 되는 평가의 범위를 평가결과 그 자체로 제한할 것인지, 아니면 평가의 전 과정으로 확대할 것 인지, 더 나아가 평가를 둘러싼 모든 환경과 구조를 포함할 것인지를 기준으로 세분화된다고 볼 수 있습니다.

 

<메타평가의 개념>

분류	연구자	메타평가 개념
개념 도입	Orata(1940)	평가에 대한 평가(evaluation of evaluation)
용어 창안	Scriven(1969)	메타평가(meta-evaluation)
개념 확장	Dror(1971)	평가시스템에 대한 평가
광의	Stufflebeam(2001)	평가의 강점과 약점을 공개적으로 보고하기 위한 평가자체에 대한 평가
	Larson & Berliner(1983)	평가투입, 평가과정, 평가결과 등 전체적인 평가시스템 및 절차에 대한 평가
	Nilsson & Honben(1983)	기존 평가 개념과 더불어 평가자체의 기능과 실천에 대한 평가
협의	Chelimsky(1985)	평가결과의 종합(evaluation synthesis). 즉, 프로그램의 효과에 대한 정보를 제공하여 책무성과 정책형성을 유도하고, 알려지지 않은 연구의제를 제공함으로서 정책집행을 실현하기 위한 평가활동
	Cooksy & Caracelli(2005)	평가의 과정과 결과의 질적 측면을 결정하기 위해 평가를 체계적으로 조망하는 일련의 과정
국내	김명수(2003)	상위 평가자에 의한 평가(상위평가)
	이찬구(1997)	평가 과정과 내용 및 결과에 대한 평가
	노화준(2015)	평가종합(evaluation synthesis) 즉, 평가 그 자체와 피드백(feedback) 기능을 평가

 

 

 

 

2. 메타평가의 유형

 

  메타평가는 그 시점에 따라 형성적 메타평가와 총괄적 메타평가로 나뉩니다. 여기서 말하는 시점은 평가가 실행과정에 있으며 아직도 평가결과가 유동적일 때 평가 실행의 정확성을 위해 수행하는 과정 평가와 평가가 전체적으로 올바르게 평가되었는지를 알아내기 위해서 수행된 평가의 효용성, 윤리성, 기술적 적절성의 표준에 부합하는지 여부를 총괄적으로 판단하여 평가의 가치와 장점을 확인하는 사후적으로 평가하는 것을 말합니다. 전자의 메타 평가를 형성적 메타평가라고 하며 후자를 총괄적 메타평 가라고 합니다.

 

 1) 형성적 메타평가(Formative meta-evaluation)

 

  형성적 메타평가(Formative meta-evaluation)는 평가계획과 매일매일의 평가수행이 평가지침(evaluation guidelines)에 충실하며 일상적으로 부딪히게 되는 평가의 함정(common pitfalls), 즉 건전한 평가 원리의 중요성을 알지 못하는 사람들이 자주 범하는 오류를 피하고 있는가를 점검하는 것으로 1차적 평가(메타평가의 대상이 되는 평가)의 길잡이가 될 것을 목적으로 실시합니다. 이는 평가자들이 평가를 기획하고, 실행 및 결과를 보고하는 방법을 결정하는데 도움을 주기 위한 것으로, 특정한 평가지침(평가 가이드라인)에 충실히 따르고 평가과정에서 함정에 빠지지 않으면 평가의 궁극적인 가치를 최대화할 수 있다는 가정에 근거하고 있습니다.

 

 2) 총괄적 메타평가(Summative meta-evaluation)

 

  총괄적 메타평가(Summative meta-evaluation)는 평가의 전체적인 장점을 파악하고 평가가 모범평가 기준에 어느 정도 부합하는지 정도를 공개하는 것입니다. 이는 평가 관련자들이 평가의 결론과 정책제안들을 어느 정도 적극적으로 수용해야 하는지를 결정할 수 있도록 지원하는 것입니다. 이에 Stufflebeam(1981)은 총괄적 메타평가를 메타평가의 본질적 기능으로 파악하고 있으며, 총괄적 메타평가에 의해 결정되는 평가의 가치는 형성적 메타평가의 결과를 평가과정에 환류시킴으로써 최대화된다고 할 수 있다는 것입니다.

 

 

※ 참고문헌: 중앙행정기관 정책평가에 대한 메타평가 모형구축과 적용 : 외국인정책평가와 다문화 가족정책평가를 중심으로(고강인, 2017)