메타평가 모형(비체제적 모형): Cook & Grude, Stufflebeam

안녕하세요 에듀몬입니다. 지난 시간까지는 메타평가 모형 중 평가환경, 평가투입, 평가과정, 평가결과, 평가활용, 평가환 류 등의 체제를 평가요소로 설정해 분석에 활용하고 있는 체제적 모형의 네 가지 유형에 대해 알아보았습니다. 이번 시간에는 메타평가의 비체제적 모형에 대해 알아보도록 하겠습니다.

 

 

1. Cook & Grude의 모형

 

  비체제적 모형 중에서 메타평가에 대한 비교적 체계적인 유형화를 시도한 연구로는 Cook & Gruder(1978: 15-46)가 있습니다. 그는 기본적으로 처음 평가한 평가내용의 질적 수준이 낮기 때문에 평가결과의 활용이 저조하다는 것을 지적했습니다. 평가의 질을 높이기 위해서는 평가에서 문제되었던 부분에 대해 검토를 해야 한다고 언급하면서 메타평가의 수행시기, 메타평가자에 의한 자료조작 여부 및 평가에 이용되는 자료세트의 수라는 3가지의 변수를 고려해 메타평가 유형을 구분하고 있습니다. 이는 필요성보다는 편의성에 따른 구분으로 볼 수 있습니다.

 

< Cook & Grude의 메타평가 요소 >

평가시점	자료의 조작성	자료의 수	평가유형
제1차 평가 종료 후	자료부조작	단일자료	단일평가 보고서에 대한 재검토
		복수자료	구체적인 사업에 관한 평가문헌 재검토
	자료조작	단일자료	평가 자료에 관한 경험적 재검토
		복수자료	동일사업에 대한 복수자료의 경험적 재검토
2차 평가와 동시	자료부조작	단일/복수자료	상담자적인 메타평가
	자료조작	단일자료	원자료에 대한 동시적인 재검토
		복수자료	복수의 독립적인 반복평가

 

 

 

 

2. Stufflebeam의 모형

 

  Stufflebeam(1974)은 메타평가 항목 구성요소로 기술의 적합성 기준, 유용성 기준, 그리고 효율성 기준으로 나누고 있습니다. 적절성 기준으로서 내적타당성은 평가 설계가 의도했던 응답이 응답가능하게 설계되었는가의 여부이며, 외적타당성은 평가결과의 일반화 가능성입니다. 신뢰성은 평가자료의 일관성이며, 객관성은 타 평가자들의 동의의 정도를 의미합니다. 유용성 기준에서의 관련성은 평가의 결과물들이 평가의 관심자들과 연관되어 있는가, 중요성은 평가에 가장 중요한 자료가 있는가, 충분성은 평가정보가 충분한가, 신뢰성 은 관심자들이 평가를 공정하고 타당하게 보고 있는가, 적시성은 평가결과가 시기적절하게 제공되었는가, 배포성은 평가결과에 대한 배포가 적절했는가의 여부를 의미합니다. 효율성 기준에서 비용-효과는 평가에 투입된 비용에 대해 얼마나 효율적이었는가의 여부를 의미합니다.

 

구분		평가항목
적절성 (technical adequacy criteria)	내적타당성 (internal validity)	① 평가설계가 명백히 의도된 질문에 답하는가
	외적타당성 (external validity)	② 평가결과가 요구한 일반화가능성이 있는가. 다른 모집단, 프로그램 상황, 시기에서 추론 할 수 있는가
	신뢰성(reliability)	③ 평가자료가 정확하고 모순되지 않는가
	객관성(objectivity)	④ 다른 전문 평가자들이 평가결과에 동의하는가
유용성 (utility criteria)	관련성(relevance)	① 결과가 평가의 관심자들에게 가치가 있는가
	중요성 (importance)	② 잠재적 관련자료 중 가장 중요하고 의미있는 것들이 평가에 포함되어 있는가
	충분성(scope)	③ 평가정보가 충분한가
	신뢰성(credibility)	④ 수요자들이 평가를 타당하고 공평한 것으로 인식하는가
	적시성(timeliness)	⑤ 결과가 수요자들이 필요한 시기에 제공되는가
	배포성 (pervasiveness)	⑥ 결과가 모든 잠재적 수요자들에게 배포되는가
효율성(efficiency criterion)		① 평가결과를 성취하는데 있어서 평가의 비용대 비 효과는 어떠한가

 

 

※ 참고문헌: 중앙행정기관 정책평가에 대한 메타평가 모형 구축과 적용 : 외국인정책평가와 다문화 가족정책평가를 중심으로(고강인, 2017)