메타평가 모형(체제적 모형): ② 환경-투입-실행-평가효과의 4단계 모형

안녕하세요 에듀몬입니다. 지난 시간에는 메타평가의 체제적 모형 중 첫 번째 모형인 투입-실행-결과 및 활용의 3단계 모형에 대해 알아보았습니다. 이번 시간에는 체제적 모형의 또 다른 형태인 환경-투입-실행-평가 효과의 4단계 모형에 대해 사례를 중심으로 알아보도록 하겠습니다.

 

 

 

 

* 환경-투입-실행-평가효과의 4단계 모형

 

  ‘환경-투입-실행-평가효과’의 4단계 모형은 평가 환경 영역을 강조하는 모형입니다. 이 모형은 연구자들이 선정한 환경의 요인에 따라 환경 영역의 평가항목에 차이를 보이고 있습니다. 특히 이 모형에서는 평가결과가 어떠한 효과를 가져오는지, 그리고 어떻게 활용하는지 여부에 대한 평가 결과와 평가 활용에 대해 평가 효과라는 영역을 새로 설정해 평가 모형을 구성한 것입니다.

  홍형득(2002)은 ‘국가연구개발사업의 메타평가에 관한 실증연구’에서 메타평가의 평가 표준은 미국 교육평가표준협동위원회(Joint Committee on Standards for Educational Evaluation, 1994)의 프로그램 평가 표준(Program Evaluation Standards)과 미국 평가 학회(American Evaluation Association, 1995)의 평가자를 위한 가이드라인(Guidelines for Evaluators)의 평가 표준을 종합해 ‘평가 상황-평가 실행-평가결과-평가 활용’의 4단계로 평가영역을 설 정하고 각각의 영역별 항목들을 개발한 것입니다.

  임성옥(2003)은 ‘중앙정부의 사회복지시설 평가에 대한 비판적 분석’ 연구 에서 기존의 선행연구들을 활용해 공통적으로 나타나는 평가 자원 영역, 평가 수행 영역, 평가결과 영역, 평가 활용 영역으로 모형을 설정한 후 사회복지 시설 평가의 특성과 내용을 고려해 평가지표를 활용했습니다.

  이찬구(2004)는‘과학기술계 연구회의 기관평가 제도 발전방안 연구’에서 기존의 메타평가 구성요소와 다르게 평가기조를 새로 추가하고 평가 활용의 개념을 확대해 평가 모형을‘평가기조-평가자원-평가수행-평가활용’으로 구성했습니다. 평가 기조는 평가목적의 합리성과 평가대상의 적절성 등이 평가 활 동 전반적인 방향과 내용 및 성격을 근본적으로 규정하고 있으며, 평가 환경은 정책평가가 정책과정의 전체적인 개선에 기여하고자 하는 것이기 때문에 단기적 관점의 도구적 활용과 장기적 관점의 개념적 활용으로 평가했습니다.

  권혁인(2008)은 ‘우리나라 지방자치단체 평가시스템의 메타평가에 관한 연구-행정자치부의 지방자치단체 평가를 중심으로’에서 기존의 메타평가자들이 대부분 특정한 지방자치단체 평가시스템에 대해 메타평가적 접근을 하고 있다는 점에 착안하여 지방자치단체 평가 중에서 합동평가, 지방행정혁신평가, 재정분석․평가 등 3가지의 대표적인 평가시스템에 관한 메타평가를 비교 분석했습니다. 이를 분석하기 위해 ‘평가 환경-평가 실행-평가결과-평가 활용/환류’의 4단계 분석틀을 구성했습니다. 이 모형은 미국 교육평가표준협동위원회 (Joint Committee on Standards for Educational Evaluation, 1994)가 제시한 메타평가를 위한 4가지 평가기준 즉, 유용성(Utility), 실현 가능성(Feasibility), 적합성(Propriety), 정확성(Accuracy) 등을 종합적으로 고려하되 특히, 평가시스템의 유용성 관점을 강조하고 있습니다.

  김순영 외(2009)는 ‘국방 R&D 사업 자체평가시스템 메타평가’연구에서 메타평가가 평가의 전반적인 시스템을 점검함으로써 평가의 질을 확보하는 수단이 된다는 것을 인식하고 분석틀을 ‘평가 상황-평가 투입-평가 수행-평가 효과’의 4단계로 구성했습니다. 그들은 평가모형에 대한 평가지표를 검증하고, 보다 효율적으로 분석해 평가항목 선정을 위해 요인 분석을 실시했으며,  AHP 기법을 적용해 평가항목별 가중치를 산정했습니다.

  신열 외(2009)는 ‘지방공기업 경영평가의 메타평가’ 연구에서 2008년 경기도가 시행한 ‘지방공기업 경영평가에 관한 메타평가’의 분석틀을 구성하기 위해 CIPP모형을 근간으로 ‘평가맥락-평가투입-평가과정-평가산출 및 활용’의 4단계의 체제적 관점으로 구성했습니다. 이들은 CIPP 모형을 중심으로 설계한 이유는 기존 평가제도에 대한 전반적 점검을 통해 제도를 개선하는 정보를 제공하기 위함이라는 것입니다.

  안경섭(2009)은 ‘중앙행정기관의 변화관리평가에 대한 메타평가 연구’에서 기존 연구의 한계를 보완하기 위해 변화관리 평가의 이론적 논의 및 선행 연구의 관점을 그 의미와 변천과정 및 메타평가의 의의 등 관련된 선행연구를 통하여 분석틀을 ‘평가 환경-평가 투입-평가과정-평가결과’의 4단계로 구성했습니다.

  주경일 외(2011)는 ‘대전광역시 성과평가에 대한 메타평가 발전 방향’ 연구에서 대전광역시 BSC 평가에 대한 메타평가를 실시하기 위한 구성요소는 과정 중심적 관점을 가지고 분석하기 위해 평가과정을 ‘평가환경-평가투입평가실행-평가효과’의 4단계로 구성했습니다. 이들은 BSC 평가모형 자체가 산출 또는 결과 중심이 아닌 업무과정과 이해관계자에 초점을 두고 분석하고 있기 때문입니다. 따라서 CIPP 모형의 이론적인 틀을 토대로 BSC 모형에 맞게 재구성하였습니다.

  김재관(2013)은 ‘지방공기업 경영평가에 관한 메타평가 연구’에서 투입수행-산출-환류로 이어지는 체제론적 접근방법에 평가준비 단계에 해당하는 평가기획 요소를 추가해 ‘평가기획-평가 투입-평가 수행-평가 산출 및 활용‘ 등 4단계로 구성했습니다.

  심광호 외(2014)는 ‘책임운영기관 성과평가에 대한 메타평가 모델 설계 연구’에서 책임운영기관의 재정성과관리 관점에서 성과평가에 대한 메타평가를 실시하기 위한 구성요소를 ‘평가환경-평가투입-평가수행-평가결과·환류’의 4단계로 구성했습니다.

 

 

※ 참고문헌: 중앙행정기관 정책평가에 대한 메타평가 모형구축과 적용 : 외국인정책평가와 다문화 가족정책평가를 중심으로(고강인, 2017)