메타평가 모형(체제적 모형): ① 투입-실행-결과 또는 활용의 3단계 모형

안녕하세요 에듀몬입니다. 지난 시간에는 메타평가의 개념 및 유형에 대해 알아보았는데요. 이를 바탕으로 메타평가 분석이 활용된 모형을 중심으로 검토하면 메타평가 모형을 체제적 모형과 비체 제적 모형으로 구분할 수 있습니다. 체제적 모형은 평가환경, 평가 투입, 평가과정, 평가결과, 평가 활용, 평가 환류 등의 체제를 평가요소로 설정해 분석에 활용하고 있습니다. 이번 시간에는 투입-실행-결과 또는 활용의 3단계 모형에 대해 알아보도록 하겠습니다.

 

 

 

 

 

* 투입-실행-결과 또는 활용의 3단계 모형

 

  ‘투입-실행-결과 및 활용’의 3단계 모형은 투입과 실행 영역이 의미하는 용어에 따라 평가항목의 구성요소가 차이를 보이고 있으며, 실행과 과정을 동일한 의미로 판단하고 하나의 단계로 제시하고 있습니다. 또한 결과 및 활용은 대체적으로 결과보고, 결과 공개, 결과 활용의 공통적인 구성요소를 포함하고 있습니다.

  Larson과 Berline(1983: 155-160)은 ‘평가투입-평가과정-평가결과’ 등으로 구분하고 각각의 하위 구성요소를 제시했습니다. 평가 투입은 평가에 동원된 여러 자원과 평가기법, 그리고 평가와 사업에 관련된 기본 환경입니다. 평가 투입 요소의 양과 질은 평가과정과 결과에 영향을 미치기 때문에 이에 관한 엄격한 검토는 매우 중요합니다. 평가과정은 평가 설계의 계획과 대비시켜 진행되는 실제의 평가 활동으로서 평가결과 요소는 평가 투입을 재원으로 평가과정을 거쳐 산출된 것이며 평가에 관한 전반적인 결정사항에 대한 정보를 의미합니다. 이 모형은 평가의 주요 대상으로 고려할 수 있는 평가 기조, 평가체계, 평가목적 등과 같은 영향요소들을 간과하고 있습니다. 특히 평가결과의 효율성, 즉 환류적 요소에 대해서는 아무런 언급이 없습니다. 또한 이 모형에서 제시한 구성요소는 그 분류에 있어 주관적이라는 것과 몇몇 요소들은 서로 중복되거나 상충되는 측면이 있어 적절치 못한 부분이 있습니다. 하지만 메타평가 모형 구성을 체제적 접근으로 시도한 점과 각 요소별로 평가항목을 상세히 구분하고 있다는 점에서 차별성을 가지고 있습니다.

  김명수(1993: 176-184)는 평가체계에 대한 평가를 ‘평가에 투입되는 제요소-평가실시과정-평가의 효과’에 대한 평가로 구분하고 있습니다. 평가 투입은 평가자의 자질, 평가에 소요되는 예산, 이용 가능한 기존 자료의 양과 질로 구분했습니다. 평가 실시과정에 대한 평가는 평가방법상의 절차에 대한 평가와 평가보고서 검토로 구분했습니다. 평가 효과에 대한 평가는 평가결과의 활용 양태에 대한 전반적인 검토를 의미합니다. 즉, 메타평가 결과 이후 어떻게 활용되는지를 평가항목에 반영해 분석했습니다.

  문영세(1997: 231-255)는 ‘한국 중앙심사평가 기능의 위상 재정립을 위한 메타평가’에서 김명수(1993)의 견해를 반영했습니다. 그는 심사분석 운영과정상에서 지적되는 문제점들을 중심으로 ‘평가가치-평가투입-평가방법과 과정 평가 활용’으로 분류하고, 각각의 하위 구성 요소들에 대한 세부 측정 지표를 제시했습니다. 즉, 그는 평가 투입 이전에 평가가치에 대한 영역을 포함시켜 평가 필요성을 평가하기 위한 평가의 본질적인 유의미성, 평가의 수요와 평가목적의 명확성, 평가 수준의 적절성 등을 제시했습니다. 그리고 평가의 합리화를 위한 평가의 성과 측면에서는 평가의 유용성과 실행 가능성을 검토했습니다. 다만 평가가치에 대한 평가지표가 추상적이기 때문에 정확한 측정을 실시하기가 어렵습니다. 그는 ‘정부업무평가에 대한 메타평가: 국방부를 중심으로’ 연구에서 정부업무평가에 대한 메타평가를 분석하기 위한 사례로 중앙행정기관, 즉 국방부 사례를 대상으로 ‘평가 투입-평가방법 및 과정-평가 결과 활용’으로 분석했습니다. 평가 투입은 평가 수행을 위해 투입되는 제요소인 조직과 인력을 구성요소로 설정했으며, 평가방법 및 과정은 평가 설계와 평가 수행 과정에서 평가가 적절하게 수행되었느냐 하는 사항을 검토했습니다. 그는 선정된 정책에 관한 일련의 평가방법 및 과정 외에 평가대상 정책 선정 기준까지 포괄적으로 제시했으며, 평가 결과의 활용은 평가결과의 활용 범주에 대해 정부업무평가법에서 규정하고 있는 내용의 이행여부를 분석했습니다.

  황병상 외(2005: 127)는‘정부출연 연구기관 평가의 발전방안 논고’ 연구에서 과학기술계 정부출연 연구기관에 관한 기관평가제도의 발전방안을 모색하기 위해 1999년부터 2003년까지 5년간 실시한 기관평가를 메타평가했습니다. 그들은 메타평가 분석틀을 ‘평가기획-평가 수행-평가결과 및 활용’의 3단계로 구성했으며, 기존의 연구에서 평가 상황, 평가 기조 또는 평가 투입요소 중에서 평가기획에 포함되는 사항은 평가기획 요소로 재분류했습니다.

  임옥진(2007: 42-48)은 ‘학점은행제 평가인정의 메타평가 준거 개발’연구 에서 메타평가 분석틀을‘평가 투입-평가과정-평가결과 및 활용’의 3단계 과정으로 설정하여 그 구성요소를 개발했습니다. 그는 설정된 모형과 구성요소에 대해 전문가를 통한 적합성 검증과 학점은행제 평가인정 평가위원과 전국의 교육훈련기관 학점은행제 실무자를 통한 타당성 검증을 실시하여 학점 은행제 평가인정을 평가하기 위한 준거인 메타평가 준거를 개발했습니다.

  김명환 외(2009)는 ‘공공기관 혁신평가의 실효성 확보 방안’ 연구에서 공공기관 혁신평가제도 전반에 관한 분석과 평가를 통해 공공기관 혁신평가의 실효성을 제고할 수 있는 방안을 제시하고자 분석틀을 ‘평가 투입-평가 실행평가결과 및 활용’의 3단계 과정으로 구성했습니다. 그들은 메타평가 모형이 Larson과 Berliner(1983)의 모형에서 크게 벗어나지 않는다고 판단해 메타평가 모형을 설정했으며, 특히 평가 투입 영역에서는 평가에 투입된 예산(비용)과 인력 규모와 같은 양적 측면보다는 평가의 주체로서 실제 평가를 실시하는 평가자들의 질적인 측면에 초점을 맞추어 평가위원들의 자질과 구성 방식을 분석했습니다. 즉, 이 연구에서는 평가자들의 자질이 평가에 직접적으로 영향을 미치는데 가장 핵심적인 요소들 중의 하나로 파악하고 이들의 특성과 구성 방식의 적절성을 분석했습니다. 또한 평가 기조 또는 평가기획 평가항목을 평가 실행에 포함시켜 평가절차와 과정보다는 무엇을 어떻게 평가하였는가를 분석하는데 초점을 맞추어 실제 평가와 관련된 사항들인 평가군 분류방식, 평가영역 구성, 평가요소와 항목 등을 포함하고 있는 평가체계와 평가방식을 분석하고 있습니다. 그리고 평가결과 및 활용 영역에서는 평가결과 자체와 결과의 활용이라는 두 가지 차원에서 접근해 분석했습니다.

 

 

※ 참고문헌: 중앙행정기관 정책평가에 대한 메타평가 모형구축과 적용 : 외국인정책평가와 다문화 가족정책평가를 중심으로(고강인, 2017)