스터플빔의 CIPP 모형(개념 및 절차)

안녕하세요 에듀몬입니다. 교육 현장에서는 많은 교육프로그램들이 이루어지고 있습니다. 학생의 자아효능감을 증진하는 프로그램, 학업성취도를 제고하기 위한 프로그램, 연수 프로그램, 신체를 활용한 체험형 프로그램 등 그 범위와 방법은 매우 다양합니다. 이러한 프로그램들을 적절하게 평가하기 위한 평가모형으로 스터플빔(Stufflebeam)의 CIPP모형이 교육현장에서 많이 사용되고 있습니다. 이번 시간에는 CIPP 평가모형에 대해 알아보도록 하겠습니다.

 

 

1. CIPP 모형의 등장 배경

 

  CIPP 모형은 1960년대 미국 「초·중등교육법(ESEA: Elementary and Secondary Education Act)」의 시행 과정에서 초·중등교육을 개선할 목적으로 오하이오 주립대 평가센터(OSUEC: Ohio State University Evaluation Center)에서 CIPP 모형이 개발되었습니다. 이 모형은 목적 달성 여부에 초점을 두고 기존의 평가모형을 반박하며 ‘평가는 프로그램 개선의 목적으로 활용되어야 한다.’는 철학으로 올바른 의사결정을 위한 필요한 정보를 제공하고, 그 결정의 장·단점을 파악하기 위해 CIPP 모형을 제안하였습니다.

 

 

2. CIPP 모형의 개념

 

  CIPP 모형은 상황평가(Context evaluation), 투입 평가(Input evaluation), 과정 평가(Process evaluation), 산출 평가(Product evaluation)의 4가지 평가 개념들의 첫 글자를 조합하여 만들었습니다. Stufflebeam의 CIPP 모형에 대한 정보를 제공하기 위해 의사결정자의 주요 관심, 정보 요구, 프로그램 효과성의 판단 준거 등을 중요한 평가 요소로 보며, Stufflebeam(2003)은 평가자는 프로그램의 개선, 수용, 혹은 기관과 관련된 의사결정을 제대로 할 수 있도록 지원하는 것임을 강조하였고 평가를 통해 개선과 의사결정을 지도하고, 책무성과 관련된 정보를 제공하며, 프로그램의 수용 혹은 기각과 관련된 의사결정을 지원하기 위해 프로그램의 목표, 계획, 실행, 결과에 대한 장점과 가치를 기술함으로써 이것에 대한 판단적인 정보를 제공하는 과정으로 정의하였습니다. 이 과정에서 대상자, 질문종류, 평가대상, 평가 단계 및 평가영역에 대한 여부, 연구시기, 통제 정도, 정보처리, 자료수집 방법, 시간계획, 분석 및 해석 방법, 평가결과, 사정기준 등의 내용을 포함합니다.

  CIPP 모형의 특징은 기존의 평가모형에 비해 폭넓은 대상을 평가 대상으로 포괄할 수 있으며 프로그램의 여러 상황에 대한 평가가 가능하다는 것과 의사결정과 평가 간의 체계적 접근이 가능합니다. 또한, 평가가 의사결정권자에게 유용하고 의사결정이 평가에서 핵심적 역할을 한다는 점과 CIPP 평가와 책무성 간의 관계를 정립하는 데 기여했다는 점을 제시할 수 있습니다.

  따라서 CIPP 모형의 4가지 유형별 평가를 활용한다면 의사결정 측면에서 상황 평가(C)는 정책개발을 시작하는 단계에서 목적의 수립과 목적을 평가하는 데 유용합니다. 투입 평가(I)는 정책계획을 수립하거나 평가하는 데 유용하고, 과정 평가(P)는 정책 실행 과정의 상황과 문제점을 파악하는 데 도움을 줍니다. 산출평가(P)는 목표 달성과 관련된 정보를 수집하고 평가하여 정책 개선에 도움을 줍니다.

 

 

 

 

3. CIPP 모형의 4단계 평가

 

 1) 상황평가

  Stufflebeam과 Shinkfield(1985)는 상황 평가를 통해 프로그램의 상황 정리, 목표 확인, 요구 확인 및 요구를 제기하여 잠재되어 있는 문제점을 파악하고 프로그램의 목적이 충분히 반영되었는지를 판단할 수 있다고 하였습니다. 그리하여 상황 평가는 교육활동이 이루어질 바람직한 환경과 상황을 설정하고 학생들에게 충족되어야 할 필요와 요구가 무엇인지를 파악하여 교육을 통해 추구해야 할 일반적인 목적과 구체적인 목표를 확인해 주는 역할을 합니다. CIPP평가모형은 의사결정에 관련된 정보를 제공해 주는 것이 목적이기 때문에 의사결정과의 관계를 보면 목표 선택과 우선순위, 배분 지침으로 볼 수 있습니다.

  상황 평가의 방법은 대상 집단과 그들이 둘러싼 환경에 대한 다양한 정보를 수집해서 여러 측면으로 분석하는 것이며, 프로그램의 실시 전‧실행 과정‧실시 후에 실시할 수 있습니다. 일반적으로 시작할 때 면담을 통해 장‧단점과 문제점을 알아보고, 공청회‧청문회‧추수면담을 통해 어떠한 변화가 필요한지에 대한 부가적인 가설 수립을 하여 설문조사 도구를 제작할 수 있습니다. 기존의 기록문서 검토, 특별 진담검사 실시, 요구의 우선순위에 대한 의견합의를 위한 델파이기법과 같은 의견수렴 기술이 활용될 수 있습니다.

  상황 평가의 결과를 통해 교육기관은 학생과 학부모가 요구하는 영역에 초점을 맞출 수 있고, 효과적이지 않은 프로그램을 삭제하거나 효과적인 프로그램을 투입하거나 과정평가 요인을 강하게 만드는데 결정적 도구로 평가 결과를 사용합니다. 또한 김애자(2007)는 상황평가의 결과를 통해 프로그램의 장‧단점, 필요와 기회, 우선순위 문제 등을 파악하여 교사 연수나 교육과정 개정과 같은 개선 목표를 수립하거나 좀 더 노력이 필요한 발달 가능 영역이 무엇인지 파악하여 초점을 둘 수 있도록 평가 결과를 사용합니다.

  이를 종합하여 보면, 상황 평가는 전 과정을 통해 실시할 수 있으며, 프로그램이 충족되어야 할 필요‧요구‧목적이 무엇인지 확인해 주는 역할을 합니다. 이러한 정보제공을 통해 교육기관은 효과적인 프로그램 투입하거나 개선하는 도구로 사용됨을 알 수 있습니다.

 

 2) 투입 평가

  투입 평가는 프로그램의 목적을 달성하기 위해 교육활동에서 필요한 수단과 절차에 대한 정보를 제공해 주는 평가로서, 의사결정자가 여러 가지 대안이 되는 전략을 결정하는 데 필요한 정보 제공에 도움을 주어야 합니다. 투입 평가가 프로그램의 목적 달성을 위해 자원을 어떻게 활용할 것인지에 대한 정보와 적절한 접근방법‧전략을 설계하는데 도움을 주어야 한다는 것입니다. 이는 프로그램 목적을 이루는데 실패하거나 자원을 낭비하지 않도록 하기 위한 것입니다. CIPP평가모형과 의사결정과의 관계를 보면 프로그램 전략, 선택 지침, 세부적 절차 설계로 볼 수 있습니다.

  투입 평가의 방법으로는 관련 문헌 검토하기‧모범적인 프로그램 방문하기‧전문가와 상담하기‧관련 정보 서비스에 문의하기‧의제와 관련된 기사 검토하기‧다양한 제안을 받고 요구하기 등 다양한 검토가 있습니다. 또한 얻어진 정보를 검토하기 위해 둘 이상의 전문가 팀을 구성하여 프로그램이 추구해야 하는 목표와 계획서를 분석하는 방법을 사용하기도 합니다.

  투입평가의 결과는 기존 프로그램 자체를 평가하고 효과보다 노력이나 비용이 상회할 때 계획안들을 배제하는 수단으로 사용되며 의사결정자들이 특정 활동 노선을 다른 것보다 선호하는 이유를 설명하는 데 사용될 수 있습니다. 뿐만 아니라 Stufflebeam과 Shinkfield(2007)는 투입 평가로 잠재적으로 수용 가능한 제안을 점수화하여 교육기관에서 가장 좋은 특징을 어떻게 결합할 수 있는지를 제안하고, 제공된 정보를 통해 가장 잘 결합된 전략과 행동계획을 설계하여 예산을 편성할 수 있습니다.

  이를 종합하여 보면, 투입 평가는 설정된 목표를 성취하기 위해 프로그램에서 사용되어야 할 수단과 절차에 대한 정보를 제공해 주는 평가를 의미합니다. 필요한 정보를 사전에 제공해 주어 교육기관에서 가장 좋은 전략과 행동계획을 설계하여 예산을 편성할 수 있도록 해 준다는 사실을 알 수 있습니다.

 

 3) 과정 평가

  과정 평가는 계획의 적용에 대한 계속적인 검토와 그 과정에 대해 문서화 하는 것으로 계획한 대로 활동을 수행하도록 피드백을 제공해 줍니다. 이러한 과정 평가는 프로그램이 실제 교육현장에 투입되었을 때 설계한 대로 전개되었는지 확인하여 정보를 제공해 주는 것으로, 프로그램의 실천단계에서 문제점과 효율성을 점검할 수 있게 해줍니다. 과정평가는 계획의 원활한 진행 여부, 실행 상의 장애요인, 개선의 필요성을 파악하기 위한 단계로, 활동의 실천과정‧절차의 결점을 파악하고, 결정된 활동에 필요한 정보를 제공하며 절차적 사안과 활동을 기록하고 판단하는 데 목적을 둡니다. CIPP평가모형과 의사결정과의 관계를 보면 프로그램 실행지침으로 볼 수 있습니다.

  과정 평가의 방법으로는 프로그램의 개선 절차를 파악하는데 초점을 두고 면담이나 관찰 등을 사용합니다. 또한 과정 평가는 활동과 비용을 모니터하고 실천과정‧절차를 분석하여 프로그램 절차로써 해결 문제를 명료화했는지, 해결을 위한 자료를 준비하였는지, 진행 방향이 타당한지에 대한 검토와 해결 방안의 적절성 여부를 평가하기 위한 방법으로 관련 서비스 제공‧직원 고용 및 훈련‧직원 감독 및 직원 연수‧작업의 흐름 모니터‧조사, 도구를 안전하게 유지‧자료 주문이나 분배‧구성원들에게 알리기 등을 사용합니다. 즉, 과정 평가의 방법은 위에서 언급한 대로 다양한 방법을 통해 자료를 수집하고 평가를 수행합니다.

  과정평가의 결과는 프로그램이 계획한 대로 실행될 수 있도록 피드백 정보를 제공하거나 계획의 부적절할 경우 필요에 따라 수정할 수 있도록 하는 것입니다. 또한 외부인들이 유사 프로그램을 운영하고 싶어 할 때 프로그램에 포함되어야 할 여러 필수사항들을 알려줍니다. 뿐만 아니라 프로그램 절차상 장애물을 점검하거나 예상치 못한 방해에 대해 경고하고, 실제적 과정을 기술하며 담당자들과 지속적으로 접촉하는 등 프로그램의 실천 과정을 효과적으로 통제하고 개선합니다.

  이를 종합하여 보면, 과정 평가는 계획된 프로그램이 실제로 교육현장에 투입되었을 때 원래의 설계대로 전개되고 있는지를 파악하여 정보를 제공합니다. 이를 통해서 계획을 실행할 수 있도록 해 주고 부적절한 계획을 수정할 수 있도록 해주는 역할을 한다는 사실을 알 수 있습니다.

 

 4) 산출 평가

  산출 평가는 프로그램의 종료단계 혹은 실시 도중에 산출 결과를 측정하고 해석하기 위한 목적으로 이루어지며, 산출 정보를 목표, 상황, 투입, 과정과 관련시키는데 중점을 둡니다. 산출 평가는 의도된 것과 의도하지 않은 성과, 긍정적인 것과 부정적인 성과를 평가해야 하며, 평가 대상에 대한 핵심 관련자들의 판단을 수집하고 분석해야 합니다. CIPP평가모형과 의사결정과의 관계를 보면 프로그램 종결‧지속‧수정‧시작을 위한 지침으로 볼 수 있습니다.

  산출 평가의 방법으로 미리 정해둔 기준과 관련하여 성취결과들을 평가할 수 있습니다. 그러나 의도된 성과와의 의도하지 않았던 성과를 탐색해 보기 위해서는 개인적 경험에 대한 사례연구, 프로그램의 결과에 대한 견해를 알아보기 위한 전화‧편지‧면담 등으로 조사할 수도 있습니다. 이외에도 프로그램 실험집단과 비교집단의 변화를 비교하여 두 집단의 성취도에 기여한 효과를 제시할 수도 있고, 프로그램의 성과를 유사 프로그램 사용할 때의 성과 목록들과 비교‧검토하는 방법으로도 제시할 수 있습니다.

  산출 결과의 보고는 여러 단계에서 일어날 수 있으며, 중간 단계에서의 보고는 각 프로그램 주기 동안 제시될 수 있고 목표 요구에 부합된 정도를 보여주어야 합니다. 프로그램 종결 단계에서의 보고는 성취결과를 종합적으로 제시하는 것으로 요구, 초래된 비용, 계획 실천의 관점에서 결과를 해석해야 합니다. 보고서에는 전체적‧부분적‧개인적으로 결과를 분석할 수 있으며, 모든 관련자들의 요구를 비용-효과적으로 부합하기 위하여 계획을 변경하거나 대체하기 위한 방향을 제시해야 합니다.

  산출 평가의 결과를 토대로 주요 요구를 충족시켰는지, 의도한 결과와 의도하지 않은 부차적 결과를 확인하고, 이러한 노력을 유지할지‧중지할지‧개선할지를 결정하는 의사결정에 정보를 제공해 줍니다. 또한 주어진 프로그램, 프로젝트 등이 다른 장소에서 계속하거나 반복하거나 확장할 가치가 있는지에 대한 결정을 도울 뿐 아니라 산출평가의 결과는 경쟁적 접근에 대한 성장의 표시를 보임으로써 프로그램 수혜자들의 노력을 강화하는 심리적 작용을 돕기도 합니다.

  이를 종합하여 보면, 산출 평가는 프로그램의 성취 결과를 측정하고 해석하기 위한 목적으로 이루어지는 평가입니다. 프로그램의 목표가 제대로 성취되었는지와 요구는 충족이 되었는지를 알아보는 데 사용됨을 알 수 있습니다.

 

 

※ 참고문헌: CIPP 평가모형에 근거한 공립 유치원 원내 자율장학 평가 도구 개발(김현숙, 2019)

배호순(2008). 교육프로그램 평가론. 서울 원미사.