일시: 2005년 12월 19일
참석자: 임학순(카톨릭대학교 교수, 평가지표연구총괄진행), 전고필(광주 북구문화의 집 상임위원), 윤현옥(안양 스톤 앤 워터 교육연구실장), 김유진(세종문화회관 대외협력팀), 기영준(한국문화예술교육진흥원 교육지원팀), 정란미(문화관광부 문화예술교육과) 사회: 조성희(웹진 땡땡 편집부)

평가에 참여해보니
조성희: 올해 전국 64개 주관단체의 학교문화예술교육 시범사업이 펼쳐졌고 이에 대한 평가가 하반기부터 진행되고 있습니다. 먼저 평가 작업에 참여하신 소감은 어떠셨는지 말씀해 주십시오.

기영준: 학교문화예술교육 시범사업의 평가를 담당하면서 올 한해 전국을 누볐습니다. 저와 교육부, 문화부의 담당자가 거의 1주일에 한번씩 각 시범사업 현장을 방문했는데요, 지역마다 너무나 다양한 사업이 이뤄지고 있습니다. 문화예술교육을 하기 위한 인프라가 갖춰져 있는 곳이나 인력이 다른 곳에 비해 풍부한 곳은 물론 잘 진행이 되고 있었지만, 군 단위로 내려갈 경우 많이 부족해보였던 것도 사실입니다. 하지만 그러한 차이들을 고려해 평가를 했고, 주관단체들이 사업을 이끌어나갈 수 있는 더 나은 가능성과 개발의 여지를 제시할 수 있도록 평가를 진행한 측면이 많습니다. 임학순: 평가 사업의 연구를 맡고 저도 여러 지역을 다녀봤습니다. 사실 많은 지역에서 문화적 환경과 자원을 부족해하고 문화예술교육에 대한 인식도 충분치 않은 상황이라는 것을 확인할 수 있었습니다. 하지만 지역에 기반한 특색 있는 프로그램들이며 다양한 시도들이 펼쳐지는 것을 통해 문화예술교육이 지역사회에 어느 정도 새로운 흐름을 만들어간다는 것도 느낄 수 있었습니다. 이런 점을 감안해 저 역시 점수 환산을 위한 평가보다는 사업을 시행하고자 하는 노력들과 고민의 흔적을 살펴보려 했습니다.

기영준                          (한국문화예술교육진흥원 교육지원팀)

조성희: 평가를 받으셨던 분들의 이야기도 궁금합니다.

김유진(세종문화회관 대외협력팀)

김유진: 저희의 경우 현장 평가를 받고서야 우리 사업에서 지역 네트워크가 잘 안되었다는 걸 알게 되었는데요, 평가를 통해 고쳐야 하는 점, 부족한 점을 생각할 수 있는 계기가 되었고 내년도 사업에 이런 부분을 감안해야겠다는 생각을 했습니다. 윤현옥: 저는 처음 서면 질의서를 받았을 때 상당히 당황했었습니다. 질문의 내용을 이해하는 데 시간이 많이 걸렸습니다. 작성하면서 보고서 양이 늘어날 수밖에 없었는데요, 어떤 부분은 스스로 소극적으로 평가했었는데, 평가를 받으면서 이만큼의 가치가 있구나 라고 다시 생각하기도 했습니다. 어쨌든 전체적으로 되돌아보는 계기가 되었습니다. 또 보고서를 작성하다보면 근사하게 꾸미게 되는데 그런 과정에서 진짜로 이렇게 해야겠구나 하는 반성도 했습니다. 임학순: 보고서를 받아보니 의외로 솔직하게 작성하신 분들도 많았습니다. 저도 사실 놀랬습니다. 윤현옥: 내 사업이다 보니 당위성을 부여하게 되는 건 어쩔 수 없는 것 같습니다. 일단은 작성을 하면서 있는 사실을 어떻게 바라볼 것인가, 어떤 방향으로 이해하고 평가할 수 있는가, 제 3자가 이를 어떻게 바라볼 것인가 하는 부분을

생각할 수 있는 계기였습니다. 평가단이 오신다고 했을 때 작성한 서면평가서를 다시 한번 읽었습니다. 우리가 어느 부분이 취약한가를 살펴보았는데, 특히 지역과의 연계가 어려웠다는 걸 알게 되었습니다. 그리고 저희가 제출한 기획서에 ‘평가는 이러한 기준을 갖고 해보겠다’ 라는 부분이 있었는데 평가단에서 그 질문을 하시더군요. 사실은 저희가 아직 자체적으로 평가의 과정까지는 가지 못했습니다. 수업을 한 후에는 매번 평가회의를 하지만 사업 전반에 관한 평가는 아직 보고서에 쓰고 있는 단계입니다. 시기적으로 다소 평가가 이르지 않았나 하는 생각이 듭니다. 사업이 끝난 후의 전체적인 평가도 아니고, 그렇다고 중간 점검으로서의 평가도 아니었기 때문에 이번 평가단의 평가가 애매한 성격이라고 느껴지기도 했습니다.

문화예술교육의 방향성을 재정립하는 계기
기영준: 초기에 평가 작업을 하면서 어려움이 있었습니다. 교육의 내용은 평가서에 담을 수 없는 부분이고 교육의 효과가 어떻게 발현되는가, 즉 아웃풋을 산출해야 하는데 상당히 난해했습니다.

임학순: 최종 현장 평가가 진행 중이기는 하지만 몇 가지 유형을 볼 수 있습니다. 예를 들어, 지역 파트너십은 사업 주관기관의 특성에 따라 달라집니다. 문화예술단체인가, 다른 분야의 전문가 집단이 모인 단체인가, 혹은 대학에 속한 연구 단체인가 등에 따라서 달라지는 것입니다.
전문가들이 모인 단체인 경우에는 네트워크에 대한 중요성을 상대적으로 덜 인식하고 있었습니다. 저는 전문가라 하더라도 사업운영과 그에 대한 평가로 끝나는 게 아니기 때문에 학교와 지역사회의 연계에 주력해야 한다고 생각합니다. 지속적으로 문화예술교육 사업이 운영되고 인식을 공유하면서, 자발적인 참여와 협력을 통해 지역사회에 기여할 수 있는 시스템이 정착되어야 한다는 것을 강조하고 싶습니다. 그래서 64개 시범 사업을 항목별로 유형화 해보면 몇 가지 차별성이나 흐름이 나올 것 같습니다.

전고필: 누구나 평가에 대한 부담은 있습니다만 저는 순위를 매기는 평가라고 생각하지 않습니다. 학교와 지역사회를 연계한 문화예술교육의 방향성을 다시 정립할 수 있다고 여깁니다. 즉, 지원 정책에 있어 그동안 미흡했던 부분을 보완할 수 있고 또한 지역사회가 진정으로 필요로 하는 것이 무엇인지 알 수 있는 계기라고 봅니다. 또한 사업시행주체들에게 무엇이 부족한지 중앙에서 알 수도 있고, 그에 따라 그것을 채워주고 컨설팅도 겸할 수 있는 기회라고 생각했기 때문에 크게 부담으로 다가오지는 않았습니다. 서면질의서를 받았을 때 저희는 디테일하게 작성하려고 노력했습니다. 이를테면, 학교와 연계해서 사업을 하는데 학부모들이 먼저 요청해서 시작한 경우도 있었습니다. 그런데 가서 보니 학교와 학부모 사이에 엄청난 갈등이 있었고, 그 사실을 모르고 들어간 저희는 선생님들의 냉대를 받은 적이 있습니다. 물론 극복해나가는 과정인데 그러한 내용도 담으려고 했습니다. 이러한 사례를 자세하게 작성한 이유는 지역과 긴밀하게 만나고 서로를 설득해나가고 대화하는 것이 얼마나 중요한지 함께 공유했으면 해서였습니다. 전반적으로 이번 평가가 갖는 의미는 조직이나 재정, 강사 인력 등에서 나타난 미흡한 점들을 다음 사업을 운영할 때 반영할 수 있다는 점입니다. 사업 주체들의 특성을 파악하는 계기인 동시에 사업이 확실하게 진행될 수 있는 촉매재로 보고 있는 거지요. 과거와 달리 평가를 두려워할 것이 아니라 매를 맞더라도

전고필(광주 북구문화의 집 상임위원)

발전할 수 있다면 좋겠다는 생각입니다. 또한 평가 오신 분들도 잘 몰랐던 지역을 알게 되는 기회가 될 수 있으므로 상호간 공부가 될 수 있을 것입니다.

평가지표 개발에 대하여
조성희: 전국 64개의 시범사업이 다양한 유형과 양상을 갖고 있는데요, 거기에 일괄적으로 적용되는 평가방법의 한계를 보완하기 위해 평가지표 개발을 진행하고 있는 걸로 알고 있습니다. 평가지표 개발의 진행과정은 어떠했습니까?

임학순(카톨릭대학교 교수, 평가지표연구총괄진행)

임학순: 문화예술교육 사업을 시작한지 얼마 되지 않았기 때문에 우리나라에서는 한번도 이 부문에 대한 지표가 개발된 적이 없습니다. 여기서 우리가 왜 문화예술교육을 하고, 문화예술교육이 어떤 임팩트를 가져올 것인가를 나름대로 고민해 보았습니다. 평가 과제를 받고 첫 번째 생각한 것은, ‘시범 사업이 의도한대로 제대로 진행되는가?’ 였습니다. 그리고 시범 사업이 성공적이고 효과적으로 추진되기 위해서 ‘어떠한 요인들이 뒷받침 되어야 하는가?’ 에 대해 고민을 많이 했습니다. 그래서 전문가 그룹과 함께 현장에 계시는 분들, 즉 피평가 기관에 계신 분들을 모셔서 3-4회에 걸쳐 워크숍을 진행했습니다. 그 자리에서 사업 시행의 문제는 무엇이고, 어떤 요인이 뒷받침이 안 되어 진행이 어려운가, 또한 앞으로 더 잘 진행되기 위해서는 어떠한 요인이 충족되어야 하는가 등에 대해 이야기를 나누면서 평가지표개발의 방향을 잡아나갔습니다. 이 작업에서 어려웠던 점은 사업이 진행되는 지역의 층위도 다르고, 사업을 맡아 운영하는 주관기관의 층위도 다르다는 것이었습니다. 광역단위의 문화재단에서부터 지역의 문화원까지 매우 다양합니다. 더군다나 질적인 평가가 중심이 되는 분야에서 지표화를 통해 양적으로도 같이 측정한다는 것 자체에 어려움이 있었습니다. 어쨌든 이러한 논의를 통해 몇 가지 요인을 뽑아 다시 현장에 계신 분들에게 설문조사를 했습니다. 64개 전 시범 사업장에 설문지를 보내 공유하게 된 지표들을 중심으로 평가항목을 선정했습니다.

예컨대, 사업목표와 실행계획의 적합도가 어느 정도인가, 지역의 특성을 어떻게 이해하고 반영했는가, 사업목표와 사업 내용 사이의 연계성은 어떠한가, 그리고 교육프로그램 자체의 질적 수준을 높이기 위해 어떠한 노력을 했는가 등 입니다. 이러한 것들이 사업목표 및 실행적합성에 관한 평가지표인데요. 현재는 프로그램 자체만 놓고 수준을 평가하기는 어렵습니다. 그러나 그 프로그램을 어떻게 만들고 노력했는가 하는 부분은 평가가 가능하겠죠. 한편으로는 시범사업이다 보니 초기에 장애 요인들도 많이 있습니다. 이를 어떻게 인식했고 극복하기 위해 어떠한 노력을 했는가 하는 점을 중요하게 생각했습니다.
사업성과에 관한 부문도 평가를 했는데 이미 끝난 사업도 있었고 진행 중인 사업도 있어서 어려움도 있었습니다. 또한 성과가 실적으로 나오는 곳도 있지만 지역사회, 학교 그리고 학생들에게 미치는 영향을 알기에는 시간이 걸리는 곳도 있습니다. 후자의 경우 평가를 내릴 수 없기 때문에 우선은 사업목표에 대한 실적 대비 및 강사와 학교 관계자, 지방자치 단체나 교육청 등 관련 인사들을 대상으로 사업추진기관에 대한 만족도를 조사했습니다. 다음으로 학습자 만족도에 대한 조사가 예정되어 있습니다. 그리고 의미 있는 효과가 어떤 것이었나, 이를테면 자발적인 움직임이 시작되었다든가 하는 것도 고려했습니다.
위의 지표들로써 현장참여자를 대상으로 1차 자료평가를 했습니다. 설문지를 만들고 스스로가 평가를 내려보도록 하는 과정이었는데, 서류평가는 한계가 있습니다. 그래서 30여 명의 평가단들이 각 시범사업 지역으로 내려갔던 것입니다. 현재는 평가를 다 끝내고 결과를 분석하는 단계입니다.

개별사업에 대한, 시범사업 전체에 대한 평가
조성희: 평가지표를 만드는 작업도 힘들었고 평가 결과를 토대로 앞으로의 사업 방향을 가늠해야하기 때문에 고민을 많이 하신 것 같습니다. 그렇다면 평가단에는 어떤 분들이 참여하셨는지요?

기영준: 다양한 분야에서 활동하시는 분들을 모시려고 했습니다. 대략 세 영역으로 나뉘었는데요, 정책적인 측면, 교육적인 측면, 기획이나 경영 측면에서 평가해주실 전문가들로 구성되었습니다. 또 그 안에서 세부적으로 미술교육이나 지역문화정책, 행정정책 등 실무적으로 접근할 수 있는 부분도 감안을 해서 평가단을 구성했습니다. 그리고 이렇게 서로 다른 배경을 지닌 분들이 제시한 다양한 의견을 수렴하고자 했습니다. 의견 조율이나 영역들 간에 어떤 부분에 가중치를 둘 것이냐 하는 것은 연구를 통해 나왔던 평가툴을 적용하며 최대한 객관화하려고 노력했습니다.

임학순: 네 영역에 19개의 지표가 있는데, 평가를 하면서 영역과 지표 간의 가중치를 정합니다. 전문가 그룹과 평가기관 등 사업을 잘 파악하고 있는 분들이 참여해 측정한 내용을 종합, 점수로 환산하는 것입니다. 평가단은 이를 바탕으로 사업의 수준을 판단하고 양적인 측면과 함께 질적인 측면에서도 평가가 나올 수 있도록 했죠.
평가는 상호소통의 개념이고 이 지표들은 2-3년이 지나 현장에 계신 분들에 의해 논의가 계속 되면 발전할 수 있습니다. 그렇게 된다면 학교와 지역사회를 연결하는 시범사업의 매뉴얼이 만들어질 것입니다. 따라서 이러한 관점에서 평가를 이해해야 할 필요성이 있습니다. 한 기관의 평가이기도 하지만 시범사업 자체에 대한 평가도 되는 것입니다. 사업의 정체성 그리고 지속성 여부, 앞으로 나아갈 방향 등을 제시하기 위한 맥락입니다.

자율성을 보장해주는 평가
윤현옥: 앞서 지역 단체나 프로그램의 방향이 다양하단 얘기를 하셨는데요. 지금 평가의 기준을 보면 객관적인 부분에서 목표대로 잘 진행되었는가는 어떤 사업에도 적용할 수 있습니다. 특화되어 있는 기준은 아니라는 것이죠. 그렇다면 각 단체들이 갖고 있는 특성과 그 특성이 잘 발현되고 있는가도 고려를 해야 되지 않을까 생각합니다. 그런 부분들이 객관적 평가 내에 묻혀 있는 느낌입니다. 전체적인 객관적 지표 안에 64개 단체를 묶게 되면 자칫 평준화되지 않을까라는 생각도 듭니다. 임학순 교수님께서 말씀하신 지표들은 분명 내년도 사업에도 반영이 될 것입니다. 그러면 이러한 기준을 맞춰 단체의 개성이나 특성이 평준화될 수도 있지 않나 싶습니다.
한편 각 단체가 고유의 프로그램 및 컨텐츠를 갖고 있는 경우가 있겠지만 이를 반복적으로 사용한다면 결국에는 사장되어버리는 상태가 될 것이라 예상됩니다. 문화나 예술이나 교육도 변화하고 발전하는 과정에서 효용성과 가치를 갖고 구축해나가야 합니다. 또한 새로운 사회 패러다임에 따라 자기 변신을 해나가야만 발전적으로 성장할 수 있다고 생각합니다. 그러한 부분들이 이번 평가에 반영이 되어 있는가 하는 점을 지적하고 싶습니다.

정란미: 지금 윤 선생님이 말씀하신 부분들을 반영해서 나름대로 평가를 했다고 생각합니다. 사실 담당자의 입장이기 때문에 사업을 첫 기획 단계부터 알고 있습니다. 물론 다른 분들도 그러한 부분을 평가에 반영했다고 보여지고요. 임학순: 이번 평가에서 본 것은 프로그램 수준을 높이기 위해 어떤 노력을 했는가 입니다. 2006년도 사업 방향을 정할 때 프로그램의 특성 및 유형을 어떻게 할 것인가의 고민을 하게 됩니다. 사업신청서를 받으면 그 사업 내용들로써 전체적인 그림을 조정하는 작업이 필요할 것 같습니다. 왜냐하면 신청한 사업들 중에 의미를 부여할 수 없는 부분들도 있기 때문입니다. 그러한 것은 과감하게 잘라내고 현장에서 발전적인 프로그램을 제시할 가능성이 있는 곳에 주력하자는 것이 저의 생각입니다. 윤현옥: 어쨌든 평가 기준을 마련한다는 것은 매우 어려운 작업이고, 이번 평가를 참고지표라고 생각하고 싶습니다. 단체들의 개별성이나 특성들이 잘 발현될 수 있도록 뒷받침해주는 것이 정책의 역할이 아닐까요. 평가 결과로 사업 방향을 정해주는 것이 아니라 자율성을 보장해주어야 한다고 생각합니다.

정란미(문화관광부 문화예술교육과)

시범사업을 발전시키기 위하여
기영준: 저는 최소한의 가이드라인과 최대한의 방향성의 제시인 것 같습니다. 후자는 이 정도 틀 안에서는 움직여주었으면 하는 방향을 제시한다는 이야기입니다. 가장 좋은 방법은 프로그램들이 어떠한 교육효과가 있느냐, 즉 교육목적과 목표가 무엇이고 얼마만큼의 시간을 가지고 어떤 방법으로 어떠한 효과를 기대할 수 있었는지 등이 나오면 제일 바람직하겠죠. 그렇다면 사업 추진한 것을 보지 않더라도 좋은 프로그램인 경우 예산을 더 지원할 수도 있습니다. 문제는 이러한 것이 어렵다는 점입니다.

임학순: 그러한 부분은 현장에서 이루어진 담론을 토대로 해서 나아가야지 저희가 잣대를 가지고 한다면 통제로 가게 됩니다. 프로그램을 결정하고 이것만 하라고 한다면 오히려 지역의 자율성이 떨어집니다. 이번 평가는 지역의 노력과 많은 활동이 이루어질 수 있도록 뒷받침해주는 것이라고 봅니다. 다만 시범사업에 적합한 프로그램인가의 여부는 판단을 해야 한다는 것입니다.

기영준: 솔직히 고민되는 부분들은 교육의 내용들이 피상적으로 밖에 파악이 되지 않는다는 것입니다. 프로그램의 의도를 잘 설명하는 단체가 있는가 하면 그렇지 않은 단체도 있습니다. 가령, 어떤 문화원에서는 학생들 200-300명 모아 놓고 일률적으로 30분 공연, 20분 설명, 나머지 시간에는 직접 시현해보는 것만으로 끝나는 프로그램이 있습니다. 그런데 그 지역에서는 그러한 프로그램조차도 없었기 때문에 나름대로의 의미를 부여할 수 있었습니다.

윤현옥: 진흥원이나 다른 관계 기관에서 그러한 프로그램을 개발할 필요성도 있습니다. 저희가 전시회를 열고 아이들과 체험하면서 질문지를 만들었는데요, 그냥 관람을 하게 하는 것이 아니라 의식을 갖고 보게 하고 그것을 질문지를 통해 피드백하는 과정을 위해서였어요. 이것이 교육의 역할이라고 생각합니다. 이것이 어려울 경우 샘플을 제시해주는 것이 필요하다고 느낍니다.

임학순: 현장에서 우수한 사례를 발굴해서 발전시키는 방안이 있을 수 있습니다. 또한 다소 조심스러운데 몇몇 핵심 사례에 대해서만 별도의 연구개발을 통해서 만들어보는 작업을 생각해 볼 수 있습니다. 그리고 중앙이나, 연구소, 혹은 광역 단위의 문화재단에서 가능한 사업들이 있습니다. 이 부분은 상당히 중요하다고 봅니다. 즉, 평가와는 별도로 하나의 정책사업으로서 생각해볼 수 있는 문제입니다. 연말에 64개 시범사업단체들이 모이는 자리에서 우수한 사례를 발표하는 걸 제안하고 싶습니다.

윤현옥: 현장에서 선생님들이 프로그램을 진행할 때 저희는 미리 오늘 수업은 어떻게 하겠다는 교안을 냅니다. 하지만 교안이 훌륭하고 컨텐츠도 좋고 선생님의 능력을 봐도 잘 하겠구나 하는 생각이 드는 경우에도 실제로 수업에 들어가면 그렇지 않은 곳이 많습니다. 교수법의 문제도 있고 컨텐츠가 엉성하게 짜여진 경우인데, 글로 보면 근사한데 10분이면 끝나는 내용을 한 시간 반을 끌고 간다면 아이들이 지루해 할 수 밖에 없습니다. 이는 완전히 현장의 문제입니다. 그러한 측면을 관리하고 개선해 바꿔야 합니다. 선생님에게 다 맡기고 알아서 하시라고 한다면 후에 문제가 생길 수 있는 여지가 있습니다. 전고필: 문화예술교육이라고 하는 영역의 교수법에 대해 주관단체들을 교육했으면 합니다. 또 하나는 특정계층이 나뉘어지는 점을 지적하고 싶은데요, 사회문화예술 평가에 참여해보니 장애우들 대상의 프로그램은 감동에 초점을 맞추는 것이 대부분이더군요. 막상 전체를 보면 대개가 비슷합니다. 그리고 교육 담당자들은 오히려 그들에게 배우고 있다는 말씀을 하십니다. 차라리 우리가 그분들을 세세하게 알고 가면 친화력이 생기고 교육의 효과가 빨리 나타날 텐데, 그러한 준비도 안 된 분들, 혹은 마음만 있는 분들이 교육을 담당하기 때문에 문제가 있는 것 같더군요. 내년에 시범사업 워크숍을 하게 되면 주관단체들이 함께 교육을

윤현옥(안양 스톤 앤 워터 교육연구실장)

받고 시작하는 방안을 제안합니다. 시간도 절약하고 전문성을 키울 수 있어 보다 긍정적인 효과를 기대할 수 있을 것이라 여겨집니다.

기영준: 진흥원에서도 전 선생님이 제안하신 것처럼 시범사업 단체의 교육에 대해서는 긍정적으로 검토할 생각입니다. 교수법의 중요성에 대해서 많은 논의들이 나왔고 향후 내년에 여건이 된다면 ‘매개자 아카데미’를 비롯한 교육 지원을 계획하고 있습니다.