체육교과 ‘영상평가’ 시리즈 3: 영상평가와 문항반응이론

이태구(부천 상동고등학교 교사)

 

'고전검사이론과 문항반응이론'

중등학교에서는 시험을 치루고 나면 그 후에 시험문항의 난이도, 변별도, 또는 반평균 점수 등을 보면 문항분석을 하는 것이 상례이다. 교사들은 지나치게 쉬운 문제나, 지나치게 어려운 문제 그리고 반평균 점수의 차이 등을 보고 교수학습 방법의 반성을 하거나, 제작한 시험문항에 대한 피드백을 받는다.

그러나 이러한 방식은 시험을 실시한 피험자 집단의 특성에 따라, 문항의 특성이 변하는 문제점을 가지고 있다. 예를 들어, 시험을 치루는 A, B 두 집단이 있다고 가정해 보자. 그리고 두 집단은 상당히 실력의 차이(A>B)가 있다고 가정하면, A집단에서 난이도가 쉽다고 판단된 문항은 B집단에서는 어렵다고 판단될지 모른다. 그 반대도 가능하다. 또한 능력이 동일한 두 집단이 서로 다른 문항특성으로 이루어진 두 검사를 시행할 경우에도, 정답률이 높은 문항으로 이루어진 검사에서는 높은 능력이 산출될 것이고, 정답률이 낮은 문항으로 이루어진 검사에서는 반대특성을 가진 값이 산출될 것이다. 예들 들면, 영상평가관련 A급 학술지 최초의 논문인 이한주와 최진환(2003), 이한주와 이태구(2004)에서 이들이 제작한 영상평가 전체 문항의 평균 정답율은 각각 57.5%, 81.1%였다. 위에서 언급한 이유로 이한주와 최진환(2003)이 개발한 영상평가 문항이 더 어려운 문항들이라고 단언할 수가 없다. 즉. 문항을 개발해 놓고도, 그 문항들의 특성(난이도, 변별도 등)을 확언할 수가 없어, 영상평가 개발 및 현장적용한 후에 정확한 피드백을 받을 수 없는 문제가 있으며, 그래서 영상평가 문항에 대한 더 정확하고, 세밀한 이론적인 배경지식이 발전하지 못하고 있는 실정이다.

따라서 필요한 검사이론이 문항반응이론이다. 문항반응이론을 적용하면 각 문항 고유의 특성, 즉 난이도, 변별도를 추정할 수 있다. 그 값들은 피험자의 수준에 독립적으로 추정되기 때문에 영상평가 문항 개발시 제작 원리및 방법들을 구체적으로 연구하고 적용할 있도록 해준다. 또한 문항반응이론을 이용하면 문항편파성을 확인할 수 있는 큰 장점도 있다. 즉, 개발된 영상평가 문항이 남학생에게 유리한가, 여학생에게 유리한가를 알 수 있다는 것이다. 체육은 흔히들 남학생의 과목으로 여겨진다. 실제로 어느 한 성에 유리하게 작용하는 문항을 학문적으로는 차별기능문항(Differential Item Function)이라고 하는데, 체육교과에서는 차별기능문항에 대한 연구가 일반사람들의 인식때문이라도 반드시 필요하다고 생각한다.

'영상평가의 미래'

인지적 영역의 영상평가가 개발되어진 이후로, 영상평가는 4지선다형의 선택형 문항부터 논술형 문제까지 그 문항 형태가 다양하게 개발되고 있으며, 그 개발된 스포츠종목도 축구, 농구, 수영, 육상, 배드민턴, 테니스 등 다양한 종목으로 확대중이다. 그리고 정의적 영역에서도 적용될 수 있는 영상평가문항 개발이 시도되고 있다. 이렇게 축척된 영상평가 제작 기술의 Know-how는 멀티미디어관련 체육수업 교재의 개발까지 이루어지고 있는 상황이다.

그렇지만, 인지적 영역의 영상평가 문항 개발은 더 이상의 진전을 기대하기 어려운 상황에 빠져있다. 첫째 이유는 이미 학교체육수업과 관련하여서는 다양한 형태와 내용의 영상평가 문항이 이미 개발되었고, 둘째 이유는 앞에서 언급한 고전검사이론이 가지고 있는 한계 때문이다. 즉, 문항의 변별도 및 난이도별로 그 특성에 맞는 영상평가문항 개발이 고전검사이론을 적용해서는 정확성에 한계가 있다는 것이다.

그렇다면 인지적 영역의 영상평가 문항 개발은 이제 그만두어야 할 것인가? 그렇지 않다. 체육영역에서는 인지적 영역의 영상평가 문항이 개발되고 적용되어야할 분야가 많다. 그 중 한 영역이 각 종목 심판자격증 시험이다. 본인은 3급 농구심판자격증을 취득한 경험이 있다. 그 시험에서는 다양한 농구 경기의 상황을 2차원의 종이위에서 표현하고 있어, 각 문항에서 언급하고자 하는 문항장면이 정확히 표현하는데 한계가 있었다. 심판자격증 시험에 영상평가 도입이 절실한 상황이였다. 그 후 농구협회 관계자를 통해 심판자격증 시험에 영상평가를 도입하는데 긍정적인 반응을 얻기도 하였다.

영상평가는 학교체육을 넘어 앞으로 그 쓰임이 확대될 수 밖에 없다. 영상평가는 그 개발 및 적용의 과정을 보더라도, 교육과정의 변화를 Bottom-up방식으로 이루어낸 지극히 드문 사례이다. 그리고 미국체육학술대회에 초청되어 포스터발표까지 한 것을 생각하면, 학문적인 성과도 인정받고 있다. 열정적인 동료체육교사들이 영상평가 발전에 더욱 관심을 가져주길 기대해본다.

ⓒ 스포츠둥지