PISA

1. 개요[편집]

---

PISA(국제학업성취도평가)는 'Programme for International Student Assessment'의 약자로, 경제협력개발기구(OECD)에서 주관하여 참여국의 만 15세 학생들을 대상으로 주어진 지식을 상황과 목적에 맞게 활용할 수 있는 학업 성취도(읽기/독해, 수학, 과학 등)를 측정하여 해당 국가의 교육 시스템을 평가하기 위한 목적으로 고안되었다. 한국에서는 보통 피사라고 발음한다. 2000년에 처음 시행된 이후 3년마다 반복 시행되고 있는 중이다. 시험은 시행을 거듭할수록 더욱 발전하고 있으며 학생의 보다 더 다양한 능력들을 평가할 수 있도록 진화하고 있다. 시험의 주된 목적은 참여 국가들이 그들의 교육 정책과 학습 실태를 개선할 수 있도록 도와주고 국가들 간의 비교 가능한 데이터를 제공하는 것에 있다. 단순히 암기한 지식을 묻는 시험이 아닌, 주어진 자료와 지식들을 통해 문제를 해결하는 창의적인 사고 능력을 측정하는 시험이다.

흔히 한국의 교육제도가 암기식, 주입식 교육이며 창의력을 길러주는 교육이 부족하다고 비판받고 있었기에 해당 시험에서 낮은 점수를 기록할 것이라고 예상되었으나 놀랍게도 한국은 모든 분야에서 5위권 내에 해당하는 최상위 점수를 기록하였다. 이는 일단 아는 것(지식)이 있어야 문제를 해결할 수 있는 역량이 발휘될 수 있다는 것을 단적으로 보여준 결과였다. 예컨대 '비타민C가 부족한 사람에게 무엇을 조언해줄 수 있는가?'를 묻는 질문에 답을 하려면 일단 비타민C가 무엇이며 그것이 부족할 때 나타나는 현상이 무엇인지에 대해 어느정도 미리 알고 있어야 한다. 또한 한국이 가장 강한 분야였던 '수학'마저도 흔히 한국 학생들이 교과서에서 수학 개념을 접하고 그것을 바탕으로 다양한 문제집들을 풀면서 자연스럽게 수학적 사고 능력이 향상될 수 있었음을 알 수 있는 대목이었다.

가장 최근에는 2018년에 시행되었고 2019년에 그 결과가 발표되었다. 이 시험에서 주로 높은 점수를 받는 국가들은 중국[1], 한국, 일본, 싱가포르, 마카오, 홍콩, 에스토니아, 핀란드 등이 있으며 한국은 읽기 영역 9위, 수학 영역 7위, 과학 영역 7위로 전체 평균 8위를 차지하였으며 시험을 거듭할수록 순위는 다소 떨어져가고 있다.

2. 역사[편집]

---

PISA의 개발자 중 한 명인 안드레아스 슐라이허(Andreas Schleicher)는 독일의 명문인 함부르크대학에서 물리학을 공부하는 학생이었다. 그는 시간이 날 때마다 TV를 보듯 이 강의실 저 강의실을 떠돌곤 했다. 그가 들어간 강의실에서는 자신을 '교육 과학자'라고 칭하는 토마스 네빌 포슬스웨이트(Thomas Nevolle Postlethwaite)의 강의가 한창이었다. 슐라이허는 그의 명칭에 관심을 가졌다. 교육학 교수였던 자신의 아버지는 교육이 '신비로운 예술' 같은 것이라 여기고 "교육에서 가장 중요한 것은 측정할 수 없는데, 그것은 바로 인간의 질이다." 라고 늘 말하던 사람이었다. 슐라이허가 보기에도 교육에는 과학적이라고 할 수 있는 부분이 하나도 없었다. 물리학을 선택한 것도 바로 그 이유에서였다.

그러나 발음하기도 힘든 성을 가진 이 영국 교수는 그렇게 생각하지 않았다. 포슬스웨이트는 당시에는 잘 알려지진 않았지만 추상적인 대상을 구체적인 방법으로 분석하는 새로운 시도를 하는 학자 중 하나였다. 마치 물리학자에게 교육을 연구하라고 하면 취할 접근 방법이었다.

슐라이허는 눈을 번쩍이며 온 정신을 집중해 통계와 표본 집단에 대한 토론을 주의 깊게 들었다. 그의 아버지가 이 사실을 아신다면 분명 화를 냈겠지만, 그의 머릿속에는 '인종이나 빈곤과 같은 다른 요인들을 제어한 상태에서 전 세계 어린이들이 알고 있는 것을 비교할 수 있다면 어떨까?' 하는 상상을 펼치기 시작했다. 어느새 그는 자기도 모르는 사이에 손을 들고 토론에 참가하고 있었던 것이다.

그의 경험에 따르면, 독일의 교육은 독일 교육자들이 생각하는 것만큼 뛰어나지 않았다. 그의 어린 시절은 대체로 따분했고 성적도 중간 정도에 그치는, 한마디로 고만고만한 학생이었다. 그러나 십 대가 되면서 과학과 수학에 대한 그의 열정을 알아차린 몇몇 선생님의 도움과 격려로 성적이 오르기 시작했고, 고등학교 때는 전국과학경시대회에서 상을 받기까지 했다. 그것은 대학을 졸업하면 보수가 좋은 직장이 보장된다는 뜻이었다. 그리고 그것이 포슬스웨이트 교수의 강의실에 들어가기 직전까지 그의 장래 희망이기도 했다.

강의가 끝난 후 교수는 슐라이허에게 남으라고 말했다. 이 깡마르고 조용한 목소리를 지닌 청년에게 뭔가 남다른 점을 발견한 것이다. 포슬스웨이트 교수는 슐라이허에게 자신의 연구가 진행되는 것을 도와줄 수 있겠냐고 물었고 그렇게 두 사람의 협력 관계가 시작되었다.

결국 둘은 최초의 국제읽기/독해능력시험을 만들어 냈다. 초보 단계에 불과했고, 슐라이허의 아버지를 비롯한 기존 교육계에서 이렇다 할 주목도 받지 못했다. 그러나 이 젊은 물리학도는 데이터의 힘을 믿었고, 그것이 인도하는 곳으로 갈 준비가 돼 있었다.

3. 시사점[편집]

---

2000년 봄, 전 세계 43개국 약 33만 명의 청소년들이 지금껏 경험해보지 못한 형태의 시험을 치렀다. 두 시간 동안 치러진 이 새로운 시험은 피사(PISA)라는 것으로, 기존의 학력평가와는 좀 달랐다. 이를테면 가격이 얼마 하는 물건을 사려면 어떤 동전을 몇 개 써야 하는지를 묻는 보통의 시험과는 달리 그 자리에서 답안지에 동전 디자인을 하라고 주문하는, 좀 이상한 시험이었다.

피사는 경제협력개발기구(OECD) 산하의 싱크탱크에서 개발되었다. 그리고 그 개발의 중심에 안드레아스 슐라이허가 있었다. 포슬스웨이트 교수의 강의실에 들어선 순간으로부터 10년이 더 지난 후의 일이었다. 그사이 그는 많은 시험을 개발했지만 대부분 주목받지 못했다. 슐라이허는 그간의 경험들을 바탕으로 현대사회에서 필요한 고도의 사고 능력과 의사소통 기술을 측정할 수 있는 시험이 필요하다는 확신을 갖게 되었다.

피사 이전에도 여러 개의 국제시험이 존재했다. 뒤돌아서면 바로 잊어버릴 것 같은 알파벳 약자를 이름으로 갖고 있던 각 시험들은 주로 아이들이 외운 것 혹은 선생님들이 수업 시간에 주입해 놓은 것들을 얼마나 기억하는지 평가하도록 되어 있었다. 그 시험들은 다음 단계의 학교에 진학할 준비가 얼마나 돼 있는지는 예측할 수 있지만, 사회에서 살아갈 준비가 돼 있는지를 평가하기에는 역부족이었다. 비판적 사고 능력을 동원해 수학, 읽기/독해, 과학 등의 분야에서 새로운 문제를 풀어내는 능력을 측정하지 못했던 것이다. 피사는 기존의 시험들과는 달리 어느 나라의 학생들이 독립적인 사고를 할 수 있는지를 측정할 수 있는 것으로 여겨졌다.

2001년 12월, 시험 결과를 발표할 시간이었다. OECD는 파리 본부로 사용하는 로스차일드 대저택 샤토 드 라 무에뜨에서 기자회견을 가졌다. 자리에 모인 소수의 기자들 앞에서 슐라이허와 그의 연구 팀은 피사와 기존 시험들 사이의 차이를 설명하기 위해 애썼다.

이때 슐라이허는 피사에 대해 "우리가 찾는 것은 단순한 수학 문제나 오지선다형 문제의 정답을 찾는 능력에 대한 결과가 아니었습니다. 우리는 창의적 사고를 할 수 있는 능력을 측정하고자 했습니다."라고 말했다.

기자들은 순위가 발표되기를 기다리며 서성거렸고, 마침내 그들이 기다리던 결과가 발표됐다. 세계 1위는 모두의 예상을 깨고 핀란드였다. 교육전문가들은 무언가 착오가 있었던 게 분명하다고 생각하였고, 핀란드에서 온 전문가들조차 의아함을 감추지 못하는 모습이었다.

시험에 참여했던 나라들은 각각 기자회견을 열고 자세한 결과를 발표했다. 핀란드도 파리에서 1500마일 떨어진 헬싱키에서 기자회견을 열었다. 핀란드 교육부 장관은 회견장에 들어가면서 이런 행사가 있을 때 단골로 드나드는 기자 몇 명에게 간단한 보도 자료를 전달하는 일상적인 회견을 예상했으나 그곳은 전 세계에서 모여든 기자들과 방송국 카메라로 꽉 차 있었다. 장관은 더듬더듬 성명서를 읽은 다음 얼른 자기 사무실로 몸을 피했다.

한편 슐라이허의 조국인 독일은 엄청난 충격에 휩싸였다. 독일 연방 하원인 분데스타그의 교육위원회 위원장은 피사 결과를 두고 "독일 교육의 비극"이라고 명명했다. 독일인들은 자국의 교육 시스템을 세계 최고라 자부했지만, 독일 학생들은 읽기/독해 능력, 수학, 과학 등 전 분야에서 선진국 평균에도 못 미치는 성적을 냈다. 심지어 미국보다도 순위가 낮았다. 미국은 그리스보다는 높고 캐나다보다는 낮은 중간 정도의 성적을 거뒀다. 이후 시험에서도 미국 학생들은 계속 비슷한 결과를 보였다. 읽기/독해 능력은 괜찮은 편이었지만 그것으로 희망을 갖기는 일렀다. 미래 소득과 더 직접적인 관련이 있다고 밝혀진 것은 수학 성적이기 때문이다.

읽기 시험에서마저 미국에서 가장 좋은 환경의 아이들과 가장 나쁜 환경의 아이들 간의 성적 격차를 90점이 넘었다. 이에 반해 한국의 환경별 점수 격차를 33점밖에 되지 않았고, 같은 환경을 놓고 보았을 때 대부분의 나라가 미국에 비해 더 나은 성적을 거뒀다.

어떤 사람들은 미국의 성적이 낮을 수밖에 없는 이유를 거론하면서 미국 교육제도를 변호했다. 학생군이 너무 다양해서 결과가 좋지 않았다는 것도 그중 하나였다. 슐라이허는 결과를 분석한 자료를 내밀면서 이민자들 때문에 미국의 성적이 내려간 것이 아니었음을 역설했다. 이민자들의 점수를 모두 빼도 미국의 순위에는 변화가 없었다. 사실 전 세계적으로도 이민자의 비율 등은 국가 간 격차를 설명하는 데 3퍼센트 정도의 역할밖에 하지 않았다.

각 학생의 인종과 가계 소득이 성적에 어느정도 영향을 주기는 했지만 그 영향력은 국가에 따라 큰 차이를 보였다. 부모가 부자라고 해서 항상 점수가 높은 것도, 가난하다고 해서 항상 점수가 낮은 것도 아니었다. 사립학교를 다니는 미국 학생들의 성적은 높은 편이었지만 비슷한 환경의 공립학교 학생들에 비해 썩 잘하는 것은 아니었다. 통계적으로만 보더라도 사립학교의 교육이 특별한 가치를 지닌 것 같지는 않았다.

피사는 당연한 사실이지만 아무도 깨닫지 못했던 것들을 밝혀냈다. 교육에 대한 재정적 투자에 비례해 아이들이 공부를 더 잘하지는 않는다는 사실 말이다. 같은 재원을 가지고도 구성원(교사, 부모, 학생 등)이 어떻게 하는가에 '전부'가 달려 있다. 이것은 GE나 미국 해병대 같은 큰 기관에서도 답을 찾기 위해 고민하는 어려운 문제다.

4. 시험 유형 및 채점 방식[편집]

---

연필, 계산기, 그리고 시험지를 제공한다. 시험은 모두 서술형이며 두 시간 동안 수학, 읽기/독해, 과학에 관한 61개의 문제를 풀어야 한다. PISA에 출제된 수학 영역 문제 중 하나는 다음과 같다.

TV 방송 기자가 아래의 그래프를 보여 주며 말했다. "이 그래프에 따르면 1998년에서 1999년 사이에 강도 사건이 급격히 증가한 것으로 보입니다."

파일:피사 수학 문제.png

기자가 그래프를 논리적으로 해석하였다고 생각하는가? 자신의 의견과 그 의견을 뒷받침할 설명을 기술하라.

이런 식으로 본인의 의견을 묻는 질문이 몇 개 나오고 답을 쓸 여백이 주어졌다. 여타 표준화된 시험과 다르게 의견을 묻는 문제가 출제된다는 것이 독특한 점이다.

수학 시간에는 모든 공식와 원주율이 주어진다. 그러나 답을 쓰기 전에 정말로 스스로 '생각을 해야 한다'는 것을 알 수 있다.

읽기/독해 과목 중 한 문항에서는 어떤 회사의 독감 예방주사 공지문이 주어지기도 했다. 사내 게시판에서 흔히 보는 단조로운 공지문 같은 것이다. 아래의 공지문을 분석하는 것이 시험문제였다.

피오나는 이 공지문이 친화적이고 고무적이기를 원했다. 성공했다고 생각하는가? 공지문의 레이아웃, 문체, 그림 그리고 기타 특징들에 대한 구체적 예를 곁들여 자신의 생각을 설명하라.

각 문제마다 여러 유형의 모범 답안에 얼마나 가까운지를 따져서 0점, 만점, 부분 점수 등을 부여한다. 이런 종류의 시험은 일부라도 사람이 직접 채점해야 하는 부분이 있기 때문에 비용이 많이 들고 자주 시행되지 않는다.

강도 사건의 횟수에 관한 문제의 경우 열 가지 모범 답안이 존재했고, 답이 기본적으로 '아니오'이며 0에서 시작하지 않는 왜곡된 그래프에 대한 비판 혹은 퍼센트로 따지면 강도 사건의 증가가 실제로 그리 크지 않다는 지적이 들어가면 모두 만점을 준다. 핀란드, 한국, 미국 청소년의 약 3분의 1만이 이 문제를 맞혔다.

독감 예방주사 공지 문제에는 정답이 존재하지 않았다. 결론이 '예'인지, '아니오'인지에 상관없이 만점을 받으려면 공지문의 특징 중 적어도 하나를 인용하고 그 부분을 자세히 평가해야만 한다. 문체가 '친화적'이라든지, '고무적'이라든지 등등 질문에 이미 들어가 있는 단어를 되풀이 하는 것으로는 충분하지 않다. '흥미롭다', '잙 읽힌다', '명료하다' 등은 애매한 표현으로 간주된다. 분석과 평가가 독창적이어야 하고 상당히 높은 수준이 요구됐다. 전 세계적으로 이 문제에서 만점을 맞은 사람은 10명 중 4명에 불과했다.

나라에 따라 문제가 살짝 다르기도 하다. 예컨대 멕시코 학생들에게는 펜실베니아에 위치한 이리 호의 지름을 재라는 문제는 주지 않는다. 그런 세세한 사항은 별로 중요치 않다. 피사는 머리에 든 사실을 평가하는 시험이 아니기 때문이다. 그 사실들을 가지고 유용한 일을 할 수 있는 능력을 평가하는 것이 피사의 목적이다.