질문지법
덤프버전 :
1. 일반적인 의미[편집]
질문지법(質問紙法)은 특정 집단에 어떤 주제에 대한 의견을 묻고 그 통계를 내는 것을 말한다. 흔히 말하는 설문조사가 이에 해당하며 의견이 대립하는 경우에 대한 찬반을 묻거나 혹은 서로 대립하지 않는 주제에 대한 선호도를 물을 때도 자주 사용된다. 또한 종합 커뮤니티 같은 데서 뜬금없이 설문조사 글이 올라올 때가 있는데, 이 경우는 딱히 뭐에 활용하고자 만든 설문이 아니라 그냥 심심해서 올린 뻘글인 경우가 많다.
적절히 왜곡해서 증거로 제시하면 아무리 터무니없는 것이라도 갑자기 설득력이 생긴다. 대표적으로 일본을 공격한다 같은 경우다. 일본에선 아직도 믿고 있는 사람도 있다.
기업, 연구소, 방송국 등이 주최해서 플래카드와 홍보용품을 동원한 설문조사이거나, 대학 안에서 소속을 미리 밝히고 실시하는 설문조사가 아닌 일반인과 같은 옷차림의 조사자가 말을 걸어서 실시하는 설문조사는 대부분 사이비 종교 단체의 포교행위로 보면 된다. 대학이나 길거리, 주택가, 신도림역 같은 유동인구가 많은 곳이 타깃이다. 이런 종류의 사이비 종교단체의 포교는 가면 갈수록 절묘해지기 때문에 더욱 조심해야 한다. 설문조사하는 여대생이 자신에게 관심이 있는 줄 알고 전화번호를 주고 연락을 주고받다가 갑자기 경전 공부를 하자며 덤비는 경우도 가끔 보인다. 사이비 종교나 이단들이 포교할 때에는 실제 유명 대학의 유명 학과를 거론하면서 "그곳 교수님과 함께 연구를 진행중이다", "논문을 쓸 때 필요한 자료를 모으고 있다", "무료 심리상담 및 치료를 준비중이다"[1] 같은 식으로 접근한다. 대학 연구실에서는 거의 길거리 보행자들을 상대로 연구를 진행하지 않는다.[2]
그래도 의심스러운 경우에는, 다음과 같은 몇몇 기준들을 고려해 사이비 종교 전도를 의심해 봐야 한다.
- 연구가 체계적이고 계획적인 느낌이 부족하다. 그러나 실제 학술연구는 극도로 계획적이며, 자신이 왜 이 연구에 참여할 자격이 있는지가 정확히 안내된다.[3] 또한 연구자와 참가자 간의 정보공유가 활발해서, 하다못해 생동성 알바만 하더라도 정말 쓸데없는 것까지 전부 알려주려고 든다. 참가자는 전체 일정의 상세 내용을 안내받고, 설령 일부 비밀로 하거나 부득이 기만한 것이 있을지라도 마지막에는 반드시 정확하게 안내받는다. 이를 디브리핑(debriefing)이라고 한다.
- 자신의 소속을 명확히 밝히지 않고 둘러댄다. 교수의 이름을 대지 않거나 참여 저자들에 대해 언급하기를 회피한다.[4] 그러면서 대학에서 보자는 게 아니라 자신이 직접 찾아가겠다고 하거나 엉뚱한 곳에서 중간에 만나자고 한다. 즉, 상대방의 개인정보에 대해서는 세세하게 요구하지만, 자신의 정체와 소속에 대해서는 있는 힘을 다해 숨기려고 든다.
- 자칭 연구라면서 연구동의서를 작성하게 하지 않는다. 사실 이것이 제일 중요하다. 참가자에게 연구동의서를 받아내지 못한 연구는 대학의 연구윤리위원회(IRB)에서 승인받지 못하므로, 정상적인 연구자라면 서류 작성에 초점을 기울인다. 더불어 참가자의 모든 개인정보가 관련 법률에 의거하여 철저하게 보호된다는 사실이 정확히 안내된다.
- 연구가 끝날 때 소정의 사례비를 지급한다는 약속이 없다. 의외일 것 같지만 이것 역시 연구윤리의 중요한 기준이다.[5] 사이비 종교들은 사례비 준다는 얘기는 안 한다. 도리어 자기네 책을 사라거나 약팔이를 한다거나 하지 않으면 다행. 그러나 실제 학계에서는 30분짜리 설문조사라도 하다못해 커피 쿠폰이라도 들려서 보내며, 최소한 비타500 기프티콘이라도 쏴 준다.[6]
위 연구윤리는 학부생들이 전공과목 과제로 하는 설문조사에는 거의 적용되지 않지만, 애초에 학부생들은 길거리까지 잘 나오지 않는다. 온라인으로 하거나 자기 지인, 같은 학교 학생들 동원해서 하지 번화가로 갈 이유가 없다. 학부생 전공과목 설문조사의 경우 그보다는 그 사람과 같은 강의를 듣는 타 과목 학부생들, 같은 동아리 학부생들이 주 타깃이 된다.[7] 대부분 별로 품도 안 들고 서로 아는 사이인 경우가 많은데다 도의적 차원에서 선선히 조사에 응하는 편. 이 경우 자주 쓰이는 것이 구글 드라이브의 "구글 Docs 설문지" 기능이다.[8] 그 외에도 카카오톡과 같은 서비스에서도 간단한 설문조사 양식을 만들 수 있도록 지원하고 있는데, 질문이 하나 혹은 둘 정도의 사소한 정도라면 이용할 만하다. 조금 더 전문적인 설문 조사를 원한다면 유료 설문 작성 플랫폼을 사용해 보는 것도 가능하다. 문자나 메일을 통한 배포 외에, QR코드 등의 배포 방식을 지원하며, 국내 플랫폼의 경우 설문지 작성시 전화 지원도 가능한 경우가 있으니 초보라면 도움될 수 있다. #
세는나이(한국식 나이)에 익숙한 한국에서는 설문지에 나이를 한국식 나이로 응답하는 사람들이 상당히 많다. 그럴 경우 결과에 오류가 발생하니 반드시 만 나이로 응답하도록 하자.
2. 연구방법론에서 자료수집 방식의 일종[편집]
어떤 개념을 측정할 수 있는 척도를 바탕으로 구성된 질문들을 통해서 자료를 수집하는 방법. 각 질문들은 상호 관련성을 갖고 있으며, 특정 연구목적에 부합하는 방향으로 논리적으로 연결되어 있어야 한다. 잘 만든 질문지는 그만큼 우수한 데이터를 산출하지만, 못 만든 질문지는 그냥 쓰레기만 뱉어낼 뿐이다. 형태는 위의 설문지와 큰 차이는 없다. 설문지도 학술적으로는 질문지법의 일종이다.
질문지는 모든 응답자에게 동일한 양식과 형태를 갖춘 정형화된 질문을 함으로써 측정오차를 최소화한다. 흔히 생각하기로 질문지를 배포하고 응답을 회수하는 과정이 가장 힘들 것 같지만, 실제 연구자들에게 있어서 가장 힘든 과정은 질문지를 구상하고 비평한 뒤 배치하는 과정이다. 일반인들이 보기에는 "아니, 그게 뭐가 어렵다고? 질문 문장 만드는 것 정도라면 별로 어렵지 않을 텐데..." 와 같이 생각하기도 하지만, 실제로 그 질문지의 성패 여부는 제대로 된 질문 문항이 만들어졌는가 아닌가에서 성패가 갈리기 때문에 굉장히, 매우 중요한 작업이다.
실제로 사회과학 계열의 학문 전공수업을 들을때 연구방법론은 첫 학년에 거의 반드시 포함되어 있을 정도로 보편적이고 기본적인 내용인데, 그 기본적 내용 안에서 또 거의 첫번째로 나오는 내용. 그만큼 질문지법은 흔하면서도 중요한 방법이라 하겠다. 의외로 질문지를 내 놓고 어떤 요소가 미흡하거나 잘못되었는지 찾는 건 상당히 어렵다. 수능에서 사회문화를 공부한다면 맛보기로 배울 수 있다.
2.1. 적절한 질문 문항이란?[편집]
질문 문항들을 준비하면서 중요한 판단기준이 몇 가지 있는데, 우선 연구주제에 필요한 질문들이 빠짐없이 포함되었으며, 무관한 질문은 배제되었는가를 살펴봐야 한다. 연구자는 연구의 목적을 달성하기 위한 질문들을 모두 포함함과 동시에, 전체 질문의 수를 최소화해야만 한다. 자칫 불필요한 질문들이 포함될 경우, 그 자체로서도 아무런 의미가 없거니와 응답자의 시간과 수고를 공연히 들이게 하고 불성실한 응답을 초래하게 한다.[9] 더불어, 연구와는 무관한 인구학적 문항 역시 존재할 이유가 없다.[10]
일부 질문 문항들은 연구자의 주관적인 가치가 개입된 편향적인 질문이 나오거나,[11] 응답자의 성향 등을 불필요하게 추적하려는 식으로 유도신문을 하기도 한다. 또한 교묘하게 질문의 순서를 조작해 특정 답변을 유도하기도 한다.[12][13] 이처럼 중립적이지 못한 질문이 존재하는지를 확인하는 것도 필요하다. 답안 속에는 응답자가 선택할 자유를 충분히 확보하고, 응답하지 않으려는 사람들을 위해 "판단 유보" 나 "의견 없음", "생각해 본 적 없음" 등의 값(value)을 배치하는 것이 좋다. 더불어 이 질문 문항에서 사용된 척도가 측정의 목적에 잘 부합하는지 확인하는 것도 중요하다. 이에 대한 자세한 내용은 척도 문서 참고.
좋은 질문 문항은 또한 간단 명료하면서도 응답자가 자의적으로 해석할 여지가 최소화되어야 한다.[14] 예를 들어, "귀하의 수입은 얼마입니까?" 의 개방형 질문 문항에 대해서 응답자들은 월급으로 응답하는 쪽과 연봉으로 응답하는 쪽으로 나누어지게 될 것이다. 그나마 이 경우는 환산을 하면 해결이 가능하지만, 다른 예로 "귀하의 연령은 어떻게 되십니까?" 의 질문은 세는나이인지 만 나이인지 헷갈리는 사람들이 발생할 수 있으며, "귀하의 고향은 어디입니까?"는 애매한 질문이므로 주의가 필요하다. 더불어, 응답자가 충분히 이해할 것으로 기대되는 질문인지 확인하는 것도 중요한데, 예를 들어 초등학생 어린이들을 대상으로 한 질문지 조사에서는 초등학생들이 모를 것으로 생각되는 질문 문항을 가급적 포함시키지 않는 것이 좋다. 전문 용어가 부득이 삽입되어야 한다면, 각주와 같은 방식으로 별도의 설명을 기입할 수도 있으나,[15] 원칙적으로는 질문지법에 부연설명은 가능한 한 없어야 한다.
일부 질문은 하나의 질문 문항 속에 둘 이상의 서로 다른 질문 내용을 담고 있는 경우가 있다. 이를 이중 질문(double-barreled question)이라고 하는데, 이중 질문을 배제하고 한 질문 문항에는 하나의 질문만을 담도록 할 필요가 있다. 예를 들어, "우리나라 청년들의 일자리를 창출하기 위해서는 청년들의 해외 진출을 확대하고 이주노동자들의 유입을 차단해야 한다는 주장에 동의하십니까?" 의 질문을 보자. 이 질문은 "청년들의 해외 진출을 확대함으로써 일자리를 창출하자는 주장에 동의하십니까?" 라는 질문과 "이주노동자들의 유입을 차단함으로써 일자리를 창출하자는 주장에 동의하십니까?" 라는 질문이 겹쳐져 있다. 이 경우 전자와 후자에 대해 서로 다르게 판단하는 응답자는 혼란을 느끼게 되고, 차후 분석에 있어서도 연구자를 골치아프게 할 것이다.
마지막으로, 질문 문항의 문장은 가능한 한 긍정형으로 하는 것이 좋다. 사람들은 흔히 부정형으로 된 문장을 오독하거나 불성실하게 읽는 경향이 있기 때문에, 필요하다면 가급적 긍정형으로 문장을 바꾸어야 한다. 부득이 부정형 질문을 포함시켜야 한다면, 가능한 한 오독이나 혼란의 가능성을 줄이기 위해서 굵게 표시하거나 밑줄, 기울임 등을 복합적으로 적용하는 것이 좋다. 당장 다양한 영어능력증명 시험들에서도 유독 "NOT" 단어에는 밑줄을 치거나 대문자로 표시하고 있음을 볼 수 있다.
2.2. 왜곡된 반응 세트[편집]
모든 응답자들이 성실하고 진실된 마음가짐으로 질문지에 응답해 준다면 참 좋겠지만, 불행히도 연구자가 기껏 낑낑대며 좋은 질문지를 만들어 놓아도 꼭 이상하게 반응하려는 사람들이 나온다. 연구자들은 응답자들로부터 수검된 반응 패턴에서 데이터를 왜곡하는 방향으로 문제가 될 수 있는 사례들을 찾았고, 이들의 세트를 유형화하고 분류하였다. 예상 가능한 반응의 세트를 거론하자면 다음과 같다.
- 개인이 보이고 싶어하는 방향으로 반응을 왜곡하는 경우
- 긍정적 허위반응(faking good): 질문지 상에서 더 좋은 사람으로 보이도록 거짓된 모습으로 반응하는 것. 이들은 자신이 실제보다 더 유능하거나, 심리적으로 건강하거나, 올바르거나, 균형잡힌 가치관을 갖고 있거나, 바람직하다고 여겨지는 등의 모습으로 보이고 싶어한다. 그 근저에는 사회적 바람직성 편향이라는 개념이 원인으로 작동하기 때문이라고 여겨진다.
- 부정적 허위반응(faking bad): 질문지 상에서 더 나쁜 사람으로 보이도록 거짓된 모습으로 반응하는 것. 쉽게 말해서 꾀병 부리기. 일반적인 질문지 조사에서는 발견되기 힘들지만, 심리검사와 같은 일부 질문지에서는 흔하게 발견된다. 이것은 연구자로부터 자신에게 더 동정적이고 지지적인 반응을 조장하기 위한 전략이라고 여겨진다.
- 개인의 반응에서 데이터에 해로운 특징이 발견되는 경우
- 극단적 반응(extreme responding): 응답자가 문항 척도의 중간을 피해서 극단적 값을 선택하려는 반응 경향성. 이들에게 있어서 중간은 없다. 특이하게도, 아래의 중간 반응과 같이, 이것은 문화적인 차이가 존재함이 밝혀져 있다. 즉, 동양 문화권에 비해서 서양 문화권의 응답자들이 더 많은 극단적 반응을 보인다.
- 중간 반응(moderate responding): 응답자가 문항 척도의 극단을 피해서 중간 값을 선택하려는 반응 경향성. 이들은 이것도 애매하게, 저것도 애매하게 응답하고, 자신의 선호나 입장을 분명하게 밝히지 않는다. 잘해봐야 "일부 동의" 내지는 "일부 반대". 이 경우 서양 문화권에 비해서 동양 문화권의 응답자들이 더 많은 중간 반응을 보인다.[16][17]
- 응답자가 진정성이 부족한 태도로 응답하는 경우
- 묵인 반응(acquiscent responding): 응답자가 예/아니오 형태의 문항들에 대해서 일관되게 전부 YES 로만 밀어붙이는 경향성. 많은 경우는 레알 진정성이 부족하기 때문에 반쯤 장난치듯이 응답하는 사례지만, 간혹가다가 정말로 성격 자체가 이런 식이라서 정말로 진지하게 모두 "YES" 라고 생각하는 사람들도 있을 수 있겠다.
- 저항 반응(reactant responding): 응답자가 예/아니오 형태의 문항들에 대해서 일관되게 전부 NO 로만 밀어붙이는 경향성. 이것 역시 위의 묵인 반응과 비슷하게 간주될 수 있다. 연구자는 응답자가 질문지를 작성할 동기가 충분한지에 대해 다시 한 번 확인할 필요가 있다.
- 패턴 반응(patterned responding): 응답자가 전체 문항들에 걸쳐서 일정한 패턴을 그리면서 응답하는 경향성. 가장 대표적인 사례는 1-2-3-4-5-1-2-3-4-5-... 같은 경우다. 물론 정말로 응답을 이런 식으로 하는 사람이 흔한 것은 아니다. 당장 학교에서 시험을 보더라도 답안이 저런 식으로 나오면 괜히 불안해지게 되는 게 일반적이다.
이런 문제들을 해결하기 위해서 지금껏 다양한 노력들이 이어져 왔다. 예를 들어 극단적 반응을 막는 대표적인 방법은 Q-분류 검사(Q-sort test)라는 것이 있는데, 이것은 각각의 척도상의 값들에 대해서 동일한 양의 "카드" 를 배정시킨 뒤, 특정 값에 응답할 때마다 카드를 하나씩 소모하게 한다. 만일 극단적 반응에 의해 극단적 값에 배정된 카드가 일찍 다 떨어지면, 그 응답자는 그 이후부터는 극단적 응답을 할 수 없게 되고, 더 온건한 반응을 기대할 수 있게 된다.[18] 사회적 선망 편향에 의한 반응의 경우, 별도로 "Crowne-Marlow 척도" 와 같은 특수한 척도가 배치될 수 있으며, 인간의 보편적인 생활의 '흔한 모습들' 을 인정하기를 꺼리는 경향을 측정한다.[19] 묵인 반응의 경우, 희귀한 질문 척도를 활용하는 방법도 있다.[20] 그 외에도 응답의 익명성을 보장하거나, 물리적으로 질문지 작성 공간을 분리시키거나, 응답지를 봉투에 넣어서 비밀리에 제출하게 하는 등의 사회적 처리를 가하는 것도 좋은 방법이다.
묵인 반응, 저항 반응, 패턴 반응의 경우 보통은 연구 데이터에 포함시키지 않고 배제한다. 특히 이는 소표본일 경우에 더욱 치명적인 오염을 초래하므로 아까워할 필요 없이 반드시 빼야 한다. 대신 "총 ~건 중에서 불성실하게 응답한 ~건의 설문지를 제외한 ~건을 최종적으로 취합" 했다는 점을 명시하기 위해서 별도의 카운트를 해야 한다.
2.3. 질문지 작성기법[편집]
질문지의 양식은 크게 1) 협조 요청, 2) 식별 데이터, 3) 지시문(instruction), 4) 질문 문항, 5) 인구학적 문항 순서로 구성되어 있다. 협조 요청 단락에서는 조사자와 조사기관을 소개하고, 필요하다면 신상과 연락처를 공개한다. 또한 필요하다면, 응답 결과에 대한 비밀 보장을 포함할 수 있고, 설문에 응할 시 혜택을 줄 계획이라면 이 역시 여기서 언급하면 좋다. 식별 데이터 단락에서는 차후 코딩작업을 위해 설문지 식별번호 및 후속조치(follow-up)용 정보, 조사자 데이터와 조사일시 데이터를 기록하는데, 특히 우편조사법에서 꼭 필요하다. 지시문 단락에서는 응답 요령과 주의 사항, 행동지시 사항 등을 기입하게 된다. 질문 문항은 질문지에서 본격적으로 질문을 실시하는 단계이고, 마지막 인구학적 문항 단락은 응답자의 인구학적, 통계학적 변인들을 명목측정 수준에서 확인하게 된다. 이때 질문은 응답자의 사생활을 침해하지 않도록 조심스럽게 이루어져야 하며, 설문지의 최후반부에 작성하는 것이 일반적이다.
각 질문 문항들은 기준에 따라 여러 종류로 구분될 수 있다. 우선 개방형 질문(open-ended question)은 쉽게 말해서 주관식이라고 보면 된다. 응답의 범주를 지정하지 않고 그냥 밑줄이나 공백을 두어서, 응답자가 자신의 생각을 자유롭게 기술할 수 있도록 보장하는 질문 방법이다. 이것은 다시 "제한 개방형 질문" 과 "무제한 개방형 질문" 으로 나누어지는데, 전자는 두 가지 혹은 세 가지만 순서대로 기입해 달라고 요청하는 것이고, 후자는 생각나는 대로 전부 적어 달라고 요청하는 것이다. 이것의 장점은 연구 초기단계에 활용하기가 쉽고, 이 질문에 대해 나올 수 있는 응답의 범주가 어느 정도일지 연구자가 예측하기 힘들 때 쓸 수 있다는 것이다. 또한, 연구자가 의도적으로 창의적이거나 예상치 못한 응답을 수집할 필요가 있을 때 효과적이며, 응답자에게 응답의 자유를 최대한 보장한다는 점도 있다. 반면 단점으로는 계량적 비교와 분석이 어렵고, 요약 정리 과정에서 연구자의 주관이 개입할 가능성이 있으며, 응답자들이 불필요하게 길거나 지나친 단문 형태로 응답하는 데 그칠 가능성도 있다. 또한 자기표현 능력이 부족한 일부 응답자 집단에게는 사용이 부적절하며, 대규모 표본을 대상으로 하는 경우에도 쓰기 힘들다.
다음으로 폐쇄형 질문(closed-ended question)은 쉽게 말해서 객관식이라고 보면 되는데, 응답의 범주를 지정하여 그 속에서 응답자가 하나를 선택할 수 있도록 값을 나열하는 질문 방법이다. 이것은 다시 "단일선택 질문" 과 "다중선택 질문" 으로 나누어지는데, 전자는 하나만 골라 달라고 요청하는 것이고, 후자는 여러 개를 골라 달라고 요청하는 것이다. 폐쇄형 질문의 가장 대표적인 형태가 바로 척도를 활용하는 것인데, 그 중에서도 서열 수준, 등간 수준, 비율 수준에서의 척도가 자주 쓰인다. 이것의 장점은 응답자가 답하기가 쉽고,[21] 계량적 분석이 용이하다는 것이다. 또한 코딩작업의 어려움이 절감될 수 있으며, 응답자가 대답하기 부담스러워하는 주제에도 적절하다.[22] 반면 단점으로는 빠뜨린 응답의 범주가 생길 수 있다,[23] 응답자에게 연구자가 만든 응답 범주를 강요할 수 있다는 문제가 있다.
폐쇄형 질문의 특이한 형태로는 필터링(filtering)을 통한 부수적 질문(contingency question)이 있다. 이것은 특정 질문 문항에 대해서 일부 응답자만 선별적으로 응답하게 하는 방법으로, 앞선 질문 문항의 응답방향에 따라서 일부는 그냥 뛰어넘게 하고 일부는 부수적 질문에 응답하게 하는 식으로 지시할 수 있다. 이것은 몇 가지 경우에 적합한데, 애초에 일부 응답자들은 아예 응답이 불가능한 종류의 질문이 있거나, 특히 이런 질문이 반복될 때 효과적이다.[24] 또한, 일부 응답자들이 해당 질문에 대해 잘 모를 것으로 여겨질 때, 무지를 숨기기 위해 적당히 답하려는 경향을 막기 위해서도 필터링을 가할 수 있다.
질문 순서에 관련된 테크닉은 보통 쉽고 흥미로운 질문은 앞에, 어렵고 부담스러운 질문은 뒤에 배치하는 것이다. 흥미를 유발할 수 있거나, 동기를 부여시키거나, 언뜻 보기에 쉽다고 느껴지거나, 무난해 보이거나, 폐쇄형 질문들은 질문들은 앞쪽에 두어서 응답자의 참여를 독려하는 것이 바람직하다. 반대로, 생각을 많이 해야 하거나, 대답을 회피할 가능성이 높거나, 개인의 신념이나 사생활 또는 이데올로기에 관련된 민감한 질문이거나, 개방형 질문인 경우에는 뒤에다 배치함이 좋다. 의외로 사람들은 뒤에서 고전하게 되더라도 질문지 작성 자체를 포기하지는 않는데, 이는 문간에 발 들여놓기 기법(foot-in-the-door technique)의 원리와도 유사할 것으로 여겨진다. 종종 꼬리 끝 효과(tail-end effect)라고 불리는 것 역시 이와 유사하다.
2.4. 사전조사[편집]
pre-test
사전조사는 쉽게 말해서 질문지의 알파테스트다. 본격적인 설문을 진행하기에 앞서서 질문지가 제대로 만들어졌는지 확인하는 단계. 소규모의 사전조사용 집단을 만들어서 그들을 대상으로 우선 조사를 실시하고, 그들에게 피드백을 받은 결과를 토대로 질문지를 보완하는 데 활용한다. 이걸 안 하고 넘어가 버리면 자칫 실제 설문 도중에 예상치 못한 문제점이 발생할 수 있다.
사전조사 단계에서 연구자가 확보해야 할 정보는 대략 다음과 같다.
- 질문지의 신뢰도와 타당도
- 이 질문지의 각 질문과 보기들의 의미가 조사자의 의도대로 제대로 전달되었는가? 엉뚱하게 오해하지는 않았는가?[25]
- 이 질문지에서 사용한 척도의 문항 간 신뢰도는 적절한가? 신뢰도를 크게 낮추는 문항은 없는가?
- 질문지의 응답 편의성
- 질문 보기의 적절성
- 질문 보기들에서 상호배타성이 잘 지켜지는가? 동일한 패턴의 중복 응답이 유난히 발생하는 질문이 있는가?
- 질문 보기들에서 포괄성이 잘 지켜지는가? 공란이 발생하거나, "모름", "무응답", "기타" 와 같은 응답이 유난히 발생하는 질문이 있는가?[28]
- 반응 세트의 발생 가능성
- 질문 보기들에서 긍정적이거나 부정적인 허위 반응이 나타나는가?
- 질문 보기들에서 극단적이거나 중간의 반응 경향이 나타나는가?[29]
- 질문 보기들에서 진정성이 부족한 반응 경향이 나타나는가?
2.5. 간접질문법[편집]
일부 질문들은 직접적으로 묻기에는 다소 적합하지 않아서 응답자들의 반발심을 불러일으키거나 왜곡된 응답을 초래할 가능성이 있다. 대표적으로 성생활[30][31]에 관련된 질문이 있고, 그 외에도 응답자의 도덕성에 관련된 경우, 응답자의 정치적 포지션에 관련된 경우, 응답자의 디테일한 사생활을 건드리는 경우, 여하튼 다양한 이유로 인해 정보를 얻긴 얻어야 하는데 응답자에게는 실례가 되는 질문이 존재할 수 있다. 이런 질문을 굳이 해야만 한다면, 이때 응답자의 심리적 저항을 줄이기 위해 주로 쓰이는 것이 바로 간접질문법이다. 사회적 약자들에 대해 보이는 태도를 측정하기 위한 국가 및 학계의 연구를 통해 20세기 중엽에 급속히 발전한 방법론이다.
- 투사법(projective method): 본래는 정신분석학에서 기원했으며, 로르샤흐 검사와 주제통각검사, 집-나무-사람 검사, 문장완성검사는 현대에도 살아남아서 쓰이고 있다. 물론 조사방법론 분야에서는 모호하고 비조직화된 자극을 제시하여 그에 대한 반응을 해석한다는 아이디어 정도만 차용하고 있다. 이를테면 연인을 사랑하는 응답자는 자기 연인이 이성과 함께 벤치에 앉아있는 모호한 장면 하나만 봐도 눈이 뒤집힐 수 있는데, 이런 반응을 보고 그 사람이 연인을 사랑하고 있음을 포착할 수 있다면, 동일한 논리를 사회조사 영역에서도 쓸 수 있지 않겠냐는 것. 그러나 이에 대해서는 결국 너무 주관적이라는 비판이 거의 백 년 가까이 제기되고 있는 실정이며, 객관적 평가기준이 있다 하더라도 평가자의 장기간의 숙련을 요한다. 조사방법론에서 투사법을 분류할 경우에는 구성(construction), 연상(association), 완성(completion), 표현(expression)으로 나누는 경우가 많다.
- 오류선택법(error-choice method): 질문 하나에 다수의 보기를 배치하되, 그 어떤 보기에도 사실관계에 맞는 '팩트' 는 담지 않은 상태로 응답자의 응답 경향을 확인하는 방법이다. 예컨대 "사회적 기업에 취직한 장애인의 근로생산성은 비장애인의 그것에 비해 어느 정도일 것 같습니까?" 를 질문했는데, 실제 '팩트' 는 70%라고 한다면, 보기에는 40%, 60%, 80%, 100%의 사지선다를 구성할 수 있다. 여기서 숫자를 낮게 부를수록 장애인에 대한 부정적 인상이 강하고, 높게 부를수록 긍정적 인상이 강할 것이라고 추정한다. 그러나 이러한 응답 경향을 해석하는 게 항상 쉽지만은 않다. 실제보다 높거나 낮게 부르는 것이 꼭 좋거나 나쁨을 의미하진 않기 때문이다.[32]
- 정보검사법(information test): 대중적인 수준에서는 가장 직관적으로 이해할 수 있는 방법으로, 무엇에 관심이 많다는 것은 곧 호감의 신호라고 전제하여 개인이 갖고 있는 지식의 총량을 확인하는 방법이다. 좀 저속하지만 "아니 스님, 두부로 음행을 하는 것에 대해 어째서 그렇게 잘 아십니까?" 같은 사례를 든다면 이해가 빠를지도... 만일 AV에 대한 호감도를 측정하고자 할 때, AV 자체가 주류 성관념에 따르면 대놓고 애호를 밝히기는 힘든 만큼, 그 대신에 최대한 많은 AV 배우 이름들을 아는 만큼 적어보라고 요청할 수 있다. 목록이 길어진다면, 그 사람은 그만큼 AV에 대해서 많은 호감을 갖고 있다고 추론할 수 있는 것. 물론 이 경우에도 목록을 아예 만들지 못한 사람에 대해서 '아예 몰라서' 못 만든 건지, '싫기 때문에' 관심을 안 가진 건지 해석하기가 어렵다는 문제는 있다.
- 토의완성법(argument completion): 국내에는 번역이 좀 이상하게 되었는데, 여기서는 '토의' 가 아니라 '특정 입장을 내세우는 문장'(argument)을 완성하는 방식의 검사법이다. 이것이 일반적인 문장완성검사와 다른 점이 있다면, 평범한 문장이 비어있는 것이 아니라, 개인의 특정한 태도를 암시하는 형태의 문장이 비어있다는 것. 예를 들어, "요즘 일본에 다녀오는 사람들은 ~이다" 의 문장을 채워서 일본에 대한 호불호를 판단하거나, "여성들과 대화를 나눌 때 나는 ~를 느낀다" 의 문장을 채워서 여성에 대한 태도를 확인할 수 있다. 이러한 문장을 깊이 생각하지 않고 빠르게 채우도록 요청한다면 그 사람의 속마음이 어느 정도 보일 거라고 기대되지만, 잘 쓰이지는 않는다. 논리적으로 위의 투사법과 밀접한 관련성이 있다.
- 연상기법(association technique): 어떤 표적 자극을 응답자에게 가했을 때, 그 응답자가 제일 먼저 떠올린 관념이나 반응한 방식을 기준으로 그 사람의 속마음을 가늠하는 방법이다. 예컨대 당적을 자주 옮기는 어떤 정치인에 대한 호감도를 연상기법으로 확인할 때, '소신' 단어가 제일 먼저 떠오른 사람은 그 정치인에게 호감을 갖고 있을 것이며, 마찬가지로 '마이웨이' 단어는 중립적, '철새' 단어는 불호를 드러낸다는 해석이 가능하다. 사회심리학을 위시한 현대 사회과학계의 태도 측정은 거의 모두 이 방법을 사용한다. 특히 1998년에 개발된 암묵적 연합 검사(IAT; implicit-association test)는 인간이 겉으로 치장하는 태도 이면에 진짜 속마음으로서 암묵적 태도(implicit attitude)가 따로 존재한다고 전제하며, 흑인을 싫어하는 사람들은 흑인과 긍정적 단어를 함께 묶는 속도는 느려지고, 흑인과 부정적 단어를 함께 묶는 속도는 빨라질 것이라고 예상한다. 그래서 IAT를 사용하는 사회과학자들은 연구할 때 밀리초 단위로 반응속도를 재는 IAT용 컴퓨터 프로그램을 동원한다.
2.6. 질문지 작성의 예시: 나무위키[편집]
이하는 나무위키를 주제로 가상의 질문지 작성 사례를 구상한 것이다. 각각의 각주들은 어떤 질문지 작성기법이 쓰였는지 보여주고 있다. 실제 링크에 구현한 사례나[33] 응답 결과도 등장한다.
(이하는 모바일 환경이나 일부 모니터에서는 제대로 보이지 않을 수 있다.)
물론 이 예시는 상당히 작위적이고 어색해 보일 수도 있다. 그 이유는 이 설문지가 (당연하게도) 사전조사를 거치지 않은 것이기 때문이다. 질문지를 작성했을 때 본격적인 자료수집에 앞서서 사전조사를 거쳐야 하는 이유가 바로 이것이다. 사실 이 예시에 소개되지 않은 것들도 있는데, 한 예로 솔로몬 제도 운운하는 등의 반응세트 측정 문항은 이 정도 규모의 설문지에서는 쓰일 일이 없다.
이 조사를 통해 논문을 쓴다면 측정 방법에 대한 신뢰도와 타당도는 다음과 같은 형식으로 기술된다.
본 연구는 나무위키 이용자 총 xxx명을 연구대상으로 하여 질문지법을 통해 조사하였다. 조사대상자의 일반적 사항으로는 성별, 이용연수, 이용자가 생각하는 나무위키의 장점, 주로 기여하는 콘텐츠 등 4개 항목을 조사하였다. 나무위키 이용자들의 토론 관련 특성을 알아보기 위하여 a, b, c, 토론 탭을 이용하지 않는 이유, e 등 5개 항목...
2.7. 기타[편집]
모바일 게임 등에서 설문조사에 참여하면 게임 아이템을 준다는 경우가 있다.
구글 드라이브나 네이버 클라우드 등의 웹 오피스들에서도 지원하는 기능이다. 직접 만들면 주소가 생기고, 참여자가 주소로 찾아와서 답변하여 집계가 되는 방식이다.
2.8. 관련 문서[편집]
2.9. 둘러보기[편집]
이 문서의 내용 중 전체 또는 일부는 2023-12-18 04:56:46에 나무위키 질문지법 문서에서 가져왔습니다.[1] 흔히 10회 정도의 세션에 수만~수십만 원 정도 깨지는 경우가 많다. 공짜를 강조한다는 건 이쪽에게 뭔가 다른 의도가 있다.[2] 단 2010년대 중반 들어서는 연세대학교 등에서 신촌, 홍대 등지의 행인들을 대상으로 종종 현장연구를 수행하기도 한다.[3] 일반적으로 학계에서는 통계적 가공에 따라서 무선적으로 표집된 단순무선추출(SRS)을 통해 대표성을 보장받는다. 그러나 포교꾼들에게 여러분이 걸려든 이유는만만해 보여서일 가능성이 높다.[4] 이 경우 "교수님이 이 연구가 대외적으로 알려지는 것을 꺼리신다" 는 애드립이 붙는다. 세상에 자기 연구 참가자를 외부의 제3자인 마냥 취급하는 연구는 없다. 무슨 매드 사이언티스트의 비밀 실험도 아니고 연구자 입장에서는 이 연구를 바탕으로 자기 이름을 알리고 성과를 내야 지위가 높아지는데 대외적으로 알리는 걸 꺼릴 리가. 물론 정부나 기업에서 의뢰하는 연구 중에는 극비리에 수행하는 것도 있긴 하지만 그걸 길 가는 사람 붙잡고 연구하진 않는다.[5] 예외적으로 심리학개론 같은 수업 중에 들어와서 설문지 쫙 뿌리고 다시 쫙 걷어가는 식의 연구는 사례비가 따로 나오지 않는다. 대신 이런 경우는 수업 시작 때 미리 강사 혹은 교수가 이런 연구에 참여하는 것에 관련된 공지를 하며, 참여 시 가산점을 준다는 점을 미리 약속한다. 우리나라의 경우 이게 이상하게 왜곡되어 참여 자체가 수업의 일부인 것마냥 취급되기도 한다.[6] 사이비 종교 역시 설문조사를 하면서 기프티콘을 돌린다고 하는 경우가 많아, 사용하기 힘들다.[7] 표본대표성 같은 걸 생각한다면 나갈 수도 있겠지만, 학부생 레벨에서 그 정도까지 요구하는 경우는 극히 드물다.[8] 인터넷에 사용방법이 많이 소개되어 있는 데다, 만드는 과정도 크게 어렵지 않고 직관적이다. 다만 조사대상을 대면할 수가 없어서 양질의 정보를 얻기 어려울 수도 있다.[9] 반면 몇몇 분야들, 특히 심리검사와 같은 주제에서는 인위적으로 더미 데이터를 만들기 위해 의미없는 문항을 규칙적으로 삽입하기도 한다. 한 예를 들면, 총 40개의 질문들 속에서 5n+2 에 해당하는 문항들(2, 7, 12, 17, 22, ..., 37)은 전혀 상관없는 질문을 하게 할 수 있다. 이런 데이터의 존재의의는 그 질문지가 무엇을 의도하고 있는지 응답자가 간파하지 못하게 하기 위함이다.[10] 응답자의 성생활에 대해 조사하려는 연구자가 기명 질문지를 만들었다면, 응답자가 자신의 이름을 기입하게 하는 것 자체가 연구와는 전혀 무관할뿐더러 공연히 응답 결과를 왜곡시킬 수 있다.[11] 질문지에서 "귀하는 현 정부가 추진중에 있는 FTA에 대해서 어떤 입장을 갖고 계십니까?"와, "귀하는 현 정부가 야당과 국민의 반발을 무릅쓰고 강행하고 있는 FTA의 망국적인 위험성에 대해서 어떤 입장을 갖고 계십니까?"는 분명히 서로 다른 것이다. #관련기사 극단적인 사례로는 이런 경우도 가능하다.[12] 한 연구에 따르면 질문을 제시하는 순서도 응답에 영향을 줄 수 있다. 그 연구에서는 개인의 행복도와 데이트 횟수를 질문했는데, 데이트 횟수를 먼저 물어본 경우 사람들이 '아, 나는 데이트를 많이 하니까 행복하구나.'처럼 데이트 횟수를 행복도와 관련지어 생각해서 데이트 횟수와 행복도가 상관이 있는 것처럼 나타났다.[13] Strack, F., Martin, L. L., & Schwarz, N. (1988). Priming and communication: Social determinants of information use in judgments of life satisfaction. European journal of social psychology, 18(5), 429-442.[14] "가끔", "종종", "자주", "빈번히" 와 같은 빈도부사는 서열적인 관계는 성립하겠지만 사람마다 각각의 단어의 의미를 다르게 받아들일 가능성이 있다. 예를 들면, 어디까지가 "운동을 가끔 한다" 이고, 어디부터가 "운동을 자주 한다" 일까? 여기에 정답은 없다. 즉, 이런 류의 질문에서는 서열 수준보다는 등간 수준이나 비율 수준을 활용함이 바람직하다. 측정 항목도 참고.[15] 물론 학계 관련 인물들이나 전문가들을 상대로 실시하는 질문지라면, 전문 용어의 사용은 물론이고 약어나 외국어 단어의 사용도 가능할 것이다. 어떤 경우에든 중요한 것은, 예상 응답자의 수준에 맞게 질문 문항을 만드는 것이다.[16] Chen, Lee, & Stevenson, 1995.[17] 이 때문에 과거 많은 사회학자들과 심리학자들이 일본인들을 대상으로 한 연구에서 꽤나 애먹었다. 항상 물에 물 탄 것 같은 애매한 반응으로 일관되게 나오는 바람에 환장하겠다는 것. 물론 우리나라의 응답자들도 한때 그 못지않게 심한 중간 반응을 보였지만, 시간이 지나며 점차 극단반응 쪽으로 변화해 가고 있는 추세이고 오히려 외국인 유학생들이 중간값을 많이 고르는 경향을 보인다. 이 경우 질문지의 언어를 얼마나 독해했는지의 여부가 영향을 끼쳤을 수 있다.[18] 반대로 중간 반응을 막기 위해서는, 리커트 척도와 같은 몇몇 척도에서 "보통" 의 값 자체를 아예 빼 버리는 것이 있다.[19] 예를 들어 빨랫감이나 설거지가 밀린 경험이 있다거나, 누군가를 증오해 본 경험이 있다거나, 뜬소문에 부화뇌동한 적이 있다거나 하는 문항이 배치될 수 있다. 어지간히 특이한 사람이 아닌 이상, 이런 경험은 살면서 한 번 이상은 겪어보게 되는 것들이다. 응답자가 이것을 부인하여 해당 척도에서 높은 점수를 얻으면 연구자는 사회적 선망 편향이 관여했다는 결론을 얻고, 해당 데이터의 가치를 자신 있게 절하할 수 있게 된다.[20] 이 경우에는 "귀하는 오세아니아의 솔로몬 제도 출신이십니까?" 와 같은 문항을 삽입하는데, 이런 문항에도 YES로 응답할 경우 묵인 반응이 관여했을 가능성이 증가한다. 물론, 그런데 그것이 실제로 일어났습니다 같은 가능성도 있으니 희귀한 반응 척도는 다양한 희귀 질문들을 준비해놓고 있으며, 어느 하나에 우연히 YES 가 나온다고 해도 큰 문제가 되진 않는다.[21] 개방형 질문을 많이 배치하면 당장 응답자의 손목이 아플 뿐만 아니라 시간도 오래 걸리게 된다. 일부 응답자들은 한없이 길게 뭔가를 끄적이고 있는 모습을 보일 수도 있다.[22] 예를 들어 공공보건 관련 설문을 하면서 "귀하의 몸무게는 몇 kg입니까?" 라고 묻는다면 적잖은 20대 여성들은 당황할 것이다. 이것을 개방형 질문으로 묻게 되면 응답자는 자신의 몸무게를 고스란히 적어 낼 수밖에 없지만, 만일 10kg 단위로 폐쇄형 범주를 구성해서 41~50, 51~60, 61~70 이런 식으로 값을 정한다면 응답에 한결 수월함을 느낄 것이다. 실제로 민감한 주제에 대해서 이렇게 약간의 연막을 치는 테크닉은 많은 질문지들에서 활용되고 있다.[23] 물론 이것은 연구자 역량에 따라 최소화할 수 있는 부분이다.[24] 예를 들어 앞 문항에서 "귀하는 현재 흡연 중이시거나, 한 번이라도 과거에 흡연하신 적이 있습니까?" 를 물었다면, 여기에 그렇다고 응답한 응답자를 따로 떼어내어 "귀하께서 선호하시는 브랜드에 대해 세 가지만 적어주시기 바랍니다." 라고 요청할 수 있을 것이다.[25] 예컨대 "귀하는 우리 사회를 얼마나 신뢰하십니까?" 같은 질문은 사람에 따라 제각각으로 해석될 수 있는 질문이다.[26] 예컨대 외국인 유학생들이나 결혼이주여성들을 대상으로 하는 조사는 내국인 조사보다 질문의 난이도가 낮아야 한다. 특히 어려운 한자어가 포함되거나 문장구조가 복잡한 질문은 없는지 점검할 필요가 있다.[27] 예컨대 "귀하의 정치적 성향은 진보와 보수 중 어느 쪽에 속하십니까?" 같은 질문은 종종 방어적인 반응을 일으키기도 한다. 현장에서는 마치 그런 질문에 응답함으로써 무슨 불이익이라도 받는 양 공란으로 넘기거나, 왜 이런 걸 묻냐는 메모를 적어서 제출하는 사람들도 실제로 나온다. 이런 질문은 불필요하다면 제거하고, 필요하다면 조사의 필요성과 조사자의 신뢰성을 강조하는 안내 문구를 추가하든지 혹은 하술될 간접질문법을 활용해야 한다.[28] 이런 '기타' 류의 보기에 응답하는 데에는 몇 가지 이유가 있다. ① 질문이 너무 어려워서 이해하지 못했다. (타당도 및 편의성 부족) ② 질문은 이해했으나 원하는 답안이 질문에 존재하지 않는다. (포괄성 부족) ③ 질문은 이해했으나 솔직한 응답에 부담감을 느낀다. (편의성 부족)[29] 실제로 학교밖 청소년 보호시설에서 시행하는 설문조사를 예로 들면, 응답자 청소년들이 '보통이다' 에다 세로로 선을 쭉 그어놓고서 엎어져 자는 경우가 상당히 많다.[30] 이 경우 결혼을 하지 않은 솔로에게는 영 불편한 질문이다. 아닌 경우에도 마찬가지.[31] 말고도 월급, 질병, 가족관계, 재산 조사 등이 될 수 있다.[32] 예컨대 서울시장의 연봉을 실제보다 높게 추정하는 보기에 응답했다고 해도, 그것은 "이렇게나 많이 애쓰시는데 이만큼 받으시겠지" 같은 논리일 수도 있지만, "하는 건 아무것도 없으면서 이렇게나 받아 처먹을 거야" 같은 논리일 수도 있다. 한 교육심리학 문헌에서는 의대생들이 대학 입학에서 인턴을 마치기까지 시간이 얼마나 걸릴 것 같은지를 질문하여 의사에 대한 존중을 측정했는데, 사실 시간이 오래 걸릴 거라는 응답은 "의사들은 그만큼 전문적이니까" 따위의 긍정적 의도도 깔릴 수 있지만, "요즘 의사들은 너무 멍청해서" 따위의 부정적 의도도 깔릴 수 있는 응답이다.[33] 질문지를 저작 도구를 사용하여 작성하는 경우 툴에 따라 일부 제약이 있을 수 있다. 본 구현은 나우앤서베이를 사용하였다.[34] 협조 요청 단락이다. 오프라인에서는 한 가지 더 추가된다. 문지 작성에 대한 동의가 반드시 친필 서명으로 포함되어야 한다.[35] 식별 데이터 단락이다.[36] 지시문 단락이다.[37] 질문 문항 단락이다. 젠더학 관련 문제 때문에 성(sex)이라고 질문하거나 남, 녀, 인터섹스에 대해서만 물으면 성적 지향성을 배려하지 못했다는 종류의 항의가 들어올 수 있다. 그래서 성별이나 젠더가 딱히 중요한 연구가 아니라면 '남, 녀, 밝히고 싶지 않음'으로 나누는 경우가 늘어나고 있다.[38] 정확하게 기억하지 못하는 이용자들에게 배려했다.[39] 단일선택 폐쇄형 질문이다.[40] 나무위키에 장점이 존재하지 않는다고 생각하는 응답자들을 배려함으로써 편향성을 방지하는 값이다.[41] 다중선택 폐쇄형 질문이다.[42] 각주를 통해 부연설명을 하고 있다.[43] 의미 차별화 척도를 사용하고 있다.[44] 필터링을 사용하고 있다.[45] 제한된 개방형 질문이다.[46] 무제한 개방형 질문이다.[47] 인구학적 문항의 단락이지만, 전형적인 형태는 아니다. 그래도 개인정보나 사적 범위에 있는 정보들을 이렇게 최후반부에 떼어서 배치하는 건 일반적이다.