안 좋은 설문 분석의 예(1) : 독립변수 부재

"불가피하게 논문에 대한 평가가 가미될 수 있으나 어디까지나 개인적 견해임을 밝혀 둡니다"

 

설문 분석의 사례에서 배울 것이 많아 타산지석의 기회가 될 것 같아 논문 일부를 인용합니다.

 

설문 분석 중 다음의 표를 보겠습니다.

 

‘한국어 문법 중에서 가장 어렵다고 생각하는 문법’에 대한 사전 실태 조사 의 결과로는 이유․원인을 나타내는 문법이 5명, 추측․생각을 나타내는 문법 이 2명, 완료를 나타내는 문법이 12명, 간접 인용이 13명, 피동, 사동이 43명, 기타 문법이 18명, 응답 없음이 10명으로 나타나, 각 4.9%, 1.9%, 11.7%, 12.6%, 41.7%, 17.5%, 9.7%로 나타났다. (<표35>에 대한 설명 단락)

• 표의 내용을 다시 풀어썼지 분석이 없습니다. 조사한 설문 수치에서 발견한 새로운 정보를 관찰하여 설명을 하여야 하는데 통계적 검정 절차를 거치지 않으면 사실 쓸 말도 없습니다.  
• 응답항목에서 선택하는 문법 영역이 서로 위계도 맞지 않고 왜 7개 중에 선택해야 하는지 논문 안에서 그 이유를 찾을 수 없습니다.(설문 문항은 연구 목적을 이루기 위한 도구로서 신중히 계획되어야 하는데... 여기서는 논문 자체의 구조나 논리성에 대해서는 거론하지 않겠습니다)
• <표35>의 결정적 문제는 분석 대상이 되는 독립변수(집단)이 없다는 것입니다. 설문 대상자는 외국인 학습자들로서 국적, 성별, 한국어 급수, 학습기간 등 다양한 변인을 가지고 있습니다. 가령, 집단을 국적으로 구분한다고 합시다. 국적의 차이는 언어권의 차이를 말하므로 서로 다른 언어 배경의 영향을 생각해 볼 수 있습니다.
• 따라서, 표에 국적별 열을 한 칸 더 추가하여 국적에 따라 어렵다고 느끼는 문법이 서로 상관이 있는지 독립적인지를 판단해야 합니다. 이때는 카이제곱 검정을 사용할 수 있습니다.