설문 문항 준비 팁 : 선행 논문에서 어떤 문항을 가져오나?

"설문"은 논문에서 가장 애용되는 조사방법론입니다.

누구가 쉽게 시작할 수 있고 거기서 어떤 현상을 도출할 수 있다는 장점이 있기 때문일 겁니다.

하지만, 일부는 무작정 설문 문항을 작성하고 설문 조사를 하는 우를 범하는 경우가 있습니다. 그래서, 관련 주제의 논문을 읽으면서 본인에게 도움이 될만한 문항을 수집하고 조금 수정하여 자기만의 설문으로 재탄생시킵니다.

이게 뭐 그리 잘못됐다는 건 아닙니다. 하지만, 조금만 신경을 쓰면 더 좋은 설문 문항을 만들 수 있습니다.

선행 연구들에서 어떤 설문 문항을 벤치마킹해야 할까요?

아래 2가지 원칙을 잘 활용하시면 좋은 설문 문항을 만들 수 있습니다.

원칙1.  단순 빈도나 비율을 분석한 문항은 버린다.
원칙2.  통계적으로 유의미한 설문 문항을 가져온다.

<원칙1.> 설문 결과 분석에서 ①번이 15명(OO%)  ②번이 45명(OO%)..... 응답하였는데 그중 ④번이 78명(OO%)으로 가장 많은 응답하였다  이런 식의 문항은 전혀 도움이 되지 않습니다. 통계적 해석이 없기 때문입니다. 통계적 해석이 없다는 것은 이 결과가 우연인지 개연성이 있는 것인지 논문을 쓴 사람이 모른다는 의미입니다.

<원칙2.> 통계적으로 유의미한지는 'p값'이 표시된 결과를 보면 알 수 있습니다. 논문에 따라서 'p-value' 또는 '유의확률'이라고 쓰기도 합니다. 다 같은 의미입니다.

 유의미 여부는 p값으로 알 수 있다

'p값'이 무엇인지 몰라도 됩니다. 빨간색 박스 안의 p값이 0.05보다 작아서 유의미하다고 친절하게 설명이 되어 있습니다. 이런 논문 통계가 가장 이상적이고 정상적인 결과 해석입니다.

유의미하다는 것은 연구자가 설정한 가설을 뒷받침할 합리적 근거가 나왔다는 의미이므로 이런 문항을 활용하여 본인의 연구에 사용하면 새로운 논문도 유의미한 결과가 나올 확률이 높습니다.

참고로 논문에서 위의 p값은 숫자 오른쪽 위에 **를 붙여서 표시하기도 하므로 참고하세요. 이건 앞으로 자주 이야기할 겁니다. **은 기준값(유의수준)이 0.05라는 뜻입니다. 기준값은 0.1, 0.05, 0.01 세 가지가 있는데 일반적으로 0.05를 많이 씁니다. 통계표의 하단에 그림의 예처럼 표시를 해 줍니다.

p값을 표시하는 방법

0.03*  (p값<0.1)
0.03**  (p값<0.05)
0.03***  (p값<0.01)

0.1 또는 0.05를 기준값을 할 때 p값이 작기 때문에 0.03*과 0.03**은 유의미하다고 할 수 있습니다. 그러나 0.01을 기준으로 할 때는 p값이 크므로 유의미하다고 판단할 수 없습니다.

좀 내용이 복잡해 졌네요. 노란색 음영 문장만 기억하시면 됩니다.

통계적으로 유의미한 분석 결과가 있는 설문 문항만 따로 발췌하라!