[사회복지조사론 4주] 신뢰도와 타당도
1. 신뢰도
1) 신뢰도의 의미
① 측정 도구가 측정대상을 일관성 있게 측정하는 정도임
② 동일한 절차에 따라 연구하면 반드시 동일한 결과가 나와야 신뢰할 수 있는 자료가 됨
2) 신뢰도의 차원
① 안정성 신뢰도(Stability Reliability)
- 측정도구를 동일대상에게 서로 다른 시점에 적용하여도 동일한 결과를 얻는 정도
② 동등성 신뢰도(Equivalence Reliability)
- 하나의 개념을 복수의 문항(지표)으로 측정하더라도 상이한 문항들 사이에 일관성 있는 결과를 나타내는 정도
③ 코드간 신뢰도(Inter-coder Reliability)
- 복수의 관찰자와 평정자가 같은 정보를 측정할 때 그 결과가 일치하는 정도
④ 대표성 신뢰도(representative Reliability)
- 측정 지표를 상이한 하위집단에 적용할 때 동일한 결과를 나타내는 정도
2. 신뢰도의 측정 방법
1) 검사 - 재검사법
① 신뢰도의 개념에 가장 근접한 방식으로 신뢰도를 평가하는 방법
② 동일 대상에 대해 두 번 측정한 측정값 사이의 상관계수가 높을수록 신뢰도가 높다고 판단함
③ 장점 : 적용이 간편함
④ 단점 : 검사 사이에 외재변수 등의 영향으로 대상의 속성이 실제로 변할 수 있음
2) 대안법
① 검사 - 재검사법과 측정수단 · 관찰방법은 비슷함
② 서로 다른 두 가지 형태의 측정도구로 동일한 대상을 차례로 측정하고 그 점수들 사이의
상관관계를 통해 신뢰도를 검증하는 방법
3) 내적 일관성 신뢰도법
① 반분법
- 측정도구를 반으로 나눠 같은 시간에 각각 독립된 두 개의 척도로 사용함으로써 신뢰도를 측정하는 방법
- 장점 : 반분된 측정도구로 동시에 측정이 가능하기 때문에 검사 - 재검사 방법의 단점을 보완할 수 있음
- 단점 : 반으로 나누어진 각각의 측정문항들을 완전히 동등하게 만들기 어려움
② 크론바하의 알파계수
- 문항들을 반으로 나누는 방식에 따라 신뢰도 계수가 달라지는 반분법의 문제를 해결하기 위함
- 내적 일관성 신뢰도계수를 산정하는 가장 일반적 방법
- 0에서 1까지의 값을 가짐 (1에 가까울수록 신뢰도가 높음)
- 문항의 수가 증가할수록 신뢰도계수가 커짐
- 장점 : 단일한 신뢰도계수를 산출할 수 있음
3. 타당도의 개념
1) 타당도
① ‘측정하고자 하는 개념을 얼마나 정확히 측정하였는가’를 말함
② 측정한 값과 대상의 진정한 값과의 일치 정도
4. 타당도의 측정 방법
1) 내용타당도(Content Validity)
① 측정도구에 포함된 설문문항들이나 관찰 내용들이 측정하려고 하는 속성 / 개념을
얼마나 대표성 있게 포함하고 있는가에 대해 논리적으로 판단하는 것
② 해당 분야의 전문가들이 측정도구가 목적에 필요한 내용을 모두 포함하고 있는가와
관련 없는 내용이 포함된 것이 없는지 등에 대해서 검토한 결과에 기초함
2) 기준타당도(Criterion Validity)
① 예측타당도(Predictive Validity)
- 측정도구를 이용하여 측정한 결과가 미래의 사건 · 행위 · 태도 · 결과 등을 얼마나 잘 예측할 수
있는가를 통해서 타당도를 평가하는 방법
- 타당도를 확인하려면 예견된 사건이 일어나는지를 확인하기 위해 일정정도의 시간을 기다려야 함
② 동시타당도(Concurrent Validity)
- 타당도를 평가하고자 하는 측정도구로 측정한 값이 기준이 되는 다른 측정도구의 측정값
혹은 이미 존재하고 있는 측정도구와 비교함
- 측정도구의 측정값을 외적인 기준과 동시적인 시점에서 비교하여 타당도를 평가함
3) 구성타당도(Construct Validity)
① 수렴(집중)타당도(Convergent Validity)
- 동일한 개념 · 이론적으로 연관성이 높은 것으로 예상되는 개념들을 측정하는
서로 다른 측정지표의 측정결과 간의 상관관계가 높을 경우 수렴타당도가 높다고 볼 수 있음
② 판별타당도(Discriminant Validity)
- 서로 다른 개념을 측정하는 측정지표의 측정결과 간의 상관관계가 낮아야 함을 의미함
5. 신뢰도와 타당도의 관계
1) 신뢰도와 타당도의 관계
① 타당도가 높은 측정은 신뢰도도 높은 경향이 있음
② 신뢰도 : 일관성 있게 측정되는 정도
③ 타당도 : 측정하고자 하는 개념을 정확히 측정하는 정도
6. 신뢰도 제고 방법
1) 신뢰도 제고 방법
① 측정항목의 모호성을 줄이고 되도록 구체화하는 등 여러 가지 방법이 고려될 수 있음
② 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아님
③ 측정항목의 모호성을 줄이고 되도록 구체화해야 함
④ 응답자의 수준에 적합한 내용을 측정함
⑤ 신뢰도가 검증된 표준화 측정도구를 활용하는 것이 유리함
7. 타당도의 제고 방법
1) 논리적 타당화 (Logical Validation)
① 측정도구의 항목을 이론적으로 혹은 상식적으로 분석하여 타당도를 확보하는 방법
2) 전문가 의견법 (Jury Lpinion)
① 논리적 타당화의 한 방법
② 측정도구가 측정하고자 하는 문제에 관한 전문가로 생각되는 사람들이 논리적 판단에 근거하여
타당도를 확보하는 방법
3) 기지 집단법 (Known Group)
① 이미 그 특징을 알고 있는 집단에 측정 도구를 활용함
4) 독립기준법 (Independent Criterion)
① 어떠한 독립적인 기준에 입각하여 측정도구의 타당성을 검사하는 방법
② 측정대상에 독립적인 한 개의 기준이 존재하는 경우는 드묾
8. 측정의 오류
1) 측정의 오류
① 변수를 측정하는 과정에서 나타나는 오류
② 변수 사이의 관계의 강도를 과대평가하거나 과소평가하는 결과를 초래할 수 있음
③ 본질적으로 신뢰도와 타당도의 문제임
2) 체계적 오류
① 인구통계학적, 사회경제적 특성으로 인한 오류
② 개인적 성향으로 인한 오류
③ 측정하려는 개념이 태도인지 행동인지 모호할 때 발생하는 오류
④ 분석단위 해석의 오류
⑤ 편향에 따른 오류 : 고정반응에 의한 편향, 사회적 적절성의 편향, 문화적 차이에 의한 편향,
측정자 또는 도구에 의한 편향, 응답자 편향
3) 비체계적 오류(무작위적 오류)
① 측정자로 인한 오류
② 측정대상자로 인한 오류
③ 측정상황 요인으로 인한 오류
④ 측정도구로 인한 오류
