본문 바로가기

본문

출제관련 용어

국민이 신뢰하고 감동하는 시험평가기관

문항(Item)


시험에 쓰기 위해 마련한 하나의 질문 항목으로, 개발하여 사용한 적이 없이 문항은행에 저장한 것을 의미함

※ 문항은행에서 선정하여 검사에 사용한 문항은 문제(Test item)로 정의함




문제(Test item)


문항은행에 저장된 문항 중에서 시험에 출제하기 위하여 선정한 문항을 문제지에 인쇄한 것

※ 기출문제(used item) : 이미 출제한 문제




문항개발(Item writing / Item development)


문항개발위원이 지정된 문항개발기준에 의하여 문항을 작성하는 일

※ 문항개발은 문항작성 및 심사의 일련 과정을 모두 포함하는 용어로 사용되기도 함




문항심사(Item review)


문항개발위원이 개발한 문항을 관련 전문가들이 모여서 출제 가능한 문항으로 완성시키는 작업




문항정리(Item screening)


문항개발 및 심사의 단계를 거친 문항을 관련전공분야 전문가들이 일정한 기준에 의해 그대로 보관할 것과 수정하여 보관 할 것, 폐기할 것 등으로 선별하는 일



문항은행(Item bank / Item pool)


문항개발, 심사, 정리의 과정을 거쳐 완성한 문항을 문항특성 및 문항관련정보와 함께 컴퓨터에 기록하여 체계적으로 분류, 저장하는 곳(* 유사어 : 문제은행)




출제(test construction)


시험을 시행하기 위하여 문항은행에 보관중인 문항들 중에서 문항을 선정하고, 시험 문제지를 구성하는 과정

*유사어 : 검사제작




출제기준(standard of test construction)

시험 문제를 출제하는 기준. 시험과목 및 대항목, 분야(또는 영역), 시험문제수, 배점 등으로 구성함

단일정답형(A type, One best answer type)


문항줄기에서 묻는 내용에 따라 제시된 다섯가지의 답가지 중 가장 옳은 답을 하나 고르는 문항


※ 각 문제에서 요구하는 가장 적합한 답 1개만 고르시오( 머리글)


예 ) 복부수술 되어 무기폐를 일으키게 하는 원인으로 가장 흔한 것은?( 문항줄기 )

1) 세기관지경련

2) 기관지내막의 막힘

3) 기흉

4) 폐색전

5) 호흡률의 저하




조합형(K type, Multiple true-false type)


문항줄기에 해당되는 물음의 글이 있고 그 아래 4개 혹은 그 이상의 답가지가 제시되고 이 중 옳은 답가지로 조합된 것 하나를 보기 중에서 고르는 형식의 문항


예) X염색체와 관련된 열성 짊병 상태로 옳은 것은?

가. A형 혈우병(Hemophilia A)

나. 낭포성 섬유증(Cystic fibrosis)

다. 뒤시엔느 근위축증(Duchennes muscular atrophy)

라. 테이-삭스병(Tay-Sachs disease)

1) 가, 나, 다  2) 가, 다  3) 나, 라  4) 라  5) 가, 나, 다, 라




확장결합형(R type, Extended matching set type)


객관식으로 구성된 선택형 시험문항의 한 종류로 네 부분, 즉, 1) 주제(theme), 2) 머리글(lead-in), 3) 답가지(options) 리스트, 그리고 4) 문항줄기(stems)로 구성되며 답가지는 4개 내지는 많게는 26개까지 허용된다. A형에서는 다섯개의 답가지가 그 문항에서만 사용되는데 반하여 R형에서는 제시되는 일련의 문항에서 공동으로 사용되는 점이 다르다.


예) 주제: 피로

각 문제(문제1~2)에서 가능성이 큰 진단명을 답가지(1~14) 중에서 지시하는 수만큼 고르시오.

1. 급성백혈병

2. 만성질환의 빈혈

3. 울혈성심부전

4. 우울증

5. 엡스타인 바 바이러스

6. 엽산결핍증

7. 포도당 6-인산탈수효소 결핍증

8. 유전성구상적혈구증

9. 갑상선기능저하증

10. 철결핍증

11. 라임병

12. 미세혈관병성 용혈성 빈혈

13. 미만성 결핵

14. 비타민 B12 결핍증


1. 열아홉살난 여성이 지난 2주 동안 피로, 열, 인두통을 호소하였다. 열은 38.3도였고, 목 림프절이 만져지고 비장이 커져 있었다. 혈액 백혈구 수는 5,000/mm3(림프구 80%, 대부분 비전형적 림프구), 혈청 아스파테이트 아미노전이효소(AST)는 200 U/L이었다. 그러나 혈청 빌리루빈과 알칼리성 인산분해효소는 정상이었다. (한 가지)


2. 열다섯살 난 소녀가 지난 2주 동안 쉽게 멍이 들고 피로가 심하며 등에 통증이 있었다고 하였다. 척추와 대퇴골 부위가 창백하고 압통이 있었으며 멍이 여러 곳에서 광범위하게 관찰되었다. 혈액 혈색소는 7.0 g/dL, 백혈구 수는 2,000/mm3, 혈소판 수는 15,000/mm3 이었다. (한 가지)

암기형(Recall type)


단순한 기억력, 즉 암기하고 있던 학습내용을 기억해 냄으로써 답을 할 수 있는 수준의 문항, 인식형(recognition type)도 비슷하나 어떤 내용이 주어진 상태에서 반응하게 하는 형식. 사실, 용어, 원리, 원칙, 절차, 순서, 유형, 분류, 방법, 개념, 학설, 이론 등의 전문지식에 대한 물음




해석형(Interpretation type)


얻은 지식을 완전히 이해하여 그것을 근거로 새로운 현상의 상황에 대처할 수 있는 수준의 문항, 어떤 사실을 기억하되 그 이유를 알고 해석을 내릴 줄 알며 이해한 내용을 다른 형태로 바꾸어 표현하는 능력이 요구되는 문항으로 주로 임상정보, 자료를 다루는 과정의 하나로 분류됨. 병력, 방사선 영상, 심전도, 검사성적 등의 자료를 제시하고 해석, 구별, 판독, 풀이에 대한 물음




해결형(Problem-solving type)


이해하고 있는 지식을 응용하여 구체적인 문제해결을 요구하는 문항으로 질문의 정보를 해석할 뿐만 아니라 각 선택지가 갖고 있는 의미를 해석할 수 있는 능력이 요구되는 문항, 주로 임상자료를 활용하여 진단, 치료, 구성, 판정을 하는 과정으로 분류됨. 기억력, 이해력, 응용력, 분석력, 합성력, 그리고 단계마다의 판단력과 결정력을 모두 종합적으로 포함하는 가장 포괄적인 물음

문항분석( Item analysis )


검사의 양호도를 평가하기 위해서 검사에 포함되어 있는 문항들 각각의 특성을 분석하는 작업. 내용타당도를 고려한 질적분석과 문항난이도, 변별도, 답지분석 등을 위한 양적분석으로 구분될 수 있음.




문항난이도( Item difficulty index )


국시원에서는 문항의 쉽고 어려움을 나타내는 지표로 정답률을 사용하고 있다.

응시자 전원이 맞춘 경우 정답률은 100이 되고 응시자 중 아무도 맞추지 못한 경우, 정답률은 0이 된다. 따라서 정답률의 수치가 100에 가까울수록 쉬운 문항이고 0에 가까울수록 어려운 문항이다.


시험의 목적이나 대상에 따라 난이도를 적절히 고려하여야 하는데 일반적으로 시험을 구성할 때는 10 ~ 90 사이의 문항을 고루 담는 것이 바람직하다(문항전체로 볼 때는 모든 문제가 일정 범위의 난이도를 가지는 것보다는 높은 난이도와 낮은 난이도의 문제가 적당히 섞여 있는 것이 전체적인 분별도를 유지하는데 도움이 됨). 그러나 시험의 목적이나 대상에 따라서는 난이도가 낮은 문항으로 구성하는 수도 있고 반대로 난이도가 높은 문항만으로 구성하는 경우도 있다. 그러나 일반적으로 50 ~ 60을 중심으로 정상분포곡선을 그릴 수 있는 분포가 바람직하다.




문항변별도(Item discrimination index)


능력에 따라 응시자를 변별하는 정도를 나타내는 지수로 어떤 문항에 답을 맞힌 응시자의 점수가 높고, 문항에 답이 틀린 응시자의 점수가 낮다면, 이 문항은 응시자를 변별하는 기능을 가진 문항이라 할 수 있다. 문항의 변별도 지수는 문항점수와 응시자의 총점의 상관계수에 의해 추정되며 1에 가까울수록 높은 변별도를 보이는 문항이다. 문항변별도의 추정공식은 다음과 같다.


문항변별도를 추정하는 또다른 방법은 응시자 집단을 상위능력집단과 하위능력집단으로 구분하여 상위능력집단의 정답비율과 하위능력집단의 정답비율의 차이를 추정하는 것이다(Johnson, 1951). 집단을 구분할 때, 준거점수에 의하지 않고 총 응시자 수에 근거하여 응시자 수가 같도록 집단을 구분하거나 상위 27%와 하위 27%를 규정한 후 문항변별도를 추정하기도 한다(Kelly, 1939).


국시원에서는 상위 27%와 하위 27%를 규정한 후 문항변별도를 추정하는 방법을 사용하여 '변별도'라 칭하고 있으며 1에 가까울수록 높은 변별력을 보이는 문항이라 할 수 있다. 국시원에서 변별도를 산출하는 공식은 다음과 같다.




이 식을 보면 상위집단의 정답자보다 하위집단의 정답자가 많은 경우에는 분별도 지수는 음수(-)가 나온다.

문항분별도 지수에 의하여 문항을 평가하는 절대적 기준은 없으나, 검사도구의 신뢰도와 관련하여 설정한 Ebel(1965)의 문항분별도 평가기준은 다음과 같다.


문항분별도 지수, 문항평가 테이블
문항분별도 지수 문항평가
0.40 이상 분별력이 높은 문항
0.30 ~ 0.39 분별력이 있는 문항
0.20 ~ 0.29 분별력이 낮은 문항
0.10 ~ 0.19 분별력이 매우 낮은 문항
0.10 미만 분별력이 없는 문항

* Ebel 문항분별도 평가기준




답지반응분석(multiple choice response analysis)


선택형 문항에서 각 문항에 대한 응답자의 반응빈도를 답지별로 나타낸 것으로 문항 분석을 할 때 오답의 효율성과 정답의 기능을 조사하기 위한 것이다.




신뢰도(reliability)

시험이 평가하고자 하는 것을 일관성 있게 평가하거나 오차 없이 정확하게 평가하고 있는 정도를 의미한다. 현재 가장 보편적으로 사용되는 신뢰도 추정방식은 Cronbach α 로, 내적 일관성을 측정하여 시험의 신뢰도를 추정하고 있다.


Cronbach α 계수는 1에 가까울수록 신뢰롭다고 할 수 있다. 국시원에서는 Cronbach α 계수로 신뢰도를 사용하고 있으며 이를 계산하는 공식은 다음과 같다.