Ⅰ. 서 론
공군은 항공기라는 대표적인 첨단과학 무기체계로 주 임무인 항공작전을 수행하고 있다(Song et al., 2023). 첨단과학기술의 집합체로서 비약적으로 발전한 항공기 성능과 나날이 고도화되어 가고 있는 군의 작전환경을 고려해 볼 때 이상적인 조종적성을 가지고 있는 인원을 선발하는 문제는 매우 중요하다고 볼 수 있다(Kim et al., 2016).
항공기를 운영하다 보면 의도치 않은 사고가 발생하는 경우가 있고, 항공 사고는 인적․물적 손실과 함께 군의 전투력과 국방력을 저하시키는 결과로 이어진다(Song et al., 2023). 항공 사고에 관한 연구들에 따르면, 많은 항공 사고가 조종사의 안전하지 않은 행동에 의한 것으로 추정된다(Dismukes et al., 1999; Wiegmann & Shappel, 1999; Kim et al., 2012). 최근 20년간의 공군 항공 사고 통계를 10년 단위로 비교해 보면, 2000년에서 2009년 사이 97건, 2010년에서 2019년 사이 48건 발생으로 감소하고는 있지만, 여전히 항공사고는 발생하고 있다(ROKAF ASA, 2021). 또한 공군 사고 기록에 의하면 공군 중사고의 70% 이상이 인적 요인에 의한 사고로 밝혀져 공군 내부에서 일어나는 많은 항공 사고의 원인 역시 조종사의 오류 때문으로 추정되고 있다(Lee, 2023; Yoon, 2004). 항공 사고는 개인은 물론 조직과 사회까지 막대한 경제적, 심리적 손실을 발생시키며, 인명의 측면에서도 심각한 결과를 초래하기 때문에 비행에 적합한 조종사를 선발하는 것은 항공 안전에서 무엇보다 중요하다(Lee, 2017).
인적 오류에 의한 항공 사고를 최소화하는 효율적인 방법 중 하나는 적성검사를 통해 다양한 측면에서 조종사의 기술과 역량을 진단하고 선별하는 것이다(Damos, 2003). 이러한 노력은 1차 세계대전 중 미 육군 조종사 선발 시 최초로 시도되었으며(Yerkes, 1919), 2차 세계대전 당시 조종사의 수요가 급격히 증가하고, 항공기 사고로 인한 조종사 손실이 증가하면서 군 연구기관을 중심으로 조종사 적성검사에 관한 연구가 가속화되었다(Geldard & Harris, 1946; Parry, 1947). 우리나라 공군은 1960년대부터 훈련 조종사 선발을 위한 연구를 시작하였고, 1981년 미국 공군장교 자질검사(AFOQT) 중 일부를 들여온 지필지각검사, 자체개발 심리기능검사, 지능검사를 실시하다가(Lee, 2017), 2018년부터 국내에서 연구․개발된 컴퓨터 기반 검사로 조종적성을 평가하고 있다.
그러나 조종적성검사백서(KAFA, 2019)에 따르면, 미국, 일본, 스웨덴, 프랑스, 터키 등 조종적성검사를 운영하고 있는 국가들에서 훈련 조종사들이 비행교육 중에 탈락하는 비율이 10∼25%의 범위 안에 있는 것과 비교했을 때 우리나라는 50% 정도로 월등히 높은 수치를 보이고 있다. 이는 중도에 탈락되는 훈련 조종사의 시간적, 심리적 손실과 더불어 1인당 훈련에 투자되는 약 7.5억 원 가량의 비용에 대한 국가적 손실이 발생하고 있음을 알 수 있다(Yoon, 2004). 따라서 사전에 훈련 조종사를 선발하는 과정 또한 매우 정확하고 엄격하게 이루어질 필요가 있고, 사전 선발 과정에서 비행교육 중도 탈락 가능성 및 사고 잠재요인이 높은 사람들을 미리 선별하는 것이 매우 중요하다(Lee, 2017).
현재 적용하고 있는 조종적성검사는 개발단계에서 총 7개 차수 425명의 훈련 조종사를 대상으로 예측타당도를 확인하였고, 예측타당도 분석 결과는 상당히 양호한 것으로 나타났다(Lee, 2017). 하지만 개발단계에서 예측변인과 준거변인의 점수가 서로 다른 시기에 수집되었다는 한계점을 고려하였을 때, 현재 사용되고 있는 조종적성검사 데이터는 기존 지필지각검사를 통과한 훈련 조종사를 대상으로 예측타당도를 재검증할 필요가 있다고 판단되었다(Lee, 2017). 또한 미국에서 조종사 선발을 위해 사용하고 있는 적성검사인 미국 공군장교 자질검사(AFOQT)는 7년마다 주기적인 개정을 실시하며, 검사의 타당도를 높여왔다(Hardison et al., 2010). 현재 국내에서 적용 중인 조종사 적성검사 또한 주기적인 개정을 통해 검사의 적용범위와 정확성을 높일 필요가 있다(Lee, 2017).
따라서 본 연구에서는 2018년부터 새롭게 적용하고 있는 조종적성검사가 실제 훈련 조종사의 수료 여부 등을 얼마나 정확히 예측하고 있는지 확인하는 것을 목적으로 한다. 현재의 조종적성검사는 확정적 모델이라기보다는 탐색적 목적을 가진 모델이라고 할 수 있다(Lee, 2017). 수년 간 축적된 데이터의 분석을 통해 조종적성검사의 정확도와 간명성을 높일 필요가 있으며, 이를 통해 조종적성과 관련한 국내 연구에도 새로운 시각을 제공해 줄 것이다.
Ⅱ. 이론적 배경
적성은 ‘어떤 주어진 과제에서 한 개인의 성공가능성을 예언해주는 특성’으로 정의되며, 특정 영역에서 교육을 받기 이전부터 가지고 있는 잠재적인 가능성을 의미한다(Cronbach & Snow, 1977). 최근에는 지적인 측면뿐만 아니라, 직업적 흥미와 같은 정의적인 특성 및 신체적 적합성 등을 포함하여 어떤 특정한 직업 혹은 활동에 응용할 수 있는 개인의 지적, 정신적, 운동적 기능을 총칭하는 것으로 보기도 한다(Kim & Choi, 2010). 또한 적성은 능력(Ability)이란 단어와 혼용해서 사용되기도 하는데, 일반적으로도 적성은 어떤 특정업무와 관련된 일 또는 과제의 숙달과 관련된 개인의 능력으로 볼 수 있다(Park et al., 2019).
이상에서 언급한 적성의 개념을 바탕으로 조종적성을 정의하면, 조종 적성이란 어떤 사람이 장래 조종 업무를 안전하고 효율적으로 수행하기 위해 필요한 잠재력을 총칭한다고 할 수 있다(Lee, 2017). 또한 과거와 달리 현대 조종사들의 임무는 단순한 항공기 조종에 국한되기보다는 수많은 운항 관련 정보를 정확하고 신속하게 처리하고, 이를 근거로 중대하고 명확한 의사결정을 하며, 이러한 업무를 원활하게 수행할 수 있는 기본 역량과 능력을 말한다(Park et al., 2019).
조종사 선발을 위한 적성검사는 1차 세계대전 중 미 육군 조종사 선발 시 최초로 시작되었으며(Yerkes, 1919), 이후 여러 나라의 적성검사는 평가 방식에 있어서 차이를 보였다. 대표적으로 프랑스에서는 불안한 감정상태에서의 반응시간의 변화, 영국에서는 비행 중 고도에 따른 조종사의 무기력 등에 관심을 가졌다(McFarland, 1953). 즉, 초기 조종사 적성검사의 평가요인은 일상적인 조종에 필요한 능력보다는 비상 혹은 위기 상황에서의 조종사 대처능력에 집중되어 있었다(Lee, 2017). 이후 2차 세계대전 중 항공 분야가 급격히 성장하고 조종사의 수요가 급증하면서 조종사 양성에 대한 관심도 높아지기 시작했고, 미국, 영국, 독일, 일본 등에서 군 기관을 중심으로 비행에 적합한 특성들을 가진 사람들을 구별할 수 있는 개인차에 관한 연구가 본격적으로 시작되었다(Geldard & Harris, 1946; Parry, 1947; Damos, 2011). 이 시기에 미 육군 항공 조종사 연구 프로그램에서는 언어와 수리 등이 포함된 일반 능력과 공간지각, 척도판독, 수표해독, 계기판독 등과 같이 항공과 관련된 검사 등이 포함되었는데, 비행 훈련과의 상관관계에서는 기계이해가 가장 높게 나타났다(Melton, 1947). 또한 캐나다 공군에서도 다섯 가지의 인지 능력을 측정하는 조종사 적성검사를 실시하였는데, 비행훈련과의 상관계수는 기계추리 검사가 0.21로 가장 높은 상관을 나타냈으며, 일반지능이 0.06의 상관계수로 가장 낮은 수치를 나타냈다(Signory, 1949).
이러한 연구 결과들은 적성과 지능이 다르며, 일반지능보다는 특정한 능력을 평가하는 것이 조종사의 수행을 더 잘 예측할 수 있다는 것을 보여주었다(Lee, 2017). 그 밖의 선행연구에서도 도형전개도, 공간방향 등 공간능력(Bair et al., 1956)과 계기판독, 수표해독, 복합협응 등이 비행훈련 점수와 유의한 상관관계가 있었다(Want, 1962). 이후 컴퓨터의 발달과 함께 스틱 및 러더 등의 도구들을 사용하는 정신운동(psychomotor) 능력(예: 복합협응 등)을 측정하는 수행검사가 활용되었고, 비행훈련 성공률을 높임으로써 타당성이 입증되기도 하였다(Brown et al., 1982).
여러 선행연구들은 다소 다르기는 하지만, 조종적성의 주요 요인들을 다음과 같이 제시하였다.
Imhoff와 Levine(1981)은 외부 자극을 빠르게 지각하여 두뇌에 전달하는 지각속도(perceptual speed), 공간 관계를 파악하는 공간능력(spatial orientation), 우선적으로 처리할 부분에 주의를 기울이는 선택적 주의(selective attention), 여러 개의 자극에 주의를 적절하게 배분하는 주의 배분(divided attention), 사물의 특성을 분석하여 서로 다른 점을 찾아내는 비교(comparison), 기억된 각종 정보를 신속하게 탐색하고 각종 정보 중 필요 정보만을 회상해 내는 기억 탐색(memory search)과 기억 회상(memory retrieval), 주어진 상황에서 최선의 행동을 신속히 결정하는 의사결정(decision making), 사건의 발생 확률을 정확히 계산하는 확률 예측(probability estimation), 눈-손-발끼리 적절히 조화롭게 협응하는 복합협응(multilimb coordination), 움직임의 변화율을 예측하여 최적의 순간을 포착하는 변화율 통제(rate control), 운동감각을 예민하게 기능하는 운동감각의 민감도(kinesthetic sensitivity) 등을 제시하였고, 주로 인지 능력 중심의 요인들을 포함하였다.
Byrdorf(1993)는 미국, 캐나다, 노르웨이의 숙련급 조종사 43명을 대상으로 한 연구에서 앞서 Imhoff와 Levine의 연구에서 도출되었던 지각속도, 공간능력, 선택적 주의, 주의배분 등과 함께 상황인식(situational awareness), 정신운동기능(psychomotor coordination)을 제시하며, 정신운동기능의 측정을 강조하였다.
이후 Agee et al.(2009)은 성공적인 미 공군 조종사 선발을 위해 필요한 자질들에 대한 설문조사를 실시하였고, 1,092명의 응답을 분석한 결과, 여러 능력들 중에서 15개의 인지능력과 6개의 정신운동능력이 조종사에게 필수적인 능력으로 나타났다. 인지능력은 상황인식, 공간능력, 기억, 산수능력, 지각적 기민함(perceptual vigilance), 독해, 패턴인지, 시각화, 연역추리, 귀납추리, 수리적 추리 등을 가리키며, 인지기능과 신체적인 운동기능 사이의 조정 능력을 의미하는 정신운동능력은 변화율 통제, 반응시간, 사지 협응, 눈-손 협응, 손 민첩성(finger dexterity), 팔과 손의 안정성(arm-hand steadiness)을 포함한다.
위 선행연구들을 종합해 보면, 주요 조종적성 요인으로 지각속도, 공간능력, 주의, 비교, 기억, 상황인식, 의사결정 등이 포함된 인지적 요인과 정신운동, 운동감각의 민감도, 변화율 통제 등을 측정하는 정보처리 및 운동기능적 요인을 꼽을 수 있다.
최근 ALMamari와 Traynor(2020)의 메타분석에 따르면, 일반적인 영역에 대한 검사를 포함하는 미국 조종적성검사의 경우 일반 영역 대비 특정 영역의 요인이 성과를 잘 예측하고 있다. 즉, 5요인 모델(언어 능력, 정량적 능력, 공간 능력, 지각 속도, 항공종사자 적성 및 지식)을 평가함에 있어 조종적성검사의 경우, 지각 속도, 항공종사가 적성 및 지식과 강한 관련이 있는 반면, 언어 능력 및 일반 과학은 가장 약한 것으로 나타나고 있다. 또한 파일럿 훈련 프로그램의 성공적인 수료 여부에 관련된 연구 중 예상외로 회전패턴 등에서 음의 상관관계가 있는 요인도 확인(Martinussen & Torjussen, 1998)되어 선행연구들을 바탕으로 한국 조종적성검사를 구성하는 각 하위요인의 타당도를 살펴볼 필요가 있다.
우리나라에서는 공군에서 1960년대부터 훈련 조종사 선발을 위한 연구를 시작해 왔으며, 1981년 본격적으로 훈련 조종사 지원자들을 대상으로 미국 공군장교자질검사 중 일부를 들여온 지필지각검사, 그리고 자체 개발한 심리기능검사, 지능검사를 실시하였다(Choi & Kim, 2001). 이후 장비 운영상의 어려움으로 지필지각검사 이외의 검사는 지속적으로 실시되지 못하였다(Lee, 2017).
지필지각검사는 1981년에 미국 공군장교자질검사(AFOQT)의 16개 측정항목 중 7개를 도입하여 운영하다가 2004년에 기계원리, 토막수세기, 공구용도 등 식별이 모호하거나 낮은 변별력을 가진 항목을 제외하고, 수표해독, 전기미로, 척도판독, 기계원리, 계기판독 등 5가지 하위검사로 구성하였다(KAFA, 2019). 그러나 지필지각검사는 재래식 항공기 운영에 초점이 맞추어져 있으며, 복잡하고 정밀하게 변화되는 현대의 항공기 특성을 반영하지 못한다는 한계점에 따라 운영환경과 기재에 맞는 적성을 가진 인적 자원을 선발할 수 있는 적성검사 도구 개발의 필요성이 대두되었고, 2013년 한국형 조종적성검사(K-PAT; Korea Pilot Aptitude Test) 도구가 개발되기 시작하였다(KAFA, 2019).
한국형 조종적성검사(K-PAT)는 기존의 일반적인 인지검사 항목과 더불어 비정상 상황에서 인간의 직관과 오류를 교정할 수 있는 능력인 의사결정 능력 등을 포함시켰고, 시각운동, 눈-손 협응 등 지필검사로 측정하기 어려운 측면을 반영하여 컴퓨터 기반 검사로 통합하여 개발되었다(Lee, 2017). 개발 완료된 K-PAT 하위검사별 과제는 Table 1에 제시하였다.
현재 한국의 공군 조종사 선발시스템은 미국식 평가 시스템을 모델로 개발되었으며, 컴퓨터 기반 검사(K-PAT)와 더불어 모의비행검사를 수행하고 있다. 모의비행검사 장비인 PARE(pilot aptitude research equipment)는 정해진 비행절차에 따른 임무수행을 평가하는 것으로, 주어진 절차에 대한 숙지 여부와 각 단계별로 필요한 조작을 실시하는지 등을 통해 조종사에게 요구되는 여러 적성 관련 요소들을 검사하는 장치이다(KAFA, 2019). 따라서 조종적성검사의 평가방식은 K-PAT 총점 140점 만점 중 50점과 PARE 100점 만점 중 46점을 기준으로 합격과 불합격을 구분한다. 검사결과, K-PAT와 PARE 모두 합격인 경우에 최종 합격으로 분류되며, 모두 불합격인 경우에는 최종 불합격이 처리된다. 만약 한 개 검사 분야만 불합격일 경우 심의대상으로 분류되어 추후 합격 여부를 최종 결정하게 된다.
조종적성검사는 비행교육 과정 중 중도 탈락에 따른 훈련 조종사의 시간적․심리적 손실과 더불어 투입 비용에 대한 국가적 자원손실을 줄이고(Yoon, 2004), 비행안전과 관련하여 사고 잠재요인이 높은 사람을 미리 선별해 내는데 그 목적이 있다. 또한 현재의 조종적성검사는 확정적 모델이라기보다는 탐색적 목적을 가진 모델이라고 할 수 있기에(Lee, 2017), 본 연구의 목적은 수년 간 축적된 데이터를 바탕으로 컴퓨터기반검사(K-PAT)와 13개 하위 검사 요인별 예측타당도 분석을 통해 조종적성검사의 정확도와 간명성을 높이는데 있다.
Ⅲ. 연구방법
현재의 조종적성검사 도구(K-PAT)가 적용된 2018년 7월 이후 조종적성검사를 실시한 공군 장교를 대상으로 하며, 이 중에서 해군 및 비행 교육과정에 아직 입과하지 않은 인원 등을 제외한 1,100명을 대상으로 하였다.
사전에 소속기관 IRB(IRB number: 7001988- 202312-HR-2139-01E)와 공군본부에 연구 승인 및 보안성 검토를 완료하였으며, 조종적성검사를 담당하는 공군사관학교 모의비행훈련실과 협조하여 자료를 제공받아 연구를 진행하였다. 또한 자료제공 전, 익명성 보장을 위해 모든 정보에 익명화 된 번호를 부여하여 비식별화 처리 후 자료를 제공받았다. 최초 제공받은 자료는 1,100명이었으나, 자료가 일부 누락된 22명의 자료를 제외하여 최종적으로 1,078명의 자료에 대해 결과를 분석하였다. 각 교육 과정별 분석에 포함된 인원은 입문과정 799명, 기본과정 807명, 고등과정 506명이며, 각 교육 과정별 인원은 공군 정책에 따라 입문과정을 생략하고, 기본과정으로 바로 입과하는 인원 및 교육 단계별 분석을 위해 각 과정이 종료된 인원만을 포함함에 따라 표본 수에 차이가 있다.
제공받은 자료 중 13개 하위 검사 요인으로 구성된 컴퓨터기반검사(K-PAT)의 총점과 13개 하위 검사 요인별 원점수, 모의비행검사(PARE)의 총점을 예측변수로 하였다. 입문, 기본, 고등과정으로 구성된 공군 비행교육 과정별 수료 여부를 준거변인으로 하여 예측변인이 미치는 영향을 확인하였다.
연구를 위해 수집된 자료는 R version 4.2.3의 car, nnet, pscl packages와 SPSS 26.0을 사용하여 다음과 같이 분석하였다. 첫째, 각 비행교육 과정별 수료자와 미수료자 간의 K-PAT 하위요인별 점수 차이가 유의한지를 확인하기 위하여 t-검정을 실시하였다. 둘째, K-PAT 총점 및 하위요인별 검사의 각 비행교육 과정별 수료 여부 예측력을 확인하기 위하여 로지스틱 회귀분석을 실시하였다. 위의 t-검정과 로지스틱 회귀분석을 통하여 K-PAT 검사가 준거가 되는 피검자의 수행, 즉 비행교육과정 수료 여부를 얼마나 적절하게 예측하는지에 대한 준거관련타당도(criterion-related validity)를 분석하였다.
셋째, K-PAT 총점 및 하위요인별 검사와 PARE 점수가 각 비행교육 과정 수료 여부를 얼마나 잘 예측하는지를 확인하기 위하여 위계적 로지스틱 회귀분석을 실시하였다. 이를 통해 K-PAT의 비행교육 수행에 대한 설명력이 모의비행검사(PARE)의 설명력을 뛰어넘는지에 대한 증분타당도(incremental validity)를 확인하였다.
Ⅳ. 연구결과
각 비행교육 과정의 수료자와 미수료자 사이에 적성검사 점수의 차이가 있는지를 분석하기 위하여 입문․기본․고등과정의 수료 여부를 독립변인으로, 컴퓨터기반검사(K-PAT) 하위검사 점수들을 종속변인으로 하여 t-검정을 실시하였다.
분석결과, Table 2에 제시되어 있는 것처럼 입문과정 단계에서는 13개의 하위 검사들 중에서 도형전개도, 계기판독, 배관미로, 기계원리, 의사결정, 기억(그림), 추적(상), 멀티태스킹(청각)의 하위 검사 점수에 있어서 유의미한 집단 차이가 있는 것으로 나타났으며, 수료자 집단의 점수가 더 우수하였다. 기본과정은 Table 3에 제시되어 있는 것처럼 13개의 하위 검사들 대부분에서 수료자가 탈락자에 비해 높은 점수를 보였으며, 배관미로, 시각변별, 기억(숫자), 속도추정(2개)을 제외한 모든 하위 검사에서 유의미한 집단 차이가 있는 것으로 나타났다. 고등과정은 Table 4에 제시되어 있는 것처럼 13개의 하위 검사들 대부분에서 수료자가 탈락자에 비해 높은 점수를 보였으며, 도형회전, 도형전개도, 척도판독, 계기판독, 의사결정, 추적을 포함한 하위 검사 점수에 있어서 유의미한 집단 차이가 있는 것으로 나타났다.
컴퓨터기반검사(K-PAT)가 각 비행교육 과정의 합격을 얼마나 잘 예측하는지를 확인하기 위하여 컴퓨터기반검사(K-PAT) 총점 및 하위검사의 표준화 점수를 예측변인으로, 입문․기본․고등과정의 합격 여부를 종속변인으로 하여 로지스틱 회귀분석을 실시하였다. 전 단계에서 합격한 경우 ‘1’, 불합격한 경우 ‘0’으로 정의하였다.
첫 번째로, 컴퓨터기반검사(K-PAT) 총점에 따른 각 과정별 합격 여부 예측 결과는 Table 5에 제시되어 있다. 입문과정 합격 여부를 종속변인으로 로지스틱 회귀분석을 실시한 결과, 예측모델은 통계적으로 유의하였으며(χ2(1)=20.733, p<.001), K-PAT 총점이 높을수록 합격 확률도 유의미하게 높아진 것으로 나타났다(B=0.041, SE=.009, p<.001). 다음으로 기본 및 고등과정 합격 여부를 종속변인으로 두고 로지스틱 회귀분석을 실시한 결과, 두 예측모델은 모두 통계적으로 유의하였으며(χ2(1)= 92.398, p<.001; χ2(1)=16.829, p<.001), 총점의 예측력도 유의한 것으로 나타났다(B=0.060, SE=.007, p<.001; B=0.081, SE=.021, p<.001).
두 번째로, 컴퓨터기반검사(K-PAT)의 하위검사요인의 점수에 따른 각 과정별 합격 여부 예측 결과는 Table 6(입문과정), Table 7(기본과정), Table 8(고등과정)에 제시되어 있다. 우선 모든 과정별 로지스틱 회귀분석에서 하위검사들 간의 다중공선성 문제는 없는 것으로 확인되었다(VIF <2). 처음으로 입문과정 탈락 여부를 종속변인으로 로지스틱 회귀분석을 실시한 결과, 예측모델은 통계적으로 유의하였으며(χ2(15)=36.011, p<.001), 유의한 예측력을 가진 하위 검사는 계기판독(B=0.503, SE=.170, p=.003)과 시각변별(B=0.331, SE=.153, p=.031)인 것으로 나타났다.
다음으로 기본과정 합격 여부를 종속변인으로 로지스틱 회귀분석을 실시한 결과, 예측모델은 통계적으로 유의하였으며(χ2(15)=112.733, p<.001), 유의한 예측력을 가진 하위검사들은 도형전개도(B=0.226, SE=.102, p=.027), 계기판독(B=0.375, SE=.105, p<.001), 배관미로(B=-0.362, SE=.096, p<.003), 속도추정(B=-0.242, SE=.117, p=.038), 추적/회피(B=-0.462, SE=.139, p<.001), 그리고 멀티태스킹의 기억과 청각(B=0.254, SE=.089, p=.004; B=0.242, SE=.085, p=.004)으로 나타났다.
마지막으로, 고등과정 탈락 여부를 종속변인으로 로지스틱 회귀분석을 실시한 결과, 예측모델은 통계적으로 유의하였으며(χ2(15)=33.680, p=.001), 유의한 예측력을 가진 하위검사들은 척도판독(B=0.606, SE=.306, p=.048)과 수표해독(B=0.436, SE=.155, p=.005)으로 나타났다.
컴퓨터기반검사(K-PAT)가 각 비행교육 과정의 탈락자를 예측하는데 있어 동시에 적용 중인 모의비행검사(PARE)를 뛰어넘는 설명력이 있는지를 확인하기 위하여 증분타당도를 분석하였다. 이를 위하여 컴퓨터기반검사(K-PAT) 총점 및 13개 하위검사 요인과 모의비행검사(PARE) 점수를 예측변인으로, 입문․기본․고등과정의 합격 여부를 종속변인으로 하여 로지스틱 회귀분석을 실시하였다.
첫 번째로, 모의비행검사(PARE)를 1단계 요인으로 투입하고, 2단계에는 컴퓨터기반검사(K-PAT) 총점을 추가로 투입한 모델의 결과는 Table 9에 제시되어 있다. 그 결과, 입문과정을 제외하고 기본 및 고등과정에서 K- PAT가 추가로 투입된 2단계 모형이 더 적합한 모델인 것으로 나타났다(ΔR2=0.197; ΔR2=0.115). K-PAT는 전 과정에 있어서 그 예측력이 유의미하였으나, PARE의 경우 고등과정 합격 여부를 유의미하게 설명하지 못하는 것으로 나타났다.
두 번째로, 컴퓨터기반검사(K-PAT)의 하위검사요인의 점수와 모의비행검사(PARE) 점수에 따른 각 과정별 합격 여부 예측 결과는 Table 10(입문과정), Table 11(기본과정), Table 12(고등과정)에 제시되어 있다. 먼저 입문과정 탈락 여부를 종속변인으로 로지스틱 회귀분석을 실시한 결과, 예측모델은 통계적으로 유의하였으며(χ2(16)=72.803, p<.001), K-PAT 하위 검사요인들을 추가한 2단계 모델이 더 적합한 것으로 나타났다(ΔR2=.069). 유의한 예측력을 가진 요인으로는 계기판독(B=0.419, SE=.176, p=.017), 배관미로(B=0.356, SE=.159, p=.025), PARE(B=0.087, SE=.015, p<.001)로 나타났다.
다음으로, 기본과정 합격 여부를 종속변인으로 두고, 위계적 로지스틱 회귀분석을 실시한 결과, 최종 예측모델은 통계적으로 유의하였고(χ2(16)=235.592, p<.001), K-PAT 하위 검사요인들을 추가한 2단계 모델이 더 적합한 것으로 나타났다(ΔR2=.103). 유의한 예측력을 가진 요인으로는 도형전개도(B=0.255, SE=.111, p=.022), 계기판독(B=0.341, SE=.114, p=.003), 배관미로(B=–0.350, SE=.107, p=.001), 추적/회피(B=-0.413, SE=.155, p=.008), 멀티태스킹(청각)(B=0.288, SE=0.096, p=.003), PARE(B=0.107, SE = .011, p<.001)으로 나타났다.
마지막으로, 고등과정 탈락 여부를 종속변인으로 위계적 로지스틱 회귀분석을 실시한 결과, 최종 예측모델은 통계적으로 유의하였고(χ2(14)=28.45, p=.01), K-PAT 하위 검사요인들을 추가한 2단계 모델이 더 적합한 것으로 나타났다(ΔR2=.230). 유의한 예측력을 가진 하위검사 요인으로는 수표해독(B=0.446, SE=.156, p=.004)으로 나타났으며, 입문 및 기본 과정과 달리 고등과정 합격 여부에 있어서 PARE는 유의하지 않은 것으로 나타났다(B=0.027, SE=.031, p=.378).
Ⅴ. 결 론
본 연구는 조종적성검사의 예측타당도를 확인하기 위하여 준거관련타당도 분석 및 증분타당도 분석을 실시하였다.
준거관련타당도 분석은 첫 번째로, 컴퓨터기반검사(K-PAT)의 하위검사 요인들과 각 과정별 수료자와 미수료자와의 관계를 살펴보기 위하여 t-검정을 실시하였다. 검정결과, 각 과정별 수료자는 미수료자에 비해 높은 수행을 보였으나, 과정별로 유의한 집단차이가 있는 하위검사 요인이 다르게 나타났다. 구체적으로 입문과정은 도형전개, 계기판독, 배관미로, 기계원리, 의사결정, 시각변별, 기억(그림), 추적, 멀티태스킹(청각) 등 주로 인지능력의 하위검사 요인이 유의하였는데, 이는 비행을 처음 시작하는데 있어 정보를 탐색하고 분석하는 인지적인 요소가 중요함을 나타내고 있다. 기본과정의 경우에는 배관미로, 시각변별, 기억(숫자), 속도추정(2개)를 제외하고, 모두 유의한 검사요인으로 나타났는데, 이는 한국 공군의 비행교육 특성상 입문과정보다 기본과정의 비중이 크고, 전체적인 불합격율 등을 고려했을 때 조종적성이 가장 필요하고 발휘되는 과정이기 때문일 것이다. 고등과정 또한 배관미로, 시각변별, 기억(그림), 속도추정, 회피, 멀티태스킹(이동, 기억)을 제외하고, 모두 유의한 집단차이가 나타났고, 비행교육 전반적으로 도형전개, 계기판독, 기계원리, 의사결정 등의 요소가 공통적으로 영향을 미치는 것으로 나타났다.
두 번째로, 컴퓨터기반검사(K-PAT)가 각 과정별 탈락 여부를 얼마나 잘 예측하는지를 확인하기 위하여 로지스틱 회귀분석을 실시하였다. 분석결과, 컴퓨터기반검사(K-PAT) 총점에 따른 탈락 예측은 입문, 기본, 고등과정 모두 통계적으로 유의하였으나, 하위검사별 점수에 따른 탈락예측시에는 영향을 미치는 검사요인에 차이가 있었다. 구체적으로 입문과정은 계기판독, 시각변별 등 인지검사영역의 요인만 유효한 반면, 기본과정은 도형전개도, 계기판독, 배관미로 등의 인지검사 영역을 포함하여 속도추정, 추적 및 회피, 밀티태스킹 등 정보처리 및 운동기능검사 영역의 요인들도 유효하였다. 이는 처음 비행환경에 노출되며, 간단한 적성만을 확인하는 입문과정의 특성보다 복합적인 비행환경과 본격적인 비행교육이 시작되는 기본과정의 특성이 반영된 결과라고 볼 수 있을 것이다. 고등과정의 경우, 척도 판독 및 수표해독 등 소수의 요소만이 유의한 결과를 예측하였는데, 이는 이미 입문 및 기본과정을 통해 탈락자가 걸러졌으며, 비행환경에 대한 적응으로 인해 단순히 적성적인 요인보다는 다른 복합적인 요인의 영향이 있음을 고려해볼 수 있을 것이다.
다음은 조종적성검사의 또 다른 요소인 모의비행검사(PARE)를 뛰어넘는 설명력이 있는지를 확인하기 위하여 증분타당도를 분석하였다. 컴퓨터기반검사(K-PAT) 총점 및 하위검사별 요인에 더하여 모의비행검사(PARE) 점수를 투입하여 로지스틱 회귀분석을 실시하였고, 분석결과, 컴퓨터기반검사(K-PAT) 총점의 경우 모의비행검사(PARE)가 더해졌을때 입문 및 기본과정의 모형적합도는 좋았으나, 입문과정의 경우 설명력은 오히려 감소하였다. 이는 모의비행검사(PARE)가 비행환경에 적응이 필요한 초반에는 비슷한 환경을 제공하는데 있어서 큰 영향을 미칠 수 있음을 고려해 볼 수 있다. 반대로 고등과정의 경우 모의비행검사(PARE)만 투입한 모형은 적합하지 않았으나, 컴퓨터기반검사(K-PAT) 총점을 투입한 모형은 모형이 적합하였다. 이는 최초 비행환경에 적응한 이후에 조종적성적인 요인이 발현되는 것으로 유추할 수 있다. 이후 하위 검사별 요인 분석시에도 각 과정별 유의한 하위검사 요인에는 차이가 있었지만, 전체적인 결과해석은 동일한 것으로 나타났다.
본 연구는 2018년 이후 새롭게 적용하고 있는 공군 조종적성검사의 예측타당도를 살펴본 최초의 연구라는 점에서 의미가 있다. 또한, 선행연구를 바탕으로 한 조종적성의 주요 요인을 기반으로 한 하위검사가 각 비행교육 단계별 성과에 미치는 영향을 확인한 점에서 검사도구의 신뢰성 향상 및 중도 탈락 여부 및 사고 잠재요인을 가진 자원을 식별하는 측면에서 비행안전뿐만 아니라, 국방 조직의 인적관리 분야에 시사하는 바가 적지 않다.
이론적 함의점은 다음과 같이 크게 두 가지로 나누어 볼 수 있다. 첫째, 조종적성 검사도구의 예측타당도를 재확인하였다. 구체적으로 예측변인과 준거변인 점수의 다른 시기에 측정된 한계점을 해결하였다.
둘째, 조종적성검사의 하위요인이 결과에 미치는 영향을 확인하였다. 비행교육 과정의 수료자와 미수료자를 예측하는데 있어서 더 중요한 요인을 식별하고, 요인을 재구조화하는데 근거를 제시하였다. 다만 새롭게 적용한 이후 최초로 예측타당도를 확인한 만큼 요인을 재구조화하기보다는 향후 누적되는 데이터를 바탕으로 재탐색을 하는 것이 바람직해 보인다.
본 연구의 한계 및 향후 연구 방향은 다음과 같다. 먼저, K-PAT 검사결과에 따른 불합격자의 점수가 부재하여 합격자의 점수만으로 결과를 추정하였기 때문에 과소추정이 발생할 수 있다. K-PAT 검사 불합격자의 점수를 포함하여 결과를 예측한다면 더 정확한 결과를 확인할 수 있을 것이다. 따라서 향후에는 K-PAT 불합격자의 점수를 바탕으로 추가적인 연구가 필요할 것이다.
둘째, K-PAT 불합격자의 점수와 마찬가지로 과정별 비행교육 미수료자의 교육점수가 부재하여 수료자만의 결과를 바탕으로 비행교육 성과를 분석시 불완전한 추정이 될 수 있다. 연속형 변수인 과정별 비행교육 미수료자의 교육점수를 반영한다면, K-PAT 점수와 비교하여 비행교육 성과(수료자의 비행성적, 종합성적 등)를 비교할 수 있을 것이다. 향후에는 비행교육 과정별 미수료자의 교육점수(종합, 비행, 학술, 모의비행점수)를 바탕으로 추가적인 연구가 필요할 것이다.
마지막으로, 본 연구는 검사도구 개발 후 최초로 예측타당도를 재확인하였으므로 향후 더 많은 샘플을 바탕으로 지속적인 검토가 필요할 것이다.
