잠재 디리클레 할당(LDA)을 이용한 항공안전 의무보고 토픽 예측 모형

본 연구에서는 2018년부터 2022년까지 접수된 항공안전 의무보고 데이터를 사용하였으며, 여러 데이터 필드 중에서 이벤트 발생개요와 조치사항 전체를 모델링을 위한 텍스트 데이터로 활용하였다. 발생개요는 항공안전 의무보고 대상 이벤트가 발생한 전반적인 상황을 설명하는 부분으로, 실제 항공안전 의무보고 분석 업무를 수행하는 전문 분석원 또한 해당 내용을 통해 보고된 발생유형이 적합한지 검토하고 있다. 조치사항은 이벤트 발생 이후 보고자 및 관계인이 수행한 사후 조치에 관한 내용으로, 발생한 이벤트에 대한 실제 원인이거나 원인으로 추정되는 부분에 대한 조치 내용을 포함하고 있으므로 이벤트 유형과 관련된 단어를 식별하는 데 유용하다.

항공안전 의무보고에 LDA 기법을 적용하기 위한 절차는 다음과 같은 4단계로 구성된다.

첫 번째 단계는 데이터 전처리 단계이다. 데이터 전처리는 한글 또는 영문 텍스트 데이터를 형태소 또는 단어(word) 단위로 변환하는 과정으로, ① 특수문자 제거, ② 자음 또는 모음으로만 이루어진 단어 제거(오탈자), ③ 조사 제거 순으로 이루어진다.

두 번째 단계는 불용어(Stopword)를 제거하는 단계로, 접속사 등과 같이 항공안전 의무보고에 자주 등장하지만 실제 의미가 없는 단어들을 삭제하는 단계이다. 본 연구에서는 총 840개의 불용어를 식별 및 제거하였다.

세 번째 단계는 LDA 모형의 최적 토픽 개수를 산출하기 위한 단계이다. LDA 모형의 유효성은 토픽 개수에 따라 크게 좌우되기 때문에(Blei et al., 2003), 최적 토픽 개수를 식별하여 모형의 정확도와 유효성을 확보하는 것은 매우 중요하다(Hasan et al., 2021). 본 연구는 최적 토픽 개수를 결정하기 위해 클러스터링 기법을 평가하는 대표적인 기법인 Topic coherence와 Perplexity의 평균값을 사용하였다. Topic coherence는 토픽에 속하는 N개의 단어에 대한 공동 문서 빈도와 문서 빈도 사이의 로그 비율의 합이며(Aletras and Stevenson, 2013), 동일 토픽 내 포함된 단어 간 의미적 유사성을 측정하여 토픽 대표성(Representativeness)을 평가하기 위한 척도로 사용된다(Mimno et al., 2011; Newman et al., 2010; Stevens et al., 2012). 따라서 Topic coherence의 값이 높을수록 모델링 결과가 우수한 것으로 평가할 수 있다. Perplexity는 토픽 모델링의 일반화 정도(Generalization)를 평가하는 척도로, 그 값이 작을수록 개발된 모델의 군집 개수가 더 적절하며, 입력된 데이터에 대한 우도(尤度, Likelihood)가 높다는 의미를 가진다. 본 연구에서 수립한 모형의 경우, 토픽 개수 k를 4부터 100까지 설정하여 각 경우에 대한 Topic coherence와 Perplexity 값을 계산하였으며, 최적 토픽의 개수가 6개인 것을 확인하였다. 또한, 각 토픽에 포함되는 단어의 개수는 단어별 가중치가 1.0% 이상인 단어로 선택하였고, 그 결과 토픽별로 16개의 단어를 포함하는 단어사전이 생성되었다.

마지막 단계는 6개의 토픽을 명명하는 과정이다. 토픽 명명 기준은 항공안전법 시행규칙 별표 20의2에서 규정하는 의무보고 대상 항공안전장애 범위를 활용하였다. 토픽 명명을 위해 분야(항공정비, 항공관제, 항공운항)별 전문가 중 항공안전 의무보고 데이터 분석 경험이 있는 전문가를 대상으로 설문조사를 실시하였다. 본 연구는 선행 연구(Nam and Lee, 2019)에서 제시한 2가지 평가 기준(① 각 토픽에서 등장 확률이 높은 단어가 작은 단어보다 더 큰 설명력을 가짐, ② 여러 토픽에 동시에 존재하는 유사 단어보다는 토픽 간의 차이를 나타낼 수 있는 단어에 초점을 맞출 것)을 응답자에게 충분히 설명한 후 설문을 실시하였다. 또한, 응답자에게 각 토픽에 포함된 단어 중 해당 토픽과 연관성이 가장 높은 단어를 별도로 표시하도록 요청하였다. 각 토픽에 대한 최종 명명은 전체 응답자 중 절반 이상이 동의하며, 가장 응답률이 높은 이벤트 유형(항공안전장애 유형)으로 결정하였다.

LDA 기법을 적용한 후 생성한 단어사전은 Table 1과 같으며, 단어사전의 토픽은 6개로 구분되고 각 토픽별로 16개의 단어를 포함한다. 단어사전에서 단어별 중요도는 해당 단어의 출현 빈도와 동일 문서 내에서 자주 출현하는 단어 간 동시 출현 가능성에 따라 계산되며, 여러 선행 연구에서 해당 수치가 각 토픽에서 단어가 갖는 중요도로 활용할 수 있음을 입증하였다(e.g. Bi et al., 2019; Nam et al., 2018; Nam and Lee, 2019).

6개 토픽을 적절한 이벤트 유형으로 명명하기 위해 항공안전 의무보고 데이터 분석 경험이 있는 운항, 관제, 정비, 항공안전 분야의 전문가를 구성하여 설문을 진행하였다. 각 분야 평가위원은 토픽 내 단어와 가장 높은 연관성이 있는 유추되는 이벤트 유형을 ‘항공안전법 시행규칙 별표 20의2에서 규정하는 의무보고 대상 항공안전장애 범위’ 중 1개의 유형으로 지정하였으며, 그 결과는 Table 2와 같다.

2018년부터 2022년까지 수집한 항공안전 의무보고 데이터를 기반으로 생성한 LDA 모형(단어사전)을 보면 6개의 토픽(t₁, t₂, t₃, t₄, t₅, t₆)과 각 토픽(t_x)에 포함된 16개 단어($N_x=n_x^1,n_x^2,\dots ,n_x^{16}$) 및 각 단어에 대한 중요도($W_x=w_x^1,w_x^2,\dots ,w_x^{16}$)가 포함되어 있다. 본 연구에서는 해당 모형을 기반으로 새로운 의무보고 문서의 이벤트 유형(토픽)을 예측하고자 하였으며, 그 절차는 다음과 같다. 첫 번째 과정으로, 새로 접수된 의무보고 문서(d)에 대해 데이터 전처리를 수행한다. LDA 모형 생성을 위한 데이터 가공 방식과 마찬가지로 의무보고 문서(d)에 포함된 특수문자, 접속사, 오탈자 및 불용어 등을 제거한 후, 식 (1)과 같이 접수된 의무보고 문서를 k개의 형태소(m) 단위로 구분한다.

두 번째 과정으로는, 단어사전에 포함된 토픽별․단어별 중요도를 사용하여 해당 의무보고 문서가 각 토픽(t_x)에 포함될 확률(p_x)을 식 (2)와 같은 방법으로 계산한다. 단, 문서(d)내 각 형태소(m)가 특정 토픽에 대한 단어 집합(N_x)에 포함된 경우에만 그에 상응하는 중요도($w_x^t$)를 합한다. 또한, 문서(d) 내에서는 동일한 형태소가 중복하여 등장할 수 있으며 이때는 해당 형태소에 상응하는 중요도를 중복하여 합한다. 이는 의무보고 상에 여러 차례 반복하여 등장하는 형태소에 대한 중요성을 고려하기 위함이다.

마지막 세 번째 과정으로, 식 (3)과 같이 접수된 의무보고(d)가 각 토픽에 속할 확률(P_d={p₁, p₂, p₃, p₄, p₅, p₆}) 중 가장 큰 값을 찾아 해당 의무보고(d)의 토픽(t_d)을 예측한다.

2023년 상반기에 접수된 의무보고 40건을 대상으로 제안된 모델을 적용하여 토픽 예측 정확도를 확인한 결과, 75%(30건)의 의무보고가 실제 전문 분석원이 분석한 결과와 일치하는 것을 확인하였다.

제안된 의무보고 토픽 예측 모형은 접수된 의무보고에 작성된 단어를 기반으로 해당 의무보고가 각 토픽에 해당할 확률을 조건부(Bayes) 확률로 구한 후, 확률이 가장 높은 토픽을 해당 의무보고의 이벤트 유형(토픽)으로 채택한다. 이는 전적으로 데이터에 기반한 방법론으로, LDA 모형 수립 시 사용하는 데이터의 품질과 양에 따라 제안된 모형의 성능이 달라질 수 있다.

또한, 새로 접수된 의무보고가 기존에 접수되었던 의무보고와 전혀 다른 단어를 사용하는 경우에는 모형이 해당 의무보고의 토픽을 부정확하게 분류할 수 있다. 따라서 제안된 모형을 실제 업무에 활용하기 위해서는, 유관 규정에서 사용하는 용어의 변경이나 새롭게 등장하는 단어 및 종사자들이 사용하는 단어의 경향성을 모두 고려할 필요가 있다.