항공안전 보고 데이터 텍스트 분석 기반 조성을 위한 비식별 처리 기술 적용 연구

국내에서는 데이터 활용의 활성화를 위해 데이터 3법의 제개정과 더불어 데이터에서 존재하는 개인정보의 보호를 위해 개인정보보호법에 근거하는 개인정보 비식별 조치 가이드라인을 '18년도 제정하여 정부 및 공공기관 차원에서 분석을 위해 데이터 활용 시 보호되어야 하는 개인정보에 대한 비식별 조치사항을 규정하고 비식별 처리 기술에 대해 정의하고 있다.

비식별 조치 절차는 크게 사전검토, 비식별 조치, 적정성 평가, 사후 관리 등의 4단계를 거쳐 조치하도록 하며, 주로 비식별 처리에 대한 기술은 2단계인 비식별 조치 단계에서 적용하는 구조로 개인정보 보호를 위한 비식별화 조치에 대해 Fig. 1의 절차로 이행하도록 권고하고 있다[1].

Fig. 1. Personal information de-identification action procedure[1]

Download Original Figure

개인정보 비식별 처리는 사전검토 단계에서 식별된 비식별 대상 개인정보에 대해 검토 후 비식별 조치 단계에서 비식별 대상 데이터에 대해 일부 삭제 또는 대체하는 등의 비식별 처리 기술을 활용하여 데이터에 대한 비식별화 조치를 이행한다[1].

적정성 평가 단계에서는 비식별화 조치된 개인정보 데이터를 타 정보와 결합하여 식별 가능한지 여부 검증하는 등의 비식별 조치 결과를 평가하여 확정하고, 사후 관리 단계에서는 비식별 조치된 데이터 모니터링을 토대로 재식별 방지를 위한 조치를 지속하는 절차를 이행하도록 권고하고 있다[1].

개인정보 비식별 조치 가이드라인에서 정의하는 비식별 조치 절차 가운데 비식별 처리 기술이 적용되는 2단계 비식별 조치 절차에서 적용되는 기술은 가명처리, 총계처리, 데이터 삭제, 데이터 범주화, 데이터 마스킹 5개 분야에 17개 기술을 정의하고 있으며, 개인정보의 특성과 활용성을 고려하여 선별하여 비식별 처리 기술을 적용할 수 있다[2](Fig. 2).

Fig. 2. Relationship diagram between ISO/IEC 20889 standard and guidelines for measures against personal information de-identification[2]

Download Original Figure

현재 가이드라인에서 정의된 17개 비식별 조치기술 가운데 국제표준기구에서 ISO/IEC 20889 권고 표준으로 정의된 기술과의 연계되는 범위에 포함되는 암호화, 총계처리, 부분총계, 라운딩, 재배열, 감추기, 랜덤라운딩, 범위 방법, 임의잡음 추가, 공백 처리 등의 기술은 데이터 비식별 처리에 대한 표준화 범위 내에서 해외 상호 적용이 가능한 것으로 파악된다[3].

항공안전 의무보고는 항공안전 관련 사고 및 준사고 등의 이벤트 발생 시 해당하는 이벤트 발생에 대한 주요 내용을 기록하여 보고하는 체계로 통합 항공안전정보 시스템(NARMI)을 통해 운영관리되고 있다.

항공안전 이벤트 발생 시 등록되는 항공안전 의무보고 데이터는 일자 형태로 기록되는 발생일자 및 시간정보와 코드 또는 단일항목 내 단일정보만을 기록하는 구조의 항공사, 기종, 항공기 등록부호, 운항편명, 출발공항, 도착공항, 활주로, 발생위치, 발생구분, 원인분류, 비행단계, 이벤트유형, 보고종류, 보고자, 보고자 소속 등의 항목과 단일 데이터 항목에 다수의 정보를 기록하는 비정형 텍스트 구조의 발생내용, 조치사항, 조사결과 등으로 구성된다(Table 2 및 Fig. 3).

Fig. 3. Aviation safety mandatory report registration system

Download Original Figure

국내 항공안전 데이터는 항공안전법 제59조 제2항, 제61조의 3에 따라 항공안전보고 데이터의 외부공개 금지 및 개인정보보호 조치를 규정하고 있는 근거에 따라 항공안전 의무보고 데이터 분석 활용 시에는 개인정보 및 보고 데이터 제공자의 민감정보에 대한 비식별화 조치가 필요하다.

특히, 개인정보보호법 제2조 제1호에서의 개인정보 범위는 개인에 관한 성명, 주민등록번호 및 영상 등으로 개인을 식별할 수 있는 정보로서 해당 정보만으로는 특정 개인을 식별할 수 없더라도 타 정보와 결합하여 식별 가능한 경우에도 개인정보 보호의 범위에 포함하고 있으므로 이를 고려한 비식별 조치 대상 범위가 정의되어야 하므로, 항공안전 의무보고 상에서 정보 제공자 측면의 민감정보를 포함한 비식별 조치가 요구된다[7].

항공안전 의무보고 데이터 항목 가운데 개인정보는 보고자 및 보고자의 소속에 해당하는 데이터 항목으로 파악되며, 데이터 제공자 측면의 민감정보는 IATA FDX 프로그램 적용 사례와 보고 당사자의 신분 확인을 간접적으로 확인 가능한 수준에 대한 특성을 고려한 결과 항공사, 항공기 등록부호, 운항편명, 출발공항, 도착공항, 발생내용, 조치사항, 조사결과 등으로 파악된다(Table 3).

비식별 조치 대상 데이터 항목 가운데 항공사, 등록부호, 운항편명, 출발공항, 도착공항, 보고자, 보고자 소속 등의 정보는 단일항목 내 단일항목 속성 및 코드 형태 속성의 정형화된 데이터로 저장되어 있어 IATA FDX 프로그램에서 적용된 레코드 삭제와 같은 데이터 삭제 기술 또는 임의잡음 추가 및 공백과 대체와 같은 데이터 마스킹 등의 기술을 적용하여 일괄적인 비식별화 처리가 가능하다(Table 4).

특히, ISO/IEC 20889 표준과의 연계성을 고려할 경우 데이터 삭제 기술보다는 임의잡음 추가 및 공백과 대체와 같은 데이터 마스킹 기술 적용이 바람직할 것으로 판단된다.

비식별 조치 대상 데이터 항목 가운데 발생내용, 조치사항, 조사결과 등의 정보는 단일항목 내 불규칙적인 텍스트 형태 속성에 다수의 비식별 대상 정보를 포함하는 비정형 데이터로 저장되어 있어 일괄적인 비식별 조치 기술을 적용하는 데 한계가 있다.

비식별 조치 대상 데이터 항목 가운데 발생내용, 조치사항, 조사결과 등의 정보에 대한 sampling 검토 결과, 불규칙적으로 기록된 항공사, 등록부호, 운항편명, 출발공항, 도착공항 등의 보고자 측면의 민감정보를 추적하는 rule을 생성하고 이를 토대로 식별된 대상 정보를 비식별 코드로 치환하는 비식별화 처리 알고리즘 기술 적용이 요구된다(Table 5).

특히, 발생내용, 조치사항, 조사결과 등에 불규칙적으로 기록된 항공사, 운항편명, 출발공항, 도착공항 등의 비정형 텍스트 데이터에 대해서는 식별하는 Rule을 정의하여 식별 추적하고, 동일한 의미로 비식별하는 치환값으로 대체할 수 있는 데이터 마스킹 처리 알고리즘을 적용한다.

식별 대상 문자열 가운데 비식별 처리 과정에서 오류를 야기할 수 있는 문자열에 대해서는 문자열 시작 값과 종료 값에 오류 발생을 야기하는 문자열 패턴을 식별처리하는 rule을 적용하여 예외 처리하는 알고리즘을 적용한다.

텍스트 형태의 보고 데이터에 대한 비식별 처리 알고리즘 구조는 Fig. 4에 정의된 프로세스 모델에 따라 구현하여 ’20년도 항공안전 의무보고의 발생내용 항목에 적용한 결과 불규칙화된 텍스트 구조로 기록된 항공사, 등록부호, 운항편, 공항 등의 정보가 데이터 마스킹 형태의 비식별 처리 기술을 적용하여 대체문자로 치환 처리된다.

Fig. 4. Aviation safety mandatory report text data de-identification process algorithm model

Download Original Figure

텍스트 보고 데이터 비식별화 처리 알고리즘을 '20년도 1,094건의 항공안전 의무보고에 반영한 결과, 예외처리 미반영시 4,930건의 문자가 비식별 처리되었으며, 예외처리 반영 시 4,303건의 문자가 비식별 처리된다(Table 6).

항공안전 의무보고에서 예외처리를 반영하지 않는 경우 비식별 처리 정확도가 87.3%(오인식률 12.7%) 수준으로 파악되었으나, 비식별 오류를 보정한 예외처리 rule을 반영한 결과치에서는 100%의 정확도를 나타내고 있다(Fig. 5).

Fig. 5. Aviation safety mandatory report de- identification algorithm accuracy (Misrecognition rate due to application of exception handling)

Download Original Figure

'20년도 1,094건의 항공안전 의무보고 데이터를 대상으로 비식별 알고리즘을 활용하여 처리하는 데 소요된 시간은 3시간 수준으로, 기존 수작업으로 1개년도 발생내용 데이터의 비식별 조치에 14시간 이상의 시간이 소요되는 점을 고려할 경우, 70% 수준의 비식별 처리 시간 단축 효과를 기대할 수 있는 것으로 판단된다.