페블러스에서 내린 결론은 이렇습니다. 공공데이터 품질관리 체계는 기본적으로 ‘데이터를 안정적으로 관리하는 것’을 목표로 설계되었습니다. 다만 이 체계는 AI 시대에 요구되는 데이터 품질 기준까지는 아직 충분히 반영하지 못한 것입니다. 기술은 빠르게 발전했지만, 데이터 품질을 바라보는 기준은 아직 그 속도를 충분히 따라가지 못하고 있는 것입니다.
공공데이터 품질관리 도구를 사용했는데도 실패하는 진짜 이유, 실질적인 해결책?
기존 공공데이터 품질관리 도구의 구조적 한계를 짚고, 대구광역시 데이터 품질 개선 사례를 통해 데이터 품질 관리 방법을 안내해드립니다.
Jul 09, 2026
“솔직히 말하자면, 공공데이터는 사용하기에 불안해요…”
공공데이터에 대한 국민들의 솔직한 의견 중 하나입니다. 물론 공공데이터에 대해 긍정적인 시선을 가진 분들도 있지만 그 반대의 시각을 가진 분들도 있습니다. 그 의견들을 살펴보자면 이렇습니다.
정부에서는 국민, 기업들이 공공데이터를 비즈니스, AI에 적극 사용하기를 권장하고 있습니다. 공모전, 정부 지원 사업 등 다양한 정책을 실시하는 것입니다. 그럼에도 불구하고 ‘데이터 품질’이라는 근본적인 문제로 인해, 여전히 믿고 사용하기 어렵다는 의견이 존재합니다.
기존 공공데이터 품질 관리 도구의 한계, 어떻게 해결할 수 있을까?
지금까지 많은 공공기관 담당자분들이 사용해오셨던 GDQ(Government Data Quality)는 행정안전부와 NIA가 공동 개발한 공식 공공데이터 품질 관리 도구입니다. CSV 형식의 정형 데이터의 데이터 품질 표준 준수 여부를 자동으로 점검하고 개선을 지원하는 도구입니다.
또한 공공데이터 품질관리 수준 평가 기준에 따라 공공데이터 품질 관리 도구의 역할이 달라지는 만큼, 지금부터 행정안전부와 한국지능정보사회진흥원(NIA)이 운영하는 공공데이터 품질관리 수준 평가 기준을 확인해보려 합니다.
아래 표에서 자세한 내용을 확인하실 수 있습니다. 이 중에서 핵심을 요약하자면 크게 DB 관리, 표준 준수, 구조 관리, 오류율 관리와 같이 데이터를 체계적으로 관리하기 위한 항목으로 구성되어 있습니다.
이렇게 공공데이터는 체계적인 품질관리 체계를 갖추고 있습니다. 그런데 왜 공공데이터를 실제로 활용하는 분들 입장에서는 아쉽다는 평가를 내리는 걸까요?
💡
그렇다면 현재 공공데이터 품질 관리 도구의 한계, 그 한계를 어떻게 넘어설 수 있을지 개선 방안을 구체적으로 말씀드리겠습니다.
1. 비정형 데이터의 품질까지 관리해야 합니다.
현행 공공데이터 품질관리 기준은 DB, 테이블, 컬럼 등 이미 형식이 정해진 데이터, 이른바 ‘정형 데이터’를 중심으로 설계되어 있습니다. 품질진단 역시 관계 정합성, 컬럼 완결성, 도메인 유효성 등 데이터베이스 구조와 값의 정확성을 확인하는 항목으로 구성되어 있습니다.
그러나 최근 공공기관이 생산하고 활용하는 데이터는 더 이상 정형 데이터에만 머물러 있지 않습니다. 민원 접수 내용, 상담 기록, 회의록, 공문, 보고서와 같은 텍스트 데이터는 물론, 이미지와 영상 등 다양한 형태의 ‘비정형 데이터’도 빠르게 증가하고 있습니다. 이렇게 비정형 데이터가 증가하고 있지만, 품질 관리 체계는 아직 정형
데이터를 중심으로 머무르고 있습니다.
💡
정형 데이터의 품질만 관리하고 비정형 데이터의 품질을 관리하지 않는다면 어떨까요? 이미 쌓아둔 비정형 데이터를 기업, 공공기관에서 적극적으로 활용하면 혁신적인 비즈니스, 서비스를 개발할 수 있는데, 그 가능성을 아예
놓치는 것입니다.
특히 AI 기술이 발전하면서, 비정형 데이터의 중요성은 더욱 커지고 있습니다. AI 개발 시 정형 데이터만으로는 질 높은 AI 서비스를 개발하기엔 한계점이 있습니다.
정형 데이터와 비정형 데이터를 비교해보겠습니다. 정형 데이터는 숫자와 코드처럼 구조화된 정보를 제공하는 데 적합합니다. 하지만 AI를 사용해보신 분이라면 아시겠지만, AI는 단순히 숫자나 코드와 같은 사실 정보만 처리하는 것이 아닙니다.
🤖
AI는 사람의 언어와 문맥을 이해하고 상황을 판단하며, 사용자의 목적에 맞는 결과를 생성하거나 예측합니다. 맥락을 짚어내는 AI를 개발하기 위해서는 숫자와 코드로 이루어진 정형 데이터뿐 아니라, 문장, 이미지, 영상과 같은 비정형 데이터를 함께 학습해야 합니다.
민원 데이터라고 가정해보겠습니다. 단순히 '교통 민원'이라는 분류 정보뿐 아니라, 어떤 문제가 발생했는지, 시민이 무엇을 불편해하는지, 어떤 맥락에서 민원이 접수되었는지와 같은 중요한 정보가 담겨 있습니다.
이제는 기존의 정형 데이터와 함께 비정형 데이터의 특성을 반영한 품질 관리 체계도 필요합니다.
2. 개인정보 보호와 데이터 활용성 사이의 균형을 유지해야 합니다.
AI 기술이 빠르게 발전하면서 개인정보 보호와 데이터 활용을 함께 고려해야 한다는 중요성이 더욱 커지고 있습니다. 실제로 개인정보보호위원회도 2026년 G7 개인정보 감독기구 라운드테이블에서 'AI 시대의 개인정보 보호와 데이터 활용의 균형'을 주요 의제로 논의하며, 신뢰할 수 있는 AI 데이터 거버넌스 구축의 필요성을 강조했습니다.
그렇다면 데이터 품질 관리 차원에서 어떻게 개인정보를 보호할 수 있을까요? 이 과정에서 많이 활용되는 해결책이 가명처리입니다.
가명처리란? 이름, 전화번호, 주민등록번호 등 개인을 직접 식별할 수 있는 정보를 다른 값으로 대체하거나 삭제해, 개인정보를 보호하면서도 데이터를 활용할 수 있도록 하는 기술을 말합니다.
최근 개인정보보호법(PIPA) 개정으로 인해 AI 학습 데이터의 가명처리는 실무적 고민을 넘어 경영진이 주목해야 할 법적 의무가 되었습니다. 관련하여 개정법에 따른 규제 분석과 데이터 사고 책임에 대한 심층 리포트를 확인해보세요.
그런데 여기에서 주의할 점이 있습니다. 가명처리는 알고보면 그렇게 간단한 작업은 아닙니다.
데이터 속 개인정보를 제거하거나 비식별화하면서 그 안의 핵심적인 맥락까지 사라지면 어떨까요? 데이터의 가치가 훼손됩니다. AI 개발의 경우 AI가 정확한 패턴을 학습하기 어려워집니다.
개인정보는 제거되지만, AI 학습에 불필요하거나 신뢰성을 떨어뜨릴 수 있는 정보가 그대로 남아 있어 문제가 발생할 수 있습니다.
즉 핵심은 개인정보 보호와 데이터 활용성 사이의 균형을 함께 고려하며 품질을 관리하는 것입니다.
3. 데이터를 지속적으로 최신 상태로 관리해야 합니다.
“최신 데이터가 아니라 아쉽다.”
“데이터 품질이 지속적으로 관리되지 않아 활용하기 불안하다.”
글 초반의 이미지에서 보셨듯이 공공데이터에 대한 이용자들의 의견 중 이와 같은 이야기를 자주 확인할 수 있습니다.
사실 이 문제에 대한 답은 이미 알고 계실 것이라 생각합니다. 데이터를 지속적으로, 최신 상태로 관리하는 것입니다.
공공데이터 담당자분들은 이미 데이터 품질 관리의 중요성을 누구보다 잘 알고 있습니다. 실제 현장의 어려움은 알고 있어도 지속적으로 관리하기 어려운 업무 환경에 있는 것입니다.
많은 담당자분들께서 공감하시겠지만, 공공데이터 품질관리 기준은 매년 고도화되고 있습니다. 관리해야 하는 항목은 더욱 세분화되고, 데이터 오류율 기준 역시 더욱 엄격해지고 있습니다. 여기에 메타데이터 관리, 품질진단, 오류 개선, 증빙자료 준비까지 다양한 업무가 요구됩니다.
하지만 실제 현장에서는 공공데이터 업무만 전담하는 인력이 충분하지 않은 경우가 많습니다. 소수의 인원, 심지어 1인 담당자에게만 요구되는 것이 현실입니다.
여러 업무를 함께 담당하는 상황에서 방대한 데이터를 사람이 직접 확인하고 지속적으로 개선하는 데에는 현실적인 한계가 있습니다.
결국 앞으로의 데이터 품질 관리는 담당자의 노력에만 의존하는 방식에서 벗어나야 합니다.
한정된 인력으로도 변화하는 품질 기준에 대응할 수 있도록, 데이터 상태를 지속적으로 확인하고 개선 방향을 제안하는 자동화된 품질 관리 체계가 필요한 지점입니다.
그 지점에서 출발하여 데이터의 생애주기를 스스로 진단하고 자율 관리하는 '데이터 그린하우스(Data Greenhouse)' 운영체제를 제안합니다. 그리고 이 시스템의 심장이자 핵심 엔진이 바로 에이전틱 AI를 탑재한 공공데이터 품질 관리 도구 '데이터클리닉'입니다.
이 시스템의 전략적 배경과 상세 비전은 아래 링크에서 정식으로 확인하실 수 있습니다.
특히 공공 및 국방 분야의 고도화된 보안 요구를 충족하기 위해, 데이터 그린하우스는 외부망과 차단된 폐쇄망(에어갭) 환경에서도 완벽히 작동하는 '온프레미스(On-Premise) 패키지'를 지원합니다. 이를 통해 기관의 소중한 데이터를 외부 유출 걱정 없이 관리하며 데이터 주권(Sovereign AI)을 완벽하게 보호할 수 있습니다.
💡
데이터 과학 지식, 도메인 지식, 공공데이터 품질관리 표준, ISO 5259 시리즈를 학습한 에이전틱 AI가 공공데이터 품질관리 단계에 따라 담당자님 대신 데이터의 품질을 지속적으로 점검하고 관리해줍니다.
페블러스는 현재 KOLAS 인정기관 지정을 통해 우리 공공 데이터의 품질에 '글로벌 패스포트(Global Passport)'를 발급하기 위한 국제 표준 선점의 비전을 실현하고 있습니다. 이는 국내 공공 데이터가 세계 어디서나 그 품질을 인정받을 수 있도록 하는 품질 보증 체계의 정점이 될 것입니다.
현재 대구디지털혁신진흥원(DIP), 해병대, 국방기술품질원, 육군 시험평가단 등 공공기관들을 대상으로 B2G 서비스를 제공하고 있습니다.
대구디지털혁신진흥원의 대구광역시 교통 민원 데이터 품질 개선 사례
그렇다면 실제 공공기관에서는 이러한 문제를 어떻게 해결하고 있을까요? 이번에는 대구디지털혁신진흥원(DIP)이 수행한 대구광역시 교통 민원 데이터 품질 개선 사례를 소개해드리겠습니다. 해당 내용은 페블러스와 공동으로 진행한 웨비나에서 DIP가 직접 발표한 사례를 바탕으로 구성했습니다.
이 사례를 통해 앞서 말씀드린 내용 중 1) 비정형 데이터의 품질 관리 방법, 2) 개인정보 보호와 데이터의 품질의 균형을 이루는 방법을 확인해보실 수 있습니다.
기존 가명처리 방식의 한계
대구디지털혁신진흥원에서 자체적으로 이미 개인정보가 포함된 데이터에 대해 가명처리를 하고 있었지만, 동시에 한계를 겪고 있었습니다. 기존 텍스트 가명처리는 주로 NER(개체명 인식) 기반으로 개인정보만을 인식하고 제거하는 방식을 사용합니다.
NER이란? 문장에서 사람 이름, 주소, 전화번호, 차량번호처럼 특정 대상을 자동으로 찾아내는 AI 기술입니다.
민원을 예로 들면 이렇습니다. 아래 예시 속 볼드 처리한 글씨가 개인정보이며, 전체 문장 중 이렇게 개인정보만을 자동으로 인식하고 제거하는 방식이 NER입니다.
대구 수성구 알파시티1로 160 앞 도로에 12가3456 차량이 매일 불법주차되어 통행이 어렵습니다. 아침 출근길마다 아이들 등교가 불편하니 단속 부탁드립니다. (신고자 홍길동, 010-1234-5678)
NER은 훌륭한 방식이지만, 교통 민원 비정형 데이터를 가명처리하는 과정에서 일부 부작용은 피할 수 없었습니다. 가장 먼저 나타난 문제는 가명처리를 해도 아래 예시처럼 비속어와 혐오 표현, 감정적인 표현이 그대로 남아 있는 것이었습니다.
“매일 저녁 7시쯤 대구아파트 앞 버스정류장에 흰색 SUV(45나6789)가 불법주차합니다. 주민들이 수차례 항의했는데도 듣질 않고, 지나가는 사람들에게 ‘너 같은 인간이 뭘 알아’라며 무례하게 말합니다. 노인분들 통행이 어려워 매우 불쾌합니다.”
또한 개인정보를 제거하는 과정에서 문장의 의미가 손상되어, 데이터 활용성은 오히려 저하되었습니다. 이 사례를 보면 알 수 있듯이, 개인정보를 제거해도 반드시 품질 높은 데이터로 이어지는 것은 아닙니다.
대구디지털혁신진흥원의 새로운 접근 방법
해당 사례에서 DIP는 기존 방식과 다른 접근 방식을 적용했습니다. 쉽게 말하자면 개인정보만 지우는 것이 아니라 ‘이 민원이 무엇을 말하려는가?’를 먼저 이해한 뒤 새로운 문장을 생성하는 것입니다.
민원의 제목을 하나의 '의도'로 정의했습니다.
본문에서 핵심 명사와 동사를 추출해 문장을 다시 구성하는 방식을 적용하는 것입니다.
예를 들어 “대구 수성구 ○○도로 앞에 불법주차 차량이 있어 통행이 어렵습니다.”라는 민원이라면, 주소와 차량번호 등 개인정보는 제거하면서도 LLM 기반으로 합성데이터 생성으로 ‘불법주차로 인해 통행이 어렵다’는 민원의 핵심 의도는 그대로 유지하도록 문장을 재구성하는 것입니다.
이를 통해 개인정보 보호와 의미 보존은 물론, 비속어와 공격적 표현까지 함께 정제하여 AI가 학습하기 적합한 데이터로 변환할 수 있었습니다.
평가 결과
이렇게 DIP는 대구광역시 교통 민원 데이터 총 4,889건을 대상으로 분석과 품질 개선을 수행했습니다. 또한 보다 객관적인 평가 결과를 보기 위해, 개선한 데이터를 다음 4가지 방법으로 확인해봤습니다.
기존 개인정보 검출 방식 NER
대표적인 합성데이터 생성용 LLM인 Qwen 2.5, EXAONE 3.5
페블러스가 시도한 의도 기반 데이터 재구성(Intent Combination) 방식
1) 문장 의미 보존
모델 | 문장 임베딩 유사도 |
NER (RoBERTa) | 0.9845 |
Qwen 2.5 | 0.9735 |
EXAONE | 0.9476 |
EXAONE Intent Combination | 0.9388 |
네 가지 방식 모두 0.93 이상의 높은 문장 임베딩 유사도를 기록했습니다. 0~1 사이의 값으로 표현하는데, 1에 가까울수록 의미가 잘 유지되었다는 뜻입니다.
즉 어떤 방식을 적용하더라도 원문의 핵심 의미를 비교적 잘 유지했음을 보여주고 있습니다. 특히 NER 방식은 가장 높은 의미 유사도를 보이고 있습니다.
2) 개인정보 보호 성능
모델 | 개인정보 잔여 검출률 |
NER | 5.53% |
Qwen | 5.84% |
EXAONE | 6.93% |
Intent Combination | 5.01% |
개인정보 제거 성능에서는 Intent Combination 방식이 가장 낮은 개인정보 잔존율을 기록했습니다. 전체 모델에서 원문의 의미를 유지하면서도 개인정보를 더욱 효과적으로 제거한 것으로 확인되었습니다.
3) 비속어·혐오 표현 제거 성능
모델 | 검출 비율 |
NER | 1.79% |
Qwen | 1.11% |
EXAONE | 0.31% |
Intent Combination | 0.07% |
비속어와 혐오 표현 제거에서도 Intent Combination 방식이 가장 우수한 성능을 보였으며, 나머지 3가지 방식에서도 검출 비율이 낮게 나왔습니다. 개인정보뿐 아니라 AI 학습에 불필요한 유해 표현까지 함께 정제할 수 있다는 점을 확인할 수 있었습니다.
해당 사례는 페블러스 × 대구디지털혁신진흥원 공동 웨비나에서 상세히 다루었습니다. 공공기관장과 담당자를 포함해 총 250명이 참가한 웨비나, 보다 많은 담당자분들께서 도움을 드리고 싶은 마음으로 유튜브에도 업로드했습니다. 유튜브 채널에서 자세히 확인하시길 바랍니다!
또다른 공공기관 데이터 품질 관리 사례가 궁금하시다면, 아래 링크를 확인해보세요!
AI 데이터 품질에 대한 더 깊은 인사이트를 원하신다면 아래 자료를 추천합니다.
공공기관 담당자님들이 효율적으로, 정확히 데이터의 품질을 관리할 수 있도록, 국민들이 모두 편리하게 사용하는 개방 데이터를 만들기 위해서 공공데이터 품질 관리 도구로 체계를 잡아보세요. 페블러스는 빠르게 발전해나가는 기술의 방향성을 예측하고, 데이터 품질 관리 솔루션에 적용하고 있습니다.
또한 블로그뿐만 아니라 데이터 품질 관리에 대한 핵심 정보를 꾸준히 전달받고 싶은 분들은 아래 버튼을 눌러 데이터클리닉 뉴스레터를 구독해보세요.
본 기사는 페블러스의 기획 하에 AI를 보조적으로 활용하여 작성되었으며, 페블러스의 엄밀한 감수를 거쳐 출간되었습니다.
Share article