Data Greenhouse
logo
|
Blog
    데이터 품질 진단하기

    ISO/IEC 5259-2, 우리 회사 AI를 단단하게 만드는 데이터 품질 표준

    ISO/IEC 5259-2의 15가지 품질 측정 항목, 실무에서 적용하는 과정까지 정리했습니다. 기준 없이 감으로 검수하던 데이터 품질 관리, 이제 국제 표준으로 활용해 보시길 바랍니다.
    Pebbly's avatar
    Pebbly
    Jun 10, 2026
    ISO/IEC 5259-2, 우리 회사 AI를 단단하게 만드는 데이터 품질 표준
    Contents
    ISO/IEC 5259-2가 특별한 이유는 무엇일까?ISO/IEC 25012ISO/IEC 5259ISO/IEC 5259-2ISO/IEC 5259-2의 측정 기준1. 내재적 데이터 품질 특성2. 내재적 및 시스템 의존적 데이터 품질 특성3. 시스템 의존적 데이터 품질 특성4. 분석 및 ML을 위한 추가 데이터 품질 특성페블러스는 ISO/IEC 5259-2를 어떻게 실제 진단에 활용할까?ISO/IEC 5259-2을 알아도 실전에서 적용하기 어려운 이유1) 데이터의 품질, 표준만 안다면 절대 해결할 수 없습니다. 2) AI가 아니라 인간의 시각에서만 데이터를 바라봅니다.페블러스에서 고안한 해결책 2가지1) 신경망 기반 데이터 렌즈(DataLens)2) 데이터 이미징 (Data Imaging)데이터클리닉을 활용한 실제 데이터 품질 진단 과정 1) 클래스 불균형페블러스가 앞으로 나아갈 방향

    오르막길은 힘겹게 올라가야 하지만, 내리막길은 한순간에 떨어집니다.

    💣

    기업의 신뢰도 마찬가지입니다. 쌓는 데는 수년이 걸리지만, 무너지는 건 한 순간입니다. AI 시대가 된 지금, AI가 귀사를 성장시키는 도구가 되기도 하지만, 잘못 다루면 브랜드를 무너뜨리는 도구가 되기도 합니다. 이제 데이터 품질 관리는 기술적 과제가 아니라 기업의 리스크 관리입니다.

    이 글에서 다룰 ISO/IEC 5259-2가 그 기준을 국제 표준으로 정의한 문서입니다. 페블러스는 LG 유플러스 등 실제 고객사에 전달하는 데이터 품질 리포트에 이 기준을 적용하고 있습니다. 이 글에서는 ISO/IEC 5259-2가 무엇인지, 실제 데이터에 어떻게 적용하는지, 측정 결과를 어떻게 해석하는지까지 순서대로 정리해드립니다.


    ISO/IEC 5259-2가 특별한 이유는 무엇일까?

    페블러스에서는 여러 표준 중에서도 ISO/IEC 5259-2를 강조하고 있습니다. 그 이유는 무엇일까요?

    결론부터 말하자면, 인공지능 시대의 흐름과 가장 잘 맞는 데이터 품질 표준이기 때문입니다.

    그 이유를 자세히 말씀드리기 위해, ISO/IEC 25012와 ISO/IEC 5259, 5259-2를 세 가지를 비교해보겠습니다.

    ISO/IEC 25012

    2015년경에 나온 표준으로, 데이터베이스에 저장되는 정형 데이터의 품질 관리를 위해 만들어졌습니다. 지금까지 많은 정부기관과 기업에서 이 표준을 기준으로 데이터 품질을 관리해왔습니다.

    📊

    그런데 AI 시대에는 25012만으로는 부족합니다. AI와 데이터베이스는 요구사항이 다르기 때문입니다. AI는 형식이 맞는 데이터가 아니라 학습하기 좋은 데이터가 필요합니다.

    • 어느 데이터셋이 있다고 가정하겠습니다. 파일명은 정상, 해상도도 오차 없이 동일하고, 특별히 누락된 데이터도 없습니다. 라벨링도 잘 되어 있습니다. ISO/IEC 25012 기준으로는 품질이 높은 데이터라 판단합니다.

    • 그런데 특정 조건의 샘플만 90%를 차지하거나, 특정 각도와 환경에서만 찍힌 이미지로만 구성되어 있다면 어떨까요? 데이터 형식은 완벽하지만, AI의 성능은 떨어집니다. 

    ISO/IEC 5259

    그래서 ISO/IEC 5259가 만들어졌습니다. ISO/IEC 5259는 ISO/IEC 25012를 포함하면서 AI 맞춤판으로 확장한 버전입니다. AI와 머신러닝에 필수적인 데이터 품질 특성인 다양성, 대표성, 유사성과 같은 개념을 추가로 정의한 것입니다. 

    💻

    5259 표준은 형식이 아닌 내용, 숫자가 아닌 분포, 존재 여부가 아닌 다양성을 측정 기준으로 삼습니다. 이 표준을 사용해야 비로소 데이터의 밀도, AI 작업에 특화된 품질 지표 등을 정확히 평가할 수 있습니다.

    페블러스는 ISO/IEC 5259 시리즈를 지속적으로 연구하고 실제 프로젝트에 적용하며 관련 자료를 정리하고 있습니다. ISO/IEC 5259의 측정 기준을 더 깊이 이해하고 싶다면 ISO/IEC 5259-2 상세 해설, ISO/IEC 5259 시리즈 정보 허브 페이지를 확인해보시길 바랍니다. 

    ISO/IEC 5259-2

    지금까지 말씀드렸던 ISO/IEC 5259는 AI 학습 데이터 품질 관리를 위한 국제 표준 시리즈입니다. 이 중 ISO/IEC 5259-2는 데이터 품질을 실제로 어떻게 측정하고 평가할 것인지에 대한 기준을 다루고 있습니다. 


    ISO/IEC 5259-2의 측정 기준

    그래서 지금부터는 ISO/IEC 5259-2를 중점적으로 알아보려 합니다. 측정 항목은 크게 네 가지 그룹으로 나누어집니다. 

    1. 내재적 데이터 품질 특성

    데이터 자체가 가진 기본 속성을 판단합니다. 정확성, 완전성, 일관성, 신뢰성, 최신성, 총 5가지를 기준으로 데이터의 내용이 올바른지를 평가합니다. 

    2. 내재적 및 시스템 의존적 데이터 품질 특성

    데이터는 속성을 저장하고 처리하는 시스템 속에서 그 품질이 바뀌기도 합니다. 즉 이 기준은 데이터 자체의 속성을 단독으로 판단하는 게 아니라, 속성을 저장하고 처리하는 시스템이 합쳐져 만들어지는 품질을 판단하는 것이죠. 접근성, 규정 준수, 추적성 등 데이터가 시스템 안에서 얼마나 잘 관리되고 있는지를 봅니다.

    3. 시스템 의존적 데이터 품질 특성

    데이터를 담고 있는 IT 시스템과 인프라의 성능을 평가하는 항목입니다. 아무리 좋은 데이터라도 시스템이 불안정하면 실제 활용이 어렵기 때문이죠. 필요할 때 데이터를 사용할 수 있는지, 다른 환경으로 이동 가능한지, 장애 발생 시 복구 가능한지를 평가합니다. 

    4. 분석 및 ML을 위한 추가 데이터 품질 특성

    ML 추가 데이터 품질 특성은 감사 가능성, 균형, 다양성, 유효성, 식별 가능성, 적합성, 대표성, 유사성, 적시성 등 10개 소분류 26개 항목으로 구성됩니다. 

    💡

    ISO/IEC 5259-2를 단순히 데이터 자체의 결함을 찾는 기존 표준과는 차별화시켜줍니다.  "이 데이터가 특정 AI 프로젝트의 목적에 얼마나 유용한가"라는 소비자 관점에서 설계되었다는 점에서 ISO/IEC 5259-2의 핵심입니다. 편향 없는 모델 학습에 직결되는 균형, 대표성, 다양성, 유사성을 정량적으로 측정할 수 있는 유일한 AI 특화 품질 기준입니다.

    각 항목의 세부 측정 기준(QM 코드)이 궁금하시다면 페블러스 블로그에서 자세히 확인해보세요! 

    ISO/IEC 5259-2 세부 측정 기준 확인하기

    페블러스는 ISO/IEC 5259-2를 어떻게 실제 진단에 활용할까?

    페블러스는 데이터 품질 관리 솔루션, 데이터 클리닉에 ISO/IEC 5259-2을 적용하여 실제 데이터셋을 진단하고 있습니다. ISO/IEC 5259-2의 품질 특성을 진단 레벨별로 체계화하여 데이터 품질을 분석합니다.

    Level I : 기초 품질 진단

    데이터셋의 기본적인 품질 상태를 확인하는 단계입니다. 데이터셋의 기본 건강검진이라고 보시면 됩니다. 

    페블러스의 진단 항목

    ISO/IEC 5259-2 측정 항목

    세부 설명

    결측치 측정

    완전성 (Completeness)

    데이터 값, 레코드, 라벨이 누락되지 않았는지 확인합니다.

    데이터 정합성 측정

    일관성 (Consistency)

    데이터 형식이 올바른지, 라벨링 오류는 없는지 등을 점검합니다.

    클래스 균형 측정

    균형 (Balance)

    특정 클래스에 데이터가 과도하게 몰려 있지는 않은지 확인하여 학습 편향 가능성을 진단합니다.

    통계 분석

    정확성 (Accuracy)

    데이터의 분포와 속성을 분석하여 실제 현상을 얼마나 정확하게 반영하는지 평가합니다.

    Level II·III : AI 관점의 품질 진단

    하지만 AI 데이터의 품질은 단순히 결측치나 형식 오류만으로 판단할 수 없습니다. AI가 학습하기 좋은 데이터를 만들기 위해, 데이터클리닉에서는 데이터렌즈(DataLens)를 활용합니다. 데이터를 임베딩 공간에 투영하고, AI가 데이터를 인식하는 방식으로 품질을 분석합니다. 

    페블러스의 진단 항목

    ISO/IEC 5259-2 측정 항목

    세부 설명

    밀도(Density) 분석

    유사성 (Similarity)

    임베딩 공간에서 데이터 밀집도를 분석하여 중복 데이터와 유사 데이터의 과도한 집중 여부를 진단합니다.

    매니폴드 형상(Manifold Shape) 분석

    다양성 (Diversity), 대표성 (Representativeness), 균형 (Balance)

    데이터가 부족한 영역과 엣지 케이스를 발견하여 데이터 분포의 편향 여부를 분석합니다.

    내재적 차원(Intrinsic Dimension) 분석

    유사성 (Similarity), 독립성 관련 특성

    데이터가 실제로 얼마나 다양한 정보를 담고 있는지 측정하고 정보 복잡도를 평가합니다.


    ISO/IEC 5259-2을 알아도 실전에서 적용하기 어려운 이유

    그런데 ISO/IEC 5259-2를 잘 알고 있어도, 사실 데이터 품질을 원하는 수준만큼 개선시키기란 현실적으로 어려움이 많습니다. 페블러스에서 이미 이 문제들을 해결해왔는데, 경험에 기반하여 많은 분들이 어려워하시는 이유와 해결책을 말씀드리겠습니다.

     

    1) 데이터의 품질, 표준만 안다면 절대 해결할 수 없습니다. 

    표준은 중요하지만, 그렇다고 표준이 전부는 아닙니다.

    • 잘 생각해보면, 표준 하나로 현장의 모든 의문을 해결하기란 한계가 있습니다. 게다가 산업마다 현장의 모습은 다양하고, 그 문제의 밀도도 다양합니다. 표준이 현장을 따라가지 못하는 것입니다.

    • 인공지능에 대한 규제와 거버넌스를 지켜야 합니다. 그런데 윤리적인 것에 대한 기준은 부족하죠. 

    이러한 맥락에서 페블러스의 데이터 품질 관리 솔루션, ‘데이터클리닉’은 그저 ISO/IEC 5259-2만 기준으로 삼지 않습니다. 

    🧩

    페블러스의 데이터클리닉 2.0은 Agentic AI 기술에 기반하여 뉴로-심볼릭 관점에서 데이터의 품질을 더 폭넓게 측정하고 개선합니다. 데이터 품질을 다루는 전문 문서 285건을 학습한 AI 에이전트가 까다로운 표준에서 다양한 도메인까지 척척 이해하여 최적의 품질 진단을 제안하고 수행합니다.

    에이전트가 학습한 영역은 다음의 다섯 가지 영역으로 구성됩니다. 이 모든 지식들이 함께 작동하면서 데이터의 품질을 개선시킬 수 있는 것이죠. 

    • ISO 5259를 포함한 데이터 품질 표준(28.84%),

    • EU AI Act·GDPR·인공지능 기본법 같은 규제와 거버넌스(45.09%)

    • 로봇·제조·사회안전 분야의 도메인 응용(14.06%)

    • ICML 등 최신 학회 논문 기반의 데이터 과학 기초(9.89%)

    • 페블러스 내부 기술 문서(2.11%)

    실제로 데이터클리닉 2.0 속 데이터셋을 구축한 과정이 궁금하시다면 아래 글을 정독해보시는 것을 권합니다. 여러분의 데이터셋을 개선하는 일에도 분명 도움이 되실 것입니다. 

    데이터클리닉 2.0을 위한 데이터셋 구축 과정 확인하기

    2) AI가 아니라 인간의 시각에서만 데이터를 바라봅니다.

    인공지능은 뛰어나 보이지만, 인간의 뇌와 비교했을 때 작동하는 원리 자체는 엄연히 다릅니다.

    🤖

    사람은 데이터를 직관적으로 이해하지만, AI는 데이터를 이해하지 않습니다. 데이터 속 패턴을 학습하는 것이죠. 그래서 사람 눈에는 정상으로 보이는 데이터도, AI에게는 편향된 학습 데이터가 되고 맙니다.

    그래서 역지사지(易地思之)를 해야 합니다. 사람이 아니라 AI의 시각에서 데이터를 바라보는 것입니다.


    페블러스에서 고안한 해결책 2가지

    페블러스에서 고민 끝에 발견해낸 해결책은 2가지입니다. 

    1) 신경망 기반 데이터 렌즈(DataLens)

    AI 데이터를 단순한 표로 보는 게 아니라, AI가 실제로 데이터를 어떻게 인식하는지, 데이터 간의 관계는 어떠한지, 통계적 분포는 어떤지 분석하는 기술입니다. 

    데이터클리닉은 데이터 렌즈 2가지를 활용합니다. 일반형, 맞춤형으로 나누어져 있는데, 이 중 맞춤형 렌즈는 각 도메인의 특성을 고려하여 개발된 데이터 렌즈입니다. 

    데이터클리닉의 데이터 품질 진단 과정
    데이터클리닉의 데이터 품질 진단 과정

    2) 데이터 이미징 (Data Imaging)

    AI가 보는 데이터를 사람의 눈으로 볼 수 있는 기술입니다. 데이터는 수천 개의 특징을 가진 고차원 데이터인데, 이걸 2D·3D 공간처럼 시각화하는 것입니다. 어떤 데이터가 몰려 있는지, 어떤 영역이 비어 있는지, 이상치가 어디 있는지를 한눈에 보여줍니다. ISO 5259 속 품질 진단 기준과 데이터 이미징을 통해 품질을 진단하는 기술은 미국 특허로 등록된 기술로, 오직 페블러스만의 기술입니다. 


    데이터클리닉을 활용한 실제 데이터 품질 진단 과정 

    위 기술이 모두 합쳐진 데이터클리닉으로 데이터의 품질을 진단해볼까요? 재활용 폐기물 데이터셋 진단 리포트를 예제로 말씀드리겠습니다. 데이터클리닉이 이미지를 임베딩 공간에 올려서 분석하여 발견한 문제 중 두 가지를 알아보겠습니다. 

    SpectralWaste 데이터셋 - 컨베이어 벨트 위 6종 재활용 폐기물
    SpectralWaste 데이터셋 - 컨베이어 벨트 위 6종 재활용 폐기물

    1) 클래스 불균형

    해당 데이터셋에는 ISO/IEC 5259-2에 따르면 클래스 불균형 문제가 확연히 드러났습니다. 비디오(video_tape) 데이터셋과 필라멘트(filament) 데이터셋을 비교해보니, 각각 646장과 33장으로 나타났습니다. 보통 클래스를 분석할 때 최대치, 최소치를 비교했을 때 10:1의 비율을 넘어갈 때 심한 불균형으로 결론 짓는데, 이 사례에서는 19.6:1로 나타난 것입니다. 

    또한 L2(일반 데이터렌즈), L3(도메인 특화 데이터렌즈)를 사용하여 각각 불균형 정도를 분석해봤습니다. L2는 밀도값이 0.06~0.18 범위고, L3는 0.5~1.5 범위죠. 단위 자체가 다른 이유는 L2는 범용 임베딩(1280차원) 기반이고, L3는 재활용 도메인에 특화된 파인튜닝을 통해 최적 임베딩(32차원)을 사용하여 재활용 관련 특징을 더 예민하게 잡아내기 때문입니다.

    우선 L2 차트를 봤을 때, video_tape 샘플들이 임베딩 공간에서 비슷한 것들끼리 몰려 있다는 게 보입니다. 

    L2 렌즈로 바라본 클래스별 밀도 비교 - video_tape의 박스 폭이 가장 넓습니다. 
    L2 렌즈로 바라본 클래스별 밀도 비교 - video_tape의 박스 폭이 가장 넓습니다.

    L3 도메인 특화 렌즈로 보면 이 패턴이 더 선명해집니다. 재활용 도메인 기준으로 분석하니 video_tape가 다른 클래스와 밀도 격차가 훨씬 크게 벌어지고 있습니다. video_tape가 데이터셋의 37.8%를 차지하는 데다, 그 안에서도 비슷한 패턴만 반복되고 있다는게 확연히 드러나죠.

    L3 렌즈로 바라본 클래스별 밀도 비교 - 클래스 간 밀도 편차가 L2보다 더 뚜렷하게 드러납니다.
    L3 렌즈로 바라본 클래스별 밀도 비교 - 클래스 간 밀도 편차가 L2보다 더 뚜렷하게 드러납니다.

    진단 보고서에 대한 해설 전체는 아래 링크에서 확인하실 수 있습니다! 

    재활용 데이터셋 진단 보고서 자세히 확인하기

    페블러스가 앞으로 나아갈 방향

    페블러스는  현재의 데이터 품질에만 안주하지 않고, 미래의 품질 표준 자체를 예측합니다.

    2021년 페블러스를 창업하던 시절, 데이터 품질 관리 솔루션 ‘데이터클리닉’을 처음 개발하던 시절에는 ISO 5259가 존재하지 않았습니다. AI 학습 데이터에 맞는 품질 표준이 마땅하지 않았기에 페블러스는 자체적으로 기준을 만들어냈습니다. 

    📌

    시간이 지난 지금, 페블러스가 예측한 내용의 상당 부분이 ISO 5259에 반영되어 있습니다. 페블러스는 AI 데이터가 표준을 충족하는 것을 넘어, 표준이 요구하는 이유를 이해하고 데이터를 근본적으로 바꾸는 기업이 되려 합니다. 또한 현재뿐만 아니라 미래에도 안전하게 사용할 수 있는 솔루션을 제공하려 합니다.

    • KOLAS 인정기관 지정 심사 중: ISO/IEC 5259-2 표준에 대한 인증서를 발급할 수 있는 기관으로 인정받기 위해 심사를 받고 있습니다. 현장 실사를 무사히 마치고 8월 중에 인정기관 취득을 예상하고 있습니다.

    • AADS 과제에서 전 항목 자동진단 구현 중: 현재 수행 중인 과학기술정보통신부 AADS(Agentic AI Data Scientist) 과제에서 5259 표준 관점으로 데이터 품질을 자동 진단하는 기술을 개발하고 있습니다. 1단계에서 일부 자동화에 성공했고, 2단계에서는 5259의 전 항목을 자동으로 진단하게 됩니다. 뉴로-심볼릭과 AI Agent 기술이 핵심입니다.


    지금 여러분의 AI 데이터가 위 기준을 충족하고 있는지 궁금하신가요?

    데이터클리닉으로 ISO/IEC 5259-2 기준에 따라 데이터셋을 진단하고, 어디가 문제인지를 리포트로 보여드립니다. 페블러스만의 기술로 앞으로의 AI 규제와 표준 변화에도 흔들리지 않는 데이터 품질 기반을 만들어드리겠습니다. 

    데이터클리닉 도입 문의
    Share article
    Contents
    ISO/IEC 5259-2가 특별한 이유는 무엇일까?ISO/IEC 25012ISO/IEC 5259ISO/IEC 5259-2ISO/IEC 5259-2의 측정 기준1. 내재적 데이터 품질 특성2. 내재적 및 시스템 의존적 데이터 품질 특성3. 시스템 의존적 데이터 품질 특성4. 분석 및 ML을 위한 추가 데이터 품질 특성페블러스는 ISO/IEC 5259-2를 어떻게 실제 진단에 활용할까?ISO/IEC 5259-2을 알아도 실전에서 적용하기 어려운 이유1) 데이터의 품질, 표준만 안다면 절대 해결할 수 없습니다. 2) AI가 아니라 인간의 시각에서만 데이터를 바라봅니다.페블러스에서 고안한 해결책 2가지1) 신경망 기반 데이터 렌즈(DataLens)2) 데이터 이미징 (Data Imaging)데이터클리닉을 활용한 실제 데이터 품질 진단 과정 1) 클래스 불균형페블러스가 앞으로 나아갈 방향

    데이터클리닉 블로그

    RSS·Powered by Inblog