책임성 · 규제 · 디지털 신뢰
"AI는 책임을 질 수 없다. 그래서 책임 구조는 설계되어야 한다."
🎯 이 단계의 학습 목적
- 왜 배우는가: 앞의 네 단계에서 다룬 모든 요구 — 공정성 측정, 설명, 프라이버시, 안전 평가 — 는 누군가 하지 않으면 하지 않아도 되는 것입니다. 규제와 책임 구조는 그 "누군가"를 지정하는 장치입니다.
- 배워서 얻는 것: ① 책임 격차(responsibility gap) 논쟁과 역할별 책임 배분 원리 ② EU AI Act의 구조를 조문 단위로 읽는 능력 ③ NIST AI RMF·ISO/IEC 42001을 사내 프로세스로 번역하는 능력 ④ 한국·미국 규제 지형 ⑤ 딥페이크에 대한 출처 서명(C2PA) 접근과 탐지의 구조적 한계 ⑥ 사고 보고·구제 체계 설계
1. 핵심 학습 주제 (심화 강의)
| 핵심 주제 | 구체적으로 묻는 질문 | 이 Phase에서 얻는 핵심 답 |
|---|---|---|
| 책임 귀속 | AI의 결정으로 피해가 났을 때 개발자·배포자·사용자 중 누가 책임지는가? | 인과 책임, 역할 책임, 법적 책임을 구분해야 합니다. 책임은 시스템을 바꿀 통제 가능성·예견 가능성·의무을 따라 배분하며, 공급망이 길수록 역할별 증거와 인계 조건이 중요해집니다. |
| EU AI Act | AI를 어떻게 위험 수준별로 나누고 누구에게 어떤 의무를 부과하는가? | 금지 관행, 고위험 시스템, 투명성 의무, 범용 AI 의무가 서로 다른 층을 이룹니다. 제품 이름이 아니라 용도·영향·공급망 역할로 분류하고 그에 맞는 위험관리·데이터·문서·감독 의무를 연결해야 합니다. |
| NIST와 ISO | 자발적 프레임워크와 인증 가능한 경영시스템은 법과 어떻게 다른가? | NIST AI RMF는 Govern·Map·Measure·Manage로 위험관리 활동을 안내하고, ISO/IEC 42001은 조직의 AI 경영시스템을 감사 가능한 형태로 만듭니다. 둘은 법을 대체하지 않고 준수를 반복 가능한 운영 절차로 바꿉니다. |
| 규제 지형 | 한국·미국·EU의 규칙이 다르면 글로벌 서비스는 무엇을 기준으로 설계해야 하는가? | 관할별 의무를 기능 단위로 매핑하고 가장 엄격한 공통 통제를 기본값으로 삼되, 지역별 고지·동의·보고 차이는 별도 운영합니다. 법률 목록보다 적용 대상·시점·증빙·책임자가 있는 통제표가 중요합니다. |
| 딥페이크와 디지털 신뢰 | 가짜를 더 잘 탐지하면 합성 콘텐츠 문제를 해결할 수 있는가? | 생성 기술이 바뀔 때마다 탐지는 뒤쫓기 때문에 단독 해법이 아닙니다. C2PA 같은 출처 인증, 플랫폼 표시, 사칭 방지 절차, 미디어 리터러시를 결합하고, 출처 정보가 없다는 사실을 곧바로 가짜 판정과 혼동하지 않아야 합니다. |
| 사고 보고와 구제 | 피해자가 실제로 결정에 이의를 제기하고 시정받을 수 있는가? | 책임은 보고·조사·구제 절차가 있을 때 작동합니다. 쉬운 통지, 인간 재검토, 결정 중지, 기록 보존, 시정 기한, 재발 방지, 중대 사고 보고를 연결해 피해 복구가 가능한 시스템을 만들어야 합니다. |
📕 6-1. 책임 귀속 — 책임 격차는 실재하는가
① 세 가지 '책임'을 구분하라
| 유형 | 질문 | 대상 | 장치 |
|---|---|---|---|
| 인과적 책임 | 무엇이 이 결과를 야기했나 | 사건·요인 | 사고 조사, 로그 분석 |
| 도덕적 책임 | 누구를 비난할 수 있나 | 의도·인식을 가진 행위자 | 비난·사과·평판 |
| 법적/설명 책임 Accountability | 누가 설명하고 시정하고 배상해야 하나 | 역할·지위를 가진 주체 | 법·계약·감사·보험 |
AI 논의에서 실제로 중요한 것은 세 번째입니다. "AI에게 도덕적 책임을 물을 수 있는가"는 흥미롭지만 실무를 진전시키지 않습니다. "이 피해에 대해 누가 설명하고 배상하는가"가 설계 가능한 질문입니다.
② 책임 격차 논쟁
진행 중 논쟁 격차 주장(Matthias 등): 학습하는 시스템의 행동은 제작자가 예견·통제할 수 없으므로, 전통적 과실 책임의 요건(예견 가능성·통제)이 충족되지 않아 아무도 책임지지 않는 공백이 생긴다. 반론: ㉠ 예견 불가능한 시스템을 배포하기로 한 결정 자체가 귀속 가능한 행위다 ㉡ 법은 이미 무과실·엄격책임, 제조물책임, 사용자책임(respondeat superior) 등 통제 없이도 책임을 지우는 장치를 갖고 있다 ㉢ 격차 담론이 오히려 책임 회피에 이용될 수 있다.
전문가의 입장 정리: 격차는 기술적 필연이 아니라 제도 설계의 미비다. 항공·의약품은 개별 사고의 인과가 복잡함에도 책임 체계를 유지합니다 — 설계 승인, 사후 감시, 강제 보고, 배상 기금이라는 조합으로 해결했습니다.
③ 다수의 손(many hands) 문제와 역할별 의무
기반모델 제공자 → 미세조정 개발자 → 시스템 통합업체 → 배포 조직 → 최종 사용자로 이어지는 사슬에서, 각자가 "내 부분은 정상이었다"고 말할 수 있습니다. 해법은 역할별로 다른 의무를 부과하는 것입니다.
| 역할 | 고유 의무 | 공유해야 할 정보 |
|---|---|---|
| 기반모델 제공자 | 문서화, 평가 결과 공개, 사용 정책, 취약점 대응 | 학습 데이터 요약, 능력·한계, 평가 방법, 알려진 실패 모드 |
| 미세조정·응용 개발자 | 도메인 평가, 데이터 적법성, 시스템 카드 | 변경 내용, 도메인 성능·격차, 잔여 위험 |
| 통합·유통업체 | 구성 안전성, 버전 관리, 상류 정보 전달 | 구성 정보, 의존성, 업데이트 이력 |
| 배포 조직(운영자) | 용도 적합성 확인, 인간 감독, 모니터링, 고지, 구제 절차 | 실사용 성능, 사고, 이의제기 통계 |
| 최종 사용자 | 사용 지침 준수, 오류 신고 | 이상 사례 |
계약으로 번역하기: 위 표는 그대로 공급 계약의 조항이 됩니다 — 정보 제공 의무, 평가 결과 접근권, 사고 통지 기한(예: 인지 후 72시간), 책임 제한의 상한, 감사권, 모델 변경 시 사전 통지 의무. 실무에서 AI 윤리가 실제로 강제되는 지점은 대개 계약서입니다.
📗 6-2. EU AI Act — 구조를 조문 단위로 읽기
① 규제 대상과 기본 구조
세계 최초의 포괄적 AI 법률로, 위험 기반(risk-based) 접근을 취합니다. 규제 단위는 모델이 아니라 용도(intended purpose)이며, 역외 적용(EU 시장에 출시되거나 EU 내에서 출력이 사용되면 적용)이 특징입니다.
| 위험 단계 | 예시 | 규제 |
|---|---|---|
| 수용 불가 (금지) | 잠재의식적·취약성 이용 조작, 사회적 점수화, 특정 예측적 치안, 무차별 얼굴 이미지 스크래핑, 직장·교육기관의 감정 인식, 민감 속성 추론 생체 분류, 원칙적으로 공공장소 실시간 원격 생체 식별 | 전면 금지 (제5조 계열) |
| 고위험 | 중요 인프라, 교육 평가, 고용·인사, 필수 서비스 접근(신용·보험·공공급부), 법 집행, 이민·국경, 사법, 특정 제품 안전요소 | 위험관리시스템, 데이터 거버넌스, 기술문서, 자동 로그, 투명성·사용지침, 인간 감독, 정확성·견고성·사이버보안, 적합성 평가, 사후 시장 모니터링 |
| 제한적 위험 (투명성 의무) | 챗봇, 감정 인식, 생체 분류, 딥페이크·합성 콘텐츠 | AI와 상호작용 중임을 고지, 인공 생성물 표시·기계 판독 가능 표시 |
| 최소 위험 | 대부분의 일반 응용 | 자발적 행동강령 |
② 범용 AI(GPAI) 별도 트랙
- 모든 GPAI 모델: 기술 문서, 하류 제공자용 정보, 저작권 준수 정책, 학습 콘텐츠의 충분히 상세한 요약 공개
- 시스템적 위험이 있는 GPAI: (컴퓨트 임계 등 기준으로 지정) 모델 평가·적대적 테스트, 시스템적 위험 평가·완화, 중대 사고 보고, 사이버보안 확보
- 오픈소스 모델에 대한 일부 완화가 있으나 시스템적 위험 모델과 금지 관행에는 적용되지 않습니다
③ 역할 정의 — 누구에게 의무가 붙는가
AI 시스템을 개발해 자기 이름·상표로 시장에 출시하는 자. 가장 무거운 의무를 집니다.
자신의 권한으로 AI를 사용하는 자. 사용 지침 준수, 인간 감독 배정, 입력 데이터 적절성, 로그 보관, 근로자·정보주체 고지 의무.
고위험 시스템에 자기 상표를 붙이거나, 의도된 목적을 실질적으로 변경하면 배포자가 제공자의 의무를 지게 됩니다. 사내 파인튜닝이 이 함정에 자주 걸립니다.
위반 유형에 따라 전 세계 매출 기준 비율 또는 정액 중 높은 금액의 과징금. 금지 관행 위반이 가장 무겁습니다.
실무 체크리스트: ① 우리 시스템의 용도가 Annex III(고위험 목록)에 해당하는가 ② 우리는 제공자인가 배포자인가, 변경으로 역할이 바뀌지 않는가 ③ 금지 관행에 해당하는 기능이 있는가(특히 감정 인식·생체 분류) ④ 투명성 의무 대상인가 ⑤ GPAI를 사용한다면 상류 제공자로부터 어떤 문서를 받아야 하는가. 조문·부속서·시행 시점은 반드시 원문으로 확인하세요.
📘 6-3. 프로세스 표준 — NIST AI RMF와 ISO/IEC 42001
① NIST AI RMF (2023) — 4기능
| 기능 | 내용 | 대표 산출물 |
|---|---|---|
| GOVERN | 정책·역할·책임·문화. 다른 세 기능을 관통하는 기반 | AI 정책, 역할 정의(RACI), 위험 수용 기준, 교육 기록 |
| MAP | 맥락 파악 — 용도, 이해관계자, 영향, 가정 | 영향평가서, 이해관계자 지도, 사용 범위 정의 |
| MEASURE | 위험을 분석·추적·측정 | 지표 정의서, 평가 결과, 레드팀 보고서, 모니터링 대시보드 |
| MANAGE | 우선순위화·대응·모니터링·복구 | 위험대장, 완화 계획, 사고 대응 절차, 폐기 기준 |
왜 유용한가: 원칙이 아니라 동사로 구성되어 있어 조직 프로세스에 바로 매핑됩니다. 자발적 프레임워크이지만 사실상 미국 공공조달과 산업 실무의 공통 언어가 되었고, 생성 AI 프로파일 등 도메인 확장이 제공됩니다.
② ISO/IEC 42001 (2023) — 인증 가능한 AI 경영시스템
- ISO 9001·27001과 같은 경영시스템 표준(MSS) 구조: 맥락 → 리더십 → 기획 → 지원 → 운용 → 성과 평가 → 개선(PDCA)
- 핵심 차이: 제3자 인증이 가능합니다. 계약·조달에서 증빙으로 쓸 수 있다는 것이 실무적 가치
- 부속서에 AI 특유의 통제 항목(영향평가, 데이터 관리, 생애주기, 제3자 관계) 제공
- 관련 표준: ISO/IEC 23894(AI 위험 관리 지침), ISO/IEC 22989(용어), ISO/IEC 24028(신뢰성)
세 가지를 어떻게 함께 쓰나: ISO 42001로 관리 체계의 뼈대를 세우고 → NIST AI RMF로 위험 식별·측정 활동을 구체화하고 → EU AI Act의 고위험 요구사항을 필수 통제 항목으로 매핑합니다. 세 문서를 한 장의 매핑 표로 만들어 두면 감사·조달 대응 비용이 크게 줄어듭니다(Phase 8 실습).
📙 6-4. 규제 지형 — 한국·미국·기타
① 한국
- AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법): 고영향 AI 개념을 도입하고 사업자에게 위험관리·설명·이용자 보호·사람에 의한 감독 등의 의무를 부과하는 구조. 생성형 AI 결과물 고지·표시 의무를 포함합니다.
- 개인정보보호법 제37조의2: 완전히 자동화된 결정에 대한 거부권·설명 요구권. 정보주체 권리 행사 절차와 예외를 확인해야 합니다.
- 분야별 규율: 금융(신용정보법·금융분야 AI 가이드라인), 의료(의료기기 SW 인허가), 교육·채용 관련 지침 등.
- 실무 포인트: 하위 법령·고시·가이드라인이 계속 정비 중이므로, 반드시 시행일과 최신 고시를 원문으로 확인하고 문서에 확인 일자를 기재하세요.
② 미국
- 부문별·기관별 접근: 포괄 연방법 대신 기존 권한을 활용 — 불공정·기만 행위 규제(소비자 보호), 고용 차별(EEOC), 금융(공정신용보고·대출 관련 법), 의료기기(FDA)
- 주(州) 법의 급증: 자동화 고용 결정 도구의 편향 감사 의무(뉴욕시 Local Law 144), 주별 프라이버시법의 프로파일링 옵트아웃, 딥페이크·선거 광고 표시 의무 등
- 연방 정책 문서: 행정부 교체에 따라 정책 방향이 크게 바뀌는 영역이므로, 특정 문서의 현행 효력을 항상 확인해야 합니다
③ 국제·기타
인권·민주주의·법치 관점의 국제조약으로, 비유럽 국가도 가입 가능한 구조.
알고리즘 추천·딥합성·생성형 AI에 대한 개별 규정과 알고리즘 등록제, 합성 콘텐츠 라벨링 요구가 특징.
기존 규제기관 중심의 원칙 기반 접근 + AI 안전 연구소를 통한 프론티어 모델 평가.
G7 히로시마 프로세스 행동강령, AI 안전 정상회의 계열의 국가 간 공약, OECD·UNESCO의 이행 점검.
다국적 배포의 실무 원칙: 가장 엄격한 관할을 기준으로 단일 기준선을 만들되, 관할별로 추가 요건 매트릭스를 관리하세요. 각국 요구를 개별 대응하면 문서가 분기되어 관리 불가능해집니다.
📕 6-5. 딥페이크와 디지털 신뢰 — 탐지에서 출처로
① 피해 유형의 분류 — 하나의 문제가 아니다
| 유형 | 피해 | 가장 효과적인 대응 |
|---|---|---|
| 비동의 성적 이미지 | 개인의 존엄·안전 침해. 피해가 즉각적이고 회복 불가 | 제작·유포의 직접 형사 처벌, 플랫폼 신속 삭제 의무, 해시 공유 차단 |
| 사칭 사기 | 음성·영상 사칭으로 송금·권한 탈취. 조직 대상 표적 공격 포함 | 절차적 방어 — 대역외 확인, 콜백 규칙, 이중 승인. 기술 탐지에 의존하지 말 것 |
| 선거·정치 조작 | 민주적 의사 형성 왜곡, 특히 투표 직전 시점 | 정치 광고 표시 의무, 신속 대응 채널, 플랫폼 유통 제한 |
| 거짓말쟁이의 배당 Liar's dividend | 진짜 증거를 "AI 조작"이라 부인 — 진실성 자체의 훼손 | 출처 인증(provenance) 인프라. 탐지로는 해결 불가 |
② 왜 탐지는 구조적으로 불리한가
- 적대적 동학: 탐지기가 공개되면 생성기가 그것을 회피하도록 최적화됩니다. 방어가 항상 한 발 늦습니다
- 일반화 실패: 특정 생성 모델로 학습한 탐지기는 새 모델에 대해 성능이 급락합니다
- 압축·재인코딩: 소셜 미디어 업로드 과정의 재압축이 탐지 신호를 파괴합니다
- 비대칭 비용: 오탐(진짜를 가짜로 판정)의 사회적 비용이 매우 큽니다 — 특히 언론·사법 맥락에서
결론: "이것이 AI 생성인가"를 사후에 판정하려는 접근은 근본적으로 열세입니다. 대안은 "이것이 어디서 왔는가"를 처음부터 기록하는 것 — 출처(provenance) 접근입니다.
③ 출처 인증 인프라 — C2PA / Content Credentials
- 생성·촬영 시점에 콘텐츠에 서명된 매니페스트를 부착 (누가·무엇으로·언제 만들었는가)
- 편집 시 변경 이력이 체인으로 누적됩니다 (원본 → 크롭 → 색보정)
- 검증자는 서명을 확인해 주장의 무결성을 판단합니다
- 매니페스트가 없으면 "가짜"가 아니라 "출처 정보 없음"으로 표시 — 이 구분이 핵심
한계도 정확히 알아야 합니다: ㉠ 메타데이터는 제거될 수 있습니다(스크린샷 한 번으로 소실) ㉡ 서명은 "이 카메라로 찍었다"를 증명할 뿐 피사체가 진실인지는 증명하지 않습니다(카메라 앞에 화면을 놓고 촬영) ㉢ 생태계 채택률이 낮으면 무의미합니다 ㉣ 창작자 익명성·프라이버시와 충돌할 수 있습니다. 워터마킹도 마찬가지로 제거·위조 공격에 취약하다는 연구가 축적되어 있습니다.
2026년 방향: "AI 생성" 라벨 하나를 붙이는 접근에서, 플랫폼 간 상호운용되는 검증 가능한 출처 신호로 이동하는 흐름이 뚜렷합니다. 규제도 이를 반영해 EU AI Act는 합성 콘텐츠의 기계 판독 가능한 표시를 요구합니다.
④ 조직 방어 — 사칭 사기에 대한 절차적 통제
- 고액 송금·권한 변경은 대역외(out-of-band) 확인 의무 — 요청이 온 채널과 다른 채널로 확인
- 사전 공유된 구두 암호 또는 확인 질문 절차
- 긴급성·비밀 유지 요구는 그 자체로 위험 신호임을 교육 (사기의 공통 패턴)
- 임원 대상 공개 음성·영상 자료의 노출 관리(완전 차단은 비현실적이므로 절차 방어를 우선)
- 모의 훈련과 신고 시 비처벌 원칙 — 속은 직원을 처벌하면 보고가 사라집니다
📗 6-6. 사고 보고와 구제 — 책임을 작동시키는 마지막 고리
① 왜 사고 보고 체계가 필요한가
항공 안전이 개선된 핵심 이유는 더 좋은 비행기가 아니라 의무 보고 + 비처벌 + 공개 데이터베이스의 조합이었습니다. AI에는 아직 이 인프라가 얕습니다. EU AI Act의 중대 사고 보고 의무, 각국 AI 안전 기관의 사고 수집이 초기 형태입니다.
사망·중상, 중요 인프라 장애, 기본권 중대 침해, 재산상 중대 피해, 그리고 아차 사고(near miss). 아차 사고가 학습 가치가 가장 큽니다.
보고자에 대한 불이익 금지가 없으면 보고는 사라지고 통계는 왜곡됩니다. 고의·중과실은 예외로 명시.
재발 방지를 위해 패턴은 공개하되 개인·조직 식별은 제한. 산업 공통 학습이 목적입니다.
"모델이 틀렸다"에서 멈추지 말고 Phase 1의 7층 사회기술 분석으로 어느 층이 실패했는지 규명.
② 개인 구제 절차 설계
- 인지 가능성: 자동화된 결정이 있었음을 당사자가 알 수 있어야 합니다 (고지 없이는 이의제기가 불가능)
- 이해 가능성: 주요 근거와 변경 가능한 요인 제시 (Phase 3의 반사실적 설명)
- 이의제기 경로: 접근성 높은 채널, 처리 기한 명시, 인간 재심사 보장
- 시정: 오류 확인 시 결정 번복 + 데이터·모델 반영까지 (개별 구제로 끝나면 같은 오류가 반복됩니다)
- 집단적 구제: 동일 원인의 다른 피해자를 능동적으로 식별해 통지 — 개별 신고에만 의존하면 대부분 놓칩니다
- 통계 공개: 이의제기 건수·인용률·처리 기간을 정기 공개. 이 숫자가 시스템 품질의 실질 지표입니다
감사 시 확인 지표 3종: 이의제기율(너무 낮으면 인지 실패), 인용률(너무 낮으면 형식적 심사), 평균 처리 기간(길면 실질적 구제 아님). 세 숫자를 함께 봐야 의미가 있습니다.
2. 필독 문헌
- 📄 EU AI Act 원문 — 최소한 제5조(금지), Annex III(고위험 목록), GPAI 장(章)은 직접 읽을 것
- 📄 NIST AI RMF 1.0 + Playbook — 사내 프로세스 설계의 실질적 출발점
- 📄 Chesney & Citron (2019), Deep Fakes — 'liar's dividend' 개념의 원전
- 📄 C2PA 기술 명세 — 매니페스트 구조를 한 번 훑어볼 것
- 📖 《The Black Box Society》 — Frank Pasquale. 알고리즘 책임성 담론의 고전
3. 추천 영상
위험 4단계, 고위험 의무, GPAI 트랙, 시행 일정
Govern·Map·Measure·Manage를 조직 프로세스로 옮기는 방법
서명된 매니페스트와 편집 체인, 그리고 한계
기술 탐지가 아니라 확인 절차로 막는 방법
국내 의무 사항과 시행 일정 관련 설명 자료
4. 주차별 실행 계획
- ✅ 1주차 전반: 책임 3유형과 역할별 의무표를 본인 조직/관심 제품에 대입해 작성
- ✅ 1주차 후반: EU AI Act 제5조와 Annex III를 직접 읽고, 관심 시스템의 위험 등급을 판정 + 근거 조문 인용
- ✅ 2주차 전반: NIST RMF 4기능 × EU AI Act 고위험 요구 × ISO 42001 통제의 3열 매핑 표 작성
- ✅ 2주차 중반: AI Incident Database에서 사고 3건을 골라 7층 분석 + 어떤 규제가 있었다면 막혔을지 평가
- ✅ 2주차 후반: 구제 절차 설계서 작성 → 서술형 과제 → 퀴즈 응시
5. 실전 과제: 규제 준수 매핑 + 구제 절차 설계
[시스템] 채용 서류 자동 선별 도구 (EU·한국 동시 서비스)
[1] 규제 판정
EU AI Act : Annex III 4(a) 고용·인사 → 고위험 ○
우리 역할: 자체 상표로 시장 출시 → 제공자(Provider)
금지 관행 점검: 지원자 영상 '감정 인식' 기능 → 제5조 위험, 기능 제거 결정
한국 : 고영향 AI 해당 검토(채용 영역) → 고지·설명·감독 의무 반영
개인정보보호법 §37조의2 → 자동화 결정 거부·설명 요구권 절차 구축
미국(NY시) : 자동화 고용 결정 도구 → 연 1회 독립 편향 감사 + 결과 공개 + 사전 통지
[2] 3열 매핑 (요구 ↔ 표준 ↔ 우리 산출물)
EU AI Act 요구 NIST AI RMF ISO 42001 우리 산출물 담당 주기
위험관리시스템 GOVERN·MANAGE 6.1/8.2 위험대장 v3 리스크팀 분기
데이터 거버넌스 MAP·MEASURE 7.5/8.3 데이터시트, 편향감사 데이터팀 반기
기술문서(Annex IV) MAP 7.5 시스템카드+모델카드 ML팀 릴리스마다
자동 로그 기록 MEASURE 8.4 결정 로그(24개월) 플랫폼팀 상시
투명성·사용지침 MAP 8.2 배포자 가이드 PM 릴리스마다
인간 감독 GOVERN 8.2 감독 SOP + 뒤집기 KPI HR운영 월간
정확성·견고성·보안 MEASURE 8.3 평가보고서, 레드팀 ML팀 분기
적합성 평가 GOVERN 9.2 내부 심사 기록 품질팀 릴리스마다
사후 시장 모니터링 MANAGE 9.1/10 모니터링 대시보드 리스크팀 상시
[3] 구제 절차 설계
인지 : 불합격 통지에 "AI 보조 선별이 사용되었음" 명시 + 이의제기 링크(1클릭)
이해 : 상위 요인 3개 + 변경 가능한 항목 반사실 1개
예) "직무 관련 자격증 항목이 비어 있습니다. 기재 시 재평가 대상입니다."
이의 : 접수 후 10영업일 내 인간 재심사, 재심사자는 최초 결정에 관여하지 않은 자
시정 : 인용 시 결정 번복 + 사유를 오류 유형으로 분류해 월간 모델 리뷰에 투입
집단 : 동일 원인 확인 시 영향 지원자 전체를 능동 식별·통지(로그 기반 소급 조회)
공개 : 분기별 이의제기율 / 인용률 / 평균 처리기간 3종 지표 사내 공개, 연 1회 외부 공개
[4] 사고 대응
중대 사고 정의: 기본권 중대 침해(차별 확인), 대량 오분류(>500건), 데이터 유출
통지 기한: 인지 후 내부 24h → 규제기관 법정 기한 준수 → 영향받은 지원자 통지
비처벌 보고 채널 운영, 분기별 아차사고 리뷰
6. 서술형 과제
Q1. (600자 이상) 자율주행차가 사고를 냈을 때 "학습한 시스템이라 아무도 예견할 수 없었으므로 누구에게도 책임을 물을 수 없다"는 주장을 평가하고, 실제로 어떤 책임 구조를 설계해야 하는지 서술하시오.
모범 답안 개요 보기
주장의 구조: 이는 책임 격차(Matthias) 논변의 강한 형태다. 과실 책임이 예견 가능성과 통제를 요구하는데 학습 시스템은 둘 다 약화시킨다는 것.
반박 1 — 배포 결정은 귀속 가능하다: 개별 행동이 예견 불가능하더라도, 예견 불가능한 시스템을 공공 도로에 배포하기로 한 결정은 특정 주체의 의도적 행위다. 위험을 창출한 자에게 책임을 지우는 것은 법의 오래된 원리다.
반박 2 — 법은 이미 도구를 갖고 있다: 제조물책임(결함 개념을 설계·표시·제조로 확장), 엄격책임(고위험 활동), 사용자책임, 그리고 보험·보상기금. 개별 인과 규명 없이도 피해 구제가 작동하는 체계가 존재한다.
반박 3 — 담론의 기능: 격차 주장은 종종 책임 회피의 수사로 기능한다. "아무도 책임질 수 없다"는 결론은 피해자에게 비용을 전가한다.
설계안: ① 사전 — 형식 승인·안전 사례 제출·운행 설계 영역(ODD) 명시 ② 운영 — 강제 데이터 기록(EDR 상당)과 사고 시 데이터 제출 의무로 인과 규명 가능성 확보 ③ 배상 — 1차적으로 운행자·제조사의 무과실 책임 + 강제보험으로 피해자를 신속 구제하고, 내부 구상(求償)으로 제조사·부품·소프트웨어 공급자 간 분담 ④ 사후 — 의무 사고 보고와 리콜 권한 ⑤ 형사책임은 통제 가능성이 입증되는 경우로 한정. 즉 구제(민사)와 비난(형사)을 분리하는 것이 핵심 설계 원리다.
Q2. (500자 이상) 딥페이크 문제에 대해 "탐지 기술을 고도화하면 된다"는 접근의 한계를 설명하고, 출처 인증(C2PA) 접근의 장점과 한계를 균형 있게 평가하시오.
모범 답안 개요 보기
탐지의 한계: ㉠ 적대적 동학 — 탐지기 공개가 곧 회피 학습의 표적을 제공 ㉡ 새 생성 모델에 대한 일반화 실패 ㉢ 재압축으로 신호 소실 ㉣ 오탐 비용의 비대칭(진짜를 가짜로 판정하면 언론·사법에서 치명적) ㉤ 무엇보다 거짓말쟁이의 배당은 탐지로 해결되지 않는다 — 진짜를 부인하는 전략에는 탐지기가 무력하다.
출처 인증의 장점: 사후 판정이 아니라 사전 기록이므로 적대적 동학에서 유리하다. "가짜 판정" 대신 "출처 정보 있음/없음"이라는 긍정적 신호를 만들며, 편집 이력이 체인으로 남아 검증 가능하다.
한계: ㉠ 메타데이터는 제거될 수 있고 스크린샷 한 번으로 소실된다 ㉡ 서명은 촬영 사실을 증명할 뿐 피사체의 진실성은 증명하지 않는다 ㉢ 채택률이 낮으면 "정보 없음"이 다수여서 신호 가치가 없다 ㉣ 창작자 익명성·내부고발자 보호와 충돌 가능 ㉤ 서명 인프라 자체가 신뢰 집중을 만든다.
결론: 어느 하나로 해결되지 않으며 기술(출처+탐지 보조) × 플랫폼 정책(표시·유통 제한·신속 삭제) × 법(비동의 성적 이미지 처벌, 선거 광고 규제) × 절차(조직의 대역외 확인) × 미디어 리터러시의 다층 조합이 필요하다. 피해 유형별로 유효한 수단이 다르다는 점을 명시하면 만점.
📌 Phase 6 핵심 정리
- ✅ 책임 3유형: 인과적·도덕적·설명책임. 실무에서 설계 가능한 것은 설명책임(누가 설명·시정·배상하는가)이다.
- ✅ 책임 격차는 제도 미비다: 배포 결정의 귀속 가능성 + 무과실·제조물책임·보험이라는 기존 장치로 상당 부분 메울 수 있다.
- ✅ EU AI Act: 위험 4단계 + GPAI 트랙. 규제 단위는 용도. 파인튜닝·상표 부착으로 배포자가 제공자 의무를 지게 되는 함정을 주의.
- ✅ 표준 조합: ISO 42001(체계) × NIST RMF(활동) × AI Act(필수 통제)를 한 장의 매핑 표로 관리하라.
- ✅ 딥페이크: 탐지는 구조적 열세. 대안은 출처 인증이나 그 한계(제거 가능·피사체 진실성 미보증·채택률)도 정확히 알아야 한다. 조직 방어는 절차가 우선.
- ✅ 구제 6단계: 인지 → 이해 → 이의 → 시정 → 집단 구제 → 통계 공개. 감사 지표는 이의제기율·인용률·처리기간 3종.