실무 거버넌스와 캡스톤
"윤리는 문서와 권한과 주기로 존재한다. 그 셋이 없으면 존재하지 않는다."
🎯 이 단계의 학습 목적
- 왜 배우는가: 앞의 7단계가 무엇을 알아야 하는가였다면, 이 단계는 조직에서 그것을 어떻게 작동시키는가입니다. 지식이 제도로 번역되지 않으면 아무 일도 일어나지 않습니다.
- 배워서 얻는 것: ① AI 거버넌스 프로그램의 6요소를 설계하는 능력 ② 알고리즘 영향평가서를 처음부터 끝까지 작성하는 능력 ③ 릴리스 게이트와 생애주기 관리 ④ 3선 방어와 내부·외부 감사 설계 ⑤ AI 사고 대응 플레이북 ⑥ 전 과정을 통합한 캡스톤 포트폴리오
1. 핵심 학습 주제 (심화 강의)
| 핵심 주제 | 구체적으로 묻는 질문 | 이 Phase에서 얻는 핵심 답 |
|---|---|---|
| 거버넌스 프로그램 | 윤리 원칙을 조직의 일상적인 의사결정으로 어떻게 바꾸는가? | 정책, 역할, 위험 분류, 생애주기 통제, 모니터링, 구제를 하나의 운영체계로 연결합니다. 각 통제에는 승인권자·증거·주기·실패 시 조치가 있어야 합니다. |
| 알고리즘 영향평가 | 도입 전에 어떤 피해와 이해관계자를 어떻게 조사해야 하는가? | 시스템 목적과 대안, 영향받는 집단, 데이터, 권리·안전 위험, 완화책, 잔여 위험, 참여 결과를 문서화합니다. AIA는 체크리스트가 아니라 배포 여부를 바꿀 수 있는 의사결정 기록이어야 합니다. |
| 릴리스 게이트 | 누가 어떤 증거를 보고 출시·제한 출시·보류를 결정하는가? | 위험 등급별 필수 평가와 성능·공정성·보안·프라이버시 임계값을 사전에 정합니다. 점진 배포, 후퇴 조건, 공급자 모델 변경 시 재평가를 통해 출시 이후에도 게이트가 작동하게 합니다. |
| 감사 | 내부 팀의 주장과 통제가 실제로 작동하는지 어떻게 독립적으로 검증하는가? | 범위·기준·증거 접근권·독립성·시정 추적이 감사의 핵심입니다. 출시 전에 감사 일정을 선행 조건으로 묶고, 외부 감사자가 재현할 수 있도록 데이터 계보·버전·로그·결정을 보존합니다. |
| 사고 대응 | 예상하지 못한 AI 피해가 발생하면 무엇을 먼저 멈추고 누구에게 알리는가? | 탐지, 분류, 격리·중단, 증거 보존, 신고·통지, 피해 구제, 원인 분석, 재발 방지 순서를 사전에 정합니다. 속도와 투명성을 확보하려면 권한과 연락망을 사고 전에 지정해야 합니다. |
| 캡스톤 포트폴리오 | AI 윤리 역량을 선언이 아니라 검증 가능한 결과물로 어떻게 보여주는가? | AIA, 모델·시스템 카드, 편향 감사, 안전 사례, 릴리스 결정, 사고 대응안을 하나의 사례로 연결합니다. 좋은 포트폴리오는 장점만 홍보하지 않고 포기한 선택·잔여 위험·반대 의견까지 공개합니다. |
📕 8-1. AI 거버넌스 프로그램의 6요소
| # | 요소 | 핵심 산출물 | 실패 신호 |
|---|---|---|---|
| 1 | 정책과 범위 | AI 정책, 금지·제한 용도 목록, 위험 수용 기준 | 정책은 있으나 "무엇이 금지인가"가 구체적이지 않음 |
| 2 | 인벤토리 | AI 시스템 목록(용도·위험등급·소유자·모델·데이터·상태) | 목록이 없다 — 가장 흔하고 가장 치명적인 실패 |
| 3 | 평가 절차 | 영향평가(AIA/DPIA), 편향·안전 평가, 릴리스 게이트 | 평가가 출시 후에 수행됨 |
| 4 | 역할과 권한 | RACI, 리스크위원회, 중단 권한의 소재 | 검토 기능에 지연·중단 권한이 없음 |
| 5 | 모니터링과 사고 대응 | 지표 대시보드, 임계값 알림, 사고 절차, 사후 리뷰 | 배포 후 지표를 아무도 보지 않음 |
| 6 | 역량과 문화 | 교육, 비처벌 보고 채널, 반대 의견 기록 절차 | 연 1회 형식적 교육만 존재 |
인벤토리부터 시작하세요. 대부분의 조직은 자기가 몇 개의 AI 시스템을 쓰는지 모릅니다. 인벤토리가 없으면 위험 기반 규제(EU AI Act)에 대응할 수 없고, 사고가 났을 때 영향 범위조차 산정할 수 없습니다. 인벤토리 1개 항목당 최소 필드: 시스템명 · 용도 · 위험등급 · 소유자 · 사용 모델/공급자 · 처리 데이터 등급 · 배포 상태 · 최근 평가일 · 다음 재평가일.
① 위험 등급 결정 규칙 (사내 운영용)
- 영향 대상: 개인의 권리·기회에 영향을 주는가? (고용·신용·의료·교육·법 집행 = 자동 고위험)
- 자율성: 인간의 최종 결정 없이 행동하는가? (에이전트 = 등급 상향)
- 가역성: 오류를 되돌릴 수 있는가?
- 규모: 영향받는 인원과 결정 빈도
- 취약성: 아동·환자·구직자 등 취약 상황의 사람을 대상으로 하는가?
- 데이터 민감도: 처리 데이터의 등급
여섯 항목 중 하나라도 최고 수준이면 고위험으로 분류하는 보수적 규칙을 권장합니다. 등급 하향은 근거 문서와 리스크위원회 승인을 요구하세요.
② 3선 방어(three lines of defence)
위험을 만드는 주체이자 1차로 통제하는 주체. 자체 평가, 문서화, 지표 관리.
기준을 정하고 1선을 감독·도전. 반드시 제품 조직과 보고 라인이 분리되어야 하며, 출시 지연 권한을 가져야 합니다.
1·2선이 실제로 작동하는지 독립적으로 검증. 이사회에 직접 보고.
독립 검증. 감사 가능성(접근권·로그·재현성)을 사전에 설계해야 가능합니다.
📗 8-2. 알고리즘 영향평가(AIA) — 전체 템플릿
AIA는 이 커리큘럼의 모든 단계가 만나는 문서입니다. 각 절이 어느 Phase에서 왔는지 표시했습니다.
| 절 | 내용 | 출처 단계 | 흔한 부실 |
|---|---|---|---|
| 0. 요약 | 결론(승인/조건부/거부)과 잔여 위험 3줄 | — | 결론이 없고 서술만 있음 |
| 1. 시스템 기술 | 용도, 범위 밖 사용, 아키텍처, 데이터, 의사결정 흐름 | P3 | "범위 밖 사용" 미기재 |
| 2. 법적 판정 | 관할별 등급, 역할(제공자/배포자), 적용 조문 | P6 | 조문 인용 없이 "해당 없음" |
| 3. 이해관계자와 영향 | 영향받는 집단, 편익·위험의 귀속, 취약 상황 | P1·P2·P7 | 이해관계자를 '고객'으로만 한정 |
| 4. 규범 충돌 | 충돌하는 가치와 선택한 우선순위, 포기한 것 | P1 | 충돌을 인식하지 않음 |
| 5. 공정성 평가 | 지표 선택 근거, 3계열 측정치, 교차 집단, 신뢰구간 | P2 | 지표 1개만, 신뢰구간 없음 |
| 6. 투명성·설명 | 수신자별 설명 설계, 문서 산출물, 로그 보존 | P3 | 기술적 설명만 있고 정보주체용 없음 |
| 7. 프라이버시·데이터 | 흐름 분석, 법적 근거, 보안, 추출 공격 테스트, 보존·삭제 | P4 | 학습 데이터 출처 미확인 |
| 8. 안전성 | 실패 모드, 레드팀 결과, 권한 설계, 저하 모드 | P5 | 벤치마크 점수만 제시 |
| 9. 인간 감독 | 감독자 역량·정보·시간·권한, 뒤집기 KPI | P1·P6 | "인간이 검토함"으로만 기재 |
| 10. 사회·환경 영향 | 노동 영향, 데이터 노동, 에너지·배출, 의존성 | P7 | 절 자체가 없음 |
| 11. 구제 | 고지·이의제기·재심사·시정·집단 구제·공개 지표 | P6 | 이의제기 경로만 있고 기한·인용률 없음 |
| 12. 모니터링 | 지표·임계값·주체·주기·조치(5요소), 재평가 트리거 | 전 단계 | 주기와 조치가 비어 있음 |
| 13. 대안 검토 | 비AI 대안, 부분 배포, 비배포 옵션의 평가 | P7 | 대안을 검토하지 않음 |
| 14. 잔여 위험과 승인 | 수용된 위험, 승인자, 일자, 재검토일 | — | 승인자 서명 없음 |
AIA 품질의 단일 판별 기준: 이 문서를 읽고 반대할 수 있는가? 좋은 AIA는 선택과 포기를 명시해 반박 가능한 형태로 만듭니다. 나쁜 AIA는 모든 항목에 "적절히 관리됨"이라고 적어 반박 불가능하게 만듭니다.
① 재평가 트리거 — 언제 다시 평가하는가
- 모델·프롬프트·임계값의 변경 (특히 공급자의 모델 업데이트 — 통보 없이 일어날 수 있음)
- 용도·대상 인구의 확대
- 모니터링 지표의 임계값 이탈
- 중대 사고 또는 반복되는 이의제기 인용
- 규제·판례의 변경
- 정기 주기(고위험 6~12개월)
📘 8-3. 릴리스 게이트와 모델 생애주기
① 게이트 설계 원칙
게이트는 사전에 정의된 숫자여야 합니다. 결과를 본 뒤 기준을 정하면 게이트가 아니라 사후 합리화입니다.
| 게이트 | 통과 조건 예시 | 담당 |
|---|---|---|
| G0 착수 | 용도 정의, 위험 등급 판정, 인벤토리 등록, 대안 검토 기록 | PM + 2선 |
| G1 데이터 | 데이터시트 작성, 출처·법적 근거 확인, 민감정보 처리 검증, 중복 제거 | 데이터팀 |
| G2 모델 | 모델 카드, 3계열 공정성 지표 + 교차 집단, 최소집단 성능 하한 충족 | ML팀 |
| G3 안전 | 레드팀 N건 수행, 심각도 상 미해결 0건, 권한·저하 모드 설계 검증 | 보안 + 2선 |
| G4 배포 | AIA 승인, 모니터링 대시보드 가동, 구제 절차 개통, 롤백 절차 검증 | 리스크위원회 |
| G5 운영 | 주기적 재평가, 임계값 준수, 사고 0건 또는 조치 완료 | 운영 + 3선 |
| G6 폐기 | 중단 통지, 데이터·모델 처리, 결정 이력 보존, 대체 절차 가동 | PM + 법무 |
가장 자주 빠뜨리는 게이트는 G6(폐기)입니다. 사용하지 않는 모델이 API로 살아 있거나, 폐기된 시스템의 결정 이력이 삭제되어 사후 이의제기에 대응할 수 없는 상황이 반복됩니다. 폐기 계획을 G0에서 미리 정의하세요.
② 점진 배포와 후퇴 조건
단계별 확대와 함께 후퇴(rollback) 조건을 숫자로 정의합니다.
- 섀도우 모드: 결정에 영향 없이 병행 실행, 인간 결정과 비교 (기준선 확보)
- 보조 모드: 인간에게 제안만, 뒤집기 비율과 사유 수집
- 제한 자동화: 저위험 구간·소규모 인구에 한해 자동 결정
- 확대: 지표 안정 시 단계적 확대. 각 단계 최소 관찰 기간 명시
- 후퇴 조건: 예 — 집단 격차 5%p 초과 2주 연속, 이의제기 인용률 15% 초과, 중대 사고 1건 → 자동으로 이전 단계로 복귀
③ 공급자 모델 변경 대응
외부 API를 쓰는 경우 공급자가 모델을 바꾸면 우리 시스템이 바뀝니다. 대응: ㉠ 버전 고정(pinning) 옵션 사용 ㉡ 회귀 평가셋을 상시 자동 실행 ㉢ 공급자 변경 통지 조항을 계약에 명시 ㉣ 변경 감지 시 재평가 트리거 발동. 이 절차가 없으면 승인된 적 없는 시스템이 운영 중일 수 있습니다.
📙 8-4. 감사 — 내부와 외부
① 내부 감사 절차 (SMACTR 계열)
- 범위 설정(Scoping): 대상 시스템, 사회적 영향 가설, 감사 기준(어떤 규범·지표로 판단할지)
- 매핑(Mapping): 이해관계자, 데이터 흐름, 의사결정 지점, 책임자 식별
- 산출물 수집(Artifact collection): 데이터시트·모델 카드·평가 로그·설계 문서·회의록
- 테스트(Testing): 공정성·성능·견고성·프라이버시 테스트를 독립적으로 재실행
- 반영(Reflection): 발견 사항을 위험도로 정렬하고 완화 계획과 기한 확정
- 종합 보고: 경영진·이사회 보고 및 후속 조치 추적
핵심: 감사는 출시 전에 수행되어야 개입 가치가 있습니다. 출시 후 감사는 문제를 확인할 뿐 되돌리기 어렵습니다. 그래서 감사 일정을 릴리스 일정의 선행 조건으로 묶어야 합니다.
② 외부·제3자 감사를 가능하게 만드는 설계
감사인이 모델·데이터·로그에 접근할 수 있는 계약적·기술적 경로. NDA와 안전한 접근 환경(감사 샌드박스).
평가 스크립트·시드·환경을 고정해 제3자가 같은 숫자를 재현할 수 있어야 합니다.
공익 연구를 위한 데이터 접근 프로그램. 약관으로 감사를 금지하는 조항은 신뢰를 훼손합니다.
감사인의 보수·재계약이 피감사 조직의 만족도에 좌우되면 독립성이 무너집니다. 회계 감사의 역사적 교훈.
③ 감사 시 던지는 12개 질문 (실전 체크리스트)
- AI 시스템 인벤토리를 보여주세요. 마지막 갱신일은?
- 이 시스템의 범위 밖 사용은 무엇이며 어떻게 강제됩니까?
- 공정성 지표를 무엇으로 정했고, 무엇을 포기했습니까?
- 최악 성능 교차 집단은 어디이며 표본 수는?
- 인간 감독의 뒤집기 비율과 건당 검토 시간은?
- 학습 데이터의 출처와 법적 근거를 항목별로 제시할 수 있습니까?
- 레드팀 결과 중 미해결 항목과 그 사유는?
- 이의제기 건수·인용률·처리기간은?
- 최근 12개월간 중단·지연된 AI 프로젝트가 있습니까?
- 공급자가 모델을 변경했을 때 어떻게 알게 됩니까?
- 이 시스템이 내일 완전히 멈추면 무엇을 합니까?
- 이 시스템을 폐기할 조건은 무엇입니까?
📕 8-5. AI 사고 대응 플레이북
① AI 사고의 특수성
전통적 보안 사고와 다른 점: ㉠ 피해가 조용히 누적됩니다(차별은 폭발하지 않음) ㉡ 영향 범위 산정에 로그와 재현이 필요합니다 ㉢ 복구가 "패치"가 아니라 과거 결정의 재심사를 포함합니다 ㉣ 원인이 코드가 아니라 데이터·명세·맥락일 수 있습니다.
② 단계별 절차
| 단계 | 행동 | 산출물·기한 |
|---|---|---|
| 1. 탐지 | 모니터링 알림, 사용자 신고, 언론·연구자 제보, 내부 보고 | 사고 티켓 생성 (즉시) |
| 2. 등급 판정 | 심각도 산정: 영향 인원 × 피해 회복 가능성 × 권리 침해 정도 | 등급 확정 (2시간) |
| 3. 봉쇄 | 자동 결정 중단 → 인간 심사 전환 / 기능 비활성 / 권한 회수 | 봉쇄 조치 기록 (4시간) |
| 4. 영향 산정 | 로그 기반 소급 조회 — 누가 언제 어떤 결정을 받았는가 | 영향 목록 (24~72시간) |
| 5. 통지 | 규제기관(법정 기한), 영향받은 개인, 계약 상대방 | 통지 기록 (법정 기한 준수) |
| 6. 시정 | 잘못된 결정의 재심사와 번복, 피해 회복 조치 | 재심사 결과 (기한 명시) |
| 7. 근본 원인 | 7층 사회기술 분석 — 어느 층에서 실패했는가 | RCA 보고서 (2주) |
| 8. 재발 방지 | 게이트·지표·절차 개선, 유사 시스템 점검 | 조치 계획 + 완료 확인 |
| 9. 공유 | 사내 학습 공유, 필요 시 공개 사고 데이터베이스 등록 | 사후 리뷰 (4주) |
사전에 준비해야 실행 가능한 것들: ① 로그가 소급 조회 가능한 형태로 남아 있는가 (개인 식별자와 결정의 연결) ② 자동 결정을 즉시 끄고 인간 심사로 전환하는 스위치가 있는가 ③ 영향받은 개인에게 연락할 수단이 있는가 ④ 재심사를 수행할 인력 여력이 있는가. 이 넷이 없으면 플레이북은 문서로만 존재합니다.
③ 커뮤니케이션 원칙
- 확인된 사실과 추정을 구분해 발표 (초기 과잉 확언이 신뢰를 무너뜨립니다)
- 영향 범위를 모를 때는 모른다고 말하고 확인 일정을 제시
- 피해자에게 구체적 다음 단계를 제공 (사과문만으로는 부족)
- 연구자·제보자에 대한 법적 위협 금지 — 장기적으로 가장 비싼 대응입니다
📗 8-6. 캡스톤 — 포트폴리오 구성
이 과정의 최종 산출물은 시험 점수가 아니라 하나의 실제 시스템에 대한 완결된 평가 문서 묶음입니다. 대상은 재직 중인 조직의 시스템, 공개된 공공 시스템, 또는 구체적으로 설계한 가상 시스템 모두 가능합니다.
| 산출물 | 분량 기준 | 출처 단계 | 평가 배점 |
|---|---|---|---|
| 1. 규범 충돌 지도 | 2~3쪽 | Phase 1 | 10 |
| 2. 편향 감사 보고서 | 4~6쪽 + 지표표 | Phase 2 | 20 |
| 3. 모델 카드 + 설명 설계서 | 3~4쪽 | Phase 3 | 15 |
| 4. 데이터 거버넌스 명세서 | 3~4쪽 | Phase 4 | 15 |
| 5. 안전 사례 문서 | 3~5쪽 | Phase 5 | 15 |
| 6. 규제 매핑 + 구제 절차 | 2~3쪽 | Phase 6 | 10 |
| 7. 사회적 영향 평가서 | 2~3쪽 | Phase 7 | 10 |
| 8. 통합 AIA + 권고 | 2쪽 요약 | Phase 8 | 5 |
① 채점 루브릭 (자기 평가용)
| 수준 | 특징 |
|---|---|
| 미흡 | 원칙을 서술하나 지표·임계값·주체가 없음. "적절히 관리한다"는 표현이 반복됨 |
| 보통 | 지표가 있으나 선택 근거가 없고, 포기한 것을 명시하지 않음. 대안 검토 부재 |
| 우수 | 지표·임계값·주체·주기·조치 5요소가 모두 있고, 선택과 포기가 명시됨. 신뢰구간과 교차 집단 포함 |
| 탁월 | + 반대 입장을 스스로 제시하고 반박함. 잔여 위험을 정직하게 남김. 비배포·부분 배포 대안을 진지하게 평가함 |
② 자주 나오는 실패와 교정
- "위험이 없습니다" → 위험이 없는 시스템은 없습니다. 잔여 위험을 못 찾았다면 분석이 부족한 것
- 모든 지표가 양호 → 교차 집단과 표본 수를 확인하세요. 최악 집단이 평균에 묻혀 있을 가능성이 큽니다
- 완화 조치만 나열 → 각 조치의 검증 방법과 실패 시 조치를 함께 쓰세요
- 법적 판정에 조문 없음 → 등급 판정은 반드시 조문·부속서를 인용해야 합니다
- 모니터링 계획이 추상적 → 5요소(지표·임계값·주체·주기·조치)로 표를 만드세요
완료 기준: 이 포트폴리오를 처음 보는 동료가 읽고 구체적으로 반대할 지점 3개를 찾을 수 있다면 잘 쓴 문서입니다. 반대할 거리가 없다면 대개 아무것도 결정하지 않은 문서입니다.
2. 필독 문헌
- 📄 NIST AI RMF Playbook — 각 기능별 실행 항목. 사내 정책 작성 시 그대로 참고 가능
- 📄 Raji et al. (2020), Closing the AI Accountability Gap — 내부 감사 절차의 표준 설계
- 📄 ISO/IEC 42001 부속서 — 통제 항목 목록. 인벤토리·역할 정의의 체크리스트로 활용
- 📄 Ada Lovelace Institute — 알고리즘 영향평가 실무 보고서
- 📄 AI Incident Database — 사고 사례를 정기적으로 읽는 습관이 최고의 훈련입니다
3. 추천 영상
인벤토리·게이트·위원회 운영의 실제 사례
템플릿 작성과 이해관계자 참여 방법
내부 감사와 외부 감사의 역할 분담
인증 준비 절차와 조직 요구사항
비난 없는 사후 분석(blameless postmortem) 문화
4. 주차별 실행 계획
- ✅ 1~2일차: 조직(또는 가상 조직)의 AI 인벤토리를 실제로 작성. 최소 5개 시스템, 9개 필드
- ✅ 3일차: 위험 등급 규칙과 릴리스 게이트 G0~G6의 통과 조건을 숫자로 작성
- ✅ 4일차: Phase 1~7의 실전 과제 산출물을 통합해 AIA 14개 절로 재구성
- ✅ 5일차: 사고 플레이북 작성 + "사전에 준비해야 실행 가능한 것들" 4항목을 자체 점검
- ✅ 6~7일차: 캡스톤 포트폴리오 정리 → 루브릭 자기 평가 → 서술형 과제 → 퀴즈 → 최종 시험
5. 실전 과제: 통합 AIA 요약 (캡스톤 8장)
[통합 AIA 요약] 시스템: 채용 서류 자동 선별 v2 / 작성 2026-03-15 / 재검토 2026-09-15
결론: 조건부 승인 (보조 모드 한정, 자동 탈락 금지)
핵심 판단 3가지
1. 자동 탈락은 승인하지 않는다.
근거: 회복 불가능성(기회 상실은 사후 구제 불가) + 최악 교차 집단(경력단절 여성 40대)
TPR 0.68로 하한 0.85 미충족 + 표본 부족으로 신뢰구간 [0.59,0.77]이 지나치게 넓음.
2. 공정성 주 지표는 TPR 형평(기회 균등)으로 한다.
포기한 것: 예측값 동등성. 기저율 차이로 동시 만족 불가(불가능성 정리).
이 선택의 결과: 일부 집단에서 FPR 상승 → 심사자 검토 부담 증가(월 +120건 추정).
3. 감정 인식 기능은 제거한다.
근거: EU AI Act 제5조 계열 금지 관행(채용 맥락의 감정 인식) 위험 + 과학적 타당성 논쟁.
잔여 위험 (수용)
R1 대리변수 위험 — '재직 12개월'이 육아·이주 사유 이탈을 실패로 계산 [중]
완화: 사유 코드 수집 후 레이블 재정의를 2026 Q3까지 완료. 그 전까지 보조 모드 유지.
R2 공급자 모델 변경 감지 지연 최대 7일 [중]
완화: 회귀 평가셋 일 1회 자동 실행 + 편차 3% 초과 시 알림·자동 보조 모드 강등.
R3 심사자 자동화 편향 [중]
완화: 뒤집기 비율 월간 모니터링(하한 3%), 미달 시 감독 실효성 재점검 및 교육 실시.
모니터링 5요소
지표 임계값 주체 주기 임계 초과 시 조치
집단별 TPR 격차 ≤ 5%p 리스크팀 월간 2개월 연속 초과 → 보조 모드 강등
최악 교차집단 TPR ≥ 0.80 ML팀 월간 미달 → 해당 집단 수동 심사 전환
뒤집기 비율 ≥ 3% HR운영 월간 미달 → 감독 설계 재검토
이의제기 인용률 ≤ 15% HR운영 분기 초과 → 모델 재평가 트리거
회귀 평가 편차 ≤ 3% 플랫폼팀 일간 초과 → 자동 강등 + 재평가
검토하고 기각한 대안
· 전면 자동화: 위 근거 1에 따라 기각
· 비배포: 현행 인간 심사의 집단 격차(측정치 7.2%p)보다 개선 가능성이 확인되어 기각.
단, 개선이 12개월 내 입증되지 않으면 폐기(G6) 검토를 자동 상정.
승인: 리스크위원회 (제품 2 / 리스크 2 / 법무 1 / 외부위원 1) 반대 의견 1건 기록·첨부
6. 서술형 과제
Q1. (700자 이상) 100명 규모 조직에 AI 거버넌스를 처음 도입한다고 할 때, 첫 90일 계획을 우선순위와 근거를 들어 제시하시오. 자원이 제한적이라는 전제를 반영할 것.
모범 답안 개요 보기
0~30일 — 보이게 만들기: ① 인벤토리 작성이 최우선. 무엇을 쓰는지 모르면 어떤 통제도 설계할 수 없고, 규제 대응·사고 대응이 모두 불가능하다. ② 금지·제한 용도 목록 3~5개를 구체적으로 확정(예: 규제대상 데이터의 외부 도구 입력 금지, 채용·해고 자동 결정 금지). 추상적 정책보다 짧고 명확한 금지가 효과적이다. ③ 승인된 도구 게이트웨이 제공 — 섀도우 AI는 금지가 아니라 더 나은 대체재로 줄인다.
31~60일 — 최소 게이트: ④ 위험 등급 규칙(6항목)과 고위험만 대상으로 하는 간이 AIA 템플릿 도입. 100명 조직에서 전수 심사는 비현실적이므로 위험 비례로 시작한다. ⑤ 중단 권한을 가진 의사결정 지점 1곳 지정(소규모 조직은 위원회보다 지정된 개인 + 정기 회의가 현실적). ⑥ 계약 조항 표준화(학습 사용 금지·보존·사고 통지).
61~90일 — 작동 확인: ⑦ 고위험 시스템 1건에 대해 전체 절차를 실제로 한 번 돌려본다(파일럿). 문서만 만들고 적용하지 않는 것이 최대 실패 모드다. ⑧ 모니터링 지표 5요소표를 1건에 적용하고 대시보드 가동. ⑨ 사고 대응의 최소 요건 4가지(로그 소급 조회·중단 스위치·연락 수단·재심사 여력) 점검. ⑩ 비처벌 보고 채널 개설과 짧은 교육(30분, 금지 목록 중심).
의도적으로 하지 않을 것: ISO 42001 인증 추진, 대규모 위원회 신설, 전사 교육 프로그램 — 90일 안에는 가시성과 최소 게이트가 우선이며, 체계화는 이후 단계다. 이 "하지 않을 것" 목록까지 제시하면 만점.
Q2. (500자 이상) 본인의 캡스톤 대상 시스템에 대해, 이 문서를 읽은 외부 감사인이 제기할 가장 날카로운 반론 3개를 스스로 작성하고 각각에 답하시오.
모범 답안 개요 보기
좋은 자기 반론의 형태 3가지 예시: ① 기준선 부재 — "이 시스템이 기존 인간 절차보다 낫다는 증거가 있는가? 없다면 개선 주장은 근거가 없다." → 답: 기준선 측정치를 제시하거나, 없다면 이를 잔여 위험으로 등록하고 측정 계획을 명시. ② 표본과 불확실성 — "최악 집단의 표본이 n=310인데 신뢰구간을 제시했는가? 그 구간에서 임계값 판정이 뒤집히지 않는가?" → 답: 부트스트랩 CI 제시 + 구간 하단 기준 판정으로 보수적 운영. ③ 지표의 조작 가능성 — "뒤집기 비율을 KPI로 걸면 형식적 뒤집기가 늘어나지 않는가(굿하트)?" → 답: 뒤집기 사유 분류와 뒤집힌 건의 사후 결과를 함께 추적해 형식적 뒤집기를 탐지.
핵심은 반론을 구체적 숫자와 절차 수준에서 제기하고, 답변이 "관리하겠다"가 아니라 검증 가능한 조치로 끝나는 것입니다.
📌 Phase 8 핵심 정리
- ✅ 거버넌스 6요소: 정책·인벤토리·평가절차·권한·모니터링·역량. 인벤토리가 없으면 나머지는 작동하지 않는다.
- ✅ 3선 방어: 2선은 제품과 보고 라인이 분리되고 지연 권한을 가져야 한다. 없으면 장식이다.
- ✅ AIA 14절: 이 과정 전체가 만나는 문서. 품질 기준은 단 하나 — 읽고 반대할 수 있는가.
- ✅ 게이트는 사전 숫자: 결과를 보고 기준을 정하면 게이트가 아니다. 후퇴 조건도 숫자로. G6(폐기)를 G0에서 정의하라.
- ✅ 공급자 모델 변경은 승인된 적 없는 시스템을 만든다. 버전 고정·회귀 평가·통지 조항으로 대응.
- ✅ 사고 대응의 전제 4가지: 소급 조회 가능한 로그 · 중단 스위치 · 연락 수단 · 재심사 인력. 없으면 플레이북은 문서일 뿐이다.
- ✅ 캡스톤 완료 기준: 처음 보는 동료가 구체적으로 반대할 지점 3개를 찾을 수 있을 것.