프라이버시와 데이터 거버넌스
"프라이버시는 비밀 유지가 아니라, 정보가 맥락에 맞게 흐르는가의 문제다"
🎯 이 단계의 학습 목적
- 왜 배우는가: AI의 데이터 요구는 기존 프라이버시 체계의 전제 — 개별 동의, 목적 제한, 익명화 — 를 모두 흔듭니다. 낡은 개념으로 새 위험을 관리하려는 시도가 대부분의 실패 원인입니다.
- 배워서 얻는 것: ① 맥락적 무결성·집단 프라이버시·추론 프라이버시라는 현대적 개념틀 ② 차등 프라이버시 ε를 실제 의미로 해석하는 능력 ③ 연합학습이 무엇을 지키고 무엇을 못 지키는지 ④ 멤버십 추론·학습데이터 추출 공격의 구조 ⑤ 학습 데이터 저작권 논쟁의 양측 논거 ⑥ 섀도우 AI와 에이전트 데이터 접근의 통제 설계
1. 핵심 학습 주제 (심화 강의)
| 핵심 주제 | 구체적으로 묻는 질문 | 이 Phase에서 얻는 핵심 답 |
|---|---|---|
| 프라이버시의 재정의 | 개인정보 처리에 동의만 받으면 윤리적 문제가 해결되는가? | 정보 비대칭, 선택권 부재, 미래 이용의 불확실성 때문에 고지·동의만으로 부족합니다. 데이터가 어떤 관계와 맥락에서 누구에게 어떤 목적으로 흐르는지가 적절한지를 봐야 합니다. |
| 익명화와 차등 프라이버시 | 이름과 주민번호를 지우면 안전한 데이터가 되는가? | 여러 데이터셋을 결합하면 재식별할 수 있습니다. 차등 프라이버시는 한 개인의 참여 여부가 출력에 미치는 영향을 수학적으로 제한하지만, 작은 ε일수록 보호가 강해지는 대신 정확도와 활용성 비용이 커집니다. |
| 프라이버시 강화 기술 | 연합학습·암호화·합성 데이터는 각각 무엇을 보호하는가? | 연합학습은 원자료 이동을 줄이고, 암호 기술은 특정 계산 과정의 노출을 제한하며, 합성 데이터는 직접 복제를 줄일 수 있습니다. 어떤 기법도 자동으로 모든 추론 공격을 막지 않으므로 위협 모델과 보증 범위를 명시해야 합니다. |
| 모델 추론 공격 | 학습이 끝난 모델에도 개인정보가 남아 있는가? | 멤버십 추론·속성 추론·모델 역전·훈련 데이터 추출을 통해 참여 여부나 민감 정보가 드러날 수 있습니다. 모델 가중치와 API 출력도 보호·접근 통제·폐기 대상입니다. |
| 학습 데이터 거버넌스 | 공개된 웹 자료라면 AI 학습에 자유롭게 쓸 수 있는가? | 접근 가능성과 사용 권리는 다릅니다. 수집 경로, 라이선스, 동의·옵트아웃, 관할, 민감정보, 삭제 요구를 기록하는 데이터 출처 계보가 법적·윤리적 판단의 출발점입니다. |
| 섀도우 AI와 에이전트 접근 | 직원이 승인되지 않은 AI에 문서를 넣거나 에이전트가 메일·파일을 읽으면 무엇이 달라지는가? | 금지만으로는 업무 수요가 사라지지 않습니다. 승인 도구, 데이터 등급별 사용 규칙, 최소 권한, 민감 작업 재승인, 간접 프롬프트 주입 방어, 로그와 비상 차단을 함께 설계해야 합니다. |
📕 4-1. 프라이버시 개념의 재정의 — 동의 모델은 왜 무너졌는가
① 고지-동의 모델의 세 가지 구조적 실패
- 인지 불가능성: 이용약관을 모두 읽으려면 연간 수백 시간이 필요하다는 추정이 반복 보고되었습니다. 동의는 사실상 의례입니다.
- 미래 용도의 불확정성: AI는 수집 시점에 존재하지 않던 추론을 나중에 가능하게 합니다. "이 목적에 동의합니다"가 무엇에 동의하는지 알 수 없습니다.
- 집합적 효과: 내가 동의하지 않아도, 나와 비슷한 타인들의 데이터로 나에 대한 추론이 가능합니다. 개인 단위 동의로는 통제할 수 없는 구조입니다.
② 맥락적 무결성 (Contextual Integrity, Nissenbaum)
프라이버시 침해는 "비밀이 공개됨"이 아니라 정보가 원래 맥락의 규범을 위반해 다른 맥락으로 흐름으로 정의됩니다. 병원에서 의사에게 말한 증상이 보험료 산정에 쓰이는 것은, 비밀이 유출되지 않았어도 흐름 규범의 위반입니다.
분석 프레임(5요소): 발신자 · 수신자 · 주체 · 정보 유형 · 전송 원칙. AI 도입 시 이 다섯을 기존 상태와 비교하면 무엇이 바뀌는지 정확히 드러납니다. 실무 감사에서 "동의를 받았는가" 대신 "흐름이 어떻게 바뀌었는가"를 물으세요.
③ 세 가지 새로운 프라이버시 유형
제공한 적 없는 정보가 추론됩니다 — 구매 패턴에서 임신, 타이핑 리듬에서 신경질환, 프로필 사진에서 정치 성향. 데이터 최소화로는 막히지 않습니다.
개인 식별 없이도 집단 단위 프로파일링이 해를 끼칩니다. "이 아파트 단지의 상환율" 같은 통계는 개인정보가 아니지만 차별의 근거가 됩니다.
추론된 정보로 내 선택지 자체가 축소되는 것. 보이지 않는 가격 차별, 노출되지 않는 기회 — 피해자가 인지조차 못 합니다.
지금 안전한 암호·가명화가 미래의 기술로 깨질 수 있습니다. 보관 기간이 프라이버시 통제의 핵심 변수인 이유입니다.
④ 프라이버시 설계 원칙의 우선순위
- 수집하지 않기 — 가장 강력한 통제. 다른 모든 기법보다 우선
- 집계 수준에서 다루기 — 개별 레코드가 필요한지 재검토
- 로컬에서 처리하기 — 온디바이스 처리로 전송 자체를 제거
- 수학적 보호 적용 — 차등 프라이버시 등 정량화 가능한 보증
- 접근 통제·감사 — 조직적 통제(가장 약함, 그러나 필수)
- 보관 기간 제한과 삭제 검증 — 모델 가중치에 남은 정보까지 고려
📗 4-2. 익명화의 실패와 차등 프라이버시
① 왜 "식별자만 지우면 된다"가 틀렸는가
재식별 연구의 고전적 결과들: 미국 인구의 상당 비율이 우편번호·생년월일·성별 세 항목만으로 유일하게 특정된다는 분석, 익명화된 영화 평점 데이터가 공개 리뷰와의 대조로 재식별된 사례, 위치 이동 궤적에서 4개 시공간 점만으로 대부분의 개인이 특정된다는 연구가 있습니다.
| 기법 | 보증 | 깨지는 조건 |
|---|---|---|
| 식별자 제거(가명화) | 없음 — 법적으로도 여전히 개인정보 | 준식별자 조합, 외부 데이터 결합 |
| k-익명성 | 같은 준식별자 조합이 최소 k명 | 동질성 공격(그 k명의 민감값이 모두 같으면 노출) |
| l-다양성 / t-근접성 | 민감값의 다양성·분포 유사성 보장 | 배경지식 공격, 고차원에서 유용성 붕괴 |
| 차등 프라이버시 | 개인 1명의 포함 여부가 결과에 미치는 영향의 수학적 상한 | 보증 자체는 견고. 잘못된 ε 설정·구현 오류·부적절한 조합이 위험 |
② 차등 프라이버시 — 정확히 무엇을 약속하는가
정의(직관): 어떤 한 사람의 데이터를 넣든 빼든, 알고리즘의 출력 분포가 eε배 이내로만 달라진다. 따라서 결과를 본 공격자는 특정 개인이 데이터셋에 있었는지를 유의하게 알아낼 수 없다.
핵심 오해 정정: DP는 "데이터를 안전하게 만든다"가 아닙니다. DP가 보호하는 것은 참여 여부이며, 데이터 전체에서 학습되는 집단적 사실은 여전히 드러납니다 — 그것이 학습의 목적이기 때문입니다. "흡연자는 폐암 위험이 높다"는 결론은 DP 하에서도 나오며, 그것은 프라이버시 침해가 아닙니다.
③ ε를 읽는 법
| ε 범위 | 대략적 의미 | 실무 사용 |
|---|---|---|
| ε ≤ 1 | 강한 보호. 개인 참여 추론이 사실상 불가 | 민감 데이터, 통계 공표. 유용성 손실이 큼 |
| 1 < ε ≤ 3 | 실무적 균형 지점으로 자주 인용 | 대규모 학습에서 흔히 목표로 삼는 구간 |
| ε > 10 | 이론적 보증이 매우 약함 | "DP를 적용했다"는 주장의 근거로 쓰기 어려움 |
ε 감사 체크리스트: ① ε가 단위 쿼리당인가 전체 예산인가 ② δ 값은 얼마이며 데이터셋 크기 대비 적절한가(관례상 δ ≪ 1/n) ③ 인접성 정의가 레코드 단위인가 사용자 단위인가(한 사람이 수천 건을 기여하면 레코드 단위 DP는 거의 무의미) ④ 여러 릴리스에 걸친 누적 예산이 관리되는가. ε 숫자 하나만 제시하는 보고서는 신뢰하지 마세요.
④ DP-SGD와 대가
학습에 DP를 적용하는 표준 방법은 그래디언트 클리핑 + 노이즈 추가입니다(Abadi et al. 2016). 대가는 정확도 하락과 학습 비용 증가이며, 특히 소수 집단·희귀 패턴의 성능이 먼저 무너집니다. 즉 프라이버시와 공정성이 충돌합니다 — 노이즈는 데이터가 적은 집단에 상대적으로 더 큰 타격을 줍니다. 이 트레이드오프는 반드시 문서화되어야 합니다.
📘 4-3. 연합학습과 프라이버시 강화 기술 — 무엇을 지키고 무엇을 못 지키는가
① 연합학습(Federated Learning)의 실제 보증
기기가 원본 데이터 대신 모델 업데이트를 보냅니다. 데이터가 중앙에 모이지 않는다는 점은 실질적 이득입니다 — 대규모 유출의 표면적이 줄어듭니다.
그러나 그 자체로 프라이버시 보증은 아닙니다. ㉠ 그래디언트 역전 공격으로 업데이트에서 원본 입력을 상당 부분 복원할 수 있음이 여러 연구에서 시연되었습니다 ㉡ 참여 여부 자체가 정보일 수 있습니다(희귀 질환 코호트) ㉢ 최종 모델은 여전히 학습 데이터를 암기할 수 있습니다. 따라서 실무 구성은 연합학습 + 보안 집계 + 사용자 단위 DP의 3중 조합이어야 합니다.
② PETs 비교
| 기술 | 보호하는 것 | 보호하지 못하는 것 | 비용 |
|---|---|---|---|
| 연합학습 | 원본 데이터의 중앙 집중 | 업데이트로부터의 추론, 모델 암기 | 통신·이질성 관리 |
| 보안 집계 Secure Aggregation | 서버가 개별 업데이트를 보는 것 | 집계 결과 자체에서의 추론 | 중간 (암호 프로토콜) |
| 동형암호 HE | 연산 중 데이터 노출 | 결과로부터의 추론, 키 관리 실패 | 매우 높음 (수십~수천 배) |
| 보안 다자 연산 MPC | 참여자 간 입력 비공개 | 담합, 출력 추론 | 높음 (통신 라운드) |
| 신뢰실행환경 TEE | 호스트로부터의 데이터 보호 | 하드웨어 취약점, 부채널 공격 | 낮음 (도입 용이) — 그래서 널리 쓰임 |
| 합성 데이터 | 원본 레코드의 직접 노출 | 생성 모델이 DP로 학습되지 않았다면 암기 유출 가능 | 중간, 유용성 손실 |
| 차등 프라이버시 | 개인 참여 여부의 추론 | 집단적 사실, 잘못된 예산 관리 | 정확도 손실 |
핵심 정리: 대부분의 PETs는 데이터의 이동·노출을 통제하지만, 출력으로부터의 추론은 통제하지 못합니다. 후자를 정량적으로 다루는 유일한 도구가 차등 프라이버시입니다. "합성 데이터라서 안전하다"는 주장은 생성 모델의 학습에 DP가 적용되었는지를 확인하기 전까지 근거가 없습니다.
📙 4-4. 모델 자체가 공격 표면이다 — 4가지 추론 공격
| 공격 | 공격자가 알아내는 것 | 작동 원리 | 방어 |
|---|---|---|---|
| 멤버십 추론 Membership Inference | 특정 레코드가 학습에 쓰였는지 | 학습 샘플에서 손실이 더 낮은 성질을 이용 | DP, 정규화, 과적합 억제, 신뢰도 출력 제한 |
| 학습 데이터 추출 Data Extraction | 학습 텍스트·이미지 원문 자체 | 암기된 시퀀스를 프롬프트로 유도, 반복 샘플링 후 필터링 | 중복 제거(deduplication), DP, 출력 필터, 카나리아 탐지 |
| 모델 반전 Model Inversion | 클래스의 대표 입력(예: 얼굴 재구성) | 출력 신뢰도를 최대화하는 입력을 최적화 | 신뢰도 반올림, 쿼리 제한 |
| 속성 추론 Attribute Inference | 학습 데이터의 민감 속성 분포 | 보조 모델로 잠재 표현에서 속성 예측 | 표현 학습 단계에서의 억제, 접근 통제 |
경험적 연구 대규모 언어모델에서 학습 데이터를 그대로 재생시킬 수 있다는 것이 반복적으로 시연되었습니다(Carlini et al. 2021, 2023). 특히 학습 코퍼스에 중복 등장한 문자열일수록 추출 확률이 급격히 높아집니다. 따라서 중복 제거는 성능뿐 아니라 프라이버시 대책이기도 합니다.
① 실무 함의 — 모델 가중치는 개인정보를 담을 수 있다
- 삭제 요구권(잊힐 권리)의 문제: 원본 DB에서 지워도 모델이 기억하고 있을 수 있습니다. 완전한 해법은 재학습이며 비용이 큽니다. 기계 망각(machine unlearning) 연구가 있으나 보증 수준은 아직 제한적입니다. 진행 중 연구
- 모델 배포 결정: 가중치 공개(오픈 웨이트)는 추출 공격을 훨씬 쉽게 만듭니다. API 접근 제한은 방어의 일부입니다.
- 내부 미세조정의 위험: 사내 문서로 미세조정한 모델을 사내 전체에 공개하면, 권한이 없는 직원이 프롬프트로 기밀 문서를 끌어낼 수 있습니다. 접근 권한 모델이 파인튜닝을 통과해 무력화되는 전형적 사고 유형입니다.
사전 점검(릴리스 게이트): ① 학습 코퍼스 중복 제거 수행 여부 ② 카나리아 문자열 삽입 후 추출 테스트 ③ 멤버십 추론 공격 시뮬레이션 결과(AUC 기준선) ④ 민감정보 탐지·마스킹 파이프라인 로그 ⑤ 미세조정 데이터의 접근 권한 등급과 모델 배포 범위의 일치 여부.
📕 4-5. 학습 데이터 거버넌스 — 저작권, 공정 이용, 출처 문서화
① 쟁점의 구조
생성 AI 학습에 저작물을 사용하는 것이 허용되는가는 단일 질문이 아니라 최소 네 개의 질문입니다. 실무에서 이 넷을 섞으면 논의가 무너집니다.
- 수집(스크래핑) 단계: 접근 자체가 계약(약관)·기술적 보호조치·부정경쟁 법리를 위반하는가
- 학습(복제) 단계: 학습을 위한 복제가 공정 이용 / TDM(텍스트·데이터 마이닝) 예외에 해당하는가
- 출력 단계: 생성물이 원저작물과 실질적으로 유사한가 (암기·재생 문제)
- 시장 대체: 생성물이 원저작물의 시장을 대체하는가 — 여러 법역에서 가장 무겁게 평가되는 요소
② 관할별 접근의 차이
| 법역 | 핵심 법리 | 특징 |
|---|---|---|
| 미국 | 공정 이용(fair use) 4요소 — 목적·성격, 저작물 성질, 이용 분량, 시장 영향 | 변형적 이용(transformative) 여부가 쟁점. 다수 소송이 진행 중이며 판례가 형성 중 진행 중 논쟁 |
| EU | DSM 지침의 TDM 예외 (제3·4조) | 상업적 TDM은 권리자가 옵트아웃(유보)을 표명하면 배제. AI Act는 이 유보의 존중과 학습 데이터 요약 공개를 요구 |
| 일본 | 저작권법 제30조의4 | 비향유(non-enjoyment) 목적의 이용에 상대적으로 넓은 허용. 다만 무제한은 아님 |
| 한국 | 저작권법상 명시적 TDM 면책 규정 도입 논의가 진행 중 | 현행법 해석과 입법 동향을 반드시 최신 원문으로 확인해야 하는 영역 |
진행 중 논쟁 찬성 측: 학습은 인간의 독서와 유사한 비표현적 이용이며, 사전 허락 요구는 소수 대기업만 데이터를 확보할 수 있게 해 오히려 집중을 심화시킨다. 반대 측: 산업적 규모의 무보상 이용은 창작 생태계의 재생산 기반을 훼손하며, 특히 생성물이 원작자의 시장을 직접 대체할 때 정당화되기 어렵다. 시험에서는 양측을 모두 재구성할 수 있어야 합니다.
③ 데이터 출처 문서화 (data provenance) — 실무 최소 요건
- 출처 목록: 데이터셋·크롤 대상·라이선스·수집 시점·수집 방법
- 법적 근거: 항목별로 계약·라이선스·법정 예외·동의 중 무엇에 근거하는지
- 유보 존중: robots.txt, TDM 유보 신호, 옵트아웃 요청의 처리 로그
- 개인정보 처리: 민감정보 탐지·제거 파이프라인과 그 성능
- 노동 조건: 라벨링·RLHF 작업의 계약 형태, 보수, 유해 콘텐츠 노출 관리 → Phase 7
- 재현 가능성: 데이터셋 버전 해시, 변경 이력, 제거 요청 반영 기록
EU AI Act 연계: 범용 AI(GPAI) 모델 제공자는 저작권 준수 정책을 수립하고 학습 콘텐츠에 대한 충분히 상세한 요약을 공개해야 합니다. 즉 "무엇으로 학습했는지 모른다"는 답변이 더 이상 중립적 선택지가 아닙니다.
📗 4-6. 조직 실무 — 섀도우 AI와 에이전트 데이터 접근
① 섀도우 AI — 금지가 실패하는 이유와 대안
직원이 승인되지 않은 외부 AI 도구에 업무 데이터를 입력하는 현상입니다. 전면 금지 정책은 대개 실패합니다 — 생산성 이득이 크고 탐지가 어렵기 때문입니다. 금지는 사용을 없애는 대신 보이지 않게 만듭니다.
| 층위 | 통제 | 구체적 조치 |
|---|---|---|
| 대체재 제공 | 승인된 도구를 더 쓰기 좋게 | 사내 게이트웨이 제공, 무료·저마찰 접근, 실제로 유용한 모델 선택 |
| 데이터 등급화 | 무엇을 넣어도 되는지 명확히 | 공개/내부/기밀/규제대상 4등급 + 등급별 허용 도구 매트릭스 |
| 기술적 통제 | 경계에서 차단·마스킹 | DLP 연동, 프록시 경유 강제, 프롬프트 내 민감정보 자동 마스킹 |
| 계약 통제 | 공급자 조건 확인 | 학습 사용 금지(no-training) 조항, 보존 기간, 하위 처리자, 지역, 감사권 |
| 가시성 | 사용 현황 파악 | 승인 도구 사용 로그, 정기 설문, 비처벌적 자진 신고 창구 |
| 역량 | 판단 기준 교육 | "고객 실명·계좌·건강정보는 어떤 도구에도 금지" 같은 구체적 규칙 3~5개 |
② 에이전트 AI의 데이터 접근 — 새로운 위험 표면
에이전트가 이메일·파일·API·결제에 접근하면, 하나의 조작된 입력이 데이터 유출이나 무단 실행으로 이어질 수 있습니다. 핵심 위협은 간접 프롬프트 주입입니다 — 에이전트가 읽는 문서·웹페이지·이메일 안에 명령이 심어져 있는 경우입니다.
- 최소 권한: 작업별 스코프 토큰. "읽기 전용"과 "쓰기"를 분리하고 기본값은 읽기
- 데이터 경계: 신뢰할 수 없는 콘텐츠(웹·외부 메일)를 처리하는 세션은 기밀 데이터 접근 권한을 갖지 않도록 분리
- 행동 게이트: 외부 전송·결제·삭제 등 비가역 행동은 인간 승인 또는 금액·건수 한도
- 출력 검사: 외부로 나가는 내용에 대한 DLP 스캔 (에이전트가 유출 경로가 될 수 있음)
- 전면 로깅: 도구 호출·입력·출력·승인자 기록 — 사고 조사의 유일한 근거
- 중단 스위치: 세션·계정·통합 단위의 즉시 차단 경로와 담당자 지정
설계 원칙: 에이전트를 신입 직원이 아니라 외부에서 조종될 수 있는 신입 직원으로 가정하고 권한을 설계하세요. 프롬프트 주입에 대한 완전한 방어는 아직 존재하지 않으므로, 권한 축소와 행동 게이트가 1차 방어선입니다 → Phase 5에서 심화.
③ 데이터 보호 영향평가(DPIA)와 AI 영향평가의 관계
DPIA는 개인정보 처리의 위험을 다루고, AIA(알고리즘 영향평가)는 차별·안전·사회적 영향까지 다룹니다. 두 문서는 겹치므로 실무에서는 통합 템플릿으로 운영하되, 규제 제출용으로는 각각의 필수 항목을 매핑해 두는 것이 효율적입니다 → Phase 8에서 템플릿 실습.
2. 필독 문헌
- 📖 《Privacy in Context》 — Helen Nissenbaum. 맥락적 무결성의 원전
- 📄 Dwork & Roth, The Algorithmic Foundations of Differential Privacy — 1·2장만 읽어도 ε 해석이 달라집니다
- 📄 Carlini et al. (2021, 2023) — 학습 데이터 추출. 실물 위험을 체감하는 데 가장 효과적
- 📄 OWASP Top 10 for LLM Applications — 프롬프트 주입·민감정보 노출의 실무 분류
- 📖 《The Age of Surveillance Capitalism》 — Shoshana Zuboff. 데이터 축적의 정치경제 (Phase 7 예습)
3. 추천 영상
노이즈 추가가 왜 수학적 보증이 되는지, 무엇을 보호하지 않는지까지
암기와 추출 공격의 실증 시연. 이 단계 필수 시청
구조와 실제 배포 사례, 그리고 그래디언트 역전 공격
"프라이버시 = 비밀"이라는 통념을 해체하는 개념 강의
에이전트가 읽는 문서에 숨긴 명령으로 데이터가 유출되는 과정
4. 주차별 실행 계획
- ✅ 1주차 전반: 맥락적 무결성 5요소로 본인 조직의 데이터 흐름 1건을 도입 전/후로 비교 작성
- ✅ 1주차 후반: DP 정의를 손으로 써 보고 ε 감사 체크리스트 4항목을 적용해 실제 공개된 DP 사례 하나를 평가
- ✅ 2주차 전반: 공개 모델에 카나리아 문자열을 넣어 미세조정 후 추출 시도(가능한 환경에서). 불가능하면 Carlini 논문의 실험 설계를 재구성해 정리
- ✅ 2주차 중반: 자사·관심 기업의 AI 도구 이용약관에서 학습 사용·보존 기간·하위 처리자·지역 4항목 확인
- ✅ 2주차 후반: 데이터 등급 매트릭스 작성 → 서술형 과제 → 퀴즈 응시
5. 실전 과제: 데이터 거버넌스 명세서
[대상] 사내 고객 문의 요약 LLM (RAG + 소량 미세조정)
[1] 맥락적 무결성 분석 (도입 전 → 도입 후)
발신자 고객 → 상담사 → 고객 → 상담사 → LLM 게이트웨이 → 벡터DB
수신자 상담사 1인 → 상담팀 전체 + 검색 가능 인덱스
정보유형 문의 내용 → + 임베딩(원문 복원 가능성 있음)
전송원칙 "내 문제 해결 목적" → "품질 분석·모델 개선"까지 확장 ⚠ 규범 위반
→ 조치: 이용약관 갱신 + 목적 분리 + 분석 목적은 별도 옵트인
[2] 데이터 등급 매트릭스
등급 예시 사내 게이트웨이 외부 SaaS 에이전트 자동접근
공개 제품 매뉴얼 허용 허용 허용
내부 내부 프로세스 문서 허용 금지 읽기전용
기밀 계약서, 미공개 재무 허용(마스킹) 금지 금지
규제대상 주민번호·건강·결제 금지 금지 금지
[3] 프라이버시 기술 적용
· 인덱싱 전 PII 탐지·치환 (정밀도/재현율 측정치 첨부, 재현율 0.97 목표)
· 미세조정 코퍼스 중복 제거(문서 단위 MinHash) — 암기 위험 저감
· 사용자 단위 DP 미적용(정확도 요구로 배제) → 위험 수용 근거를 위험대장에 기록
· 벡터DB 접근은 원문 문서의 ACL을 상속 (권한 우회 방지 — 가장 흔한 사고 유형)
[4] 공격 시뮬레이션 결과
· 카나리아 20건 삽입 후 1,000회 프롬프트 추출 시도 → 재생 0건 (기준 충족)
· 멤버십 추론 공격 AUC 0.56 (0.5=무작위, 0.6 초과 시 재검토 기준)
· 간접 프롬프트 주입 테스트 12종 → 3종에서 외부 URL 호출 발생 ✕ 미충족
→ 조치: 도구 호출 화이트리스트 + 외부 요청 시 인간 승인 게이트 도입 후 재시험
[5] 보존·삭제
로그 90일 / 벡터 인덱스는 원문 삭제 시 24시간 내 동기 삭제 (배치 검증 스크립트)
미세조정 모델은 삭제 요청 반영을 위해 분기 재학습, 그 사이 출력 필터로 임시 대응
→ 한계를 문서에 명시: 재학습 전까지 완전한 삭제는 보장되지 않음
[6] 공급자 계약 확인
학습 사용 금지 ○ / 보존 0일 옵션 ○ / 데이터 지역 한정 ○ / 하위 처리자 목록 ○ / 감사권 △
6. 서술형 과제
Q1. (600자 이상) "우리는 연합학습을 쓰기 때문에 개인정보가 서버로 가지 않으며, 따라서 프라이버시 문제가 없습니다"라는 주장을 반박하고, 실제로 필요한 보완 조치를 제시하시오.
모범 답안 개요 보기
반박 1 — 업데이트도 정보다: 그래디언트 역전 공격으로 원본 입력을 상당 부분 복원할 수 있음이 시연되었다. "원본을 안 보낸다"와 "원본을 알 수 없다"는 다르다.
반박 2 — 참여 자체가 정보다: 특정 코호트(희귀질환 앱 사용자 등)에 속한다는 사실만으로 민감할 수 있으며, 연합학습은 이를 보호하지 않는다.
반박 3 — 모델은 암기한다: 최종 모델에서 멤버십 추론·데이터 추출이 가능하다. 학습 위치와 무관한 위험이다.
반박 4 — 신뢰 경계의 이동: 서버 대신 클라이언트·집계자·모델 배포처로 위험이 이동했을 뿐 사라지지 않았다.
보완 조치: ① 보안 집계로 개별 업데이트 비가시화 ② 사용자 단위 DP(레코드 단위가 아니라)로 참여 여부 보호, ε·δ와 누적 예산 공개 ③ 클리핑·중복 제거로 암기 억제 ④ 멤버십 추론 AUC를 릴리스 게이트 지표로 설정 ⑤ 이 조합에도 남는 잔여 위험(집단적 사실 노출, 구현 오류)을 위험대장에 명시. 마지막 항목까지 쓰면 만점입니다.
Q2. (500자 이상) 생성 AI 학습에 저작물을 사용하는 것에 대해, 허용해야 한다는 입장과 제한해야 한다는 입장의 가장 강한 논거를 각각 2개씩 제시하고, 양측이 동의할 수 있는 제도적 절충안을 하나 설계하시오.
모범 답안 개요 보기
허용 측: ㉠ 학습은 표현을 복제하는 것이 아니라 통계적 규칙성을 추출하는 비표현적 이용에 가깝다 ㉡ 사전 개별 허락을 요구하면 거래비용 때문에 대규모 라이선스를 살 수 있는 소수 기업만 모델을 만들 수 있게 되어 권력 집중이 심화된다(Phase 7과 연결).
제한 측: ㉠ 산업적 규모의 무보상 이용은 창작자의 재생산 기반을 훼손하며, 생성물이 원작 시장을 직접 대체하는 경우 공정 이용의 4요소 중 시장 영향에서 불리하다 ㉡ 동의·보상 없는 이용은 협상력 비대칭을 이용하는 것이며, 특히 개인 창작자에게 회복 경로가 없다.
절충안 예시: ① 기계 판독 가능한 유보(opt-out) 표준을 법적 효력과 함께 의무화 ② 학습 데이터 출처 요약 공개를 의무화해 협상의 전제인 정보 비대칭 해소 ③ 유보하지 않은 저작물에 대해서는 확대된 집중관리·보상금 체계로 거래비용 문제 해결 ④ 출력 단계에서 실질적 유사 생성물 억제(중복 제거·필터)를 의무화. 각 조치가 어느 쟁점(수집/학습/출력/시장)에 대응하는지 매핑하면 만점입니다.
📌 Phase 4 핵심 정리
- ✅ 동의 모델의 붕괴: 인지 불가능성·미래 용도 불확정성·집합적 효과. 대안 개념은 맥락적 무결성(5요소 흐름 분석).
- ✅ 익명화는 보증이 아니다: 준식별자 조합과 외부 데이터 결합으로 재식별된다. 수학적 보증은 차등 프라이버시뿐.
- ✅ DP가 지키는 것: 개인의 참여 여부. 집단적 사실은 지키지 않으며 그것은 침해가 아니다. ε는 단위·δ·인접성 정의·누적 예산과 함께 읽어야 한다.
- ✅ PETs의 한계: 대부분 데이터 이동을 통제할 뿐 출력으로부터의 추론은 통제하지 못한다. 연합학습 ≠ 프라이버시.
- ✅ 모델은 공격 표면이다: 멤버십 추론·데이터 추출·모델 반전·속성 추론. 중복 제거는 프라이버시 대책이기도 하다.
- ✅ 저작권은 네 개의 질문: 수집·학습·출력·시장 대체. 섞어서 논하지 말 것. GPAI는 학습 데이터 요약 공개 의무가 있다.
- ✅ 섀도우 AI: 금지는 실패한다. 대체재·등급화·기술통제·계약·가시성·역량의 6층으로 관리하라.
- ✅ 에이전트: "외부에서 조종될 수 있는 신입 직원"으로 가정하고 최소 권한·데이터 경계·행동 게이트·전면 로깅을 설계하라.