Phase 2. 알고리즘 편향과 공정성

PHASE 2 · 2~3주차

알고리즘 편향과 공정성

"편향은 버그가 아니라 대개 정확하게 학습된 과거다"

🎯 이 단계의 학습 목적

왜 배우는가: AI 윤리에서 유일하게 수학적으로 엄밀한 불가능성 결과가 존재하는 영역입니다. "공정한 알고리즘을 만들자"가 왜 기술적으로 불완전한 요구인지 이해하면, 이후 모든 논의의 수준이 달라집니다.
배워서 얻는 것: ① 편향을 발생 경로별로 진단하는 능력 ② 공정성 지표 3계열을 수식으로 구분하고 상황에 맞게 선택·정당화하는 능력 ③ 불가능성 정리를 이용해 "모두 만족시키자"는 요구를 반박하는 능력 ④ 완화 기법의 적용 지점과 부작용 ⑤ 아동·취약계층에 대한 별도 설계 기준

1. 핵심 학습 주제 (심화 강의)

핵심 주제	구체적으로 묻는 질문	이 Phase에서 얻는 핵심 답
편향의 발생 경로	차별적 결과는 데이터의 어느 지점에서 만들어지는가?	역사·표본·측정·레이블·모델·배포의 여섯 경로를 분리해야 합니다. 특히 "의료 필요"를 "의료비"로 대신 측정하는 식의 대리변수 오류는 모델을 개선해도 해결되지 않습니다.
공정성 정의	집단별 합격률, 오류율, 위험 점수 중 무엇을 같게 해야 공정한가?	독립성·분리·충분성은 서로 다른 도덕적 관심을 수학으로 표현합니다. 지표는 중립적 정답이 아니라 어떤 오류를 누구에게 허용할지 정하는 규범 선택입니다.
불가능성과 트레이드오프	모든 공정성 조건을 동시에 만족시킬 수 있는가?	집단별 기저율이 다르고 예측이 완벽하지 않으면 주요 지표를 동시에 맞출 수 없습니다. 따라서 포기한 지표와 이유를 숨기지 말고 파레토 곡선과 피해의 비대칭성을 근거로 결정해야 합니다.
완화 기법과 감사	전처리·학습·후처리 중 어디에 개입해야 하는가?	편향의 원인과 개입 지점을 맞춰야 합니다. 집단별 지표·신뢰구간·교차집단·임계값 민감도·인간 기준선을 함께 보고, 시정 후에도 배포 환경에서 재감사합니다.
사례 분석	얼굴인식·채용·의료 알고리즘의 실패는 서로 어떻게 다른가?	Gender Shades는 교차 평가의 부재, 아마존 채용은 과거 결정을 정답으로 삼은 문제, 의료 알고리즘은 의료비라는 잘못된 레이블의 문제였습니다. 같은 "편향"이라도 해법은 서로 다릅니다.
취약성과 보호 의무	모두를 똑같이 대우하면 아동과 취약계층도 공정한가?	동의·이의제기 능력과 피해 회복 가능성이 비대칭이면 동일 대우로 부족합니다. 연령 적합 기본값, 조작 금지, 쉬운 이의제기, 인간에게 안전하게 넘기는 절차가 강화된 보호 의무가 됩니다.

📕 2-1. 편향은 어디서 들어오는가 — 6가지 발생 경로

"데이터가 편향되어 있다"는 진단은 너무 거칠어 대책으로 이어지지 않습니다. 편향은 파이프라인의 서로 다른 여섯 지점에서 발생하며, 각각 다른 처방을 요구합니다.

#	편향 유형	발생 메커니즘	대표 사례	처방
1	역사적 편향 Historical	세계 자체가 불평등해서, 데이터가 정확할수록 불평등이 재현됨	과거 승진자 데이터로 학습 → 유리천장 재생산	데이터 정제로 해결 불가. 문제 정의·목표 변수 자체를 재검토
2	표현 편향 Representation	표본이 모집단을 대표하지 못함. 특정 집단의 데이터 부족	피부색이 밝은 남성 위주 얼굴 데이터셋	층화 표집, 소집단 표본 보강, 데이터시트 문서화
3	측정 편향 Measurement	관심 개념을 대리변수로 측정하는데, 그 대리 관계가 집단별로 다름	"건강 필요" → "의료비 지출"로 대리 (Obermeyer 2019)	대리변수 타당성을 집단별로 검증. 다중 대리변수 교차 확인
4	집계 편향 Aggregation	서로 다른 하위 모집단에 하나의 모델을 강요	당뇨 HbA1c 기준이 인종별로 다름에도 단일 모델 적용	하위집단별 모델 또는 집단 특성을 입력에 포함, 다중작업 학습
5	학습·최적화 편향 Learning	손실함수·정규화·클래스 불균형 처리가 소수 집단 오류를 싸게 만듦	전체 정확도 최적화 시 5% 소집단 오류는 무시됨	최소집단 손실(worst-group loss), 재가중, 분포적 견고 최적화(DRO)
6	배포·평가 편향 Deployment / Evaluation	학습 맥락과 사용 맥락의 불일치, 벤치마크의 편중	연구용 모델을 다른 인구·환경에 그대로 적용	배포 환경 재평가, 분리 평가 세트, 사후 모니터링

확립된 합의 Suresh & Guttag(2021)의 편향 원천 분류가 학계 표준입니다. 실무 감사에서는 "어떤 편향이 있나"가 아니라 "6개 경로 각각에 대해 무엇을 확인했나"를 묻는 것이 정석입니다.

① 대리변수(proxy) 문제의 구조 — 가장 자주 놓치는 지점

ML은 측정된 레이블을 학습합니다. 그런데 우리가 진짜 관심 있는 개념(구성개념, construct)은 대개 직접 측정되지 않습니다.

관심 개념: "좋은 직원" → 측정: "1년 후 재직 여부" (재직은 육아·이주·차별 경험에 영향받음)
관심 개념: "범죄 위험" → 측정: "재체포 여부" (체포는 순찰 밀도의 함수 = 치안 정책의 반영)
관심 개념: "학습 잠재력" → 측정: "표준화 시험 점수" (시험 준비 자원 접근성 반영)

핵심: 대리변수의 오차가 집단과 상관되어 있으면 모델은 완벽히 정확해도 차별적입니다. 이 경우 데이터를 더 모으면 편향이 강화됩니다.

② 보호속성을 지우면 되지 않나 — '무지를 통한 공정성'의 실패

성별·인종 컬럼을 삭제하는 fairness through unawareness는 거의 항상 실패합니다. 고차원 데이터에서는 중복 부호화(redundant encoding)가 일어나기 때문입니다: 우편번호는 인종의, 대학 동아리명은 성별의, 통근 시간은 소득의 대리가 됩니다. 결과적으로 모델은 보호속성을 재구성하면서 감사 가능성만 잃습니다.

역설: 집단 간 격차를 측정하려면 민감속성 데이터가 필요합니다. 그런데 프라이버시 규제는 그 수집을 제한합니다. 이 긴장의 해법은 삭제가 아니라 목적 한정 수집 + 접근 분리 + 보관 제한입니다 — 검증팀만 접근하고 학습 파이프라인에는 전달하지 않는 구조. Phase 4에서 기술적 방법을 다룹니다.

③ 피드백 루프 — 편향이 스스로를 증명하는 구조

모델의 출력이 다음 학습 데이터를 만들면 편향은 자기실현됩니다.

모델이 A 지역을 고위험으로 예측
A 지역 순찰·심사·모니터링이 강화됨
A 지역에서 적발 건수가 증가 (실제 발생률이 아니라 탐지율의 증가)
증가한 적발 데이터가 다시 학습됨 → 위험 점수 상승
1로 돌아감. 모델은 "예측이 맞았다"는 증거를 스스로 생산

진단법: 관측 데이터가 정책의 함수인지 물으세요. 거절된 지원자의 결과는 관측되지 않으므로(선택 편향) 모델 성능 평가 자체가 왜곡됩니다. 이를 선택적 레이블 문제(selective labels)라 하며, 무작위 배정 또는 정책 변경 시점의 자연실험으로만 부분 해결됩니다.

원문·참고 Suresh & Guttag (2021), A Framework for Understanding Sources of Harm
Obermeyer et al. (2019), Dissecting racial bias in an algorithm... (Science)
Barocas, Hardt, Narayanan — Fairness and Machine Learning

📗 2-2. 공정성의 수학적 정의 — 3계열과 개별 공정성

표기: A = 보호속성(집단), Y = 실제 결과(1이 유리한 결과), Ŷ = 모델의 결정, R = 모델의 점수. 모든 정의는 "무엇을 집단 간에 같게 만들 것인가"의 선택입니다.

① 계열 1 — 독립성 (Independence): Ŷ ⫫ A

결정이 집단과 무관해야 한다. 실제 결과 Y는 보지 않습니다.

통계적 동등성 / 인구통계학적 패리티: P(Ŷ=1 | A=a) = P(Ŷ=1 | A=b) — 합격률이 같아야 한다
완화판 — 4/5 규칙(disparate impact): 소수 집단 선발률 ÷ 다수 집단 선발률 ≥ 0.8. 미국 고용 차별 판단의 실무 기준
언제 쓰나: 역사적 레이블 자체를 믿을 수 없을 때, 결과의 분배 자체가 목표일 때(적극적 시정조치)
약점: 집단 간 실제 자격 분포가 다를 때 부적격자 선발을 강제할 수 있고, 이는 "게으른 채우기(laziness)" 공격에 취약합니다 — 소수 집단에서 아무나 뽑아 비율만 맞추는 것을 허용

② 계열 2 — 분리 (Separation): Ŷ ⫫ A | Y

실제 결과가 같은 사람들 사이에서는 대우가 같아야 한다. 오류율의 형평입니다.

기회 균등(Equal Opportunity): P(Ŷ=1 | Y=1, A=a) = P(Ŷ=1 | Y=1, A=b) — 자격 있는 사람의 합격률(TPR)이 같아야 한다
균등화 승산(Equalized Odds): TPR과 FPR이 모두 같아야 한다
언제 쓰나: 레이블 Y가 비교적 신뢰할 만하고, 오류의 비용이 개인에게 클 때(형사사법, 의료 진단)
약점: Y가 이미 편향되었다면(역사적 편향) 편향된 기준에 대한 형평을 보장할 뿐

③ 계열 3 — 충분성 (Sufficiency): Y ⫫ A | R

같은 점수를 받은 사람은 집단과 무관하게 같은 실제 확률을 가져야 한다.

보정(Calibration by group): P(Y=1 | R=r, A=a) = r, 모든 집단 a에 대해
예측값 동등성(Predictive Parity): P(Y=1 | Ŷ=1, A=a) 가 집단 간 동일 — 양성 예측도(PPV)의 형평
언제 쓰나: 점수가 의사결정자에게 확률로 해석되어 제공될 때. 보정이 깨지면 같은 "70점"이 집단마다 다른 의미가 됩니다
약점: 보정은 만족시키기 쉬우며(사후 조정으로 거의 항상 가능), 집단 간 오류 부담의 불균형을 은폐할 수 있습니다

④ 세 계열 한눈에 비교

계열	같게 만드는 것	대표 지표	적합한 상황	대표적 반론
독립성	선발 비율	Demographic Parity, 4/5 규칙	레이블 불신, 분배 목표	자격 분포 차이를 무시
분리	오류율(TPR/FPR)	Equal Opportunity, Equalized Odds	레이블 신뢰 가능, 개인 피해 큼	편향된 Y에 대한 형평
충분성	점수의 의미	Calibration, Predictive Parity	점수가 확률로 소비됨	오류 부담 불균형 은폐

⑤ 개별 공정성과 반사실적 공정성

개별 공정성(Dwork et al. 2012): "비슷한 개인은 비슷하게 대우받아야 한다". 강력하지만 "비슷함"의 거리 함수를 누가 정하느냐가 문제를 원점으로 되돌립니다.
반사실적 공정성(Kusner et al. 2017): "이 사람의 인종만 바뀌었다면 결정이 같았을까?" 인과 그래프를 요구하며, 그 그래프는 검증 불가능한 가정을 담습니다.
인과적 관점의 가치: "인종 → 우편번호 → 대출"의 경로가 차별인지 정당한 사업 요인인지를 경로별로 판단할 수 있게 해 줍니다. 통계적 지표로는 불가능한 구분입니다.

⑥ 지표 선택은 기술이 아니라 규범 판단

선택 절차(실무 권장): ① 이 시스템의 오류 중 어떤 종류의 오류가 누구에게 회복 불가능한 피해를 주는지 명시 → ② 그 오류를 직접 겨냥하는 지표를 주 지표로 선택 → ③ 나머지 계열은 모니터링 지표로 관측 → ④ 선택 이유와 포기한 지표를 문서에 명시. 4단계가 핵심입니다. 감사에서는 "무엇을 포기했는지 아는가"가 성숙도의 척도입니다.

예: 형사사법 위험도 — 무고한 사람을 고위험으로 오분류(FP)하는 것이 회복 불가능한 피해 → FPR 형평(균등화 승산)을 주 지표로. 암 검진 — 놓치는 것(FN)이 치명적 → TPR 형평(기회 균등)을 주 지표로.

원문·참고 Hardt, Price & Srebro (2016), Equality of Opportunity in Supervised Learning
Dwork et al. (2012), Fairness Through Awareness
Kusner et al. (2017), Counterfactual Fairness

📘 2-3. 불가능성 정리와 COMPAS 논쟁 정밀 해부

① 불가능성 정리 — 이 분야의 가장 중요한 결과

확립된 합의 Kleinberg, Mullainathan & Raghavan (2016) 및 Chouldechova (2017): 집단 간 기저율(base rate)이 다르고 예측이 완벽하지 않다면, 보정(calibration)·FPR 형평·FNR 형평을 동시에 만족시키는 것은 수학적으로 불가능합니다. (완벽 예측이거나 기저율이 같은 자명한 경우만 예외)

왜 그런가 — 직관적 설명. 양성 예측도(PPV), 재현율(TPR), 위양성률(FPR)은 기저율 p와 다음 관계로 묶여 있습니다:

FPR = (p / (1−p)) × ((1 − PPV) / PPV) × TPR

이 식에서 p가 집단마다 다른데 PPV와 TPR을 집단 간에 같게 고정하면, FPR은 강제로 달라집니다. 즉 세 지표 중 둘을 맞추면 셋째가 어긋납니다. 이것은 알고리즘의 결함이 아니라 산술적 사실입니다.

② COMPAS 논쟁 — 양측 모두 옳았다

2016년 ProPublica는 재범 위험 예측 도구 COMPAS가 흑인 피고인을 불리하게 평가한다고 보도했고, 개발사 Northpointe는 반박했습니다. 핵심은 두 진영이 서로 다른 공정성 정의를 사용했다는 점입니다.

주체	사용한 정의	발견	주장
ProPublica	분리 계열 — 오류율 형평	재범하지 않은 사람 중 고위험으로 잘못 분류된 비율(FPR)이 흑인에서 약 2배	도구가 차별적이다
Northpointe	충분성 계열 — 보정·예측값 동등성	같은 위험 점수에서 실제 재범률(PPV)이 인종 간 유사	도구는 인종에 대해 보정되어 있다

결론: 두 통계 모두 사실이며, 두 정의를 동시에 만족시킬 수 없다는 것이 정리의 내용입니다. 관측된 체포 기저율이 집단 간 달랐기 때문입니다. 따라서 진짜 질문은 "누가 통계를 잘못 읽었나"가 아니라 "형사사법에서 어떤 종류의 오류를 더 심각하게 볼 것인가"라는 규범 질문입니다.

진행 중 논쟁 더 깊은 층위의 비판: 기저율 차이 자체가 차별적 경찰 활동의 산물이라면, 그 기저율을 주어진 것으로 받아들이는 모든 지표 논쟁이 문제를 자연화합니다. 또 "재범"의 측정이 재체포라는 점(실제 범죄가 아님)은 측정 편향의 교과서적 사례입니다. 전문가 답안은 반드시 이 층위까지 언급해야 합니다.

③ 정확도-공정성 트레이드오프를 다루는 법

트레이드오프는 실재하나 과장되는 경우가 많습니다. 많은 실증 연구에서 소집단 성능을 크게 개선하면서 전체 정확도 손실은 1%p 미만인 지점이 존재합니다. "정확도를 포기해야 한다"는 주장은 실제 곡선을 그려 확인해야 할 경험적 명제입니다.
파레토 프론티어를 제시하세요. 단일 임계값을 주장하지 말고 (전체 정확도, 집단 격차) 평면에 곡선을 그려 의사결정자가 선택하게 만드는 것이 전문가의 산출물입니다.
"공정성 세금"이 큰 경우는 대개 데이터 부족이 원인입니다. 소집단 표본을 늘리면 곡선 자체가 위로 이동합니다 — 즉 트레이드오프가 아니라 투자 문제인 경우가 많습니다.

원문·참고 Kleinberg, Mullainathan & Raghavan (2016), Inherent Trade-Offs in the Fair Determination of Risk Scores
Chouldechova (2017), Fair prediction with disparate impact
ProPublica (2016), Machine Bias

📙 2-4. 완화 기법 — 전처리 · 중처리 · 후처리

단계	대표 기법	작동 방식	장점	한계·부작용
전처리 (데이터)	재가중(reweighing) · 재표집	소집단·소수 결과 사례의 가중치 상향	모델 비종속, 구현 단순	분산 증가, 과적합 위험
전처리 (데이터)	표현 학습(fair representation)	보호속성 정보를 제거한 잠재표현 학습	다운스트림 작업에 재사용 가능	정보 손실, 완전 제거는 이론적으로 어려움
중처리 (학습)	제약 최적화 / 라그랑주 페널티	공정성 제약을 손실함수에 추가	정확도-공정성 균형을 직접 제어	학습 불안정, 제약이 훈련 분포에만 성립
중처리 (학습)	적대적 편향 제거(adversarial debiasing)	보조 판별기가 예측에서 A를 못 맞히게 학습	강력, 인과적 직관과 부합	학습 난이도 높음, 적대자 용량에 의존
후처리 (출력)	집단별 임계값 조정	집단마다 다른 컷오프로 지표 일치	블랙박스 모델에도 적용 가능, 가장 실용적	법적 위험 — 집단별 다른 기준은 관할에 따라 직접 차별로 볼 수 있음
후처리 (출력)	거부 옵션 분류(reject option)	불확실 구간의 결정을 인간에게 이관	고위험 사례에 인간 판단 투입	인간 검토 역량이 병목, 자동화 편향 위험

① 기법 선택 결정 트리

모델을 재학습할 수 있는가? 아니오 → 후처리(임계값 조정, 거부 옵션)만 가능
보호속성을 추론 시점에 사용할 수 있는가? 아니오 → 집단별 임계값 불가, 전처리·중처리로
문제가 표현 편향(데이터 부족)인가? 예 → 완화 기법보다 데이터 수집이 우선. 알고리즘으로 없는 정보를 만들 수 없습니다
문제가 측정 편향(대리변수)인가? 예 → 어떤 완화 기법도 부적절. 레이블 재정의가 유일한 해법
위 모두 아니면 → 중처리(제약 최적화)로 파레토 곡선을 그려 임계값을 조직이 선택

가장 흔한 실무 오류: 측정 편향(3번 경로) 문제에 완화 알고리즘을 적용하는 것. Obermeyer 사례에서 지표 조정은 증상만 가렸을 것이고, 실제 해법은 목표 변수를 "의료비"에서 "만성질환 수·활성 증상"으로 바꾸는 것이었습니다. 지표 조정 전에 "우리가 예측하는 것이 우리가 관심 있는 것인가"를 먼저 물으세요.

② 편향 감사 실무 절차 (재현 가능한 형식)

범위 확정: 결정 유형, 영향받는 인구, 보호속성 목록, 관할 법령
데이터 확보: 민감속성 실측 또는 추정(BISG 등)의 한계 명시. 추정 사용 시 오차가 결과에 미치는 영향 분석
기술 통계: 집단별 표본수·기저율·결측률. 표본이 적으면 신뢰구간이 넓다는 사실을 반드시 보고
지표 계산: 3계열 지표를 모두 계산하고 신뢰구간 표기. 하나만 보고하는 감사는 신뢰할 수 없습니다
교차 분석: 성별×인종 등 교차성(intersectionality) 집단 확인 — Gender Shades의 핵심 기여
임계값 민감도: 컷오프를 바꿔가며 격차가 어떻게 변하는지 곡선 제시
대안 비교: 현행 인간 결정 프로세스의 격차와 비교 (기준선 없는 감사는 해석 불가)
결론과 조치: 지표·임계값·주체·주기·조치 5요소로 후속 관리 계획 문서화

도구 Fairlearn (Python) — 지표·완화·대시보드
AI Fairness 360 (IBM) — 70+ 지표, 10+ 완화 알고리즘
ML-fairness-gym (Google) — 피드백 루프 시뮬레이션

📕 2-5. 사례 정밀 분석 — 3건을 층위별로 해부

사례 A. Gender Shades (2018) — 교차성의 발견

무엇을 했나: Buolamwini & Gebru는 상용 얼굴 성별 분류 API 3종을 피부색(Fitzpatrick 척도)×성별로 교차 평가했습니다. 밝은 피부 남성에서 오류율은 1% 미만이었으나 어두운 피부 여성에서 20~35%에 달했습니다.

층위별 진단: 표현 편향(벤치마크 데이터셋의 인구 구성 편중) + 평가 편향(총 정확도만 보고하면 격차가 보이지 않음) + 문제 정의 문제(이진 성별 분류라는 과업 자체의 타당성).

왜 중요한가: ㉠ 교차 집단을 보지 않으면 격차가 평균에 묻힌다는 것을 실증 ㉡ 자체 제작한 균형 벤치마크(PPB)로 측정 도구를 만드는 것이 개입의 핵심임을 보임 ㉢ 이후 여러 기업의 얼굴인식 정책 변경과 각국 규제 논의로 이어짐 — 측정 → 공개 → 제도의 경로.

사례 B. 아마존 채용 도구 (2014~2017, 2018 보도)

무엇이 일어났나: 10년치 이력서로 학습한 내부 채용 평가 도구가 "women's"(예: women's chess club) 등의 단어가 포함된 이력서를 하향 평가하고 특정 여자대학 출신을 감점했다고 보도되었습니다. 프로젝트는 폐기되었습니다.

층위별 진단: 역사적 편향이 주범 — 학습 데이터의 정답이 "과거에 채용된 사람"이었고, 그 과거가 남성 편중이었습니다. 여기에 대리변수 문제(좋은 지원자 → 과거 합격 여부)가 겹칩니다. 성별 컬럼은 없었으나 언어 패턴을 통해 중복 부호화가 일어난 전형적 사례입니다.

교훈: ㉠ 특정 단어를 지워도 다른 대리가 등장하므로 패치는 실패합니다 ㉡ 이 사례의 진짜 교훈은 "모델이 나빴다"가 아니라 "과거 결정을 정답으로 삼는 문제 설정 자체가 부적절했다"는 것입니다 ㉢ 폐기 결정 자체는 비배포가 정당한 선택지라는 Phase 7의 논점을 예고합니다.

사례 C. 의료 위험 예측 알고리즘 (Obermeyer et al., 2019, Science)

무엇이 일어났나: 미국 병원 시스템에서 널리 쓰이던 케어 매니지먼트 대상자 선별 알고리즘이 같은 위험 점수에서 흑인 환자가 백인 환자보다 실제로 더 아픈 상태였음이 밝혀졌습니다. 결과적으로 흑인 환자가 추가 돌봄 프로그램에 과소 배정되었습니다.

층위별 진단: 순수한 측정 편향입니다. 알고리즘은 "건강 필요"를 "의료비 지출"로 대리했는데, 의료 접근성 격차 때문에 같은 질병 부담에서도 흑인 환자의 지출이 낮았습니다. 인종 변수는 사용되지 않았습니다.

해법: 목표 변수를 지출에서 활성 만성질환 수 등 직접적 건강 지표로 바꾸자 격차가 크게 감소했습니다. 알고리즘 수정이 아니라 레이블 재정의가 해법이었다는 점이 이 사례의 핵심 교훈입니다.

사례 분석 공통 템플릿 (시험 대비): ① 어떤 결정인가 ② 진짜 관심 개념 vs 측정된 레이블 ③ 6경로 중 어디서 편향이 들어왔나 ④ 어떤 공정성 정의로 문제가 드러났나 ⑤ 적절한 개입 지점은 데이터/레이블/모델/임계값/비배포 중 어디인가 ⑥ 누가 알아채고 누가 시정할 수 있었나. 최종 시험 사례 문항은 이 6단계를 그대로 묻습니다.

📗 2-6. 아동과 취약계층 — 동등 대우로는 부족한 경우

① 왜 별도의 기준이 필요한가

공정성 지표는 대칭적 주체를 가정합니다. 그러나 아동·인지장애인·고령자·난민·수감자는 ㉠ 동의 능력이 제한되고 ㉡ 이의제기 경로 접근성이 낮으며 ㉢ 설득·조작에 대한 취약성이 크고 ㉣ 피해가 발달 단계에 누적됩니다. 여기서는 "같게 대우"가 아니라 보호 의무가 규범입니다(Phase 1의 돌봄 윤리).

② 아동 대상 AI 설계 원칙

연령 적합 설계
기본값이 가장 보호적인 설정이어야 하며, 사용자가 아동일 가능성만으로 보호 수준이 적용되어야 합니다(연령 확인 실패를 전제한 설계).

참여의 원칙
UNICEF 지침의 특징 — 아동을 보호 대상으로만 보지 않고 의견을 반영해야 할 주체로 다룹니다. 아동 참여형 평가가 요구됩니다.

조작 금지
몰입 유도 설계(무한 스크롤, 변동 보상, 의인화된 친밀감 형성)는 아동에게 특히 강하게 작용합니다. EU AI Act는 취약성 이용 조작을 금지 관행으로 규정합니다.

정보 중개의 책임
챗봇이 청소년의 학습·사회·정치 정보의 주요 통로가 될 때, 오정보·편향의 영향은 성인보다 큽니다. 출처 제시와 불확실성 표시가 강화되어야 합니다.

③ 취약성은 속성이 아니라 상황이다

중요한 개념적 전환: 취약성을 "특정 집단의 속성"으로 고정하면 낙인이 되고 범주 밖의 취약성을 놓칩니다. 대신 "이 시스템은 어떤 상황에 있는 사람에게 회복 불가능한 피해를 주는가"로 묻습니다. 실직 직후, 사별 직후, 의료 위기 중, 이주 절차 중인 사람은 일시적으로 극도로 취약합니다. 위기 상황 감지와 안전한 경로 전환(에스컬레이션)이 설계 요구사항이 됩니다.

정신건강 관련 주의: 대화형 AI가 자해·위기 신호를 접했을 때의 처리 절차는 별도의 임상·법적 검토를 요구합니다. 일반적 안전 필터로 충분하다고 가정해서는 안 되며, 지역별 위기 대응 자원 연계와 로깅·사후 검토 체계가 필요합니다.

원문·참고 UNICEF Global Insight — Policy Guidance on AI for Children
EU AI Act — 금지 관행(제5조) 조문 확인

2. 필독 문헌

📖 Fairness and Machine Learning — fairmlbook.org 2·3장(분류·관계적 관점)은 필독
📄 Kleinberg et al. (2016), Chouldechova (2017) — 불가능성 정리 원문. 수식을 따라가지 못해도 결론과 조건은 정확히 이해할 것
📄 Buolamwini & Gebru (2018), Gender Shades (PMLR) — 교차 평가 설계의 정본
📄 Obermeyer et al. (2019), Science — 측정 편향의 교과서 사례
📖 Automating Inequality — Virginia Eubanks. 복지 행정 자동화가 빈곤층에 작동하는 방식

3. 추천 영상

▶️

Gender Shades — 프로젝트 소개 영상

교차 평가 설계와 결과를 직접 확인. Phase 2의 핵심 사례

▶️

Arvind Narayanan — 21 Fairness Definitions and Their Politics

약 1시간 · 공정성 정의들의 전체 지도를 그리는 정본 강연. 이 단계 최우선 시청

▶️

Moritz Hardt — Equality of Opportunity 발표

균등화 승산·기회 균등의 원저자 설명과 후처리 기법

🔍

COMPAS 논쟁 해설

ProPublica vs Northpointe 통계 논쟁을 시각적으로 정리한 자료들

🛠️

Fairlearn 실습 튜토리얼

지표 계산부터 완화·대시보드까지 손으로 따라 하는 실습

4. 주차별 실행 계획

✅ 1주차 전반: 2-1 편향 6경로 암기 수준으로 숙지 → 뉴스에 나온 AI 사고 3건을 경로별로 분류
✅ 1주차 후반: 2-2 세 계열 정의를 수식 없이 말로 설명해 보기 → 그다음 수식으로 재확인. Narayanan 강연 시청
✅ 2주차 전반: 불가능성 정리 관계식을 직접 유도해 보고, 가상의 혼동행렬로 세 지표를 계산해 상충을 손으로 확인
✅ 2주차 중반: Fairlearn 또는 AIF360으로 공개 데이터셋(예: UCI Adult, COMPAS) 감사 실습 — 3계열 지표 + 교차 집단 + 신뢰구간
✅ 2주차 후반: 편향 감사 보고서 작성 → 서술형 과제 → 퀴즈 응시

5. 실전 과제: 편향 감사 보고서

[대상] 대출 승인 분류기 v2.3 / 결정: 승인·거절 / 영향 인구: 신청자 12,400명

[1] 집단별 기술 통계
    집단 A(n=9,800): 기저율 0.78, 결측률 2.1%
    집단 B(n=2,600): 기저율 0.64, 결측률 7.8%   ← 결측 격차 자체가 신호
    ⚠ B의 표본이 적어 지표 신뢰구간이 넓음. 부트스트랩 1,000회로 CI 산출

[2] 3계열 지표 (95% CI)
    독립성  승인율      A 0.71 [0.70,0.72] / B 0.52 [0.50,0.54]  → 비율 0.73 (4/5 규칙 위반)
    분리    TPR         A 0.82 [0.81,0.83] / B 0.69 [0.66,0.72]  → 격차 13%p
            FPR         A 0.14 [0.13,0.15] / B 0.11 [0.09,0.13]  → 격차 3%p
    충분성  PPV         A 0.86 [0.85,0.87] / B 0.84 [0.81,0.87]  → 격차 2%p (유의하지 않음)

[3] 해석
    이 모델은 '충분성'은 만족하지만 '독립성·분리'는 위반한다.
    기저율이 다르므로 불가능성 정리에 의해 셋을 동시 만족시킬 수 없다.
    → 규범 판단 필요: 이 맥락에서 회복 불가능한 피해는 '자격 있는 신청자의 거절(FN)'
    → 주 지표를 TPR 형평(기회 균등)으로 선택. 선택 근거를 문서화.

[4] 교차 분석
    B × 연령 60세 이상 (n=310): TPR 0.51 — 단일 축 분석에서 가려졌던 최악 집단 발견

[5] 편향 경로 진단
    표현 편향(B 표본 부족) + 측정 편향(소득 증빙 형식이 B 집단에 불리) 복합

[6] 조치 계획 (지표·임계값·주체·주기·조치)
    지표: B 집단 TPR / 임계값: A 대비 5%p 이내 / 주체: 리스크팀
    주기: 월간 / 조치: 초과 2개월 연속 시 자동승인 중단 후 수동 심사 전환
    병행: B 집단 데이터 수집 확대, 소득 증빙 대체 경로 도입(측정 편향 직접 교정)

6. 서술형 과제

Q1. (600자 이상) 어떤 기업이 "우리 모델은 인종 변수를 사용하지 않으므로 인종 차별을 하지 않습니다"라고 주장합니다. 이 주장의 오류를 세 층위(기술적·통계적·규범적)에서 반박하시오.

모범 답안 개요 보기

기술적: 고차원 특징에서 중복 부호화가 일어나 우편번호·소비 패턴·기기 정보 등이 보호속성의 대리로 작동한다. 변수 삭제는 모델의 예측 능력을 거의 감소시키지 않으면서 감사 가능성만 제거한다(fairness through unawareness의 실패).

통계적: 차별의 법적·통계적 판단 기준은 입력이 아니라 결과의 격차다. 미국 고용법의 이질적 영향(disparate impact) 법리, 4/5 규칙은 의도나 변수 사용 여부와 무관하게 결과를 본다. 또한 인종 변수를 쓰지 않으면 격차를 측정조차 할 수 없어 무해를 입증할 근거가 사라진다(입증 책임의 역설).

규범적: 차별의 잘못됨은 "특정 변수를 참조했다"에 있지 않고 사회적 집단에 체계적 불이익을 재생산하는 데 있다. 절차적 무지는 의무론적 요건의 일부를 만족시킬 뿐, 정의론이 요구하는 최소 수혜자 개선과 무관하다. 또 이 주장은 책임을 회피하는 수사로 기능한다 — Phase 1의 윤리 워싱 신호 "측정 없는 약속"에 해당.

추가 가점: 대안 제시 — 민감속성을 검증 목적으로만 분리 수집·저장하고 학습 파이프라인과 접근 권한을 분리하는 구조를 제안하면 만점.

Q2. (500자 이상) 응급실 중증도 분류 보조 AI를 개발한다고 가정하고, 어떤 공정성 지표를 주 지표로 삼을지 선택하고 정당화하시오. 포기하게 되는 지표와 그 결과도 함께 서술하시오.