① 세 갈래의 계보

"AI 윤리"라는 이름 아래 사실상 성격이 다른 세 가지 활동이 섞여 있습니다. 이 구분을 못 하면 대화가 어긋납니다.

전문가는 세 갈래를 모두 구사합니다. 안전공학만 아는 사람은 "테스트를 통과했으니 윤리적"이라고 말하고, 응용윤리만 아는 사람은 측정 불가능한 요구를 하며, 정치 관점만 아는 사람은 기술적 개선 가능성을 과소평가합니다.

② 세 축 밖으로 확장해야 할 네 가지 차원

응용윤리·안전공학·정치는 분석의 뼈대이지만, 실제 AI 생태계의 피해를 모두 포착하지는 못합니다. 다음 네 차원은 별도의 "부록"이 아니라 세 축을 현실에 연결하는 관점입니다.

이 네 차원은 각각 Phase 7(노동·환경), Phase 6(디지털 신뢰), Phase 2·5(취약성·에이전트 안전)에서 더 깊게 다룹니다.

③ "윤리"와 "법"과 "규정 준수"의 관계

세 개념은 흔히 윤리라는 넓은 지향 안에서 법이 최소선을 정하고, 규정 준수가 이를 일상 운영으로 옮기는 구조로 설명됩니다. 다만 현실에서는 모든 법이 윤리적으로 정당한 것도, 모든 윤리적 행위가 현행법상 허용되는 것도 아니므로 완전한 동심원보다는 크게 겹치되 경계에서 충돌하는 세 영역으로 이해하는 편이 정확합니다.

• 합법이지만 비윤리적: 규제 공백기의 무차별 웹 스크래핑, 이용약관에 묻어 둔 광범위한 데이터 재사용 동의
• 불법이지만 윤리적 논쟁이 있는: 알고리즘 감사 목적의 계정 생성이 서비스 약관·컴퓨터부정사용법을 위반하는 문제 (연구자의 공익 감사 권리 논쟁)
• 준수했지만 해를 끼친: 형식적 동의·형식적 영향평가를 마쳤으나 실제 피해가 발생한 경우 — 이를 체크박스 컴플라이언스라 부릅니다

④ 왜 AI는 별도의 윤리를 요구하는가 — 5가지 구조적 특성

1. 규모(Scale): 개별 인간의 편향은 한 번에 한 명에게 작용하지만, 모델의 편향은 동시에 수백만 건의 결정에 동일한 방향으로 작용합니다. 오류가 상관관계를 갖는다는 것이 핵심입니다.
2. 불투명성(Opacity): 학습된 함수의 내부 상태는 저자에게조차 완전히 알려지지 않습니다. 이는 영업비밀 때문이 아니라 표현 자체의 성질 때문입니다(Phase 3).
3. 적응성(Adaptivity): 배포 후에도 데이터 분포·사용자 행동에 따라 성능이 변합니다. "출시 시점의 검증"이 유효기간을 갖습니다.
4. 행위성의 위임(Delegation of agency): 예측을 넘어 행동을 개시하는 시스템(에이전트)에서는 인간의 개입 지점이 사라집니다(Phase 5).
5. 책임 분산(Many hands): 데이터 제공자·기반모델 제공자·미세조정 개발자·통합 업체·배포 조직·최종 사용자로 사슬이 길어 아무도 전체를 통제하지 않는 상태가 됩니다(Phase 6).

⑤ 흔한 오해 네 가지

규범 이론은 교양이 아니라 설계 사양을 결정하는 도구입니다. 같은 시스템도 어떤 이론을 채택하느냐에 따라 목적함수와 평가지표가 달라집니다. 자율주행 긴급 제동 로직을 예로 네 이론을 비교해 보겠습니다.

① 결과주의 / 공리주의 (Consequentialism)

행위의 옳음은 결과의 총합으로 판정됩니다. ML의 기본 문법과 가장 잘 맞습니다 — 손실함수 최소화, 기대효용 최대화가 곧 결과주의적 정식화이기 때문입니다.

• AI에서의 구현: "전체 사고 사망자 수 최소화"를 목적함수로 설정
• 강점: 측정 가능하고 최적화 가능하며 트레이드오프를 명시적으로 다룸
• 약점: ㉠ 소수 집단의 큰 피해를 다수의 작은 이익으로 상쇄하는 것을 허용 ㉡ 무엇을 "효용"으로 셀지가 이미 가치판단 ㉢ 측정 가능한 것만 남기는 계량화 편향

② 의무론 / 권리 기반 (Deontology)

결과와 무관하게 넘어서는 안 되는 선이 있다고 봅니다. 칸트의 정식 — "인간을 언제나 목적으로 대하고 결코 수단으로만 대하지 말라" — 이 핵심입니다.

• AI에서의 구현: 하드 제약(constraint)으로 표현됩니다. "어떤 최적화도 보호속성을 직접 사용해서는 안 된다", "인간의 최종 승인 없이 무기를 발사하지 않는다", "동의 없이 수집한 데이터는 학습에 쓰지 않는다"
• 강점: 소수자 보호가 구조적으로 보장됨. 권리는 다수결로 침해될 수 없음
• 약점: 제약이 충돌할 때(프라이버시 vs 안전) 해결 규칙이 없음. 또 동의는 대규모 데이터 환경에서 형해화되기 쉬움

③ 덕 윤리 (Virtue Ethics)

"어떤 행위가 옳은가"가 아니라 "어떤 사람·조직이 되어야 하는가"를 묻습니다. 규칙이 미치지 못하는 회색지대에서 실질적으로 작동하는 유일한 틀인 경우가 많습니다.

• AI에서의 구현: 전문직 윤리강령, 엔지니어의 인식적 겸손(모르는 것을 모른다고 말할 용기), 조직의 심리적 안전 — 위험을 보고해도 불이익이 없는 문화
• 강점: 규칙으로 명세할 수 없는 판단(“이 정도 불확실성이면 출시를 미뤄야 하나”)을 다룸
• 약점: 감사 불가능. "우리는 좋은 회사입니다"는 검증할 수 없는 주장이며 윤리 워싱의 주요 통로

④ 정의론과 돌봄 윤리 (Justice & Care)

롤스의 차등 원칙은 "불평등은 최소 수혜자에게 이익이 될 때만 정당하다"고 봅니다. AI 평가에 옮기면: 총 정확도가 아니라 최악 집단의 성능을 봐야 한다는 요구가 됩니다. 이것이 Phase 2의 최소집단 성능(worst-group performance) 지표의 철학적 뿌리입니다.

돌봄 윤리(Gilligan, Noddings)는 추상적 원칙 대신 관계와 의존성에서 출발합니다. 아동·환자·고령자처럼 비대칭적 취약성이 있는 관계에서는 "동등 대우"가 아니라 "보호 의무"가 규범이 됩니다 — UNICEF의 아동 대상 AI 지침이 이 계보입니다.

⑤ 네 이론의 실전 비교 — 채용 알고리즘

① 원칙 목록의 폭발과 수렴

2016년 이후 정부·기업·국제기구가 발표한 AI 윤리 가이드라인은 백 건을 넘습니다. 메타분석 연구들(Jobin et al. 2019; Fjeld et al. 2020)은 이들이 대체로 5~8개의 유사한 원칙으로 수렴한다고 보고했습니다.

② 주요 프레임워크 비교

③ 왜 원칙은 자주 무력한가 — 4가지 구조적 이유

1. 추상성의 함정: "공정해야 한다"에 반대할 사람은 없습니다. 합의가 쉬운 이유는 합의가 아무것도 결정하지 않기 때문입니다. 갈등은 "공정 = 동일 합격률인가, 동일 오류율인가"에서 시작되는데 원칙은 여기서 침묵합니다.
2. 충돌 해결 규칙의 부재: 프라이버시(데이터 최소 수집)와 공정성(집단별 성능 검증에는 민감속성 데이터가 필요) 은 직접 충돌합니다. 원칙 목록은 우선순위를 정해주지 않습니다.
3. 강제 장치의 부재: 의료 윤리에는 면허 박탈이, 회계에는 감사 실패에 대한 법적 책임이 있습니다. AI 개발자에게 상응하는 제재 구조는 아직 얕습니다.
4. 측정과 인센티브의 불일치: 조직은 측정되고 보상되는 것을 합니다. 출시 속도가 보상되고 윤리 검토가 비용으로만 계상되면 원칙은 문서로만 존재합니다.

④ 원칙-실행 격차를 메우는 세 가지 장치

① 평가 대상의 재정의

AI 윤리 초심자는 모델의 정확도와 편향 지표를 봅니다. 전문가는 모델이 놓인 사회기술 시스템 전체를 봅니다. 같은 모델도 배치 방식에 따라 위험이 완전히 달라지기 때문입니다.

② 자동화 편향과 '의미 있는 인간 감독'

규제는 종종 "인간이 최종 결정한다"는 조건으로 위험을 낮추려 합니다. 그러나 인간 검토자가 실질적으로 기계 출력을 승인만 한다면 이는 고무도장(rubber-stamping)입니다. 의미 있는 감독의 조건은 최소 다음과 같습니다.

• 역량: 검토자가 그 판단을 독립적으로 내릴 전문성을 갖추었는가
• 정보: 근거·불확실성·반대 증거가 제시되는가 (단일 점수만 보여주면 실패)
• 시간: 건당 검토 시간이 실제로 확보되는가 (KPI가 처리량이면 감독은 붕괴)
• 권한: 뒤집었을 때 불이익이 없는가 — 뒤집기 비율이 0%에 수렴하면 경고 신호
• 기록: 뒤집은 사례가 로그로 남아 모델 개선에 환류되는가

③ 피드백 루프와 성과 지표의 부패

굿하트의 법칙 — "지표가 목표가 되면 좋은 지표이기를 그친다" — 는 AI 윤리 전반을 관통합니다. 콘텐츠 추천의 체류시간 최적화가 극단화를 낳고, 채용의 서류 통과율 최적화가 학벌 편향을 강화하는 것이 같은 구조입니다. Phase 5의 명세 게이밍은 이 법칙의 기술적 판본입니다.

④ 배포 맥락 변경(context shift)의 윤리

동일 모델이 다른 맥락에 놓이면 새 시스템입니다. 연구용 얼굴 검출 모델을 공공장소 실시간 신원 확인에 쓰는 것은 성능 문제가 아니라 목적 변경이며, 새로운 영향평가를 요구합니다. EU AI Act가 "용도(intended purpose)"를 규제 단위로 삼는 이유가 여기 있습니다.

① 윤리 워싱(ethics washing)의 정의와 신호

규제를 회피하거나 평판을 관리할 목적으로 실질적 제약 없이 윤리 활동의 외형만 갖추는 것을 말합니다. 다음은 실무에서 자주 관찰되는 신호입니다.

② 반대 방향의 오류 — 윤리 바싱(ethics bashing)

모든 윤리 논의를 홍보로 치부하는 냉소도 전문가의 태도가 아닙니다. 이는 실제로 작동하는 개선(모델 카드 관행, 편향 감사 의무화, 아동 보호 설계)을 무력화하고, 결과적으로 아무것도 요구하지 않는 상태를 낳습니다. 판별 기준은 단순합니다: 그 활동이 실제로 무언가를 못 하게 만들었는가?

③ 실무자의 위치별 책임

④ 반대 의견을 남기는 기술 — 전문가의 최소 방어선

1. 우려를 구체적 실패 시나리오로 기술한다 (감정이 아니라 인과 경로로)
2. 측정 가능한 검증 제안을 함께 낸다 ("A 집단 표본 500건으로 오탐률을 재보자")
3. 결정권자·일시·결정 내용을 서면 기록으로 남긴다
4. 수용되지 않았다면 수용되지 않았다는 사실을 기록에 남긴다
5. 중대한 위해가 예상되면 내부 상급 채널 → 감사 → 규제기관 순으로 단계적으로 올린다