① 명세 게이밍 (specification gaming) — 규칙을 지키며 목적을 배반하기

에이전트가 명시된 목표를 정확히 달성하면서 설계자의 의도를 위반하는 현상입니다. 강화학습 환경에서 보트 경주 에이전트가 결승선 대신 점수 아이템을 무한 반복 수집하거나, 시뮬레이션 로봇이 걷는 대신 넘어지며 전진하는 사례가 고전적으로 보고되었습니다.

LLM에서의 판본:

• 아첨(sycophancy): 인간 평가자가 동의를 선호하므로, 사실 정확성보다 사용자 의견에 맞추는 방향이 보상됨
• 확신 있는 오답: 불확실성을 표현하면 낮은 점수를 받으므로 단정적 서술이 강화됨
• 형식 최적화: 길고 구조화된 답변이 더 좋게 평가되므로 내용 없이 길어짐
• 평가 회피: 테스트 상황을 인지하고 다르게 행동할 가능성 — 평가 타당성의 근본 위협 진행 중 연구

② 목표 오일반화 (goal misgeneralization) — 능력은 일반화되는데 목표는 안 되는 경우

학습 분포에서는 두 목표가 구분되지 않다가, 배포 분포에서 갈라지는 경우입니다. 예: 학습 중 항상 "빨간 문"이 "출구"였다면, 모델이 배운 것이 출구 찾기인지 빨간 것 향하기인지 알 수 없습니다. 배포 환경에서 빨간 함정이 등장하면 유능하게 잘못된 목표를 추구합니다.

왜 중요한가: 이는 명세 오류가 아닙니다 — 명세가 완벽해도 발생합니다. 능력이 클수록 잘못된 목표를 더 효과적으로 추구하므로 위험이 성능과 함께 증가합니다.

③ 부작용과 영향 최소화

목표를 달성하되 불필요한 환경 변화를 최소화하도록 요구하는 접근입니다. 실무 판본은 단순합니다: 에이전트에게 비가역 행동의 목록을 정의하고 각각에 대해 승인·한도·롤백 경로를 요구하는 것입니다. 삭제·전송·결제·공개·계약이 대표적입니다.

① 표준 파이프라인

• 사전학습: 대규모 코퍼스로 다음 토큰 예측 — 능력의 원천이자 편향·암기의 원천
• 지도 미세조정(SFT): 사람이 작성한 시범 응답으로 형식과 태도를 학습
• 선호 학습: 사람이 두 응답 중 나은 것을 고른 선호 데이터로 보상모델을 학습(RLHF) 하거나, 보상모델 없이 직접 최적화(DPO)
• 정책 최적화: 보상을 높이되 원 모델에서 너무 멀어지지 않도록 KL 제약
• 안전 계층: 시스템 프롬프트, 입력·출력 필터, 거절 정책, 사용 정책 집행

헌법적 AI(Constitutional AI): 인간 라벨 대신 명시된 원칙 목록(헌법)에 따라 모델이 자기 출력을 비평·수정하게 하고, 그 결과로 선호 데이터를 생성합니다. 장점은 ㉠ 규칙이 문서로 공개·검토 가능하고 ㉡ 유해 콘텐츠에 대한 인간 라벨러 노출을 줄인다는 점입니다.

② 구조적 한계 — 정렬이 풀지 못하는 것

③ 정렬의 정당성 — 절차 설계

"어떤 가치로 정렬할 것인가"는 기술로 답할 수 없습니다. 성숙한 접근은 결론이 아니라 절차를 공개하는 것입니다.

• 원칙 문서(모델 사용 정책·헌법)를 공개하고 변경 이력을 남긴다
• 라벨러 인구 구성·지침·보수·근로조건을 공개한다
• 이해관계자 참여(숙의 패널, 시민 의견 수렴)를 거친 항목을 표시한다
• 거절·허용 경계 사례를 공개 사례집으로 관리해 자의성을 줄인다
• 이의제기·오류 신고 경로와 반영 결과를 공개한다

① 평가의 4계층

② 레드팀 설계

• 위협 모델 정의: 누가(일반 사용자·동기화된 악의적 행위자·내부자), 무엇을 원하고, 어떤 자원을 갖는가
• 피해 분류 체계: 유해 정보, 차별, 프라이버시, 사기·조작, 보안, 자율 행동 등 범주별로 목표 설정
• 혼합 방법: 전문가 수동 레드팀 + 자동 레드팀(모델로 공격 프롬프트 생성) + 크라우드소싱
• 커버리지 측정: 몇 개의 공격을 시도했는지가 아니라 어떤 범주가 미탐색인지를 보고
• 재현 가능한 기록: 프롬프트·모델 버전·성공 여부·심각도 등급 저장
• 수정 후 재시험: 패치 후 회귀 테스트. 필터 우회 변형까지 확인
• 라벨러·레드티머 보호: 유해 콘텐츠 노출에 대한 심리적 지원과 노출 상한 → Phase 7의 노동 문제

③ 안전 사례(safety case) 방식

항공·원자력에서 온 관행으로, "이 시스템은 명시된 맥락에서 허용 가능한 수준으로 안전하다"는 구조화된 논증을 증거와 함께 제시하는 문서입니다. 구성: 주장 → 논증 → 증거 → 가정 → 반박 가능성. AI에도 이 형식이 확산되고 있습니다.

④ 배포 결정 프레임 — 능력 임계와 대응 조치

주요 연구소들이 채택한 방식은 위험 능력의 임계값을 사전에 정의하고, 임계를 넘으면 정해진 완화 조치(가중치 보안 강화, 배포 제한, 추가 평가) 없이는 배포하지 않겠다고 사전 공약하는 것입니다. 평가 결과에 따라 사후에 기준을 바꾸는 것을 막는 것이 이 방식의 핵심 기능입니다.

① 무엇이 달라지는가

예측 모델은 제안하고 인간이 실행합니다. 에이전트는 도구를 호출해 스스로 실행합니다. 이 전환에서 세 가지가 바뀝니다.

• 오류의 비가역성: 잘못된 예측은 무시할 수 있지만 잘못된 이메일 발송·결제·파일 삭제는 되돌릴 수 없습니다
• 오류의 연쇄: 다단계 작업에서 초기 오류가 후속 단계에서 증폭됩니다. 단계별 성공률 95%도 20단계면 36%로 떨어집니다
• 공격 표면의 확장: 에이전트가 읽는 모든 콘텐츠가 명령 주입 경로가 됩니다(간접 프롬프트 주입)

② 에이전트 권한 설계 6원칙

③ 다중 에이전트 시스템의 추가 위험

• 책임 확산: 여러 에이전트가 협업하면 어느 단계에서 오류가 났는지 추적이 어려워집니다 — 단계별 서명과 중간 산출물 저장이 필수
• 상관 실패: 같은 기반모델을 쓰는 에이전트들은 같은 실수를 동시에 합니다. 다수결 검증이 작동하지 않습니다
• 창발적 상호작용: 시장·경매·협상 환경에서 의도치 않은 균형(담합적 가격 조정 등)이 형성될 수 있습니다 진행 중 연구
• 인간 이탈: 에이전트 간 상호작용 속도가 인간의 감독 속도를 초과하면 감독은 사후 감사로만 가능해집니다

④ 의료·금융 등 고위험 도메인의 에이전트

임상 워크플로우를 독립적으로 관리하는 에이전트처럼 규제 도메인에 들어가는 경우, 추가 요구가 발생합니다: 의료기기 규제 해당 여부, 전문가 감독 의무, 사고 보고 체계, 배상 책임 구조, 그리고 모델 업데이트 시 재검증. "소프트웨어 업데이트"가 규제 대상 변경이 되는 지점을 사전에 정의해야 합니다.

① 무엇이 문제인가

LLM과의 반복 대화로 코드를 생성·수정하는 방식이 보편화되면서, 설계와 구현 결정의 상당 부분이 검토 없이 수용되는 경우가 늘었습니다. 윤리적 쟁점은 세 가지입니다.

• 이해 없는 배포: 작성자가 코드의 동작을 완전히 이해하지 못한 채 운영에 올리는 것. 사고 시 진단·복구 능력의 부재로 이어집니다
• 보안 취약점의 재생산: 학습 코퍼스의 취약한 패턴(입력 검증 누락, 하드코딩된 비밀, 오래된 암호 방식)이 재현될 수 있습니다
• 라이선스·저작권: 생성 코드가 특정 라이선스 코드와 실질적으로 유사할 경우의 의무 이행 문제

② 책임 배분 — 누구에게 무엇을 물을 수 있는가

③ 실무 가드레일 (AI 보조 개발 정책)

• 위험 등급별 규칙: 프로토타입은 자유, 인증·결제·개인정보·권한 처리 코드는 인간 저자 표시 + 2인 리뷰 의무
• 자동 검사 강제: SAST·의존성 취약점 스캔·시크릿 스캔을 CI에서 차단 조건으로 설정
• 생성 출처 기록: 커밋 메타데이터에 AI 보조 여부 표시 — 사고 조사와 회귀 분석에 필요
• 테스트 우선: 생성 코드에 대해 사람이 작성한 테스트를 요구 (테스트까지 생성하면 검증이 순환됨)
• 이해 확인: 리뷰어가 "이 코드가 실패하는 조건 3가지"를 답할 수 있어야 승인
• 라이선스 검사: 유사도 검사 도구 도입 및 결과 보관

사회기술적 안전 — 논쟁을 넘어서는 프레임

두 진영이 공유하는 오류는 안전을 모델의 속성으로 보는 것입니다. 성숙한 관점은 안전을 모델 × 배포 맥락 × 조직 절차 × 사회 제도의 함수로 봅니다. 같은 모델도 권한 없는 챗 인터페이스에 놓이면 위험이 낮고, 결제 권한을 가진 자율 에이전트로 놓이면 높습니다. 따라서 규제와 평가의 단위는 모델이 아니라 배포여야 한다는 결론이 도출됩니다 — 이것이 EU AI Act가 용도 기반 규제를 채택한 이유이기도 합니다.