▲

OpenAI, 미 국방부와 체결한 협약에 대해

 (openai.com)
3P by GN⁺ 1달전 | ★ favorite | 댓글 1개
  • 미 국방부(DoW) 와 기밀 환경에서의 고급 AI 시스템 배치에 관한 계약을 체결하며, 이 계약 조건을 모든 AI 기업에도 동일하게 적용해달라고 요청함
  • 협약에는 대규모 국내 감시, 자율 무기 시스템 직접 제어, 고위험 자동화 의사결정에 OpenAI 기술을 사용하지 않는다는 세 가지 레드라인을 명시
  • 클라우드 전용 배치 방식을 채택하고, OpenAI가 안전 스택에 대한 완전한 재량권을 보유하며, 보안 인가를 받은 OpenAI 인력이 루프에 참여
  • Anthropic 등 기존 계약보다 더 강력한 가드레일을 갖추었다고 주장하며, 엣지 디바이스 배치를 배제해 자율 무기 전용 가능성을 차단
  • AI 기업과 정부 간 민주적 협력 체제 구축의 필요성을 강조하며, Anthropic과의 갈등 해소도 정부에 요청

계약의 배경과 목적

  • 미 국방부와 기밀 환경에서의 고급 AI 시스템 배치에 관한 계약을 체결했으며, 동일 조건을 모든 AI 기업에도 제공해달라고 요청했음
  • AI 기술의 중요성을 감안해 민주적 절차와 AI 연구 간의 깊은 협력이 필요하다는 입장
  • 미국을 방어하는 사람들이 최고의 도구를 갖춰야 하며, 동시에 이 기술이 세계에 새로운 위험을 초래할 수 있다는 인식

세 가지 레드라인

  • 대규모 국내 감시(mass domestic surveillance) 에 OpenAI 기술 사용 금지
  • 자율 무기 시스템(autonomous weapons systems) 직접 제어에 OpenAI 기술 사용 금지
  • 고위험 자동화 의사결정(예: 사회 신용 시스템 등)에 OpenAI 기술 사용 금지
  • 다른 AI 연구소들이 안전 가드레일을 축소하거나 제거하고 사용 정책에만 의존하는 것과 달리, OpenAI는 다층적 보호 접근법이 더 효과적이라는 입장

계약의 핵심 구성 요소

  • 배치 아키텍처

    • 클라우드 전용 배치로, OpenAI가 직접 운영하는 안전 스택 포함
    • 가드레일이 제거된 모델이나 안전 훈련이 되지 않은 모델은 제공하지 않음
    • 엣지 디바이스 배치를 배제해 자율 치명적 무기에 사용될 가능성 차단
    • 레드라인 위반 여부를 독립적으로 검증할 수 있으며, 분류기(classifiers) 실행 및 업데이트 가능

  • 계약 조항

    • 국방부는 AI 시스템을 적용 법률, 운영 요건, 확립된 안전 및 감독 프로토콜에 부합하는 모든 합법적 목적에 사용 가능
    • 법률, 규정, 또는 부서 정책이 인간 통제를 요구하는 경우 자율 무기를 독립적으로 지휘하는 데 사용 불가
    • DoD Directive 3000.09(2023년 1월 25일자)에 따라 자율 및 반자율 시스템에서의 AI 사용은 배치 전 현실적 환경에서 엄격한 검증, 확인, 테스트를 거쳐야 함
    • 정보 활동 시 개인정보 처리는 수정헌법 제4조, 국가안보법(1947년), 외국정보감시법(1978년), 행정명령 12333 및 관련 국방부 지침을 준수해야 함
    • 미국 시민의 개인정보에 대한 무제한 모니터링 금지
    • 국내 법 집행 활동에는 Posse Comitatus Act 및 기타 적용 법률이 허용하는 경우에만 사용 가능

  • AI 전문가 참여

    • 보안 인가를 받은 OpenAI 엔지니어가 정부에 전방 배치되어 지원
    • 보안 인가를 받은 안전 및 정렬(alignment) 연구자가 루프에 참여

FAQ 주요 내용

  • 계약 체결 이유

    • 미 군이 잠재적 적국의 AI 기술 통합 위협에 대응하기 위해 강력한 AI 모델이 필요
    • 초기에는 기밀 배치를 위한 안전장치와 시스템이 준비되지 않았다고 판단해 즉시 계약하지 않았으며, 레드라인이 지켜질 수 있도록 준비 작업 수행
    • 국가안보 업무에서 성능 향상을 위해 핵심 기술적 안전장치를 제거하는 것은 올바른 접근이 아님
    • 국방부와 미국 AI 연구소 간의 긴장을 완화하려는 목적도 있으며, 동일 조건을 모든 AI 연구소에 제공하고 특히 Anthropic과의 문제 해결을 정부에 요청

  • Anthropic과의 비교

    • OpenAI의 계약이 Anthropic의 기존 계약보다 더 나은 보장과 더 책임감 있는 안전장치를 제공한다고 판단
    • 클라우드 전용 배치(엣지 아님), 자체 안전 스택 유지, 보안 인가 OpenAI 인력 참여로 레드라인이 더 집행 가능
    • Anthropic이 왜 이 계약을 체결하지 못했는지는 알지 못하며, Anthropic과 더 많은 연구소들이 이를 고려하기를 희망

  • Anthropic의 "공급망 리스크" 지정 여부

    • Anthropic을 "공급망 리스크"로 지정하는 것에 반대하며, 이 입장을 정부에 명확히 전달

  • 자율 무기 가능성

    • 안전 스택, 클라우드 전용 배치, 계약 문구, 기존 법률·규정·정책에 근거해 자율 무기에 사용될 수 없음
    • OpenAI 인력이 루프에 참여해 추가 보증 제공

  • 대규모 감시 가능성

    • 안전 스택, 계약 문구, 국방부의 국내 감시를 크게 제한하는 기존 법률에 근거해 대규모 감시에 사용될 수 없음

  • 안전 스택 없는 배치 여부

    • 안전 스택에 대한 완전한 통제권을 보유하며, 안전 가드레일 없이 배치하지 않음
    • 다른 AI 연구소들이 모델 가드레일을 축소하고 사용 정책을 주요 안전장치로 의존하는 것과 달리, OpenAI의 다층적 접근법이 더 효과적

  • 정부의 계약 위반 시

    • 일반 계약과 마찬가지로 상대방이 조건을 위반하면 계약 해지 가능

  • 법률 또는 정책 변경 시

    • 계약에 감시 및 자율 무기 관련 법률과 정책을 현재 기준으로 명시적 참조
    • 향후 법률이나 정책이 변경되더라도 시스템 사용은 계약에 반영된 현재 기준에 부합해야 함

Anthropic 블로그 포스트에 대한 대응

  • Anthropic이 제시한 두 가지 레드라인(대규모 국내 감시, 완전 자율 무기)에 OpenAI도 동의하며, 여기에 자동화된 고위험 의사결정이라는 세 번째 레드라인 추가
  • 대규모 국내 감시: 국방부가 이를 불법으로 간주하고 해당 목적 사용을 계획하지 않는다는 점이 교류 과정에서 명확했으며, 합법적 사용에 해당하지 않음을 계약에 명시
  • 완전 자율 무기: 계약에 포함된 클라우드 배치 환경에서는 완전 자율 무기를 구동할 수 없으며, 이는 엣지 배치가 필요하기 때문
  • 이러한 보호 외에도 안전 스택과 OpenAI 기술 전문가의 루프 참여라는 추가적인 다층 안전장치 보유

함께 보면 좋은 글 β

▲
GN⁺ 1달전  [-]
Hacker News 의견들

  • 내 해석으로는 OpenAI와 국방부의 계약이 미국 시민에 대한 대규모 감시를 금지하는 것처럼 보이지만, 실제로는 이미 법으로 금지된 범위 내에서만 제한된다는 의미임
    즉, 국방부가 민간 기업으로부터 위치나 금융 거래 같은 데이터를 대량으로 사들여 OpenAI의 도구로 분석하는 것도 가능하다는 뜻으로 읽힘
    Anthropic의 계약에는 이런 조항이 없었던 것으로 알고 있음
    만약 이게 사실이라면 끔찍한 일임. 하지만 최근에 내가 성급한 결론을 내린 적이 많아서, 이번에는 판단을 유보하고 있음
    (참고로 나는 전 OpenAI 직원이자 현재 주주임)

    • OpenAI는 더 이상 윤리를 논할 자격이 없는 회사처럼 보임
      예전 비영리 시절과 달리, 지금은 개인정보 정책을 두 번이나 바꿔서 내 데이터를 더 많이 수집하고 있음
      설정을 끄는 과정도 복잡하고, 다크 패턴이 가득함. 데이터 다운로드 기능도 사실상 작동하지 않음
    • 이건 말 그대로 “법에 이미 있는 제한만 따른다”는 의미임
      Dario가 말한 ‘weasel language’(회피성 표현)의 전형임
    • 결국 문제는 Third Party Doctrine(제3자 원칙)임
      이 원칙이 사라지면 이런 악몽 같은 시나리오 대부분이 사라질 것임
    • 정부의 NSA식 감시가 항상 “합법적”이라는 메모와 함께 진행된다는 점을 사람들은 종종 잊음
    • 문장 자체가 너무 혼란스러움
      “Shall not be used as consistent with these authorities”라는 표현은 문법적으로도 이상함
      변호사들이 일부러 모호하게 써서 PR용 해석의 여지를 남긴 것 같음

  • “The Department of War may use the AI System for all lawful purposes…”라는 문구는, 결국 법이 허용하는 한 모든 용도에 사용 가능하다는 뜻임
    Anthropic은 자체적인 도덕 기준을 적용하려 했지만, OpenAI는 정부의 요구를 그대로 수용했음
    개인적으로 두 입장 모두 이해하지만, 정부가 Anthropic에 보인 태도는 악의적이고 미국의 이익에도 해로웠음

    • 한쪽 계약은 “터미네이터를 만들면 안 된다”이고, 다른 쪽은 “법무팀이 괜찮다고 하면 터미네이터를 만들어도 된다”임. 큰 차이임
    • “합법적”이라는 단어가 모든 걸 떠받치고 있음
      정부가 이미 불법적인 일을 공공연히 하는데, 비밀리에 무슨 일이 벌어질지는 아무도 모름
      결국 정부를 신뢰할 수 없다는 도덕적 입장이 Anthropic의 핵심이었음
    • 문구를 자세히 보면, 국방부가 ‘합법적’이라고 판단하는 한 어떤 용도로도 모델을 쓸 수 있음
      규정을 바꾸는 것도 그들 마음임
      Sam Altman은 순진하거나, 아니면 우리를 그렇게 생각하게 만들고 있음
    • “OpenAI 기술은 자율 무기 시스템에 사용하지 않는다”는 기존 입장과도 일관되지 않음
    • 전쟁 중 조난된 전투원에게 사격하라고 추천하는 상황을 상상해보면 됨
      그건 명백한 전쟁 범죄인데, 누가 ‘합법성’을 판단할 것인가? OpenAI인가, 국방장관인가, 아니면 판사인가?

  • “법적으로 허용된 모든 목적”이라는 표현은, 법을 만드는 주체가 스스로를 제한하지 않는다는 뜻임

    • 대규모 감시의 경우 헌법 개정까지 필요하므로, 단순히 법을 바꾸는 것보다 더 복잡함
      하지만 불법임을 알면서 정부를 돕는다면 공모죄에 해당함. 정부는 면책될 수 있어도 OpenAI는 아닐 수 있음
    • 게다가 정부는 비밀리에 규칙을 만들고 집행할 수 있음
    • “유죄 판결받은 사기꾼의 말을 믿을 수 없다는 뜻인가?”라는 냉소적인 반응도 있었음

  • 나는 Anthropic이 완전히 도덕적 성인군자라고 생각하지 않음
    ChatGPT도 마찬가지임
    하지만 지금 시점에서 ChatGPT를 해지하고 Claude를 쓰는 건 내가 전달하고 싶은 메시지를 보여주는 행동임

    • 이런 이동의 의지를 보여주는 게 중요함
      사용자들이 논란이 생기면 바로 떠난다는 걸 알면, 기업들도 조심하게 됨
    • 게다가 지금은 Claude가 ChatGPT보다 훨씬 성능이 좋음
    • Claude를 일반 검색 대체용으로 써보려 함. 예를 들어 레시피나 제품 리뷰 같은 간단한 질문용으로 괜찮은지 궁금함
    • 장기적으로는 오픈 가중치 모델이 가장 뛰어날 거라 생각함
      Anthropic이 이번에 굴하지 않은 건 대단한 일임
      GPU가 부족하긴 하지만, 나도 ChatGPT를 끊고 Claude나 Kimi로 옮길 예정임

  • 결국 직원이 도덕적 입장을 취해도, 결정권이 없으면 무의미함
    유일한 힘은 ‘퇴사’임

    • 하지만 집단 퇴사가 일어나면 그건 엄청난 힘이 됨
    • 사실 이런 상황을 막기 위해 노조가 존재함
      핵심 엔지니어들이 단체로 멈추면 Sam Altman 혼자서는 회사를 유지할 수 없음
    • OpenAI 직원들은 2년 전 Sam Altman이 해임됐을 때 그를 복귀시킬 힘이 있었음
    • 직원들이 단결하면 회사를 멈출 수도 있음. 하지만 OpenAI 같은 곳에서 그런 연대 문화를 기대하긴 어려움

  • OpenAI는 “AI의 도덕적 책임을 법에 위임하자”는 식으로 도덕적 책임 회피를 하고 있음

  • 순자산이 200만 달러가 넘는 OpenAI 직원이 여전히 남아 있다면, 도덕적 나침반이 고장 난 것임
    이제 Palantir나 xAI에서 일하는 것과 다를 바 없음

    • “돈을 베개 삼아 울겠다, 물론 윤리적으로 말이지”라는 조롱 섞인 답글도 있었음

  • “모든 합법적 목적에 사용할 수 있다”는 문구는 결국 부족한 규제를 근거로 국방부가 원하던 걸 얻었다는 뜻임

  • 이 블로그 글은 상황을 더 나쁘게 보이게 함
    Anthropic이 거부했던 논란의 여지가 있는 용도에 대해 명확히 선을 긋지 않음
    단지 “합법적이고 테스트된 경우만 가능”이라고만 함
    마치 1930년대 IBM이 독일에 기계 팔고 “우린 몰랐다”고 했던 것처럼 느껴짐
    결국 군이 원하던 건 자율 무기와 대규모 감시, 그리고 그 외에도 법적으로는 합법이지만 도덕적으로 회색지대인 용도들임

답변달기