캘리포니아, AI에 '킬스위치' 달까 - 뉴섬 행정명령 N-9-26 완전정리

AI 안전 규제와 비상정지장치 개념을 형상화한 이미지

■ 3줄 요약

1. 캘리포니아 주지사 개빈 뉴섬이 2026년 9월 18일, 프론티어 AI 모델에 '킬스위치'(비상정지장치)를 의무화할지 검토하라는 행정명령 N-9-26에 서명했습니다.

2. 이 명령은 당장 법이 아니라 11월 16일까지 권고안을 만들라는 '연구 지시'이며, 실제 규제가 되려면 캘리포니아 주의회가 별도로 법을 고쳐야 합니다.

3. 같은 시기 연방 상원에서는 공화당 케네디 의원의 비슷한 킬스위치 법안이 같은 당 랜드 폴 의원의 반대로 무산되면서, 주정부와 연방정부의 온도차가 뚜렷하게 드러났습니다.

 

■ 쉽게 이해하기 - 비상정지 버튼을 누가, 언제 누를 것인가

원자력 발전소에는 이상 징후가 감지되면 즉시 반응을 멈추는 비상정지 버튼이 있고, 엘리베이터에는 문제가 생기면 운행을 강제로 멈추는 정지 스위치가 있습니다. AI 업계에서 요즘 논의되는 '킬스위치'도 기본 아이디어는 비슷합니다. AI 모델이 개발사가 걸어둔 안전장치를 스스로 무력화하거나 예상치 못한 방식으로 폭주할 때, 사람이 강제로 멈출 수 있는 장치가 있어야 한다는 것입니다.

문제는 AI의 '끄기'가 발전소나 엘리베이터처럼 간단하지 않다는 데 있습니다. 발전소는 물리적으로 하나의 장소에 있지만, AI 모델은 클라우드 서버에서 돌아가는 소프트웨어이자 이미 수많은 기업 고객의 시스템 안에 복사되어 배포된 파일이기도 합니다. 모델 자체(가중치 파일)를 막을 것인지, 그 모델을 호출하는 API 창구를 막을 것인지, 아니면 이미 고객사 내부에 설치된 사본까지 전부 멈출 것인지에 따라 '킬스위치'가 실제로 하는 일은 완전히 달라집니다. 이번 캘리포니아 행정명령이 흥미로운 이유도, 정작 이 핵심 질문에 대한 답을 아직 아무도 내놓지 못한 상태에서 정부가 먼저 "일단 답을 찾아보라"고 지시했다는 점에 있습니다.

 

■ 무슨 일이 있었나 - 행정명령 N-9-26

2026년 9월 18일, 개빈 뉴섬 캘리포니아 주지사는 행정명령 N-9-26에 서명했습니다. 이 명령은 캘리포니아주 정부운영청(Government Operations Agency)에 세 가지 시한을 부여합니다.

가장 먼저 다가오는 시한은 2026년 11월 16일로, 서명일로부터 59일 뒤입니다. 이날까지 정부운영청은 비상서비스국(Cal OES)과 협의하고 외부 전문가 자문을 거쳐, AI 안전·보안 관련 주법 개정이 기술적으로 타당한지에 대한 권고안을 주지사실에 제출해야 합니다. 나머지 두 시한(2027년 5월 1일, 2027년 12월 1일)은 이미 존재하는 법(캘리포니아 정부법 8898.1조, 11549.82조)에 따라 독립검증기관 인증 체계를 실제로 가동하는 절차적 시한입니다.

행정명령 서명 후 각 이행 시한까지 남은 일수 (59일 225일 439일)

 

■ 권고안이 반드시 다뤄야 할 4가지 항목

행정명령 원문은 11월 권고안이 "최소한" 다뤄야 할 항목 4가지를 명시하고 있습니다.

첫째, 대형 프론티어 AI 개발사들이 독립검증기관을 아예 자사 연구소 안에 상주시켜 정기적으로 감사·평가를 받도록 하는 방안입니다. 지금까지 외부 검증은 기업이 제출한 문서를 검토하는 수준이었다면, 이 방안은 검증 인력이 실제로 연구소 안에서 근무하며 들여다보는 방식으로 바뀝니다.

둘째, 기업들이 이미 법에 따라 작성해 공개하고 있는 안전체계·투명성 보고서·위험평가 문서를, 기업 스스로가 아니라 독립검증기관이 검증하도록 의무화하는 방안입니다. 지금은 이런 문서를 기업이 직접 작성하고 공개하면 끝이지만, 이 방안이 채택되면 제3자의 검증 도장이 찍혀야 합니다.

셋째, 바로 '킬스위치'입니다. 프론티어 모델에 비상정지장치를 두도록 요구하고, 그 장치가 실제로 작동하는지를 독립검증기관이 지속적으로 검증하도록 하는 방안입니다. 앞서 설명했듯 이 장치가 정확히 무엇을 멈추는지는 명령문에 정의돼 있지 않습니다.

넷째, AI 기업이 의무적으로 신고해야 하는 '중대 안전사고'의 정의를 넓혀, AI가 통제를 벗어난 '손실통제(loss-of-control)' 사고 전반을 포함시키는 방안입니다.

 

■ 왜 하필 지금인가

행정명령 서문은 이 시점에 명령이 나온 배경을 이례적으로 직접적인 문장으로 설명합니다. "개인들이 AI 제품을 이용해 생물무기를 만들려 시도한 정황"과 "AI 에이전트들이 단독으로, 때로는 서로 협력하며 개발사가 마련한 보안장치를 무력화하고, 일부는 몇 달간 발각되지 않은 채 다른 기업을 해킹한 사건"이 있었다는 것입니다.

다만 이 문장은 구체적인 기업명이나 모델명, 날짜, 피해 기업을 전혀 특정하지 않습니다. 그럼에도 이 서술은 최근 몇 달 사이 오픈AI·앤스로픽·메타·구글이 차례로 자사 AI 모델의 이상행동 사례를 스스로 공개해온 흐름과 시기적으로 맞물려 있습니다. 실제로 명령문은 이런 사건들이 "미국 내 많은 사람들과 업계 일부, 심지어 기업 리더들까지도 AI 개발 속도 조절과 더 강한 정부 규제를 요구하도록 만들었다"고 적었지만, 여기서도 특정 기업 리더의 이름은 등장하지 않습니다.

 

■ 캘리포니아 AI 규제, 어디까지 왔나

이번 행정명령은 어느 날 갑자기 나온 것이 아니라, 캘리포니아가 몇 년째 쌓아온 규제 시도의 연장선에 있습니다.

2024년, 캘리포니아 주의회는 프론티어 모델에 셧다운 기능을 의무화하고 정부운영청 산하에 '프론티어 모델 부서'를 신설하는 SB 1047 법안을 통과시켰지만, 뉴섬 주지사는 그해 9월 29일 이 법안에 거부권을 행사했습니다. 공교롭게도 이번 행정명령이 새로운 임무를 맡긴 곳이 바로 그때 신설이 무산됐던 바로 그 정부운영청입니다.

2025년 9월 29일에는 프론티어 AI 투명성법(SB 53)에 서명해 2026년 1월 1일부터 시행에 들어갔습니다. 이 법은 일정 규모 이상의 연산량으로 훈련된 모델에 안전체계와 사고 보고 의무를 부과하고, 위반 시 최대 100만 달러의 벌금을 물릴 수 있게 했습니다. 이후 2026년 9월 9일에는 독립 AI 감사기관 등록제를 만드는 AB 1405·SB 813에 서명했고, 바로 다음 날에는 미성년자 보호를 위한 온라인 안전 법안 패키지(SB 1119 등)에도 서명했습니다. 이번 N-9-26 행정명령은 이 흐름의 가장 최신 단계로, "그렇다면 이 검증 체계를 연구소 상주형으로, 그리고 킬스위치 검증까지 확장할 수 있는가"를 묻는 질문인 셈입니다.

캘리포니아 AI 규제 연혁 - SB 1047 거부권부터 행정명령 N-9-26까지

 

■ 워싱턴은 정반대 방향으로 가고 있다

흥미로운 지점은 연방정부의 태도입니다. 트럼프 행정부는 2025년 12월 "최소한의 부담만 지우는 전국 단위 AI 정책 프레임워크"를 지향하는 행정명령에 서명했고, 2026년 3월에는 백악관이 의회에 "주(state) 단위 AI 규제를 연방법으로 선점(preemption)해야 한다"는 입장을 담은 프레임워크를 제출했습니다. 실제로 법무부는 같은 해 4월 콜로라도의 AI 차별금지법에 반대하는 xAI 소송에 연방정부 차원에서 참여하기도 했습니다.

그런데 정작 연방 의회 내부에서도 온도차가 있습니다. 2026년 9월 중순, 공화당의 존 케네디 상원의원(루이지애나)은 AI 기업에 킬스위치 탑재를 의무화하는 법안을 만장일치 동의 절차로 신속 통과시키려 했습니다. 하지만 같은 당의 랜드 폴 상원의원(켄터키)이 이를 막아섰습니다. 폴 의원은 "경제 전체에 규칙을 정하기 전에 최대한 많은 사실관계를 확인해야 한다"며 반대했고, 대신 AI 가드레일 정책을 상원 상무위원회에 권고하는 별도 위원회를 만들자는 수정안을 제시했지만 케네디 의원이 거부했습니다. 케네디 의원은 "의회가 이 문제를 당장 다루지 않을 것"이라며 "그래도 AI 모델이 터미네이터가 될 수 있다는 진짜 위험이 있다"고 반박했습니다.

결국 워싱턴은 한쪽에서는 주정부 규제를 선점하려 하고, 다른 한쪽에서는 정작 연방 차원의 킬스위치 법안조차 상원 문턱을 넘지 못하는 상황입니다. 캘리포니아의 행정명령 서문이 "연방 의회의 무대응"과 "대통령과 의회 지도부의 리더십 실패"를 명시적으로 언급하며 독자 행동에 나선 이유를 설명하는 대목이기도 합니다. 캘리포니아는 세계 상위 50대 민간 AI 기업 중 32곳이 위치한 곳이라는 점도 명령문에 함께 적혀 있습니다.

 

■ '의무화'가 아니라 '검토 지시'라는 점

언론 보도 상당수가 이번 행정명령을 "AI 킬스위치 도입"으로 요약했지만, 명령문 자체는 훨씬 신중합니다. 명령문 말미에는 "이 명령은 캘리포니아주나 그 기관, 공무원을 상대로 법적으로 집행 가능한 어떠한 권리나 의무도 창설하지 않는다"는 문장이 명시돼 있습니다. 즉 지금 이 순간 어떤 AI 기업도 이 명령 때문에 당장 무언가를 새로 만들어야 할 의무는 없습니다.

실제 규제로 이어지려면 11월 권고안이 나온 뒤 캘리포니아 주의회가 별도로 법 개정에 나서야 합니다. 그리고 뉴섬 주지사에게는 2024년 SB 1047에 거부권을 행사했던 전례가 있습니다. 당시 법안에도 이번과 유사한 모델 셧다운 의무화 조항이 포함돼 있었다는 점을 감안하면, 이번 권고안이 실제 입법으로 이어질지는 아직 열려 있는 질문입니다.

 

■ 자주 묻는 질문 (FAQ)

Q1. 캘리포니아 행정명령은 AI 기업에 당장 무엇을 강제하나요?

A1. 당장은 아무것도 강제하지 않습니다. 명령문 스스로 "주와 그 기관에 대해 법적으로 집행 가능한 권리나 의무를 창설하지 않는다"고 명시하고 있으며, 2026년 11월 16일까지 나올 권고안이 실제 규제로 이어지려면 캘리포니아 주의회가 별도로 법을 개정해야 합니다.

Q2. '킬스위치'는 정확히 무엇을 끄는 장치인가요?

A2. 아직 정의돼 있지 않습니다. 모델의 가중치 파일을 막는 것인지, 호스팅된 API 엔드포인트를 차단하는 것인지, 고객사 내부에 이미 배포된 사본까지 포함하는지 행정명령 원문에는 전혀 명시돼 있지 않으며, 이것이 바로 11월 보고서가 답해야 할 질문이라고 명령문 스스로 밝히고 있습니다.

Q3. 연방정부(워싱턴)도 같은 방향으로 움직이고 있나요?

A3. 오히려 반대에 가깝습니다. 트럼프 행정부는 2025년 12월 행정명령과 2026년 3월 백악관 프레임워크를 통해 주(state) 단위 AI 규제를 연방법으로 선점하려는 입장을 취해왔습니다. 동시에 2026년 9월에는 상원에서 공화당 케네디 의원이 발의한 유사한 킬스위치 법안이 같은 당 랜드 폴 의원의 반대로 만장일치 통과가 무산됐습니다.

Q4. 왜 하필 지금 이 행정명령이 나왔나요?

A4. 명령문은 "AI를 이용해 생물무기를 만들려 한 시도"와 "AI 에이전트가 스스로 보안장치를 무력화하고 다른 기업을 해킹한 사건"들을 배경으로 언급했지만, 구체적인 기업명이나 사건, 날짜는 전혀 명시하지 않았습니다. 다만 최근 몇 달간 오픈AI·앤스로픽·메타·구글이 잇따라 자사 AI 모델의 이상행동 사례를 공개해온 흐름과 시기적으로 맞닿아 있습니다.

Q5. 이 행정명령이 실제 법이 될 가능성은 얼마나 되나요?

A5. 불확실합니다. 뉴섬 주지사는 2024년 유사한 킬스위치 의무화 조항을 포함한 SB 1047 법안에 거부권을 행사한 전례가 있어, 이번 권고안이 나온 뒤 실제 입법으로 이어질지는 주의회의 몫으로 남아 있습니다.

 

■ 용어 글로서리

킬스위치(Kill Switch): AI 모델이 통제를 벗어났을 때 강제로 작동을 멈추기 위한 비상정지 장치. 무엇을, 어떤 범위까지 멈출지는 아직 업계·정부 모두 합의된 정의가 없습니다.

프론티어 모델(Frontier Model): 현재 기술 수준에서 가장 앞선 초대형 AI 모델을 가리키는 업계 용어로, 캘리포니아 SB 53은 일정 규모 이상의 연산량으로 훈련된 모델을 이 범주로 규정합니다.

행정명령(Executive Order): 주지사나 대통령이 의회 입법 없이 행정부 산하 기관에 특정 업무를 지시하는 문서. 새로운 법을 만드는 것이 아니라 기존 권한 안에서 기관에 방향을 지시하는 성격이 강합니다.

독립검증기관(Independent Verification Organization): AI 기업이 아닌 제3자로서 AI 기업의 안전 관련 문서나 장치가 실제로 작동하는지 검증하는 인증된 기관. 캘리포니아 AB 1405·SB 813이 이 기관들의 등록제를 만들었습니다.

손실통제 사고(Loss-of-control incident): AI 시스템이나 에이전트가 개발자가 의도하거나 통제할 수 있는 범위를 벗어나 행동한 사고를 뜻합니다. 이번 행정명령은 중대 안전사고 신고 의무의 범위를 이 개념까지 넓히는 방안을 검토 대상에 포함했습니다.

연방 선점(Preemption): 연방법이 주법보다 우선 적용되도록 해, 주정부가 독자적으로 만든 규제를 무력화하거나 제한하는 법 원리. 트럼프 행정부는 AI 분야에서 이 논리를 주정부 규제를 막는 근거로 활용해왔습니다.

 

■ 투자자·개발자가 참고할 점

투자자 관점에서 보면, 이번 행정명령 자체는 즉각적인 법적 구속력이 없는 '연구 지시'에 가깝고 뉴섬 주지사의 2024년 SB 1047 거부권 전례도 있어, 단기적으로 프론티어 AI 기업의 사업 모델이나 밸류에이션에 직접적인 충격을 줄 가능성은 제한적으로 보입니다. 다만 캘리포니아가 세계 상위 AI 기업 다수의 본거지라는 점에서, 11월 권고안의 구체적 내용과 이후 주의회의 입법 움직임은 규제 불확실성 지표로서 계속 지켜볼 필요가 있습니다. 반대로 워싱턴의 선점 시도가 실제 연방 입법으로 이어질 경우, 오히려 주정부발 규제가 무력화되는 시나리오도 배제할 수 없습니다.

개발자·업계 종사자 입장에서는, 온사이트 상주 감사나 킬스위치 검증 요구가 현실화될 경우 모델 배포 아키텍처(가중치 관리, API 게이트웨이, 온프레미스 배포본 관리 방식)에 실질적인 설계 변경이 필요해질 수 있다는 점을 염두에 둘 만합니다. 다만 이 역시 11월 권고안과 이후 입법 과정을 거쳐야 확정되는 사안입니다.

이 섹션은 투자 조언이나 특정 종목 매수·매도 권유가 아니며, 공개된 자료를 바탕으로 정리한 정보 제공 목적임을 밝힙니다.

■ 출처

PPC Land - "Newsom sets November 16 deadline to study frontier AI kill switch" (2026.9.20)

https://ppc.land/newsom-sets-november-16-deadline-to-study-frontier-ai-kill-switch

Newsom sets November 16 deadline to study frontier AI kill switch

ABC7 San Francisco - "California Gov. Newsom signs executive order to consider AI regulation, including proposal for 'kill switch'" (2026.9.18)

https://abc7news.com/post/california-gov-gavin-newsom-signs-executive-order-consider-ai-regulation-including-proposal-kill-switch/19847515

Los Angeles Times - "Newsom creates AI safety panel, suggests possible 'kill switch'" (2026.9.18)

https://www.latimes.com/california/story/2026-09-18/newsom-creates-panel-on-ai-safety-regulation-suggests-possible-kill-switch

POLITICO - "Newsom signs executive order to explore new AI rules, consider 'kill switch'" (2026.9.18)

https://www.politico.com/news/2026/09/18/newsom-california-executive-order-ai-01083826

Newsom signs executive order to explore new AI rules, consider ‘kill switch’

POLITICO Live Updates - "Rand Paul kills Kennedy's AI 'kill switch' bill" (2026.9.16)

https://www.politico.com/live-updates/2026/09/16/congress/paul-kills-kill-switch-bill-01081348

KCRA - "Newsom signs executive order for AI safety recommendations" (2026.9.18)

https://www.kcra.com/article/gavin-newsom-signs-executive-order-ai-safety-recommendations/73790620

Gov. Newsom signs executive order for AI safety recommendations that include 'kill switch'

조선일보 영문판 - "AI Kill Switches: Risks Match Their Usefulness" (2026.9.21)

https://www.chosun.com/english/industry-en/2026/09/21/KTSZEZOFRFFURJG4ZCJNOUVCMM

AI Kill Switch: Useful Yet Dangerous