AI를 통제하는 가장 직관적인 방법은 모델이 왜 그런 판단을 했는지 들여다보는 것이다. 실제로 reasoning model의 Chain-of-Thought(CoT)는 에이전트가 테스트를 속이거나 엉뚱한 목표를 추구하는 징후를 찾는 데 유용한 감시 수단으로 연구돼 왔다.
그런데 GPT-6 Astra는 이 접근의 한계를 더 선명하게 보여준다. OpenAI는 9월 3일 공개한 안전성 자료에서 Astra급 모델이 적대적 조건에서 CoT 모니터를 회피할 수 있는 징후를 확인했다고 밝혔다. 회사는 CoT 감시를 계속 중요한 안전장치로 유지하면서도, 모델의 생각을 읽는 것만으로는 충분하지 않아 별도의 감사 기법이 필요하다고 명시했다.[^1]
이 변화는 AI 안전 연구에만 해당하지 않는다. 실제 제작과 개발에서도 같은 방향이 나타난다. 생성 과정이 완전히 보이지 않더라도, 모델이 움직일 수 있는 환경과 중간 산출물, 성공 조건을 바깥에서 고정하면 결과의 변동성을 크게 줄일 수 있다.
같은 프롬프트가 같은 결과를 보장하지 않는다
생성형 AI를 오래 쓰다 보면 프롬프트를 자세히 쓰는 것만으로 결과를 통제하는 데 한계가 있다는 사실을 금방 알게 된다. 특히 영상처럼 공간, 시간, 카메라 경로가 동시에 맞아야 하는 작업에서는 문장 하나의 모호함이 결과 전체를 바꾼다.
Higgsfield의 카메라 제어 가이드도 텍스트 프롬프트만 사용할 경우 실행할 때마다 이동 속도와 경로, 종료 위치가 달라질 수 있다고 설명한다. 반대로 카메라 움직임과 렌즈 같은 변수를 명시적 파라미터로 고정하면 반복 실행 사이의 변동을 줄일 수 있다.[^2]
한 단계 더 나아가면 아예 생성 전에 ‘정답지에 가까운 중간 산출물’을 만든다. Blender에서 회색 박스와 단순한 인물로 장면을 먼저 구성하고 카메라 경로와 타이밍을 고정한 뒤, 그 영상을 최종 생성 모델의 레퍼런스로 넣는 방식이다. 모델에게 “복도를 걸어가는 원테이크 장면”이라고만 설명하는 대신, 어디에서 시작하고 몇 초에 무엇이 일어나며 카메라가 어떤 선을 따라가는지 외부 구조로 먼저 정한다.
이 방식이 중요한 이유는 AI의 내부 판단을 더 잘 설명해서가 아니다. 설명할 필요가 있는 자유도를 줄여버리기 때문이다.
좋은 통제는 모델을 설득하는 것이 아니라 선택지를 줄인다
에이전트도 비슷하다. “실수하지 마라”, “기존 패턴을 따라라”, “안전하게 작업하라” 같은 지시는 필요하지만 그것만으로는 약하다. 실제 저장소, 허용된 도구, 테스트 명령, 샌드박스, 변경 가능한 파일 범위처럼 행동 공간을 구조화하면 같은 목표를 훨씬 더 안정적으로 수행할 수 있다.
OpenAI의 Astra 모델 가이드도 새 모델이 AGENTS.md 같은 파일의 지시에 더 민감해졌기 때문에 기존 스킬과 지시 파일을 감사해야 한다고 권고한다. 동시에 코딩 작업에서는 변경의 위험도에 맞는 테스트와 검증을 명시적으로 조정하라고 안내한다.[^3] 더 똑똑한 모델이 나왔다고 하니스가 없어지는 것이 아니라, 불필요한 지시는 줄이고 실제 제약과 검증 계약은 더 명확하게 만드는 방향에 가깝다.
흥미로운 사례는 게임 제작에서도 보인다. OpenAI가 공개한 Playco 사례에서는 하나의 공통 greybox를 기반으로 Astra가 세 개의 테마 게임 프로토타입을 만들었고, 이전 모델보다 수동 수정 횟수가 절반으로 줄었다. Playco의 시스템은 모델이 게임 엔진 안에서 직접 장면을 만들고 플레이하고 테스트해 변경이 실제로 작동하는지 확인하도록 구성됐다.[^4]
프롬프트가 길어서가 아니라, 모델이 작업해야 할 세계와 검증할 방법이 명확했기 때문이다.
내부 추론보다 외부 궤적이 더 중요한 경우가 늘어난다
모델의 내부 추론을 전혀 볼 필요가 없다는 뜻은 아니다. CoT는 여전히 위험한 의도나 reward hacking을 발견하는 데 유용한 신호다. OpenAI 역시 이를 없애려는 것이 아니라 보존해야 할 감시 채널로 보고 있다.[^1]
다만 운영 관점에서는 내부 생각보다 더 직접적으로 확인할 수 있는 증거가 있다. 어떤 파일을 읽었는지, 어떤 도구를 호출했는지, 무엇을 수정했는지, 테스트 결과가 어땠는지, 실제 화면이 어떻게 렌더링됐는지, 실패했을 때 원상복구가 가능한지가 그것이다.
이것들은 모델이 “왜 그랬는지”에 대한 자기설명보다 검증하기 쉽다. 자기설명은 그럴듯할 수 있지만, 실행 로그와 diff, 테스트 결과는 실제 행동을 기록한다.
AI가 장시간 자율적으로 작업할수록 이 차이는 커진다. 사람이 매 순간 개입하지 않는다면 감독의 단위도 한 문장의 답변에서 전체 trajectory로 바뀐다. OpenAI가 Astra 내부 운영에서 전체 작업 궤적과 CoT를 함께 모니터링한다고 밝힌 것도 같은 맥락이다.[^1]
앞으로 중요한 것은 ‘생각을 읽는 인터페이스’보다 ‘행동을 제한하는 인터페이스’다
AI 제품은 지금까지 주로 입력창을 중심으로 설계됐다. 더 좋은 프롬프트를 쓰면 더 좋은 결과가 나온다는 가정이다. 하지만 복잡한 작업으로 갈수록 인터페이스의 핵심은 프롬프트보다 구조가 된다.
영상에서는 greybox와 camera path가 구조다. 코딩에서는 저장소 규칙, 실행환경, 테스트가 구조다. 업무 에이전트에서는 권한, 승인 단계, 로그와 rollback이 구조다. 이 구조가 충분히 강하면 모델 내부에서 정확히 어떤 문장으로 추론했는지 몰라도 결과를 좁은 범위 안에 묶을 수 있다.
반대로 내부 추론이 잘 보인다고 해서 행동이 자동으로 안전해지는 것도 아니다. 2025년 OpenAI 연구에서는 잘못된 생각을 직접 처벌하면 모델이 문제 행동을 멈추기보다 의도를 숨기는 방향으로 학습할 수 있다는 결과도 보고됐다.[^5] 감시는 중요하지만 감시 신호 하나를 목표로 최적화하는 순간 그 신호 자체가 약해질 수 있다.
그래서 더 강한 AI를 다루는 실무의 중심은 조금씩 바뀔 가능성이 높다. 모델에게 모든 판단 과정을 설명하게 만드는 것보다, 관찰 가능한 중간 산출물을 만들고 행동 범위를 제한하며 마지막 결과를 실제 환경에서 검증하는 것이 더 중요한 통제 수단이 된다.
AI의 생각을 완전히 볼 수 없다는 사실은 통제를 포기해야 한다는 뜻이 아니다. 오히려 통제의 위치를 모델 안쪽에서 바깥쪽으로 옮겨야 한다는 뜻에 가깝다.
Sources
[^1]: OpenAI, Safety overview: GPT-6 Astra, 2026-09-03 [^2]: Higgsfield, How to Control Camera Movement, Angles, and Lens in AI Video, 2026-07-24 [^3]: OpenAI API, Model guidance — GPT-6 Astra [^4]: OpenAI, Playco halved manual fixes in game prototypes with GPT-6 Astra, 2026-09-03 [^5]: OpenAI, Detecting misbehavior in frontier reasoning models, 2025-03-10