Show GN: AI 에이전트가 Unity/Godot/Unreal 에디터를 직접 제어하는 OpenClaw 플러그인
(github.com/TomLeeLive)게임 엔진 안에서 AI 에이전트가 직접 씬을 수정하고, 오브젝트를 생성하고, 게임을 테스트합니다.
기획서 마크다운 문서로 만들어주고 AI에이전트가 어디까지 할 수 있나 궁금해서 만들었습니다.
집밖에서 텔레그램으로 작업지시 가능하고 스크린샷 찍어서 보내달라그러면 에이전트가 보내줍니다.
OpenClaw용 게임 엔진 플러그인 3종을 만들었습니다:
Unity Plugin (~100개 도구)
• GameObject/Component 생성·수정·삭제
• Transform, Physics, Material 조작
• Play 모드 제어 + 키보드·마우스 입력 시뮬레이션
• 에디터 모드에서도 동작 (Play 모드 불필요)
Godot Plugin (30개 도구)
• 씬/노드 관리, 리소스 조작
• 에디터 제어, 스크립트 읽기
• Play 모드 + 입력 시뮬레이션
Unreal Plugin (40+ 도구)
• Actor/Component 생성·수정·삭제
• Blueprint, 레벨 관리
• Play/Stop/Pause 제어 + 입력 시뮬레이션
동작 방식:
• 각 엔진의 패키지 매니저로 설치 (Unity: UPM, Godot: AssetLib, Unreal: Marketplace)
• 플러그인이 에디터 내부에서 HTTP 서버 실행
• OpenClaw가 연결해서 에디터 API를 에이전트 도구로 노출
• 채팅으로 "적 캐릭터 3개 배치해줘" → 실제로 씬에 배치
예시 사용 사례:
• "이 씬의 모든 라이트를 찾아서 밝기를 50%로 줄여줘"
• "플레이어 캐릭터 앞에 벽 오브젝트 생성해줘"
• "게임 실행해서 W키로 10초간 이동하고 스크린샷 찍어줘"
ChatGPT에서 코드 복사해서 붙여넣는 것이 아니라, AI가 에디터를 직접 조작합니다.
혼자 개발했고, 전부 오픈소스(Apache 2.0)입니다.
• Unity: https://github.com/TomLeeLive/openclaw-unity-plugin
• Godot: https://github.com/TomLeeLive/openclaw-godot-plugin
• Unreal: https://github.com/TomLeeLive/openclaw-unreal-plugin
그리고 OpenClaw용 게임 개발 전문 AI 페르소나도 있습니다: https://clawsouls.ai/souls (gamedev-mentor, game-designer 등)
질문이나 피드백 환영합니다.
기존 MCP 서버들은 Claude Desktop이나 ChatGPT 같은 LLM 클라이언트에 붙여서 사용하는 구조라, 에디터 앞에 앉아있을 때만 쓸 수 있습니다.
이 플러그인은 OpenClaw 에이전트와 연동되기 때문에 24시간 상시 연결이 가능하고, 텔레그램 등 메신저를 통해 원격으로도 에디터를 제어할 수 있습니다. 예를 들어 외출 중에 "아까 그 씬에서 적 스폰 위치 (10, 0, 5)로 옮겨놔" 하면 AI가 에디터에서 직접 처리해줍니다.
에디터 조작 범위도 코드 읽기/쓰기 수준이 아니라 Inspector 직접 제어 레벨(오브젝트 생성, 트랜스폼 변경, Play 모드 테스트 등)입니다.