# 없으면 만들면 된다
인간은 익숙해지면 편리함을 갈망하게 마련이다. AI 개발 환경을 구축하면서 이런 갈망이 하나둘 생겨났다. 새로운 것들을 접하고 연구할수록 '아, 이것도 할 수 있겠네'라는 깨달음이 찾아왔다. 그 흐름 속에서 도구를 만들기로 결심했다.
내가 만든 것은 아주 간단하다: 음성으로 Mac 을 제어하는 앱이다.
스마트폰에서 Gemini 나 ChatGPT 와 실시간 대화를 이어갈 수 있는데 왜 컴퓨터에서는 안 될까? 늘 의문이었다. 그래서 임시방편으로 iPad 를 PC 의 확장 디스플레이로 사용하고 iPad 쪽에서 Gemini 앱을 실행하는, 다소 억지스러운 방법으로 실시간 대화를 유지해 왔다.
하지만 실시간 대화로 질문은 할 수 있어도 앱을 조작할 수는 없었다. '조작까지 처리해 준다면 얼마나 편리할까'라는 생각을 수없이 했다.
"없으면 만들면 된다."
사실 이 아이디어는 예전에 한 번 시도한 적이 있다. 하지만 그 당시에는 기술이 따라잡지 못했다. 음성 -> 텍스트 -> AI -> 텍스트 -> 음성 변환 과정이 유망해 보였지만 실용화할 수준은 아니었다.
그러다 최근 OpenAI 가 갑자기 GPT-Realtime-2 라는 음성 엔진을 발표했다. 이 모델은 음성을 '음성 그대로' 이해하고 '음성 그대로' 응답한다. '음성 -> 텍스트 -> AI -> 텍스트 -> 음성' 변환 과정을 거치지 않기 때문에 응답이 빠르고 대화가 더 자연스럽다. '이거면 되겠네?' 싶어서 사용해 봤는데 정말 대단했다. 응답 속도가 확연히 달랐다. 스트레스 없이 쓸 수 있겠다는 확신이 들었다. 곧바로 AI 파트너와 상의했다.
## "CatsAI" 앱
그래서 이 엔진을 활용해 음성으로 Mac 을 조작할 수 있는 앱을 만들었다.
만드는 김에 애정이 가는 무언가를 넣고 싶었다. 그래서 캐릭터를 만들기로 했다. 우리 집에는 고양이들이 항상 컴퓨터 앞에서 자고 있는데 너무 귀엽다. 그 고양이들이 컴퓨터를 조작하는 이미지로 디자인했다. 고양이 캐릭터가 데스크톱에서 아바타로 자리 잡고 말하면서 Mac 을 제어한다.
이름은 개인적인 취향으로 '캣츠아이(Cat's Eye)'를 살짝 비틀어 'CatsAI'라고 지었다. 기본적으로 세 마리 반려묘(요모기, 우메, 아즈키)가 캐릭터로 등록되어 있다.
물론 캐릭터는 쉽게 변경할 수 있다. 반려동물 사진 한 장만 등록하면 캐릭터로 생성되도록 만들었다(GPT-Image-2 를 사용한 이미지 생성).
## 할 수 있는 일
나는 최근에 Windows 환경에서 완전히 갈아탄 Mac 초보다. 솔직히 아직 Mac 을 잘 모른다. 그럼에도 불구하고 스트레스 없이 바로 사용할 수 있는 이유는 모르는 게 있으면 AI 에게 의지하면 되기 때문이다.
하지만 지금까지 AI 에 대한 요청은 기본적으로 텍스트 기반이었다. 음성 입력을 사용하긴 하지만 텍스트 입력을 대체하는 수단일 뿐, 직접적인 대화는 아니다. '그래도 충분하겠지'라고 생각한다. 하지만 인간은 욕심을 버릴 수 없다. 키를 누르면서 말해야 하는 조금의 수고조차 벗어나고 싶었다.
스마트폰에서 AI 와의 실시간 대화가 어떤 것인지 이미 알고 있기 때문에 더욱 그렇게 느낀다. 'PC 에서도 그게 가능하고, 직접 조작까지 할 수 있다면'이라는 생각이 자리 잡은 이상 되돌아갈 수 없었다.
"다운로드 폴더 열어 줘", "이 앱 실행해 줘", "사진 앱 열어 줘", "시스템 설정 열어 줘" — 다른 창에 가려진 것들을 음성만으로 맨 앞으로 가져올 수 있다는 것만으로도 스트레스가 확 줄어든다.
기본적으로 '터미널에서 할 수 있는 모든 작업을 할 수 있어야 한다'는 방침이다. 하지만 스트레스 없이 사용할 수 있느냐는 별개의 문제다. 음성 대화에서는 '대기 시간'이 텍스트 대화 때보다 더 큰 스트레스 요인이다. 응답 속도가 가장 중요하다.
그런 점에서 현재 스트레스 없이 사용할 수 있는 것은 파일 작업과 웹 검색 정도다. 비유하자면 Alexa 정도의 속도로 응답한다고 보면 된다.
물론 더 많은 것을 원하게 마련이다. 마우스 제어나 다소 위험한 — 솔직히 음성으로 하기에는 상당히 위험한 — 쉘 조작까지 가능하게 해 보았다. 하지만... 그건 본인 책임 하에 해 주길 바란다.
브라우저 조작의 경우 음성 명령부터 시작과 실행까지 꽤 시간이 걸린다. 마우스 조작은 Realtime 엔진의 장점을 희생하고 백엔드에서 Codex 를 실행한다. 당연히 속도가 떨어져서 '스트레스 없음'이라고 말할 수준은 아니다. 그래도 음성 명령으로 AI 마우스 커서가 화면에 나타나 PC 를 조작하는 모습을 지켜보는 것은 꽤 흥미로운 경험이다.
솔직히 아직 빠릿빠릿하게 움직이기에는 한참 멀었다. 그래도 앞으로 어떻게 발전할지는 상상이 갈 것이다.
참고로 평소 Alexa 에게 시키던 일들 — 타이머, 알람, 오늘 일정 확인, 이메일 확인 — 도 가능하게 했다.
이메일은 스팸이 너무 많아서 원래 아침저녁으로 특정 도메인의 이메일만 AI 가 보내주는 시스템을 만들어 두었다. 이번에 활성화한 것은 그 기능을 간소화한 버전이다.
## 미래의 작은 미리보기
매일 AI 와 대화하고 다양한 문제를 해결하고 개발을 진행하면서, AI 의 진화와 깊이에 대한 흥미와 함께 두려움도 느낀다.
AI 와의 음성 상호작용은 아직 진화 과정의 초기 단계다. 여전히 지연이 있고, 단어가 정확하게 전달되지 않을 수도 있다. 그 결과 AI 와 제대로 소통하지 못해 잘못된 명령을 실행하면 엄청난 일이 벌어질 수 있다. 그래서 음성 명령 실행 도구가 세상에 아직 널리 보급되지 않은 이유일 것이다.
CatsAI 의 기본 설정은 안전을 위해 파일 쓰기나 실행이 비활성화되어 있다. 파일을 열고, 조회하고, 실시간 대화를 나누는 것만 가능하다. 하지만 그것만 경험해도 분명 뭔가 느낄 수 있을 것이다.
그 이상에 관심이 있다면 권한 설정을 변경하고 추가로 커스터마이징해 보시라. 커스터마이징에 따라 무엇이든 할 수 있을 것이다. 앞으로 음성 엔진의 정확도와 처리 속도가 향상되면 진정한 스트레스 없는 PC 조작이 가능해질 것이고, 그때쯤이면 분명 공식 앱의 기능으로 등장할 것이다.
실시간 대화의 가장 큰 특징은 대화가 끊기지 않고 이어진다는 점이다. 사용자가 침묵하면 조용히 있다가 말을 걸면 언제든 응답한다. 이 상태가 유지된다는 데 의미가 있다.
한 가지 주의할 점: 실시간 대기 모드에서 토큰이 얼마나 소비되는지 아직 확인하지 못했다. 이 부분에 대해 잘 아는 분이 있다면 알려주시기 바란다.
## 사용해 보고 싶은 분들을 위해
CatsAI 는 GitHub 에서 사용할 수 있다. 아래 릴리스 페이지에서 Mac 앱(CatsAI.app.zip)을 다운로드하시라. 설치 방법도 이 페이지에 정리되어 있다.
▶ [[CatsAI v0.1.0 ─ 여기에서 다운로드]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0
실행에 필요한 것은 macOS, OpenAI API 키, OpenAI API 결제 설정이다. 이 세 가지다. API 결제는 ChatGPT Plus 유료 요금제와 다르며, OpenAI API 쪽에서 별도로 설정해야 한다. 대화 중 사용된 토큰 요금은 본인 부담이므로 OpenAI Platform 의 사용량 페이지를 수시로 확인하시라.
다시 강조하지만, 이 앱은 개인이 개발한 실험적인 앱이다. 버그나 보안 문제가 있을 수 있다. 본인 책임 하에 사용하시기 바란다.
## 마치며. 그리고 부탁드립니다.
AI 에게 보안 점검을 시키고 있지만, 솔직히 이 창작물이 얼마나 안전하고 의미 있는지 아직 잘 모르겠다. 그래서 직원이 아닌 다른 사람들이 사용해 보고 솔직한 피드백을 주길 바라며 공개한다.
소스 코드도 공개되어 있다. 다른 용도로 사용하거나 확장하고 싶다면 연락 주시기 바란다.
마지막으로 한 가지 더. 정말 놀라운 점은 코드를 전혀 읽지 않고도 이런 앱을 만들 수 있다는 것이다. 조금 전에 본 미래는 이미 현실이 되었다.
AI 관련 분야에 아는 사람이 거의 없다. 이 기회를 통해 지금까지 쌓아온 지식도 확인하고, 정보를 공유하며 새로운 인연을 만들 수 있기를 바란다.
CatsAI 를 사용해 보신다면 꼭 연락 주세요. 우리 고양이들도 기뻐할 테니까.
