Meu gato controla meu Mac: criei o "CatsAI", uma IA de desktop ativada por voz

@hidetoame
JAPONÊShá 2 meses · 21/05/2026
718K
132
8
3
0

TL;DR

O CatsAI é um novo aplicativo para macOS que utiliza o GPT-Realtime-2 da OpenAI para permitir que os usuários controlem seus computadores por meio de conversas naturais por voz, apresentando avatares de gatos personalizáveis.

# Se não existe, construa

Os humanos se acostumam com as coisas e depois não conseguem escapar do desejo por conveniência. Enquanto configurava meu ambiente de desenvolvimento de IA, um desejo após outro surgia. Quanto mais eu tocava e pesquisava coisas novas, mais percebia: "Ah, eu também posso fazer isso." Nesse fluxo, decidi construir uma ferramenta.

O que fiz é bem simples: um aplicativo para controlar um Mac por voz.

Sempre me perguntei por que eu podia ter conversas ao vivo contínuas com o Gemini ou ChatGPT no smartphone, mas não no computador. Como alternativa, tenho usado um iPad como monitor estendido para o meu PC e rodado o aplicativo Gemini no lado do iPad—um método meio forçado para manter conversas ao vivo no dia a dia.

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

No entanto, embora a conversa ao vivo permita fazer perguntas, ela não opera aplicativos. Pensei muitas vezes: "Seria tão conveniente se ela também pudesse lidar com operações."

"Se não existe, construa."

Na verdade, já tinha tentado essa ideia uma vez antes. Mas naquela época, a tecnologia não tinha acompanhado. O processo de converter Voz -> Texto -> IA -> Texto -> Voz parecia promissor, mas não estava num nível adequado para uso prático.

Então, recentemente, a OpenAI anunciou repentinamente um motor de voz chamado GPT-Realtime-2. Este é um modelo que entende a voz "como voz" e responde "como voz". Como não envolve as conversões do tipo "Voz -> Texto -> IA -> Texto -> Voz", a resposta é rápida e a conversa é mais natural. Quando experimentei pensando "Será que isso funciona?"—foi incrível. A velocidade de resposta era claramente diferente de antes. Senti que isso poderia ser sem estresse. Consultei imediatamente meu parceiro de IA.

## O Aplicativo "CatsAI"

Então, usando este motor, construí um aplicativo que pode operar um Mac por voz.

Já que estava fazendo, queria algo pelo qual pudesse me sentir apegado. Então, decidi criar um personagem. Na minha casa, meus gatos estão sempre dormindo na frente do computador, e eles são tão fofos. Projetei com a imagem desses gatos operando o computador. Um personagem gato fica na área de trabalho como um avatar e controla o Mac enquanto fala.

O nome é uma preferência pessoal, um trocadilho com "Cat's Eye" chamado "CatsAI." Por padrão, meus três gatos de estimação (Yomogi, Ume e Azuki) estão registrados como personagens.

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

Claro, os personagens podem ser facilmente alterados. Fiz com que, apenas registrando uma foto do seu animal de estimação, ele seja gerado como um personagem (usando GPT-Image-2 para geração de imagens).

## O que ele pode fazer

Sou um iniciante em Mac que migrou recentemente de um ambiente Windows. Honestamente, ainda não entendo muito bem de Mac. Mesmo assim, a razão pela qual posso mudar de repente e usar sem estresse é que posso contar com a IA para qualquer coisa que eu não saiba.

Dito isso, os pedidos para a IA têm sido basicamente baseados em texto até agora. Uso entrada de voz, mas é apenas um substituto para digitar texto, não uma conversa direta. Penso comigo mesmo: "Certamente isso é suficiente." Mas os humanos não podem escapar da ganância. Eu queria escapar até do pequeno esforço de falar enquanto seguro uma tecla.

Sinto isso porque já sei como é a conversa ao vivo com IA no smartphone. Uma vez que o pensamento "Se ao menos isso fosse possível no PC, e ainda pudesse operá-lo diretamente" criou raízes, não pude voltar atrás.

"Abrir a pasta de downloads", "Abrir este aplicativo", "Abrir o aplicativo de fotos", "Abrir configurações do sistema"—poder trazer coisas enterradas sob outras janelas para a frente apenas com sua voz. Só isso já reduz significativamente o estresse.

Basicamente, "qualquer coisa que você possa fazer no terminal, você deve ser capaz de fazer." Mas se é sem estresse de usar é outra história. Na conversa por voz, o "tempo de espera" é mais estressante do que na conversa por texto. Velocidade de resposta é tudo.

Com isso em mente, coisas que podem ser usadas sem estresse neste ponto são operações de arquivos e pesquisas na web. Em outras palavras, responde mais ou menos tão rápido quanto a Alexa.

Claro, é inevitável querer mais. Tentei tornar possível controlar o mouse e até realizar operações de shell um tanto perigosas—bem, bastante perigosas considerando que é por voz. Mas... faça isso por sua conta e risco.

No entanto, quando se trata de operações de navegador, leva um tempo considerável desde o comando de voz até a inicialização e execução. Para operações de mouse, sacrifica as vantagens do motor Realtime e executa o Codex no backend. Naturalmente, a velocidade cai e ainda não atingiu o ponto em que posso dizer que é "sem estresse." Ainda assim, assistir ao cursor do mouse da IA aparecer na tela e operar o PC acionado pela voz é uma experiência bastante interessante.

Para ser honesto, ainda está longe de se mover com sensação de velocidade. Mesmo assim, acho que você pode imaginar para onde isso está indo.

A propósito, também tornei possível fazer as coisas que normalmente peço à Alexa—temporizadores, alarmes, verificar a agenda de hoje e verificar e-mails.

Com relação a e-mails, como há muito spam, construí originalmente um sistema onde a IA me envia apenas e-mails de domínios específicos todas as manhãs e noites. O que habilitei desta vez é uma versão simplificada disso.

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

## Uma pequena prévia do futuro

Enquanto converso com a IA diariamente e resolvo vários problemas e desenvolvo coisas, sinto um medo junto com interesse em sua evolução e profundidade.

Em relação à interação por voz com a IA, ainda estamos nos estágios iniciais do processo evolutivo. Ainda há atrasos e as palavras podem não ser transmitidas corretamente. Como resultado, se você não conseguir se comunicar bem com a IA e ela executar a operação errada, pode levar a algo desastroso. Acho que é provavelmente por isso que ferramentas que podem executar comandos por voz não são muito comuns no mundo ainda.

Nas configurações padrão do CatsAI, por razões de segurança, escrever ou executar arquivos está desabilitado. Você pode simplesmente abrir arquivos, consultar e ter conversas ao vivo—isso é tudo. Mas se você puder apenas experimentar isso, tenho certeza de que verá algo.

Além disso, se você estiver mais interessado, altere as configurações de permissão e personalize ainda mais. Dependendo da personalização, você deve ser capaz de fazer qualquer coisa. No futuro, à medida que a precisão e a velocidade de processamento dos motores de voz melhorarem, a operação do PC verdadeiramente sem estresse se tornará possível, e então, certamente aparecerá como um recurso em aplicativos oficiais.

Uma característica importante da conversa ao vivo é que a conversa é contínua. Fica em silêncio quando você está em silêncio e responde sempre que você fala. Há significado no fato de que este estado é mantido durante todo o tempo.

Uma nota de cautela: não consegui verificar quantos tokens são consumidos quando deixado em espera ao vivo. Se alguém for experiente nisso, por favor, me avise.

## Para quem quer experimentar

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

O CatsAI está disponível no GitHub. Por favor, baixe o aplicativo Mac (CatsAI.app.zip) da página de lançamento abaixo. As instruções de instalação também estão resumidas nesta página.

▶ [[CatsAI v0.1.0 ─ Baixar aqui]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0

As coisas que você precisa para executá-lo são macOS, uma chave de API OpenAI e configurações de faturamento da API OpenAI. Esses três. Por favor, note que o faturamento da API é diferente do plano pago do ChatGPT Plus e deve ser configurado separadamente no lado da API OpenAI. Você será responsável pelas taxas de token usadas na conversa, então verifique sua página de uso na Plataforma OpenAI com frequência.

Para reiterar, este é um aplicativo experimental desenvolvido por um indivíduo. Pode haver bugs ou problemas de segurança. Por favor, use-o por sua conta e risco.

## Para finalizar. E um pedido.

Peço à IA que faça verificações de segurança, mas honestamente, ainda não sei quão seguro ou significativo é esta criação. É por isso que estou liberando publicamente, esperando que pessoas além de funcionários o usem e me deem feedback sincero.

O código fonte também é público. Se você quiser usá-lo para algo ou expandi-lo, entre em contato comigo.

Finalmente, mais uma coisa. O que é verdadeiramente incrível é que posso criar um aplicativo como este sem ler nenhum código. O futuro que vimos um pouco atrás já é realidade.

Tenho muito poucos conhecidos na área relacionada à IA. Espero usar esta oportunidade para compartilhar informações e construir novas conexões, incluindo ver quanto conhecimento adquiri até agora.

Se você experimentar o CatsAI, entre em contato; meus gatos também ficarão felizes.

https://x.com/hidetoame

Guardar com um clique

Faça leitura aprofundada de artigos virais com IA no YouMind

Save the source, ask focused questions, summarize the argument, and turn a viral article into reusable notes in one AI workspace.

Explore YouMind
Para criadores

Transforme o seu Markdown num artigo 𝕏 impecável

Quando publica os seus próprios textos longos, formatar imagens, tabelas e blocos de código para o 𝕏 é uma dor de cabeça. O YouMind transforma um rascunho completo em Markdown num artigo 𝕏 impecável e pronto a publicar.

Experimente Markdown para 𝕏

Mais padrões para decifrar

Artigos virais recentes

Explorar mais artigos virais