# Se non esiste, costruiscilo
Noi umani ci abituiamo alle cose e poi non riusciamo più a fare a meno della comodità. Mentre configuravo il mio ambiente di sviluppo AI, è spuntato un desiderio dopo l'altro. Più toccavo e ricercavo cose nuove, più realizzavo: "Oh, posso farlo anch'io." In questo flusso, ho deciso di costruire uno strumento.
Quello che ho creato è piuttosto semplice: un'app per controllare un Mac tramite voce.
Mi sono sempre chiesto perché potessi avere conversazioni in diretta continue con Gemini o ChatGPT su uno smartphone, ma non su un computer. Come soluzione alternativa, ho usato un iPad come schermo esteso per il mio PC e ho eseguito l'app Gemini sul lato iPad—un metodo un po' forzato per mantenere conversazioni in diretta ogni giorno.
Tuttavia, mentre la conversazione in diretta permette di fare domande, non opera sulle app. Ho pensato molte volte: "Sarebbe così comodo se potesse gestire anche le operazioni."
"Se non esiste, costruiscilo."
In realtà, avevo già provato questa idea una volta prima. Ma a quel tempo, la tecnologia non era ancora all'altezza. Il processo di conversione Voce -> Testo -> AI -> Testo -> Voce sembrava promettente, ma non era a un livello adatto per l'uso pratico.
Poi di recente, OpenAI ha improvvisamente annunciato un motore vocale chiamato GPT-Realtime-2. Questo è un modello che capisce la voce "come voce" e risponde "come voce." Poiché non implica le conversioni come "Voce -> Testo -> AI -> Testo -> Voce," la risposta è veloce e la conversazione è più naturale. Quando l'ho provato pensando: "Potrebbe funzionare?"—è stato incredibile. La velocità di risposta era chiaramente diversa da prima. Ho sentito che questo poteva essere senza stress. Ho immediatamente consultato il mio partner AI.
## L'app "CatsAI"
Quindi, usando questo motore, ho costruito un'app che può operare un Mac tramite voce.
Dato che la stavo realizzando, volevo qualcosa a cui potessi affezionarmi. Così, ho deciso di creare un personaggio. A casa mia, i miei gatti dormono sempre davanti al computer, e sono così carini. L'ho progettato con l'immagine di quei gatti che operano il computer. Un personaggio gatto rimane sul desktop come avatar e controlla il Mac mentre parla.
Il nome è una preferenza personale, un gioco di parole su "Cat's Eye" chiamato "CatsAI." Per impostazione predefinita, i miei tre gatti domestici (Yomogi, Ume e Azuki) sono registrati come personaggi.
Naturalmente, i personaggi possono essere cambiati facilmente. Ho fatto in modo che registrando una sola foto del tuo animale domestico, venga generato come personaggio (usando GPT-Image-2 per la generazione di immagini).
## Cosa può fare
Sono un principiante di Mac che si è appena trasferito completamente da un ambiente Windows. Onestamente, non capisco ancora bene il Mac. Anche così, il motivo per cui posso passare improvvisamente e usarlo senza stress è che posso fare affidamento sull'AI per qualsiasi cosa non so.
Detto questo, le richieste all'AI sono state fondamentalmente basate sul testo fino ad ora. Uso l'input vocale, ma è solo un sostituto per digitare testo, non una conversazione diretta. Penso tra me e me: "Sicuramente questo è sufficiente." Ma gli umani non possono sfuggire all'avidità. Volevo scappare anche dal piccolo sforzo di parlare mentre tengo premuto un tasto.
Mi sento così perché so già com'è la conversazione AI in diretta su uno smartphone. Una volta che il pensiero "Se solo fosse possibile su un PC, e potesse anche operarlo direttamente" ha preso piede, non ho potuto tornare indietro.
"Apri la cartella download," "Apri questa app," "Apri l'app foto," "Apri impostazioni di sistema"—essere in grado di portare in primo piano le cose sepolte sotto altre finestre solo con la tua voce. Solo questo riduce significativamente lo stress.
Fondamentalmente, "tutto ciò che puoi fare nel terminale, dovresti essere in grado di farlo." Ma se sia senza stress da usare è un'altra storia. Nella conversazione vocale, il "tempo di attesa" è più stressante che nella conversazione testuale. La velocità di risposta è tutto.
Con questo in mente, le cose che possono essere usate senza stress a questo punto sono le operazioni sui file e le ricerche web. Per dirla in altro modo, risponde più o meno velocemente come Alexa.
Naturalmente, è inevitabile volere di più. Ho cercato di rendere possibile controllare il mouse e persino eseguire operazioni di shell un po' pericolose—beh, piuttosto pericolose considerando che sono vocali—ma... per favore, fatelo a vostro rischio e pericolo.
Tuttavia, quando si tratta di operazioni del browser, ci vuole un bel po' di tempo dal comando vocale all'avvio e all'esecuzione. Per le operazioni del mouse, sacrifica i vantaggi del motore Realtime ed esegue Codex in backend. Naturalmente, la velocità diminuisce, e non ha ancora raggiunto il punto in cui posso dire che è "senza stress." Tuttavia, guardare il cursore AI del mouse apparire sullo schermo e operare il PC attivato dalla voce è un'esperienza piuttosto interessante.
A dire il vero, è ancora lontano dal muoversi con un senso di velocità. Anche così, penso che possiate immaginare dove sta andando.
A proposito, ho anche reso possibile fare le cose che di solito chiedo ad Alexa di fare—timer, sveglie, controllare il programma di oggi e controllare le email.
Per quanto riguarda le email, dato che c'è troppa spam, ho originariamente costruito un sistema dove l'AI mi invia solo email da domini specifici ogni mattina e sera. Quello che ho abilitato questa volta è una versione semplificata di quello.
## Una piccola anteprima del futuro
Mentre parlo quotidianamente con l'AI e risolvo vari problemi e sviluppo cose, provo un senso di timore insieme all'interesse per la sua evoluzione e profondità.
Per quanto riguarda l'interazione vocale con l'AI, siamo ancora nelle prime fasi del processo evolutivo. Ci sono ancora lag, e le parole potrebbero non essere trasmesse correttamente. Di conseguenza, se non riesci a comunicare bene con l'AI ed esegue l'operazione sbagliata, potrebbe portare a qualcosa di disastroso. Penso che sia probabilmente per questo che gli strumenti che possono eseguire comandi tramite voce non sono molto comuni nel mondo ancora.
Nelle impostazioni predefinite di CatsAI, per motivi di sicurezza, la scrittura o l'esecuzione di file è disabilitata. Puoi semplicemente aprire file, consultare e avere conversazioni in diretta—tutto qui. Ma se puoi solo provare quello, sono sicuro che vedrete qualcosa.
Oltre a questo, se siete più interessati, per favore cambiate le impostazioni dei permessi e personalizzatelo ulteriormente. A seconda della personalizzazione, dovreste essere in grado di fare qualsiasi cosa. In futuro, man mano che l'accuratezza e la velocità di elaborazione dei motori vocali miglioreranno, un'operazione del PC veramente senza stress diventerà possibile, e a quel punto, apparirà sicuramente come una funzionalità nelle app ufficiali.
Una caratteristica importante della conversazione in diretta è che la conversazione è continua. Resta in silenzio quando sei in silenzio e risponde ogni volta che parli. C'è significato nel fatto che questo stato è mantenuto per tutto il tempo.
Una nota di cautela: non sono stato in grado di verificare quanti token vengono consumati quando lasciato in standby in diretta. Se qualcuno è esperto su questo, per favore fatemelo sapere.
## Per coloro che vogliono provarlo
CatsAI è disponibile su GitHub. Per favore scaricate l'app Mac (CatsAI.app.zip) dalla pagina di rilascio qui sotto. Le istruzioni di installazione sono anche riassunte su questa pagina.
▶ [[CatsAI v0.1.0 ─ Scarica qui]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0
Le cose di cui hai bisogno per eseguirlo sono macOS, una chiave API OpenAI e le impostazioni di fatturazione dell'API OpenAI. Queste tre. Si prega di notare che la fatturazione dell'API è diversa dal piano a pagamento ChatGPT Plus e deve essere impostata separatamente sul lato API OpenAI. Sarai responsabile per le commissioni dei token utilizzati nella conversazione, quindi controlla frequentemente la tua pagina di utilizzo sulla Piattaforma OpenAI.
Per ribadire, questa è un'app sperimentale sviluppata da un individuo. Potrebbero esserci bug o problemi di sicurezza. Per favore, usala a tuo rischio e pericolo.
## In chiusura. E una richiesta.
Faccio eseguire all'AI controlli di sicurezza, ma onestamente, non so ancora quanto sicura o significativa sia questa creazione. Ecco perché la pubblico pubblicamente, sperando che persone non dipendenti la usino e mi diano un feedback sincero.
Il codice sorgente è anche pubblico. Se vuoi usarlo per qualcosa o espanderlo, per favore contattami.
Infine, un'altra cosa. Ciò che è veramente incredibile è che posso creare un'app come questa senza leggere alcun codice. Il futuro che abbiamo visto poco tempo fa è già una realtà.
Ho pochissime conoscenze nel campo dell'AI. Spero di usare questa opportunità per condividere informazioni e costruire nuove connessioni, incluso vedere quanta conoscenza ho acquisito finora.
Se provi CatsAI, per favore contattami; anche i miei gatti saranno felici.
