# S'il n'existe pas, construisez-le
Les humains s'habituent aux choses et ne peuvent ensuite plus échapper au désir de commodité. En configurant mon environnement de développement AI, un désir après l'autre a surgi. Plus je touchais et recherchais de nouvelles choses, plus je réalisais : « Oh, je peux faire ça aussi. » Dans cette lancée, j'ai décidé de construire un outil.
Ce que j'ai fait est assez simple : une application pour contrôler un Mac par la voix.
Je me suis toujours demandé pourquoi je pouvais avoir des conversations en direct continues avec Gemini ou ChatGPT sur un smartphone, mais pas sur un ordinateur. Comme solution de contournement, j'utilisais un iPad comme écran étendu pour mon PC et j'exécutais l'application Gemini côté iPad – une méthode un peu forcée pour maintenir des conversations en direct au quotidien.
Cependant, bien que la conversation en direct permette de poser des questions, elle n'actionne pas les applications. J'ai pensé plusieurs fois : « Ce serait tellement pratique si elle pouvait aussi gérer les opérations. »
« S'il n'existe pas, construisez-le. »
En fait, j'avais déjà essayé cette idée auparavant. Mais à l'époque, la technologie n'avait pas suivi. Le processus de conversion Voix -> Texte -> AI -> Texte -> Voix semblait prometteur, mais il n'était pas à un niveau adapté à une utilisation pratique.
Puis récemment, OpenAI a soudainement annoncé un moteur vocal appelé GPT-Realtime-2. C'est un modèle qui comprend la voix « en tant que voix » et répond « en tant que voix ». Comme il n'implique pas les conversions du type « Voix -> Texte -> AI -> Texte -> Voix », la réponse est rapide et la conversation plus naturelle. Quand je l'ai essayé en pensant « Est-ce que ça pourrait marcher ? » – c'était incroyable. La vitesse de réponse était clairement différente d'avant. J'ai senti que cela pouvait être sans stress. J'ai immédiatement consulté mon partenaire AI.
## L'application « CatsAI »
J'ai donc construit, en utilisant ce moteur, une application capable d'actionner un Mac par la voix.
Puisque je la créais, je voulais quelque chose auquel je puisse m'attacher. J'ai donc décidé de créer un personnage. Chez moi, mes chats dorment toujours devant l'ordinateur, et ils ont l'air si mignons. Je l'ai conçu à l'image de ces chats maniant l'ordinateur. Un personnage félin reste sur le bureau en tant qu'avatar et contrôle le Mac en parlant.
Le nom est une préférence personnelle, un jeu de mots avec « Cat's Eye » appelé « CatsAI ». Par défaut, mes trois chats de compagnie (Yomogi, Ume et Azuki) sont enregistrés comme personnages.
Bien sûr, les personnages peuvent être facilement changés. J'ai fait en sorte qu'en enregistrant simplement une photo de votre animal, il soit généré en tant que personnage (en utilisant GPT-Image-2 pour la génération d'images).
## Ce qu'elle peut faire
Je suis un débutant sur Mac qui vient tout juste de migrer complètement d'un environnement Windows. Honnêtement, je ne comprends pas encore bien le Mac. Malgré cela, la raison pour laquelle je peux changer soudainement et l'utiliser sans stress est que je peux compter sur l'AI pour tout ce que je ne sais pas.
Cela dit, les demandes à l'AI ont été essentiellement textuelles jusqu'à présent. J'utilise la saisie vocale, mais ce n'est qu'un substitut à la frappe de texte, pas une conversation directe. Je me dis : « Certes, cela suffit. » Mais les humains ne peuvent échapper à la cupidité. Je voulais échapper même au petit effort de parler tout en maintenant une touche enfoncée.
Je ressens cela parce que je connais déjà ce qu'est une conversation AI en direct sur un smartphone. Une fois que la pensée « Si seulement c'était possible sur un PC, et qu'en plus il pouvait l'actionner directement » s'est enracinée, je n'ai pas pu revenir en arrière.
« Ouvre le dossier Téléchargements », « Ouvre cette application », « Ouvre l'application Photos », « Ouvre les Réglages Système » – pouvoir amener au premier plan des choses enfouies sous d'autres fenêtres simplement avec votre voix. Même cela réduit considérablement le stress.
Fondamentalement, « tout ce que vous pouvez faire dans le terminal, vous devriez pouvoir le faire. » Mais savoir si c'est sans stress à l'utilisation est une autre histoire. Dans la conversation vocale, le « temps d'attente » est plus stressant que dans la conversation textuelle. La vitesse de réponse est primordiale.
Dans cet esprit, les choses qui peuvent être utilisées sans stress à ce stade sont les opérations sur les fichiers et les recherches web. Autrement dit, la réponse est à peu près aussi rapide qu'Alexa.
Bien sûr, il est inévitable d'en vouloir plus. J'ai essayé de rendre possible le contrôle de la souris et même d'effectuer des opérations shell quelque peu dangereuses – enfin, assez dangereuses compte tenu qu'elles sont vocales. Mais… faites-le à vos propres risques.
Cependant, pour les opérations dans le navigateur, il faut un temps considérable entre la commande vocale et le démarrage et l'exécution. Pour les opérations de la souris, cela sacrifie les avantages du moteur Realtime et exécute Codex en arrière-plan. Naturellement, la vitesse chute, et cela n'a pas encore atteint le point où je peux dire que c'est « sans stress ». Néanmoins, regarder le curseur AI de la souris apparaître à l'écran et actionner le PC déclenché par la voix est une expérience assez intéressante.
Pour être honnête, c'est encore loin de se déplacer avec une sensation de vitesse. Même ainsi, je pense que vous pouvez imaginer où cela mène.
Au fait, j'ai également rendu possible les choses que je demande habituellement à Alexa – minuteries, alarmes, vérification de l'agenda du jour et vérification des e-mails.
Concernant les e-mails, comme il y a trop de spam, j'avais à l'origine construit un système où l'AI m'envoie uniquement les e-mails de domaines spécifiques chaque matin et soir. Ce que j'ai activé cette fois-ci en est une version simplifiée.
## Un petit aperçu du futur
Alors que je parle quotidiennement à l'AI et résous divers problèmes et développe des choses, je ressens une peur mêlée d'intérêt face à son évolution et sa profondeur.
En ce qui concerne l'interaction vocale avec l'AI, nous n'en sommes qu'aux premiers stades du processus évolutif. Il y a encore des latences, et les mots peuvent ne pas être transmis correctement. En conséquence, si vous ne communiquez pas bien avec l'AI et qu'elle exécute la mauvaise opération, cela pourrait mener à quelque chose de désastreux. Je pense que c'est probablement pour cela que les outils capables d'exécuter des commandes vocales ne sont pas encore très courants dans le monde.
Dans les paramètres par défaut de CatsAI, pour des raisons de sécurité, l'écriture ou l'exécution de fichiers est désactivée. Vous pouvez simplement ouvrir des fichiers, consulter et avoir des conversations en direct – c'est tout. Mais si vous pouvez simplement expérimenter cela, je suis sûr que vous verrez quelque chose.
Au-delà, si vous êtes plus intéressé, veuillez modifier les réglages d'autorisation et le personnaliser davantage. Selon la personnalisation, vous devriez pouvoir tout faire. À l'avenir, à mesure que la précision et la vitesse de traitement des moteurs vocaux s'amélioreront, une utilisation du PC vraiment sans stress deviendra possible, et d'ici là, cela apparaîtra sûrement comme une fonctionnalité dans les applications officielles.
Une caractéristique majeure de la conversation en direct est qu'elle est continue. Elle reste silencieuse quand vous êtes silencieux et répond chaque fois que vous parlez. Il y a un sens dans le fait que cet état soit maintenu tout au long.
Une note de prudence : je n'ai pas pu vérifier combien de tokens sont consommés lorsqu'on laisse en veille active. Si quelqu'un s'y connaît, veuillez me le faire savoir.
## Pour ceux qui veulent l'essayer
CatsAI est disponible sur GitHub. Veuillez télécharger l'application Mac (CatsAI.app.zip) depuis la page de version ci-dessous. Les instructions d'installation sont également résumées sur cette page.
▶ [[CatsAI v0.1.0 ─ Télécharger ici]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0
Les choses nécessaires pour l'exécuter sont macOS, une clé API OpenAI et les paramètres de facturation de l'API OpenAI. Ces trois-là. Veuillez noter que la facturation de l'API est différente du plan payant ChatGPT Plus et doit être configurée séparément du côté de l'API OpenAI. Vous serez responsable des frais de token utilisés dans la conversation, alors veuillez vérifier fréquemment votre page d'utilisation sur la plateforme OpenAI.
Pour le répéter, il s'agit d'une application expérimentale développée par un individu. Des bugs ou des problèmes de sécurité peuvent exister. Utilisez-la à vos propres risques.
## Pour conclure. Et une demande.
Je fais effectuer des vérifications de sécurité par l'AI, mais honnêtement, je ne sais pas encore à quel point cette création est sûre ou significative. C'est pourquoi je la publie publiquement, dans l'espoir que des personnes autres que des employés l'utilisent et me donnent des retours francs.
Le code source est également public. Si vous voulez l'utiliser pour quelque chose ou l'étendre, veuillez me contacter.
Enfin, encore une chose. Ce qui est vraiment incroyable, c'est que je peux créer une application comme celle-ci sans lire aucune ligne de code. Le futur que nous avons entrevu il y a peu est déjà une réalité.
J'ai très peu de connaissances dans le domaine de l'AI. J'espère saisir cette opportunité pour partager des informations et construire de nouvelles connexions, y compris pour voir combien de connaissances j'ai acquises jusqu'à présent.
Si vous essayez CatsAI, n'hésitez pas à me contacter ; mes chats seront aussi contents.
