# ないものは、作ってしまえ
人間は慣れてくると、めんどくさいことから逃れられなくなります。AIでの開発環境を整えていくなかで、次から次へと欲が出てきました。新しいものに触れ、調べれば調べるほど「こんなこともできるのか」と分かってくる。その流れのなかで、ひとつツールを作ってみました。
作ったのは、いたってシンプルなもの。
音声でMacをコントロールするアプリ です。
僕は、スマートフォンならLIVEで途切れることなく色々と聞けるのに、パソコンではGeminiもChatGPTもそれができないのはなぜ?と、常々思っていました。その解決策として、iPadをパソコンの拡張ディスプレイとして使いつつ、iPad側でGeminiアプリを立ち上げる──という少々強引な方法で、日常的にLIVE会話をオンにして使っています。
でも、LIVE会話は、質問はできても、アプリの操作まではしてくれません。「これで操作までしてくれたら便利なのに」と、何度も思っていました。
「ないものは、作ってしまえ」。
実は、この発想で一度チャレンジしたことがありました。ただ、その頃はまだ技術が追いついていません。音声 → 文字 → AI → 文字 → 音声、と変換を重ねていく工程で、可能性は感じつつも、とても実用に耐えるレベルではありませんでした。
ところが先日、OpenAIが突如 GPT-Realtime-2 という音声エンジンを発表します。これは、音声を "音声のまま" 理解し、"音声のまま" 返してくれるモデル。さきほどの『音声 → 文字 → AI → 文字 → 音声』のような変換をはさまない分、レスポンスが速く、より自然な会話ができます。「これは使えるのでは?」と試してみると──これがすごい。これまでとは明らかに違う、レスポンスの速さ。「これならストレスがないのでは?」とスイッチが入りました。これなら実現できる──即、相棒のAIと相談です。
## 「CatsAI」というアプリ
そうして、このエンジンを使って音声でMacを操作できるアプリを作りました。
どうせなら、愛着の湧くものがいい。ということで、キャラクターを設けることにしました。うちでは猫がいつもパソコンの前で寝ていて、その姿がとにかく可愛い。その猫がパソコンを操作してくれる──そんなイメージで設計しました。猫のキャラクターがアバターとしてデスクトップに常駐し、喋りながらMacをコントロールしてくれる仕組みです。
名前は完全に個人的な趣味で、「キャッツアイ」をもじって 「CatsAI」 と名づけました。読みは、そのまま「キャッツアイ」です。デフォルトでは、うちで飼っている猫3匹（よもぎ・うめ・あずき）が、そのままキャラクターとして登録されています。
もちろんキャラクターは簡単に変更できます。自分のペットの写真を1枚登録するだけで、それがキャラクターとして生成される仕様にしてあります（画像生成には GPT-Image-2 を利用）。
## できること
僕は先日、Windows環境からMacへ完全に移行したばかりの、Mac初心者です。正直、Macのことはまだよく分かっていません。それでも、いきなり乗り換えてもストレスなく使えてしまうのは、分からないことはAIに頼めば何でもやってくれるからです。
とはいえ、AIへのお願いは、これまでテキスト入力が基本でした。音声入力も使ってはいますが、あくまで文字を打ち込む代わりであって、ダイレクトな会話ではありません。「いやいや、それでも十分だろう」と、自分でも思います。思いますが──やはり人間、欲からは逃げられません。キーを押しながら話す、その一手間からも逃れたくなってしまうのです。
そう思ってしまうのは、スマホでのAIとのLIVE会話を、もう知ってしまっているから。あれがPCでも実現できて、さらにそのまま操作までしてくれたら──そんな想いが芽生えてしまった以上、もう逃れることはできません。
「ダウンロードフォルダを開いて」「このアプリを開いて」「写真アプリを開いて」「システム設定を開いて」──他のウィンドウに埋もれてしまったものを、声だけで前面に持ってくることができる。たったこれだけのことでも、ストレスが一気に減ります。
できることは、基本的に「ターミナルでできることは、ひと通りできるはず」です。ですが、それがストレスなく使えるかどうかは、また別の話。音声での会話において、"待ち時間" はテキスト会話以上にストレスになります。レスポンスが命なのです。
それを踏まえると、現時点でストレスなく使えるのは、ファイル操作やWeb検索あたり。言い方を変えれば、Alexaくらいの速さで返事が返ってきます。
もちろん、もう少し欲張りたくなるのは必然です。マウスのコントロールや、少し危険な──いや、音声でやることを考えればかなり危険なシェル操作まで、できるようにしてはみました。が……ここは自己責任で。
ただ、ブラウザ操作までいくと、声をかけてから起動・実行されるまでに、それなりの時間がかかります。マウス操作については、Realtimeエンジンの優位性を殺し、バックエンドでCodexを動かしているからです。当然スピードは落ちますし、「ストレスがない」と言えるところまでは、まだまだ至っていません。それでも、音声をトリガーに画面上にAIのマウスカーソルが現れてPCを操作していく様子を眺めていると、なかなか面白い体験です。
スピード感を持って動く、というところまでは、正直まだほど遠い。それでも、この先どこへ向かうのかは、なんとなく想像してもらえるんじゃないかと思います。
ちなみに、僕がふだんAlexaに頼んでいること──タイマー、アラーム、今日の予定の確認、メールのチェック──も、ひと通りできるようにしてみました。
メールについては、もともと迷惑メールが多すぎるので、決まったドメインのメールだけをAIに毎朝・毎晩送ってもらう仕組みを作っています。今回できるようにしたのは、その簡易版といったところです
## 未来を、少しだけ先取りする
AIと日常的に会話するようになり、様々な課題の解決や開発をしていくと、その進化と懐の深さに、興味と同時に怖さすら感じるようになります。
AIとの音声対話に限っていえば、進化の過程としてはまだ序盤。まだまだラグがあったり、言葉が正しく伝わらなかったりします。その結果、AIとうまく意思疎通できず、間違った操作を実行してしまうと、とんでもないことになりかねない。音声でコマンドを実行できるツールがまだあまり世に出回っていないのは、たぶんそういう理由なのだと思います。
CatsAIのデフォルト設定では、安全を考慮し、ファイルの書き込みや実行はできないようにしてあります。単純にファイルを開く、相談する、ライブで会話する──できるのは、それだけ。でも、それだけでも体感してもらえれば、きっと何かが見えてくるはずです。
そのうえで、もっと興味がわいた方は、権限設定を変更し、さらにはカスタマイズしてみてください。カスタマイズ次第では、なんでもできるはず。この先、音声エンジンの精度や処理スピードが上がっていけば、本当にストレスのないPC操作が可能になり、その時にはきっと、公式アプリの機能として登場していることでしょう。
ライブ会話の大きな特徴は、会話が途切れないことです。黙っているときはずっと黙っていて、話しかければいつでも答えてくれる。この状態がずっと維持されている、というところに意味があります。
ひとつだけ注意点を。ライブ待機のまま放置した場合に、トークンがどれくらいかかるのかは、まだ検証できていません。詳しい方がいたら、ぜひ教えてください。
## 試してみたい方へ
CatsAI は、GitHub で公開しています。下記のリリースページから、Mac用アプリ（\CatsAI.app.zip\）をダウンロードしてください。インストール手順も、このページにまとめてあります。
▶ https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0[[CatsAI v0.1.0 ─ ダウンロードはこちら]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0
動かすために必要なものは、macOS と、OpenAI の APIキー、そして OpenAI API の課金設定。この3つです。ここはひとつ注意してほしいのですが、APIの課金設定は ChatGPT の有料プランとは別物で、OpenAI API 側であらためて設定する必要があります。会話で使ったぶんのトークン料金はご自身の負担になるので、OpenAI Platform の利用状況ページで、こまめに確認してみてください。
くり返しになりますが、これは個人開発の実験アプリです。不具合やセキュリティ上の問題が残っている可能性もあります。利用は、ご自身の責任でお願いします。
## おわりに。そして、お願いがあります
AIにセキュリティチェックはさせていますが、こうして作ったものがどの程度安全で、どの程度意味のあるものなのかは、正直まだ分かりません。だからこそ実際に公開して、社員以外の方にも使ってもらい、率直なフィードバックをいただけたらと思っています。
ソースコードの公開もしています。何かに使いたい、拡張してみたいという方は、ぜひご連絡ください。
最後に、もうひとつ。本当に凄いのは、僕がコードをまったく読まない状態で、こういったアプリを作れてしまうこと。少し前から見た未来は、もう現実となっている。
AI関連の分野では、今のところ知り合いがほとんどいません。これを機に少しずつ発信しながら、ここまでで身についた知識がどの程度のものなのかも含めて、新しいつながりを築いていけたらと思っています。
CatsAI を試していただいた方は、声をかけてもらえると、うちの猫たちも喜びます。
