私の猫が Mac を操作する:音声起動型デスクトップ AI「CatsAI」を開発しました

@hidetoame
日本語2 か月前 · 2026年5月21日
718K
132
8
3
0

TL;DR

CatsAI は、OpenAI の GPT-Realtime-2 を活用した新しい macOS アプリケーションです。カスタマイズ可能な猫のアバターが登場し、自然な音声会話を通じてコンピューターを操作することができます。

# ないものは、作ってしまえ

人間は慣れてくると、めんどくさいことから逃れられなくなります。AIでの開発環境を整えていくなかで、次から次へと欲が出てきました。新しいものに触れ、調べれば調べるほど「こんなこともできるのか」と分かってくる。その流れのなかで、ひとつツールを作ってみました。

作ったのは、いたってシンプルなもの。

音声でMacをコントロールするアプリ です。

僕は、スマートフォンならLIVEで途切れることなく色々と聞けるのに、パソコンではGeminiもChatGPTもそれができないのはなぜ?と、常々思っていました。その解決策として、iPadをパソコンの拡張ディスプレイとして使いつつ、iPad側でGeminiアプリを立ち上げる──という少々強引な方法で、日常的にLIVE会話をオンにして使っています。

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

でも、LIVE会話は、質問はできても、アプリの操作まではしてくれません。「これで操作までしてくれたら便利なのに」と、何度も思っていました。

「ないものは、作ってしまえ」。

実は、この発想で一度チャレンジしたことがありました。ただ、その頃はまだ技術が追いついていません。音声 → 文字 → AI → 文字 → 音声、と変換を重ねていく工程で、可能性は感じつつも、とても実用に耐えるレベルではありませんでした。

ところが先日、OpenAIが突如 GPT-Realtime-2 という音声エンジンを発表します。これは、音声を "音声のまま" 理解し、"音声のまま" 返してくれるモデル。さきほどの『音声 → 文字 → AI → 文字 → 音声』のような変換をはさまない分、レスポンスが速く、より自然な会話ができます。「これは使えるのでは?」と試してみると──これがすごい。これまでとは明らかに違う、レスポンスの速さ。「これならストレスがないのでは?」とスイッチが入りました。これなら実現できる──即、相棒のAIと相談です。

## 「CatsAI」というアプリ

そうして、このエンジンを使って音声でMacを操作できるアプリを作りました。

どうせなら、愛着の湧くものがいい。ということで、キャラクターを設けることにしました。うちでは猫がいつもパソコンの前で寝ていて、その姿がとにかく可愛い。その猫がパソコンを操作してくれる──そんなイメージで設計しました。猫のキャラクターがアバターとしてデスクトップに常駐し、喋りながらMacをコントロールしてくれる仕組みです。

名前は完全に個人的な趣味で、「キャッツアイ」をもじって 「CatsAI」 と名づけました。読みは、そのまま「キャッツアイ」です。デフォルトでは、うちで飼っている猫3匹(よもぎ・うめ・あずき)が、そのままキャラクターとして登録されています。

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

もちろんキャラクターは簡単に変更できます。自分のペットの写真を1枚登録するだけで、それがキャラクターとして生成される仕様にしてあります(画像生成には GPT-Image-2 を利用)。

## できること

僕は先日、Windows環境からMacへ完全に移行したばかりの、Mac初心者です。正直、Macのことはまだよく分かっていません。それでも、いきなり乗り換えてもストレスなく使えてしまうのは、分からないことはAIに頼めば何でもやってくれるからです。

とはいえ、AIへのお願いは、これまでテキスト入力が基本でした。音声入力も使ってはいますが、あくまで文字を打ち込む代わりであって、ダイレクトな会話ではありません。「いやいや、それでも十分だろう」と、自分でも思います。思いますが──やはり人間、欲からは逃げられません。キーを押しながら話す、その一手間からも逃れたくなってしまうのです。

そう思ってしまうのは、スマホでのAIとのLIVE会話を、もう知ってしまっているから。あれがPCでも実現できて、さらにそのまま操作までしてくれたら──そんな想いが芽生えてしまった以上、もう逃れることはできません。

「ダウンロードフォルダを開いて」「このアプリを開いて」「写真アプリを開いて」「システム設定を開いて」──他のウィンドウに埋もれてしまったものを、声だけで前面に持ってくることができる。たったこれだけのことでも、ストレスが一気に減ります。

できることは、基本的に「ターミナルでできることは、ひと通りできるはず」です。ですが、それがストレスなく使えるかどうかは、また別の話。音声での会話において、"待ち時間" はテキスト会話以上にストレスになります。レスポンスが命なのです。

それを踏まえると、現時点でストレスなく使えるのは、ファイル操作やWeb検索あたり。言い方を変えれば、Alexaくらいの速さで返事が返ってきます。

もちろん、もう少し欲張りたくなるのは必然です。マウスのコントロールや、少し危険な──いや、音声でやることを考えればかなり危険なシェル操作まで、できるようにしてはみました。が……ここは自己責任で。

ただ、ブラウザ操作までいくと、声をかけてから起動・実行されるまでに、それなりの時間がかかります。マウス操作については、Realtimeエンジンの優位性を殺し、バックエンドでCodexを動かしているからです。当然スピードは落ちますし、「ストレスがない」と言えるところまでは、まだまだ至っていません。それでも、音声をトリガーに画面上にAIのマウスカーソルが現れてPCを操作していく様子を眺めていると、なかなか面白い体験です。

スピード感を持って動く、というところまでは、正直まだほど遠い。それでも、この先どこへ向かうのかは、なんとなく想像してもらえるんじゃないかと思います。

ちなみに、僕がふだんAlexaに頼んでいること──タイマー、アラーム、今日の予定の確認、メールのチェック──も、ひと通りできるようにしてみました。

メールについては、もともと迷惑メールが多すぎるので、決まったドメインのメールだけをAIに毎朝・毎晩送ってもらう仕組みを作っています。今回できるようにしたのは、その簡易版といったところです

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

## 未来を、少しだけ先取りする

AIと日常的に会話するようになり、様々な課題の解決や開発をしていくと、その進化と懐の深さに、興味と同時に怖さすら感じるようになります。

AIとの音声対話に限っていえば、進化の過程としてはまだ序盤。まだまだラグがあったり、言葉が正しく伝わらなかったりします。その結果、AIとうまく意思疎通できず、間違った操作を実行してしまうと、とんでもないことになりかねない。音声でコマンドを実行できるツールがまだあまり世に出回っていないのは、たぶんそういう理由なのだと思います。

CatsAIのデフォルト設定では、安全を考慮し、ファイルの書き込みや実行はできないようにしてあります。単純にファイルを開く、相談する、ライブで会話する──できるのは、それだけ。でも、それだけでも体感してもらえれば、きっと何かが見えてくるはずです。

そのうえで、もっと興味がわいた方は、権限設定を変更し、さらにはカスタマイズしてみてください。カスタマイズ次第では、なんでもできるはず。この先、音声エンジンの精度や処理スピードが上がっていけば、本当にストレスのないPC操作が可能になり、その時にはきっと、公式アプリの機能として登場していることでしょう。

ライブ会話の大きな特徴は、会話が途切れないことです。黙っているときはずっと黙っていて、話しかければいつでも答えてくれる。この状態がずっと維持されている、というところに意味があります。

ひとつだけ注意点を。ライブ待機のまま放置した場合に、トークンがどれくらいかかるのかは、まだ検証できていません。詳しい方がいたら、ぜひ教えてください。

## 試してみたい方へ

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

CatsAI は、GitHub で公開しています。下記のリリースページから、Mac用アプリ(\CatsAI.app.zip\)をダウンロードしてください。インストール手順も、このページにまとめてあります。

https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0[[CatsAI v0.1.0 ─ ダウンロードはこちら]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0

動かすために必要なものは、macOS と、OpenAI の APIキー、そして OpenAI API の課金設定。この3つです。ここはひとつ注意してほしいのですが、APIの課金設定は ChatGPT の有料プランとは別物で、OpenAI API 側であらためて設定する必要があります。会話で使ったぶんのトークン料金はご自身の負担になるので、OpenAI Platform の利用状況ページで、こまめに確認してみてください。

くり返しになりますが、これは個人開発の実験アプリです。不具合やセキュリティ上の問題が残っている可能性もあります。利用は、ご自身の責任でお願いします。

## おわりに。そして、お願いがあります

AIにセキュリティチェックはさせていますが、こうして作ったものがどの程度安全で、どの程度意味のあるものなのかは、正直まだ分かりません。だからこそ実際に公開して、社員以外の方にも使ってもらい、率直なフィードバックをいただけたらと思っています。

ソースコードの公開もしています。何かに使いたい、拡張してみたいという方は、ぜひご連絡ください。

最後に、もうひとつ。本当に凄いのは、僕がコードをまったく読まない状態で、こういったアプリを作れてしまうこと。少し前から見た未来は、もう現実となっている。

AI関連の分野では、今のところ知り合いがほとんどいません。これを機に少しずつ発信しながら、ここまでで身についた知識がどの程度のものなのかも含めて、新しいつながりを築いていけたらと思っています。

CatsAI を試していただいた方は、声をかけてもらえると、うちの猫たちも喜びます。

https://x.com/hidetoame

ワンクリック保存

YouMindでバイラル記事をAI深読み

Save the source, ask focused questions, summarize the argument, and turn a viral article into reusable notes in one AI workspace.

Explore YouMind
クリエイターのために

あなたの Markdown をきれいな 𝕏 記事に

自分の長文を投稿するとき、画像・表・コードブロックを 𝕏 向けに整形するのは手間がかかります。YouMind は Markdown 全体を、そのまま投稿できるきれいな 𝕏 記事に変換します。

Markdown → 𝕏 を試す

解読すべきパターンをもっと

最近のバイラル記事

バイラル記事をもっと見る