# 如果不存在，就自己動手打造
人類習慣了某樣東西後，就再也逃不開對便利性的渴望。在我建立 AI 開發環境的過程中，一個又一個的慾望不斷湧現。我越是接觸和研究新事物，就越覺得：「哦，這個我也能做得到。」在那樣的過程中，我決定打造一個工具。
我做的東西其實很簡單：一個可以用語音控制 Mac 的應用程式。
我一直很好奇，為什麼我可以在智慧型手機上與 Gemini 或 ChatGPT 進行連續的即時對話，但在電腦上卻不行。作為變通方案，我一直在用 iPad 當作 PC 的延伸螢幕，然後在 iPad 端執行 Gemini 應用程式——這是一種勉強讓自己每天都能進行即時對話的方法。
然而，即時對話雖然可以提問，卻無法操作應用程式。我無數次想過：「如果能連操作都一起處理，那該有多方便啊。」
「如果不存在，就自己動手打造。」
其實，我之前曾經嘗試過這個點子。但那時候技術還沒跟上。語音 -> 文字 -> AI -> 文字 -> 語音 的轉換過程看似可行，但實際上還不到可以實際應用的程度。
然後最近，OpenAI 突然發表了一個叫做 GPT-Realtime-2 的語音引擎。這是一個能「以語音的形式」理解語音，並「以語音的形式」回應的模型。因為不需要經過「語音 -> 文字 -> AI -> 文字 -> 語音」這樣的轉換，所以回應速度快，對話也更自然。當我抱著「這樣行得通嗎？」的想法試用時——結果令人驚豔。回應速度明顯和以前不同。我覺得這應該可以做到零壓力。我立刻諮詢了我的 AI 夥伴。
## 「CatsAI」應用程式
於是，我利用這個引擎，建立了一個可以用語音操作 Mac 的應用程式。
既然要做，我就想做一個能讓自己有情感連結的東西。所以我決定創造一個角色。在我家，貓咪們總是睡在電腦前面，看起來超可愛的。我就以那些貓咪操作電腦的形象來設計。一個貓咪角色會留在桌面上當作虛擬形象，一邊說話一邊控制 Mac。
名稱是我的個人偏好，取自「貓眼」的諧音，叫做「CatsAI」。預設登錄了我養的三隻寵物貓（Yomogi、Ume、Azuki）作為角色。
當然，角色可以輕鬆更換。我設計成只要上傳一張寵物的照片，就會自動生成角色（使用 GPT-Image-2 進行圖像生成）。
## 它可以做什麼
我是個 Mac 新手，最近才剛從 Windows 環境完全轉移過來。老實說，我對 Mac 還不是很了解。即便如此，我之所以能夠突然切換過來並無壓力地使用，是因為任何我不懂的事情都可以依賴 AI。
話雖如此，到目前為止對 AI 的請求基本上都是文字形式。我會使用語音輸入，但那只是替代打字輸入文字，而不是直接對話。我心想：「這樣應該就夠了吧。」但人類無法逃離貪婪。我想要連按住按鍵說話的那一點點小功夫都省掉。
我之所以會有這種感覺，是因為我已經知道在智慧型手機上與 AI 即時對話是什麼樣子。一旦「如果 PC 上也能做到那樣，而且還能直接操作就好了」這個念頭紮根，就再也回不去了。
「開啟下載資料夾」、「開啟這個應用程式」、「開啟照片應用程式」、「開啟系統設定」——只要用聲音就能把被其他視窗擋住的東西拉到最前面。光是這樣就能大大減輕壓力。
基本上，「任何可以在終端機做的事情，理論上都應該能做到。」但是否能無壓力地使用又是另一回事。在語音對話中，「等待時間」比文字對話更讓人感到壓力。回應速度就是一切。
基於這個前提，目前可以無壓力使用的功能是檔案操作和網頁搜尋。換句話說，它的回應速度和 Alexa 差不多。
當然，想要更多功能是無可避免的。我嘗試讓它可以控制滑鼠，甚至執行一些有點危險——嗯，考量到是用語音控制，其實滿危險的——Shell 操作。但是……請自行承擔風險。
不過，如果是瀏覽器操作，從語音指令到啟動和執行需要相當多的時間。至於滑鼠操作，則犧牲了 Realtime 引擎的優勢，在後端執行 Codex。速度自然會下降，還沒有達到可以說是「零壓力」的程度。不過，看著 AI 滑鼠游標出現在螢幕上，因為語音觸發而操作電腦，倒也是相當有趣的體驗。
老實說，距離流暢的移動還有很長一段路。即便如此，我想你應該可以想像這會往哪個方向發展。
順帶一提，我也讓它能夠做到我平常會叫 Alexa 做的事情——計時器、鬧鐘、查看今天的行程、查看電子郵件。
關於電子郵件，因為垃圾郵件太多了，我原本就建立了一個系統，讓 AI 每天早上和晚上只寄送來自特定網域的郵件給我。這次啟用的是那個系統的簡化版。
## 未來的一點預覽
每天與 AI 對話、解決各種問題、開發東西的過程中，我對它的演進和深度既感到興趣，也帶有一絲恐懼。
關於與 AI 的語音互動，我們仍然處在演化過程的初期階段。還是會有一些延遲，單詞也可能無法正確傳達。結果就是，如果你無法與 AI 好好溝通，導致它執行錯誤的操作，可能會引發災難性的後果。我想這大概就是為什麼能夠透過語音執行指令的工具在世界上還不那麼普遍的原因。
在 CatsAI 的預設設定中，基於安全考量，寫入或執行檔案的功能是關閉的。你只能開啟檔案、諮詢、進行即時對話——就這樣。但只要你體驗過這一點，我相信你一定會看到些什麼。
除此之外，如果你更有興趣，請更改權限設定，進一步自訂。根據自訂的程度，你應該能夠做到任何事情。未來，隨著語音引擎的準確度和處理速度提升，真正無壓力的 PC 操作將成為可能，屆時它肯定會以某種功能的形式出現在官方應用程式中。
即時對話的一個主要特點是對話是連續的。在你沉默時它保持沉默，在你說話時它就會回應。這個狀態能夠持續維持這件事本身就具有意義。
有一點需要注意：我還沒有驗證在即時待機狀態下會消耗多少 Token。如果有人對這方面有了解，請告訴我。
## 給想嘗試的人
CatsAI 已經上架 GitHub。請從下面的發布頁面下載 Mac 應用程式（CatsAI.app.zip）。安裝說明也整理在這個頁面上。
▶ [[CatsAI v0.1.0 ─ 點此下載]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0
執行它所需要的東西有 macOS、OpenAI API 金鑰，以及 OpenAI API 的計費設定。就這三樣。請注意，API 計費與 ChatGPT Plus 付費方案不同，必須在 OpenAI API 端另行設定。你將負責對話中使用的 Token 費用，所以請經常在 OpenAI 平台上查看你的使用量頁面。
再次強調，這是一個個人開發的實驗性應用程式。可能存在錯誤或安全問題。請自行承擔風險使用。
## 結語。以及一個請求。
我有讓 AI 進行安全檢查，但老實說，我還不確定這個創作有多安全、多有意義。正因如此，我才將它公開釋出，希望除了員工之外的人也能使用它，並給我坦率的回饋。
原始碼也是公開的。如果你想用它來做點什麼，或是擴充它，請與我聯絡。
最後，還有一件事。真正令人驚奇的是，我可以在完全不看任何程式碼的情況下，製作出像這樣的應用程式。我們不久前看到的未來，現在已經成真了。
我在 AI 相關領域認識的人很少。我希望藉由這個機會，分享資訊並建立新的連結，同時也看看我目前為止累積了多少知識。
如果你嘗試了 CatsAI，請跟我聯絡，我的貓咪也會很開心的。
