เมื่อแมวเหมียวคุม Mac ของฉัน: ผมสร้าง "CatsAI" ผู้ช่วย AI บนเดสก์ท็อปที่สั่งการด้วยเสียง

@hidetoame
ญี่ปุ่น2 เดือนที่ผ่านมา · 21 พ.ค. 2569
718K
132
8
3
0

TL;DR

CatsAI คือแอปพลิเคชัน macOS ใหม่ที่ใช้ GPT-Realtime-2 ของ OpenAI เพื่อให้ผู้ใช้สามารถควบคุมคอมพิวเตอร์ผ่านการสนทนาด้วยเสียงที่เป็นธรรมชาติ พร้อมฟีเจอร์ปรับแต่งอวตารแมวได้ตามต้องการ

# ถ้ามันไม่มี ก็สร้างมันขึ้นมา

มนุษย์เราชินกับอะไรบางอย่างแล้วก็หนีไม่พ้นความต้องการความสะดวกสบาย ตอนที่ผมตั้งค่าสภาพแวดล้อมการพัฒนา AI ความต้องการก็ผุดขึ้นมาทีละอย่าง ยิ่งได้ลองสัมผัสและค้นคว้าสิ่งใหม่ ๆ ก็ยิ่งรู้สึกว่า "โอ้ เราก็ทำแบบนี้ได้นี่นา" ในกระแสนั้น ผมเลยตัดสินใจสร้างเครื่องมือขึ้นมา

สิ่งที่ผมทำนั้นเรียบง่ายมาก: แอปที่ใช้ควบคุม Mac ด้วยเสียง

ผมสงสัยมาตลอดว่าทำไมถึงสนทนาสดต่อเนื่องกับ Gemini หรือ ChatGPT บนสมาร์ทโฟนได้ แต่บนคอมพิวเตอร์กลับทำไม่ได้ วิธีแก้ไขที่ใช้คือเอา iPad มาใช้เป็นจอขยายของ PC แล้วรันแอป Gemini ไว้ฝั่ง iPad ซึ่งเป็นวิธีฝืน ๆ ที่ใช้ให้สนทนาสดได้ทุกวัน

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

อย่างไรก็ตาม การสนทนาสดทำให้ถามคำถามได้ แต่มันไม่สามารถควบคุมแอปได้ ผมคิดหลายครั้งว่า "คงจะสะดวกมากถ้ามันจัดการกับคำสั่งต่าง ๆ ได้ด้วย"

"ถ้ามันไม่มี ก็สร้างมันขึ้นมา"

จริง ๆ แล้วผมเคยลองไอเดียนี้มาก่อนครั้งหนึ่ง แต่ตอนนั้นเทคโนโลยียังตามไม่ทัน กระบวนการแปลง Voice -> Text -> AI -> Text -> Voice ดูมีอนาคต แต่ก็ยังไม่ถึงระดับที่เหมาะกับการใช้งานจริง

แล้วเมื่อไม่นานมานี้ OpenAI ก็ประกาศเปิดตัวเอ็นจิ้นเสียงที่ชื่อว่า GPT-Realtime-2 ซึ่งเป็นโมเดลที่เข้าใจเสียง "ในฐานะเสียง" และตอบกลับ "เป็นเสียง" เพราะไม่ต้องผ่านการแปลงแบบ Voice -> Text -> AI -> Text -> Voice ทำให้ตอบกลับเร็วและบทสนทนาเป็นธรรมชาติมากขึ้น ตอนที่ลองด้วยความคิดว่า "นี่จะเวิร์กไหมนะ" ก็รู้สึกว่ามันเจ๋งมาก ความเร็วตอบรับแตกต่างจากเมื่อก่อนอย่างชัดเจน ผมรู้สึกว่ามันไร้ความเครียดจริง ๆ ผมจึงปรึกษาคู่หู AI ของผมทันที

## แอป "CatsAI"

ผมเลยใช้เอ็นจิ้นนี้สร้างแอปที่ควบคุม Mac ด้วยเสียงได้

ตั้งแต่ทำแล้ว ก็อยากได้อะไรที่ผูกพันด้วย เลยตัดสินใจสร้างตัวละครขึ้นมา ที่บ้านผม แมวของผมมักจะนอนหน้าคอมฯ ตลอด และพวกมันก็น่ารักมาก ผมออกแบบโดยใช้ภาพแมวเหล่านั้นมาควบคุมคอมพิวเตอร์ ตัวละครแมวจะอยู่บนเดสก์ท็อปในฐานะอวาตาร์ และควบคุม Mac พร้อมกับพูดคุยไปด้วย

ชื่อเป็นความชอบส่วนตัว เล่นคำจาก "Cat's Eye" เป็น "CatsAI" โดยค่าเริ่มต้น แมวสามตัวของผม (Yomogi, Ume, และ Azuki) จะลงทะเบียนเป็นตัวละคร

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

แน่นอนว่าสามารถเปลี่ยนตัวละครได้ง่าย ๆ ผมทำให้แค่ลงทะเบียนรูปสัตว์เลี้ยงของคุณหนึ่งรูป ก็จะสร้างเป็นตัวละครได้ (ใช้ GPT-Image-2 สำหรับสร้างภาพ)

## ความสามารถ

ผมเป็นมือใหม่ Mac เพิ่งย้ายจากสภาพแวดล้อม Windows มาเต็มตัวเมื่อไม่นานมานี้ จริง ๆ แล้วผมยังไม่เข้าใจ Mac ดีนัก แต่ถึงอย่างนั้นก็เปลี่ยนมาใช้ได้ทันทีโดยไม่เครียด เพราะผมพึ่งพา AI ในเรื่องที่ผมไม่รู้ได้ทุกเรื่อง

ถึงอย่างนั้น คำขอให้ AI ก็ยังเป็นแบบข้อความเป็นหลักจนถึงตอนนี้ ผมใช้เสียงพูด แต่ก็แค่ใช้แทนการพิมพ์ข้อความ ไม่ใช่การสนทนาโดยตรง ผมคิดกับตัวเองว่า "แค่นี้ก็เพียงพอแล้ว" แต่มนุษย์เราหนีความโลภไม่พ้น ผมอยากหนีแม้กระทั่งความพยายามเล็กน้อยที่ต้องกดคีย์ขณะพูด

ผมรู้สึกแบบนี้เพราะรู้แล้วว่าการสนทนาสดกับ AI บนสมาร์ทโฟนเป็นยังไง เมื่อความคิดที่ว่า "ถ้าแค่บน PC ก็ทำได้แบบนั้น และยังควบคุมได้โดยตรงเลย" ฝังรากแล้ว ก็หันหลังกลับไม่ได้อีก

"เปิดโฟลเดอร์ดาวน์โหลด" "เปิดแอปนี้" "เปิดแอปภาพถ่าย" "เปิดการตั้งค่าระบบ" การดึงสิ่งที่ซ่อนอยู่ใต้หน้าต่างอื่นขึ้นมาด้านหน้าได้แค่ด้วยเสียง แค่เท่านี้ก็ลดความเครียดได้มาก

โดยพื้นฐานแล้ว "อะไรก็ตามที่ทำในเทอร์มินัลได้ ก็น่าจะทำได้" แต่มันจะไร้ความเครียดในการใช้งานหรือไม่นั่นอีกเรื่อง ในการสนทนาด้วยเสียง "เวลารอ" ทำให้เครียดมากกว่าการสนทนาด้วยข้อความ ความเร็วในการตอบกลับคือทุกสิ่ง

เมื่อคิดแบบนั้น สิ่งที่ใช้ได้โดยไม่เครียดตอนนี้คือการจัดการไฟล์และการค้นหาเว็บ พูดอีกอย่างคือ ตอบกลับเร็วพอ ๆ กับ Alexa

แน่นอนว่าหนีไม่พ้นที่จะอยากได้มากกว่านี้ ผมลองทำให้ควบคุมเมาส์ได้ และแม้กระทั่งดำเนินการบนเชลล์ที่ค่อนข้างเสี่ยง—เอาจริง ๆ ก็เสี่ยงมากเพราะใช้เสียง—แต่... กรุณาทำแบบนั้นด้วยความเสี่ยงของคุณเอง

อย่างไรก็ตาม เมื่อพูดถึงการดำเนินการบนเบราว์เซอร์ ใช้เวลาพอสมควรตั้งแต่คำสั่งเสียงไปจนถึงเริ่มต้นและทำงาน ส่วนการควบคุมเมาส์ ต้องเสียสละข้อดีของเอ็นจิ้น Realtime และรัน Codex ในแบ็กเอนด์ แน่นอนว่าความเร็วลดลง และยังไม่ถึงจุดที่เรียกว่า "ไร้ความเครียด" แต่การดูเคอร์เซอร์ AI ปรากฏบนหน้าจอและควบคุม PC ด้วยเสียงก็เป็นประสบการณ์ที่น่าสนใจทีเดียว

พูดตามตรง ยังห่างไกลจากการเคลื่อนที่ด้วยความเร็ว แม้กระนั้น ผมคิดว่าคุณคงพอจินตนาการได้ว่ามันจะไปทางไหน

อีกอย่าง ผมยังทำให้สิ่งที่ปกติขอให้ Alexa ทำได้ด้วย เช่น ตัวจับเวลา, นาฬิกาปลุก, ตรวจสอบกำหนดการวันนี้, และตรวจสอบอีเมล

เรื่องอีเมล เพราะมีสแปมมากเกินไป ผมจึงสร้างระบบให้ AI ส่งอีเมลจากโดเมนเฉพาะให้ผมทุกเช้าและเย็น สิ่งที่ผมเพิ่มตอนนี้คือเวอร์ชันที่เรียบง่ายกว่านั้น

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

## ตัวอย่างเล็ก ๆ ของอนาคต

เวลาที่ผมคุยกับ AI ทุกวัน แก้ปัญหาต่าง ๆ และพัฒนาสิ่งต่าง ๆ ผมรู้สึกทั้งกลัวและสนใจในวิวัฒนาการและความลึกของมัน

สำหรับการโต้ตอบด้วยเสียงกับ AI เรายังอยู่ในช่วงเริ่มต้นของกระบวนการวิวัฒนาการ ยังมีดีเลย์ และคำพูดอาจไม่ถูกส่งไปอย่างถูกต้อง ผลที่ตามมาคือ ถ้าสื่อสารกับ AI ไม่ดีและมันรันคำสั่งผิด อาจนำไปสู่หายนะได้ ผมคิดว่านี่คือสาเหตุที่เครื่องมือที่รันคำสั่งด้วยเสียงยังไม่แพร่หลายในโลก

ในการตั้งค่าเริ่มต้นของ CatsAI เพื่อความปลอดภัย ความสามารถในการเขียนหรือรันไฟล์ถูกปิดไว้ คุณแค่เปิดไฟล์ ปรึกษา และสนทนาสดได้เท่านั้น แต่ถ้าได้ลองแค่นั้น ก็มั่นใจว่าจะเห็นอะไรบางอย่าง

เกินกว่านั้น ถ้าสนใจมากขึ้น กรุณาเปลี่ยนการตั้งค่าสิทธิ์และปรับแต่งเพิ่มเติม ขึ้นอยู่กับการปรับแต่ง คุณน่าจะทำอะไรก็ได้ ในอนาคต เมื่อความแม่นยำและความเร็วในการประมวลผลของเอ็นจิ้นเสียงดีขึ้น การควบคุม PC ที่ไร้ความเครียดอย่างแท้จริงจะเป็นไปได้ และถึงตอนนั้น มันจะปรากฏเป็นฟีเจอร์ในแอปอย่างเป็นทางการอย่างแน่นอน

ฟีเจอร์สำคัญของการสนทนาสดคือการสนทนาต่อเนื่อง มันจะเงียบเมื่อคุณเงียบ และตอบเมื่อคุณพูด การที่สถานะนี้คงอยู่ตลอดเวลามีความหมาย

ข้อควรระวังหนึ่ง: ผมยังไม่สามารถตรวจสอบว่าสิ้นเปลืองโทเคนไปเท่าไหร่เมื่อปล่อยให้อยู่ในการรอสนทนาสด ถ้าใครมีความรู้เรื่องนี้ กรุณาบอกผมด้วย

## สำหรับผู้ที่อยากลอง

雨宮英俊 | AI / カーライフラボ | Carlife にいろどりを - inline image

CatsAI พร้อมใช้งานบน GitHub กรุณาดาวน์โหลดแอป Mac (CatsAI.app.zip) จากหน้าเผยแพร่ด้านล่าง คำแนะนำการติดตั้งก็สรุปไว้ในหน้านี้ด้วย

▶ [[CatsAI v0.1.0 ─ ดาวน์โหลดที่นี่]](https://github.com/hidetoame/CatsAI-public/releases/tag/v0.1.0

สิ่งที่ต้องมีเพื่อรันคือ macOS, คีย์ API ของ OpenAI และการตั้งค่าการเรียกเก็บเงิน API ของ OpenAI สามอย่างนี้ กรุณาทราบว่าการเรียกเก็บเงิน API แตกต่างจากแผนชำระเงินของ ChatGPT Plus และต้องตั้งค่าแยกต่างหากที่ฝั่ง API ของ OpenAI คุณจะต้องรับผิดชอบค่าธรรมเนียมโทเคนที่ใช้ในการสนทนา ดังนั้นกรุณาตรวจสอบหน้าการใช้งานบน OpenAI Platform บ่อย ๆ

ขอย้ำอีกครั้ง นี่คือแอปทดลองที่พัฒนาโดยบุคคล อาจมีข้อบกพร่องหรือปัญหาด้านความปลอดภัย กรุณาใช้ด้วยความเสี่ยงของคุณเอง

## สรุป และคำขอ

ผมให้ AI ตรวจสอบความปลอดภัย แต่จริง ๆ แล้วผมยังไม่รู้ว่าสิ่งที่สร้างขึ้นนี้ปลอดภัยหรือมีความหมายแค่ไหน นั่นคือเหตุผลที่ผมปล่อยต่อสาธารณะ โดยหวังว่าจะมีคนที่ไม่ใช่พนักงานได้ลองใช้และให้คำติชมตรงไปตรงมา

ซอร์สโค้ดก็เปิดเผยด้วย ถ้าต้องการนำไปใช้ทำอะไรหรือขยายต่อ กรุณาติดต่อผม

สุดท้ายอีกหนึ่งอย่าง สิ่งที่น่าทึ่งคือผมสามารถสร้างแอปแบบนี้ได้โดยไม่อ่านโค้ดเลยแม้แต่บรรทัดเดียว อนาคตที่เราเห็นเมื่อสักครู่กลายเป็นจริงแล้ว

ผมมีคนรู้จักในวงการ AI น้อยมาก ผมหวังว่าจะใช้โอกาสนี้ในการแบ่งปันข้อมูลและสร้างความสัมพันธ์ใหม่ รวมถึงดูว่าผมมีความรู้มากแค่ไหนจนถึงตอนนี้

ถ้าคุณลอง CatsAI กรุณาติดต่อมาด้วยนะ แมวของผมจะดีใจ

https://x.com/hidetoame

บันทึกในคลิกเดียว

อ่านบทความไวรัลเชิงลึกด้วย AI ใน YouMind

Save the source, ask focused questions, summarize the argument, and turn a viral article into reusable notes in one AI workspace.

Explore YouMind
สำหรับครีเอเตอร์

เปลี่ยน Markdown ของคุณให้เป็นบทความ 𝕏 ที่สะอาดตา

เวลาคุณเผยแพร่งานเขียนยาวของตัวเอง การจัดรูปแบบรูปภาพ ตาราง และบล็อกโค้ดให้เข้ากับ 𝕏 นั้นน่าปวดหัว YouMind เปลี่ยนร่าง Markdown ทั้งฉบับให้เป็นบทความ 𝕏 ที่สะอาดตาและพร้อมโพสต์ทันที

ลอง Markdown เป็น 𝕏

แพตเทิร์นให้ถอดรหัสเพิ่มเติม

บทความไวรัลล่าสุด

สำรวจบทความไวรัลเพิ่มเติม