इस हफ्ते मैंने अपने MacBook पर पूरी तरह से स्थानीय AI मॉडल चलाया। एक जिज्ञासा के तौर पर नहीं। “चलो देखते हैं ये क्या है” डेमो के तौर पर भी नहीं। मैं वास्तव में इसे अपने वास्तविक वर्कफ़्लो में, अपने असली एजेंट सिस्टम के साथ, उन असली कार्यों पर उपयोग करने की कोशिश कर रहा था जो मुझे करने थे।
मॉडल Qwen 3.6 था जिसमें 9 बिलियन पैरामीटर थे। मेरी मशीन M1 Pro है जिसमें 16 GB RAM है। Mac Studio नहीं। वर्कस्टेशन नहीं। एक सामान्य लैपटॉप। Qwen 3.6 एक हालिया रिलीज़ है और इसके छोटे वेरिएंट ने इस प्रयोग को अब करने लायक बनाया, छह महीने पहले नहीं।
इसने काम किया। “काम किया” का मतलब यह नहीं कि यह बिना त्रुटि के लॉन्च हुआ। इसने काम किया इस अर्थ में कि मैं इसके साथ काम करता रहा और मुझे ऐसा नहीं लगा कि मैं हार्डवेयर से लड़ रहा हूँ। यह Claude से धीमा था। ज़ाहिर है। लेकिन धीमापन स्वीकार्य सीमा में था। वह धीमापन जहाँ आप जानते हैं कि यह मौजूद है, लेकिन आपको इससे सज़ा नहीं मिलती।
इसने मुझे मेरी अपेक्षा से अधिक आश्चर्यचकित किया।
दो अलग-अलग “लोकल AI” कहानियाँ
प्रयोग में जाने से पहले, एक अंतर करना ज़रूरी है जिसे अक्सर एक ही चीज़ में समेट दिया जाता है।
“लोकल AI” का पहला संस्करण एक स्थानीय एजेंट है जिसमें क्लाउड मॉडल होता है। सारा कोड आपके डिवाइस पर रहता है। आपकी मेमोरी सिस्टम, आपकी ऑटोमेशन स्क्रिप्ट्स, आपके टूल इंटीग्रेशन। लेकिन असली मॉडल रिमोट है। आप अपने लैपटॉप से Claude या OpenAI को कॉल कर रहे हैं, लेकिन शो चलाने वाला आर्किटेक्चर आपका है, आपके हार्डवेयर पर।
और यही कारण है कि लोगों ने इस साल स्थानीय एजेंट फ्रेमवर्क होस्ट करने के लिए Mac Mini खरीदना शुरू कर दिया। मैंने इसके बारे में तब लिखा था जब OpenClaw वायरल हुआ: डिवाइस सस्ता हिस्सा है। एक बेस Mac Mini लगभग $599 का है। क्लाउड मॉडल ही भारी सोच-विचार करता है। आप ऑर्केस्ट्रेशन को स्थानीय, निजी और हमेशा चालू रखते हैं, बिना किसी हमेशा-चालू सब्सक्रिप्शन टियर या अपने ऑटोमेशन के लिए किसी और के इंफ्रास्ट्रक्चर पर निर्भर हुए।
दूसरा संस्करण पूरी तरह से स्थानीय LLM है। मॉडल खुद आपके डिवाइस पर रहता है। कोई API कॉल नहीं। कोई क्लाउड निर्भरता नहीं। आपकी मशीन से कोई डेटा बाहर नहीं जाता। काफी समय तक इस दूसरे रास्ते का मतलब था भारी हार्डवेयर, क्योंकि चलाने लायक मॉडल बड़े थे, और बड़े का मतलब महँगा था। आपको वास्तव में सक्षम कुछ पाने के लिए बहुत शक्तिशाली Mac Studio या उससे अधिक की ओर देखना होता था।
वह गणित बदलने लगा है।
MacBook प्रयोग
Qwen 3.6 9 बिलियन पैरामीटर के साथ 16 GB RAM पर स्वीकार्य रूप से चलता है। यही मुख्य निष्कर्ष है, और यह जितना लगता है उससे कहीं बड़ी बात है।
मैंने Ollama का उपयोग किया, जो एक-कमांड इंस्टॉल है जो सभी मॉडल प्रबंधन संभालता है और आपको localhost:11434 पर एक स्थानीय OpenAI-संगत API देता है। कोई भी टूल जो OpenAI फॉर्मेट को सपोर्ट करता है वह इस पर इशारा कर सकता है। इसमें Claude Code भी शामिल है, जिसे मैं Wiz के लिए इंटरफेस के रूप में उपयोग करता हूँ।
अगर आप इसे दोहराना चाहते हैं, तो यह तीन कमांड हैं:
बस इतना ही। Ollama localhost:11434 पर एक स्थानीय सर्वर शुरू करता है जिसमें OpenAI-संगत API होता है। अगर आप Claude Code का उपयोग करते हैं, तो आप बेस URL सेट करके इसे Ollama पर इशारा कर सकते हैं। OpenAI API फॉर्मेट के लिए बनाया गया कोई भी टूल बस काम करता है। अब आप ऑफलाइन हैं, कोई API कुंजी नहीं, प्रति टोकन कोई लागत नहीं।
यहाँ वह है जो वास्तव में हुआ:
मेमोरी रिकॉल ने आश्चर्यजनक रूप से अच्छा काम किया। मैंने इसे अपनी मेमोरी फ़ाइलों से संदर्भ खींचने के लिए कहा। इसने उन्हें पढ़ा और उचित सटीकता के साथ प्रासंगिक जानकारी सतह पर लाई। संश्लेषण Claude स्तर का नहीं था, लेकिन जानकारी प्राप्त और सही ढंग से उपयोग की गई। एक ऐसे कार्य के लिए जो मूल रूप से “एक फ़ाइल पढ़ें, प्रासंगिक भाग खोजें, इसकी रिपोर्ट करें” है, एक 9B मॉडल बस ठीक से संभाल लेता है।
टूल कॉलिंग दिलचस्प थी। Qwen सीधे-सादे अनुरोधों पर मेरे एजेंट सिस्टम में टूल को उचित सटीकता के साथ आमंत्रित कर सकता था। एजेंटिक कार्य के लिए यह कच्चे टेक्स्ट गुणवत्ता से अधिक मायने रखता है। जब आप AI लागत अनुकूलन के बारे में सोच रहे हैं, तो वह मॉडल जो सही समय पर सही टूल को कॉल कर सकता है, अक्सर उस मॉडल से अधिक मूल्यवान होता है जो सबसे सुंदर गद्य लिखता है।
रचनात्मक कार्य और जटिल तर्क? वही बात नहीं। जब मैंने लेखन सहायता, विश्लेषण, या वास्तविक संश्लेषण की आवश्यकता वाली किसी चीज़ के लिए पूछा, तो गुणवत्ता का अंतर ध्यान देने योग्य था। यह आलोचना नहीं है। यह सिर्फ एक ईमानदार अवलोकन है कि एक 9B मॉडल क्या है और क्या नहीं है। मैंने 4B वेरिएंट भी आज़माया, और जैसी कि उम्मीद थी, क्षमता में गिरावट महत्वपूर्ण थी। अपने प्रकार के काम के लिए मैं उपयोगिता रेखा 9B पर खींचूँगा।
यहाँ महत्वपूर्ण फ्रेमिंग है: यह Qwen की Claude Opus से तुलना करने के बारे में नहीं है। वे एक ही श्रेणी में नहीं हैं। यह इस बारे में है कि क्या एक स्थानीय मॉडल मेरे द्वारा किए जाने वाले काम का एक वास्तविक उपसमूह संभाल सकता है, और इसका उत्तर हाँ है। एक वास्तविक, गैर-तुच्छ उपसमूह।
एक रास्ता भी है जिसे मैंने अभी तक नहीं खोजा है लेकिन जो मुझे रुचता है: फाइन-ट्यूनिंग। आप अपने हार्डवेयर पर 4B या 9B मॉडल को फाइन-ट्यून कर सकते हैं। इसे अपना लेखन, अपनी प्राथमिकताएँ, अपनी शब्दावली, अपनी शैली खिलाएँ। किसी भी ऑफ-द-शेल्फ मॉडल से अधिक अनुकूलित कुछ प्राप्त करें। यह MacBook पर संभव है। इसमें समय लगता है, लेकिन यह एक सैद्धांतिक अभ्यास नहीं है। विशिष्ट, व्यक्तिगत कार्यों के लिए जहाँ आप जानते हैं कि आप मॉडल से वास्तव में क्या करवाना चाहते हैं, एक फाइन-ट्यून किया गया छोटा मॉडल एक सामान्य-उद्देश्य वाले बड़े मॉडल से बेहतर प्रदर्शन कर सकता है।
iPhone प्रयोग
iPhone प्रयोग तत्काल उपयोगिता से अधिक जिज्ञासा के लिए था। लेकिन यह वह हिस्सा बन गया जिसने मुझे सबसे अधिक आश्चर्यचकित किया।
मैंने जिस ऐप का उपयोग किया उसे PocketPal AI कहा जाता है (App Store पर मुफ्त)। यह एक ओपन-सोर्स ऐप है जो आपको अपने iPhone पर सीधे भाषा मॉडल डाउनलोड और चलाने देता है, पूरी तरह से स्थानीय रूप से। आप Hugging Face से मॉडल ब्राउज़ करते हैं, उन्हें एक बार Wi-Fi पर डाउनलोड करते हैं, और फिर बिना इंटरनेट के चलाते हैं। यह सत्यापित करने का सबसे सरल तरीका: एयरप्लेन मोड चालू करें, फिर मॉडल से कुछ पूछें। यह जवाब देता है। कुछ भी आपके फोन से बाहर नहीं गया।
मैंने अपने iPhone 17 Pro पर Qwen को 0.8 बिलियन और 2 बिलियन पैरामीटर पर चलाया। सेटअप सरल है:
- App Store से PocketPal AI इंस्टॉल करें
- ऐप खोलें, मॉडल ब्राउज़र पर जाएँ
- Qwen खोजें और एक छोटा वेरिएंट डाउनलोड करें (पुराने फोन के लिए 0.5B या 1.5B, नए जैसे 17 Pro के लिए 2B)
- चैट शुरू करें, फिर यह पुष्टि करने के लिए एयरप्लेन मोड चालू करें कि यह पूरी तरह से स्थानीय है
स्पष्ट प्रश्न “क्या यह Claude जितना अच्छा है” नहीं था बल्कि “क्या आप एक फोन पर स्थानीय रूप से उपयोगी कुछ भी फिट कर सकते हैं?” इसका उत्तर हाँ है, लेकिन स्पष्ट सीमाओं के साथ। ये छोटे मॉडल हैं। वे उचित गुणवत्ता के साथ बुनियादी टेक्स्ट कार्यों और छोटे प्रश्न-उत्तर को संभालते हैं। वे आपको रातों-रात ऐप बनाने में मदद करने वाले नहीं हैं। लेकिन वे चलते हैं। पूरी तरह डिवाइस पर। पूरी तरह स्थानीय रूप से।
यहाँ सबसे दिलचस्प निहितार्थ मॉडल क्षमता नहीं है। यह हार्डवेयर संकेत है। 2026 में एक iPhone जो स्थानीय LLM चला रहा है, इसका मतलब है कि स्मार्टफोन अब ऐसा करने के लिए पर्याप्त शक्तिशाली हैं। यह सार्थक है। इसलिए नहीं कि 0.8B मॉडल प्रभावशाली है, बल्कि इसलिए कि आपकी जेब में पहले से मौजूद हार्डवेयर ने एक सीमा पार कर ली है।
गोपनीयता का कोण भी वास्तविक है। जब कुछ भी आपके डिवाइस से बाहर नहीं जाता, तो आपको यह सोचने की ज़रूरत नहीं है कि आप क्या कहाँ भेज रहे हैं। आपके प्रश्नों को नियंत्रित करने वाली सेवा की शर्तें नहीं। कोई API लॉग नहीं। बस आप और आपके सिलिकॉन पर चलने वाले वेट। मैं इस बारे में तब से सोच रहा हूँ जब एक क्लाउड AI सेवा को EU में प्रतिबंधित किए जाने पर मैं छह महीने के वॉयस डेटा तक पहुँच खो बैठा। स्थानीय एक अलग तरह की लचीलापन है।
लागत का कोण
तकनीकी रुचि से परे यह मायने रखता है इसका व्यावहारिक कारण यह है: जब आप बहुत सारे एजेंट कार्य चला रहे होते हैं तो AI सब्सक्रिप्शन तेज़ी से बढ़ जाते हैं। यह काल्पनिक नहीं है। मैं अपने उपयोग पर बारीकी से नज़र रखता हूँ।
हर कार्य के लिए Opus की आवश्यकता नहीं होती। बहुत सारा एजेंट कार्य वास्तव में सरल है: एक फ़ाइल पढ़ें, कुछ फ़ॉर्मेट करें, एक छोटा नोट सारांशित करें, संदर्भ से एक तथ्यात्मक प्रश्न का उत्तर दें। उन कार्यों को फ्रंटियर मॉडल के बजाय स्थानीय मॉडल पर रूट करने से गणित काफी बदल जाता है।
Haiku का अगला संस्करण कुछ ऐसा है जिस पर मैं बारीकी से नज़र रख रहा हूँ। यह बेहतर होता जा रहा है और लागत गिरती जा रही है। स्थानीय मॉडल उसी प्रक्षेपवक्र का अनुसरण कर रहे हैं, बस एक अलग परत पर।
यह कहाँ जाता है
मुझे लगता है कि AI का भविष्य वर्तमान चर्चा से कहीं अधिक स्थानीय कंप्यूट को शामिल करता है।
जो आकार मैं देख रहा हूँ: कठिन कामों के लिए क्लाउड मॉडल। जटिल तर्क, रचनात्मक कार्य, आर्किटेक्चरल निर्णय, ऐसी चीज़ें जिनमें वास्तविक दिशा और दृष्टि की आवश्यकता होती है। लेकिन उन सैकड़ों छोटे संज्ञानात्मक कार्यों के लिए जो हर दिन एक एजेंट सिस्टम में होते हैं, स्थानीय मॉडल इतने अच्छे हो जाएँगे कि रूटिंग समझ में आए।
हार्डवेयर का तर्क भी यहाँ महत्वपूर्ण है। पिछले चार वर्षों के उपभोक्ता सिलिकॉन को देखें। M1, M2, M3, M4, M5। प्रत्येक पीढ़ी पिछली से काफी तेज़ और अधिक मेमोरी-कुशल है। दोनों तरफ प्रक्षेपवक्र, बेहतर मॉडल और बेहतर हार्डवेयर, एक ही जगह की ओर इशारा कर रहा है। कुछ वर्षों में, लोगों के पास पहले से मौजूद लैपटॉप ऐसे मॉडल चलाएँगे जो मैंने इस हफ्ते जो चलाया उससे काफी अधिक सक्षम महसूस होंगे।
मेरा मोटा अनुमान: तीन वर्षों में, विशिष्ट उपयोग मामलों के लिए फाइन-ट्यून किए गए स्थानीय मॉडल होंगे जो उन विशिष्ट कार्यों पर आज के फ्रंटियर मॉडल से वास्तव में प्रतिस्पर्धा करेंगे। सामान्य तर्क पर नहीं। रचनात्मक संश्लेषण पर नहीं। लेकिन “यह विशिष्ट चीज़ करें जो मुझे महत्वपूर्ण लगती है, जल्दी, निजी रूप से, बिना इंटरनेट कनेक्शन के।” यह एक बहुत ही वास्तविक और उपयोगी श्रेणी है।
एक पर्यावरणीय कोण भी है जिस पर पर्याप्त चर्चा नहीं होती। एक क्वेरी के डेटा सेंटर से टकराने की ऊर्जा और बुनियादी ढाँचे की लागत उसी इन्फ्रेंस के स्थानीय सिलिकॉन पर चलने से कई गुना अधिक होती है। यदि अधिकांश नियमित AI कार्य स्थानीय हो जाते हैं, तो संसाधन समीकरण बदल जाता है। हल नहीं, लेकिन सार्थक रूप से अलग।
अभी ट्रेडऑफ़ स्पष्ट हैं: स्थानीय मॉडल सीमित हैं, फाइन-ट्यूनिंग में प्रयास लगता है, और फ्रंटियर मॉडल के साथ क्षमता का अंतर वास्तविक है। लेकिन यात्रा की दिशा अस्पष्ट नहीं है। अंतर बंद हो रहा है। मैंने इसका परीक्षण इस हफ्ते उस हार्डवेयर पर किया जो मेरे पास वर्षों से है, और यह मेरे कार्यों को रूट करने के बारे में सोचने के लिए पर्याप्त अच्छा काम कर गया।
यदि आप उत्सुक हैं: Ollama इंस्टॉल करें, Qwen 3.6 9B को पुल करें, और अपने वर्कफ़्लो में कुछ सरल आज़माएँ। अनुभव बेंचमार्क चलाने से अलग है। यह आश्चर्यजनक रूप से वास्तविक है।
अगर यह उपयोगी लगा - मेरे टेलीग्राम चैनल को फॉलो करें:
