GPT n'est pas omnipotent. Quand il échoue à une tâche, continuez-vous à essayer dans Codex ou passez-vous à un autre modèle ? Quand un seul modèle ne suffit pas, vous devez envisager de changer de modèle, de compléter les données ou de lui permettre d'utiliser des outils.
Avant la sortie de Codex, j'utilisais Cherry Studio, et beaucoup de mes amis passionnés d'IA l'utilisent aussi. Aujourd'hui, parlons de ce qu'il peut faire et comment faire fonctionner cet atelier pour vous.
1. Ce que Cherry Studio peut faire
Cherry Studio est un logiciel d'IA de bureau open source. GPT, Claude, DeepSeek, Kimi et les modèles exécutés sur votre propre ordinateur peuvent tous être connectés via des interfaces correspondantes et utilisés dans le même logiciel.
Ce qui m'attire le plus, c'est que même si les modèles peuvent être échangés, les matériaux fréquemment utilisés, les exigences de rédaction et les outils restent dans cet atelier.
Par exemple, lorsque vous rédigez un article et que l'introduction n'est pas satisfaisante, vous pouvez donner le même matériel à plusieurs modèles simultanément, demander à chacun d'écrire une version et les comparer côte à côte. Une fois que vous avez choisi une bonne direction, continuez à éditer là sans avoir à coller à plusieurs reprises entre différents sites de chat.
Si vous voulez garder deux versions, ouvrez une « Branche » et éditez-les séparément. Si après quelques tours vous trouvez que l'original était meilleur, vous pouvez revenir à la fourche précédente. Les exigences de ton et de format peuvent être enregistrées en tant qu'« Assistants » pour ne pas avoir à les expliquer à chaque fois.
Vos propres articles, manuels de produits et documents de projet peuvent être placés dans une Base de connaissances. En cas de besoin, laissez l'IA rechercher le texte original et répondre en fonction des données ; si vous changez de modèle, ces données sont toujours disponibles.
Pour générer des documents Word à partir de modèles, organiser des dossiers ou créer une page web fonctionnelle, vous pouvez confier la tâche à un Agent. Une fois le modèle et les outils configurés, il peut lire les matériaux et manipuler les fichiers. Une fois terminé, ouvrez-le pour vérifier, et si quelque chose ne va pas, demandez-lui de le modifier.
Le logiciel propose également des entrées pour la traduction, le dessin, etc. Si vous voulez essayer des modèles open source ou des modèles locaux avec moins de restrictions, vous pouvez les connecter via Ollama ou LM Studio, ce que j'expliquerai séparément plus tard.
Ces fonctions courantes ont des entrées prêtes à l'emploi ; il suffit de configurer le modèle et les services requis pour les utiliser sans avoir à écrire de code à partir de zéro.
2. Installation de Cherry Studio
Ouvrez la Page de téléchargement officielle de Cherry Studio.
Pour Mac, choisissez ARM64 pour Apple Silicon ou x64 pour les puces Intel. Après avoir ouvert l'installateur, faites-le glisser dans « Applications ». Pour Windows, choisissez généralement l'installateur x64 ; pour les appareils ARM, choisissez ARM64.
Lors de la première ouverture, vous pouvez cliquer sur « Configurer plus tard » pour entrer d'abord dans le logiciel.
« Chat » à gauche sert à écrire et à poser des questions ; « Travail » est l'endroit où les Agents effectuent des tâches ; « Base de connaissances » stocke les matériaux pour une consultation répétée. La configuration du modèle se fait via « Paramètres » en bas à gauche.
Les onglets du haut sont similaires à un navigateur. Vous pouvez garder la page de chat ouverte tout en configurant les modèles, puis revenir pour tester sans avoir à quitter à plusieurs reprises.
3. Connexion des modèles
Après l'installation, vous devez connecter un modèle. Le logiciel lui-même est gratuit, mais les appels de modèle peuvent coûter de l'argent, facturés par le fournisseur du modèle.
Si vous aimez utiliser Kimi, connectez l'API Moonshot ; pour DeepSeek, connectez l'API DeepSeek. Vous pouvez également choisir des plateformes qui proposent plusieurs modèles, comme SiliconFlow, pour utiliser différents modèles sous un seul compte. Commencez par un et ajoutez-en un second lorsque vous voulez comparer.
L'API ici peut être comprise comme « l'interface pour que Cherry Studio utilise ce modèle ». Vous n'avez pas besoin d'écrire de code ; il suffit d'obtenir une chaîne appelée clé API et de la remplir dans le logiciel.
Les clés API sont créées sur la « Plateforme ouverte » du fournisseur. Même si vous avez un abonnement de chat, vous devez généralement vérifier si l'API a du crédit séparément, car ceux-ci sont souvent facturés différemment.
En prenant Kimi comme exemple, inscrivez-vous ou connectez-vous à la Plateforme ouverte Moonshot, trouvez la gestion des clés API et créez une clé. Vérifiez si le compte a du crédit disponible ; sinon, suivez les exigences de la plateforme pour l'activer. Commencez avec un petit budget.
Revenez à Cherry Studio, ouvrez « Paramètres → Services de modèles », trouvez « Moonshot », collez la clé, activez le service et cliquez sur « Obtenir la liste des modèles ».
Il peut y avoir plusieurs noms dans la liste ; ajoutez celui que vous prévoyez d'utiliser. Revenez à la page de chat, cliquez sur le nom du modèle en haut pour basculer vers celui-ci. Envoyez un court message ; s'il répond normalement, la connexion est réussie.
Ce que vous connectez, c'est l'API du modèle ; les fonctionnalités web et les avantages d'abonnement de Kimi ne seront pas transférés. Ici, vous utilisez l'interface et les outils de Cherry Studio.
Si un ami ou une entreprise vous donne un ensemble d'interfaces mais que le fournisseur n'est pas dans la liste, cliquez sur « Ajouter un fournisseur » en bas. Habituellement, vous avez besoin de ces informations :
Le nom du fournisseur peut être ce que vous voulez pour le reconnaître, comme « Interface de test de l'entreprise ». L'ID du modèle ne peut pas être arbitraire ; c'est le nom que le serveur utilise pour identifier le modèle. Si la récupération de la liste échoue, ajoutez-le manuellement si l'ID est fourni.
Si cela ne se connecte pas, vérifiez l'erreur. Si la clé est invalide, vérifiez qu'elle est copiée complètement et remplie au bon endroit ; si le crédit est insuffisant, vérifiez le solde du fournisseur ; si le modèle n'existe pas, vérifiez l'ID du modèle. L'adresse et le type d'interface doivent également correspondre à la documentation du fournisseur.
Une fois que le modèle peut discuter, essayez les images, les fichiers et les appels d'outils. Une réponse textuelle ne signifie pas qu'il prend en charge toutes les fonctions, surtout pour l'Agent plus tard.
Quant au choix entre les services officiels et tiers, je suggère de commencer par les interfaces officielles pour simplifier le dépannage. Les tiers sont acceptables, mais sachez à qui les données sont envoyées, comment elles sont tarifées et qui fournit le modèle. Un nom correspondant à un modèle ne prouve pas que c'est le même service derrière.
Ne collez pas les clés API dans les journaux de chat ou les captures d'écran publiques ; d'autres pourraient utiliser votre crédit.
4. Test des modèles
Une fois connecté, testez avec des matériaux que vous utilisez souvent, comme un brouillon, des notes de réunion ou des descriptions de produits. La familiarité facilite la détection des omissions dans la réponse.
Par exemple, pour résumer un long document en un court message pour un collègue, donnez la même exigence à deux modèles :
1Résumez le document suivant en un message pour un collègue, en moins de 200 mots.23Conservez les conclusions confirmées, les responsables, les délais et les problèmes non résolus.4N'ajoutez rien qui ne figure pas dans l'original ; n'écrivez pas les éléments provisoires comme confirmés.5Pas d'introduction, donnez le texte directement.67Document :8Collez le texte original ici.
Lors de la comparaison, concentrez-vous sur : la date limite a-t-elle été respectée ? « Vendredi provisoire » a-t-il été transformé en « terminé vendredi » ? Ceux-ci peuvent être vérifiés par rapport à l'original sans juger de « l'intelligence » par le ton.
Ouvrez le sélecteur de modèle en haut du chat, activez la sélection multi-modèles, cochez deux ou trois modèles configurés et envoyez la même question.
Si un modèle est meilleur pour les brouillons et un autre pour vérifier les omissions, vous pouvez les utiliser séparément plus tard au lieu d'en faire faire tout par un seul.
Pour vérifier la vitesse, allez dans « Paramètres → Apparence » et activez « Afficher le nombre estimé de jetons ». Après une réponse, vérifiez les statistiques pour comparer le temps jusqu'au premier jeton, les jetons par seconde et l'utilisation approximative.
Les jetons sont l'unité de traitement du modèle ; ne les traitez pas comme un nombre exact de mots. Ces statistiques aident à surveiller les coûts, mais la facture finale dépend du fournisseur.
Les modèles de rédaction méritent d'être testés plus en profondeur. Demandez-lui de « garder le deuxième paragraphe, ne changer que l'introduction, ne pas toucher aux chiffres » pour voir s'il modifie accidentellement d'autres parties. Devoir revérifier tout le texte à chaque fois que vous changez une phrase est épuisant.
Enregistrez les questions de test et les matériaux courants sous forme de notes. Lorsque vous connectez un nouveau modèle, exécutez-les à nouveau. Commencez toujours un nouveau sujet pour les comparaisons en utilisant des matériaux identiques afin d'éviter l'influence des chats précédents.
Vous n'avez pas besoin de demander à chaque modèle à chaque fois. La sélection multiple envoie des requêtes séparées, chacune pouvant coûter de l'argent et envoyer des données à ces services. Utilisez-la pour choisir des schémas ou des titres ; une fois une direction définie, continuez avec un seul modèle.
5. Gestion du travail avec les branches
Si vous arrivez à la cinquième version mais que vous sentez soudainement que la deuxième était meilleure, ou si vous voulez essayer deux façons d'écrire le même plan, vous pouvez créer une branche à partir du message correspondant.
Trouvez le message que vous voulez conserver, ouvrez le menu du message et sélectionnez « Branche ». Le nouveau chemin emporte le contexte avant la fourche, et les discussions ultérieures sont enregistrées séparément sans écraser le chemin d'origine. Revenez en arrière à l'aide du gestionnaire de branches.
Par exemple, si un article a un plan mais que l'introduction n'est pas définie, créez deux branches : une commençant par la conclusion, une autre par un scénario spécifique. Éditez les deux pendant quelques tours, voyez laquelle est meilleure et continuez à partir de là. Vous n'avez pas à en supprimer une pour essayer l'autre.
Pour des modifications mineures, il suffit de suivre. Si vous voulez garder les deux versions, utilisez une branche.
Si vous faites fréquemment le même type de travail textuel, créez d'abord un Assistant. Allez dans « Chat → Ajouter un assistant », donnez-lui un nom reconnaissable comme « Éditeur d'articles » et enregistrez les exigences à long terme :
1Vous m'aidez à éditer des articles chinois pour un public général.23Priorisez la conservation des faits et des exemples spécifiques du brouillon.4Supprimez le superflu sans nouvelles informations ; n'ajoutez pas de contexte sur l'auteur.5Lorsque je spécifie un paragraphe à éditer, éditez uniquement celui-là.6Signalez les jugements sans preuve ; n'inventez pas de sources.
Les assistants stockent les habitudes à long terme. Les thèmes d'articles spécifiques, les matériaux et les exigences de longueur doivent rester dans le sujet actuel pour éviter d'être reportés au suivant.
Lors de la révision, ouvrez une autre branche et laissez le modèle seulement trouver les problèmes :
1Vérifiez ce brouillon, ne le réécrivez pas.23Par rapport aux matériaux que j'ai fournis, trouvez :41. Les faits ou chiffres non étayés par l'original.52. Les endroits où « possible » ou « provisoire » est devenu confirmé.63. Les explications répétitives qui peuvent être supprimées.78Citez l'original pour chaque point et expliquez le problème. Si aucune base n'est trouvée, écrivez « source nécessaire ».
Changer de modèle pour la révision peut parfois trouver des problèmes que le précédent a manqués. Cependant, le contenu approuvé par les deux peut encore être erroné ; vérifiez toujours les faits importants par rapport aux données originales.
Lorsque vous éditez uniquement des articles, vous n'avez pas besoin de donner au modèle un terminal, un navigateur ou des outils de fichiers. Désactiver les outils non pertinents réduit les instructions inutiles.
Lorsque vous passez à un Agent pour les fichiers, n'oubliez pas de lui donner la version finale et les exigences. La conversation précédente ne sera pas automatiquement entièrement reprise ; dites-lui explicitement quelle version utiliser.
6. Confier des tâches aux Agents
Une fois le brouillon prêt et qu'il doit être formaté en Word ou exporté en PDF, allez dans « Travail » à gauche. Préparez le manuscrit et le modèle.
Cliquez sur « Ajouter un agent », nommez-le par objectif, comme « Organisateur de données ». Sélectionnez le mode d'exécution, puis le modèle pris en charge, et remplissez les exigences. Après la création, vous pouvez ajuster les outils, les autorisations, les compétences et les bases de connaissances sur la page d'édition.
Le mode d'exécution affecte les modèles et les autorisations disponibles ; choisissez en fonction de la liste du mode actuel. Les modèles pour le chat normal ne sont pas nécessairement adaptés aux Agents. Une fois un mode sélectionné, il ne peut pas être changé directement ; vous devrez créer un nouvel Agent.
Certains modes proposent des modèles Principal, Plan et Petit pour le travail principal, la planification et le traitement léger. Commencez par utiliser le même modèle pour tous pour vous familiariser d'abord.
Créez ensuite une nouvelle tâche et sélectionnez un répertoire de travail. Utilisez un dossier dédié pour la pratique avec des copies des matériaux. S'il y a une autorisation « Confirmer à chaque fois », utilisez-la pour voir ce que l'Agent prévoit de lire, exécuter et écrire.
Même avec un répertoire de travail sélectionné, vérifiez les autorisations des outils. Certains outils peuvent encore accéder à des fichiers en dehors du répertoire ; n'activez pas « Accès complet » pour la première fois.
Vous pouvez commencer par des notes de réunion non sensibles pour organiser l'avancement du projet :
1Lisez les notes de réunion dans le répertoire actuel et organisez un rapport d'avancement du projet.23Ne modifiez, ne déplacez et ne supprimez pas les fichiers originaux.4Organisez en : Terminé, En cours, À confirmer.5Les responsables et les délais doivent provenir de l'original ; marquez « À confirmer » si non spécifié.6Notez le nom du fichier source après chaque élément.78Listez d'abord les fichiers trouvés et le plan pour ma confirmation.9Après confirmation, générez un nouveau fichier : Projet_Avancement.md.
Vérifiez si les fichiers trouvés sont corrects, puis confirmez le plan. Après la génération du fichier, ouvrez-le pour vérifier, surtout les noms, les dates et assurez-vous que les éléments « À confirmer » n'ont pas été écrits comme confirmés.
Lorsque vous essayez Word ou PDF, vous devrez peut-être installer les outils ou dépendances documentaires correspondants. Ouvrez le fichier dans la zone de sortie ou le répertoire de travail pour vérifier le contenu et la mise en page.
S'il doit rechercher des données sur le web, allez dans « Paramètres → Recherche web » et configurez un service comme Exa. Obtenez une clé API de recherche, testez-la et vérifiez si l'outil de recherche de l'Agent est activé.
La recherche nécessite une configuration séparée et a ses propres quotas et frais. Sans elle, le modèle pourrait répondre uniquement sur la base de ses connaissances existantes sans vérifier le web.
Si la recherche trouve une page mais que la tâche nécessite de cliquer sur des boutons, de faire défiler ou de télécharger des fichiers, vous pourriez avoir besoin de capacités d'opération de navigateur. Référez-vous à la compétence CLI Playwright dans la gestion des compétences, installez-la et attribuez-la à l'Agent.
Les compétences sont des ensembles d'instructions, comme comment utiliser un navigateur ou générer des documents. Certaines nécessitent des outils compagnons ; configurez-les et exécutez une petite tâche pour tester.
MCP est utilisé pour connecter des outils et services externes, comme permettre à un Agent d'accéder à un système métier. Ajoutez le service dans « Paramètres → MCP », configurez-le selon les instructions et liez-le dans les paramètres MCP de l'Agent après une connexion réussie.
Pour les notes de réunion locales, les outils de fichiers suffisent. Installez les compétences de navigateur et MCP uniquement lorsque nécessaire pour éviter de dépanner des configurations inutilisées.
Dans les démos techniques, les Agents ont effectué trois types de tâches : trouver et télécharger des manuels électroniques, générer des supports pédagogiques Word et PDF à partir d'échantillons, et transformer des problèmes de physique en pages web interactives avec des paramètres ajustables.
Lors de l'attribution de tâches similaires, soyez clair sur les noms des manuels, les fichiers d'échantillons et les paramètres. Plus les exigences sont spécifiques, plus il est facile de vérifier.
Les tâches qui fonctionnent bien dans Codex peuvent y rester. Cherry Studio offre un autre choix : essayer différents modèles pour le même travail ou configurer différents outils pour différents objectifs.
Réutilisez le même Agent pour les rapports d'avancement hebdomadaires ; pour un nouveau projet, créez une nouvelle tâche et sélectionnez le dossier correspondant. Créez-en un séparé pour la production de pages web afin de garder les outils et les exigences distincts.
7. Construction d'une base de connaissances
Sélectionnez un lot de matériaux que vous utiliserez régulièrement, comme des manuels de produits ou des articles historiques. Pour les fichiers lus une seule fois pour une question actuelle, téléchargez-les directement dans le chat au lieu de construire une base.
Après avoir construit une base, le logiciel divise les données en segments. Lorsque vous posez une question, il trouve d'abord le texte original pertinent, puis le donne au modèle de chat pour organiser une réponse ; les données sont sauvegardées et récupérées séparément, non entraînées dans le modèle.
Ouvrez « Base de connaissances » à gauche, cliquez sur ajouter et nommez-la par objectif, par exemple « Manuel de service après-vente produit ». Pour la première fois, définissez « Modèle d'embedding » sur « Ne pas utiliser » pour permettre la recherche par mots-clés.
Ajoutez un ou deux fichiers familiers, attendez le traitement et vérifiez si le texte analysé est normal. Vérifiez surtout les PDF scannés ; si le texte n'est pas reconnu, il ne sera pas recherchable.
Allez dans « Test de rappel » dans cette base de connaissances et posez une question avec une réponse claire. Le rappel montre quels segments ont été récupérés. Si le manuel a des conditions de retour, demandez « Puis-je retourner après ouverture ? » et vérifiez si le résultat est exactement cette condition.
Cela montre les segments originaux récupérés, vous pouvez donc vérifier l'exactitude directement sans deviner à travers la réponse du modèle.
Une fois confirmé, revenez au chat, cliquez sur le bouton d'ajout dans la zone de saisie, sélectionnez « Base de connaissances » et cochez la base. Une fois le nom apparu dans la zone de saisie, posez votre question :
1Sur la base des données produit sélectionnées, organisez les questions de service après-vente les plus fréquentes.23Joignez la source correspondante pour chaque réponse.4Pour le contenu non présent dans les données, écrivez « non trouvé dans les données », n'ajoutez pas de promesses.5Si différents fichiers sont en conflit, listez les conflits ; ne décidez pas à ma place.
Si l'entrée de la base de connaissances est grisée, vérifiez si le modèle actuel prend en charge les appels d'outils et supprimez tous les fichiers joints au message. La base de connaissances doit également avoir au moins un fichier traité.
Si elle ne trouve pas de contenu lorsque vous changez la formulation, ajoutez un modèle d'embedding. Par exemple, le texte dit « normes de frais d'hébergement » mais vous demandez « combien puis-je réclamer pour un hôtel ? » La formulation est différente. Le modèle d'embedding trouve le contenu par le sens, pas le modèle de chat qui écrit la réponse finale.
La configuration est la même que pour connecter des modèles. En prenant SiliconFlow comme exemple, configurez la clé dans « Services de modèles », récupérez la liste, trouvez et ajoutez des modèles comme bge-m3 dans la catégorie d'embedding.
Revenez aux paramètres de la Base de connaissances, sélectionnez-le sous « Modèle d'embedding » et attendez que le logiciel indexe les données. Si vous avez utilisé un modèle d'embedding différent auparavant, vous devrez reconstruire comme indiqué. Testez à nouveau avec la même question.
La recherche par mots-clés reste même avec un modèle d'embedding. Si le contenu correct est trouvé mais classé bas, envisagez un modèle de Rerank.
Un modèle de Rerank réordonne les segments récupérés pour placer les plus pertinents en premier. Ajoutez un modèle de rerank comme bge-reranker-v2-m3 dans les services de modèles, puis sélectionnez-le dans les paramètres de la Base de connaissances. Les modèles disponibles et les coûts dépendent du fournisseur.
L'embedding et le Rerank ne sont pas toujours nécessaires. Pour vérifier des modèles de produits ou des numéros de clauses, la recherche par mots-clés peut suffire.
Pour le dépannage : si aucun texte n'est trouvé, vérifiez si le fichier a été traité ou si le texte manque ; si le texte est trouvé mais manque de contexte, vérifiez si les segments ont été coupés ; si les segments sont complets mais la réponse est erronée, vérifiez l'invite ou changez de modèle de chat.
Lors du remplacement d'anciens manuels par de nouveaux, supprimez les entrées obsolètes afin que les versions contradictoires ne restent pas dans la base. Vous pouvez également poser une question non présente dans les données pour voir s'il admet ne pas pouvoir la trouver.
Pour permettre à un Agent de rechercher ces matériaux, liez la base correspondante dans les paramètres de base de connaissances de l'Agent. Pour un plan produit, donnez-lui le manuel du produit, pas tous les fichiers de l'entreprise.
L'utilisation de l'embedding cloud, du rerank ou des modèles de chat signifie que le contenu peut être envoyé aux fournisseurs. Confirmez si cela est autorisé avant d'importer des données d'entreprise.
8. Connexion de modèles locaux
Pour essayer des modèles open source ou ceux avec moins de restrictions, exécutez-les sur votre propre ordinateur et connectez-les à Cherry Studio. Vous utiliserez la même interface, mais les réponses ne viendront pas d'une API cloud.
Les choix courants sont Ollama et LM Studio ; un seul suffit. Ils téléchargent et exécutent des modèles ; Cherry Studio gère la connexion, le chat et l'organisation des données. Hugging Face est l'endroit où vous trouvez des modèles.
D'abord, Ollama. Téléchargez et installez depuis le site web d'Ollama, ouvrez un terminal et exécutez :
1ollama run dolphin-mistral
C'est un modèle 7B pour tester ; il téléchargera d'abord le fichier. Une fois terminé, posez une question dans le terminal pour confirmer qu'il fonctionne.
Ouvrez Cherry Studio « Paramètres → Services de modèles », trouvez Ollama. L'adresse du service est généralement :
1http://localhost:11434
Activez le service, récupérez la liste, ajoutez le modèle et sélectionnez-le dans le chat.
« localhost » fait référence à votre ordinateur. Si cela échoue, assurez-vous qu'Ollama est en cours d'exécution, que le modèle est téléchargé et que le port n'a pas changé. N'ouvrez pas le service à l'internet public juste pour connecter deux applications locales.
Si vous préférez ne pas utiliser de terminal, utilisez LM Studio. Recherchez et téléchargez des modèles sur sa page de recherche, puis chargez le modèle et démarrez le serveur local. Dans Cherry Studio, trouvez le fournisseur LM Studio, entrez l'adresse affichée et récupérez la liste. Cherry Studio ne peut pas l'utiliser si le modèle n'est pas chargé ou si le serveur n'est pas démarré.
Pour trouver des « modèles non censurés », recherchez sur Hugging Face :
1uncensored GGUF
« Non censuré » est une description pour moins de restrictions, pas une certification. Le modèle pourrait refuser moins de demandes créatives, mais cela ne signifie pas qu'il est plus intelligent ou plus fiable. Cherry Studio n'a pas un seul interrupteur « dérestreindre tous les modèles » ; vous choisissez simplement un modèle différent.
GGUF est un format de modèle local courant. Vérifiez le modèle de base, les langues prises en charge et la licence avant de télécharger le fichier adapté à votre outil ; vous n'avez pas besoin de l'intégralité du dépôt.
Commencez par des modèles 7B ou 8B, quantifiés en Q4. « B » est l'échelle des paramètres ; « Q4 » signifie que les poids sont compressés, utilisant moins de mémoire avec une légère perte d'effet. Pour l'utiliser dans un Agent, confirmez qu'il prend en charge les appels d'outils.
Les petits modèles peuvent fonctionner sur des ordinateurs ordinaires. Dolphin Mistral fait environ 4 Go ; un poids Q4 de 30B pourrait faire 15-16 Go ou plus, sans compter la surcharge d'exécution et le cache pour les longues conversations.
Un ordinateur avec 16 Go de RAM peut essayer des modèles quantifiés 7B ou 8B ; la vitesse dépend de la puce, de la VRAM et de la longueur du contexte. Pour exécuter 30B, vérifiez la RAM/VRAM et l'espace disque. Cela pourrait fonctionner pour quelques lignes mais ralentir considérablement avec des documents longs.
Lorsqu'il est entièrement exécuté localement, l'entrée n'est pas envoyée aux services de chat cloud, et il n'y a pas de facture API, mais cela utilise la puissance de votre ordinateur. Si vous utilisez la recherche cloud, l'embedding ou le rerank, ces données peuvent encore être envoyées à l'extérieur.
Remarque : Les composants d'embedding local et d'OCR téléchargeables dans les paramètres de Cherry Studio aident à la récupération et à la reconnaissance de texte. Les installer ne signifie pas que vous avez installé un modèle de chat.
La prochaine fois que quelqu'un vous envoie une nouvelle interface de modèle, connectez-la et exécutez vos questions de test. Si elle convient, gardez-la ; sinon, remplacez-la sans changer votre atelier.
Je suis Miles, un expert en algorithmes d'IA passé de la grande tech à la FDE, avec de l'expérience en R&D, optimisation, déploiement et formation en entreprise. Suivez-moi @miles_mazy pour grandir et gagner ensemble.
