GPT ist nicht allmächtig. Wenn es bei einer Aufgabe versagt, versuchst du es dann weiter in Codex oder wechselst du zu einem anderen Modell? Wenn ein Modell nicht ausreicht, musst du darüber nachdenken, die Modelle zu wechseln, Daten zu ergänzen oder es Werkzeuge nutzen zu lassen.
Bevor Codex herauskam, hatte ich Cherry Studio verwendet, und viele meiner Freunde, die sich intensiv mit KI beschäftigen, nutzen es ebenfalls. Heute sprechen wir darüber, was es kann und wie du diese Arbeitsumgebung optimal für dich nutzen kannst.
1. Was Cherry Studio kann
Cherry Studio ist eine quelloffene Desktop-KI-Software. GPT, Claude, DeepSeek, Kimi und Modelle, die auf deinem eigenen Computer laufen, können alle über entsprechende Schnittstellen verbunden und in derselben Software verwendet werden.
Das Reizvollste für mich ist, dass die Modelle zwar ausgetauscht werden können, aber häufig verwendete Materialien, Schreibanforderungen und Werkzeuge in dieser Arbeitsumgebung bleiben.
Wenn du zum Beispiel einen Artikel schreibst und die Einleitung nicht zufriedenstellend ist, kannst du dasselbe Material mehreren Modellen gleichzeitig geben, jedes eine Version schreiben lassen und sie nebeneinander vergleichen. Sobald du eine gute Richtung gefunden hast, bearbeitest du dort weiter, ohne wiederholt zwischen verschiedenen Chat-Websites kopieren und einfügen zu müssen.
Wenn du zwei Versionen behalten möchtest, öffne einen „Branch" und bearbeite sie getrennt. Wenn du nach einigen Runden feststellst, dass das Original besser war, kannst du zum vorherigen Abzweig zurückkehren. Anforderungen an Ton und Format können als „Assistenten" gespeichert werden, sodass du sie nicht jedes Mal erklären musst.
Deine eigenen Artikel, Produkthandbücher und Projektdokumente können in eine Wissensdatenbank aufgenommen werden. Wenn nötig, lässt du die KI den Originaltext durchsuchen und basierend auf den Daten antworten; wenn du die Modelle wechselst, sind diese Daten weiterhin verfügbar.
Um Word-Dokumente aus Vorlagen zu generieren, Ordner zu organisieren oder eine funktionale Webseite zu erstellen, kannst du dies einem Agenten übergeben. Sobald das Modell und die Werkzeuge konfiguriert sind, kann es Materialien lesen und Dateien bearbeiten. Wenn es fertig ist, öffnest du es zur Überprüfung, und wenn etwas falsch ist, bittest du es, es zu ändern.
Die Software hat auch Einträge für Übersetzung, Zeichnung usw. Wenn du quelloffene Modelle oder lokale Modelle mit weniger Einschränkungen ausprobieren möchtest, kannst du sie über Ollama oder LM Studio verbinden, was ich später separat erklären werde.
Diese gängigen Funktionen haben vorgefertigte Einträge; konfiguriere einfach das Modell und die erforderlichen Dienste, um sie zu nutzen, ohne Code von Grund auf neu schreiben zu müssen.
2. Installation von Cherry Studio
Öffne die offizielle Cherry Studio Download-Seite.
Für Mac wähle ARM64 für Apple Silicon oder x64 für Intel-Chips. Nach dem Öffnen des Installationsprogramms ziehe es in „Programme". Für Windows wähle normalerweise das x64-Installationsprogramm; für ARM-Geräte wähle ARM64.
Beim ersten Öffnen kannst du auf „Später einrichten" klicken, um zuerst in die Software zu gelangen.
„Chat" auf der linken Seite dient zum Schreiben und Fragenstellen; „Arbeit" ist der Bereich, in dem Agenten Aufgaben ausführen; „Wissensdatenbank" speichert Materialien zum wiederholten Nachschlagen. Die Modellkonfiguration erfolgt über „Einstellungen" unten links.
Die oberen Registerkarten ähneln einem Browser. Du kannst die Chat-Seite geöffnet lassen, während du Modelle konfigurierst, und dann zurückwechseln, um zu testen, ohne wiederholt beenden zu müssen.
3. Verbinden von Modellen
Nach der Installation musst du ein Modell verbinden. Die Software selbst ist kostenlos, aber Modellaufrufe können Geld kosten, das vom Modellanbieter abgerechnet wird.
Wenn du Kimi gerne verwendest, verbinde die Moonshot-API; für DeepSeek verbinde die DeepSeek-API. Du kannst auch Plattformen wählen, die mehrere Modelle anbieten, wie SiliconFlow, um verschiedene Modelle unter einem Konto zu nutzen. Beginne mit einem und füge ein zweites hinzu, wenn du vergleichen möchtest.
Die API hier kann als „Schnittstelle für Cherry Studio zur Nutzung dieses Modells" verstanden werden. Du musst keinen Code schreiben; hole einfach einen String namens API-Key und trage ihn in die Software ein.
API-Keys werden auf der „Open Platform" des Anbieters erstellt. Selbst wenn du ein Chat-Abonnement hast, musst du normalerweise separat prüfen, ob die API Guthaben hat, da diese oft anders abgerechnet werden.
Am Beispiel von Kimi: Registriere dich oder melde dich auf der Moonshot Open Platform an, finde die API-Key-Verwaltung und erstelle einen Key. Überprüfe, ob das Konto verfügbares Guthaben hat; wenn nicht, folge den Anforderungen der Plattform, um es zu aktivieren. Beginne mit einem kleinen Budget.
Gehe zurück zu Cherry Studio, öffne „Einstellungen → Modelldienste", finde „Moonshot", füge den Key ein, aktiviere den Dienst und klicke auf „Modellliste abrufen".
Es könnten mehrere Namen in der Liste sein; füge das Modell hinzu, das du verwenden möchtest. Gehe zurück zur Chat-Seite, klicke auf den Modellnamen oben, um zu wechseln. Sende eine kurze Nachricht; wenn sie normal antwortet, ist die Verbindung erfolgreich.
Was du verbindest, ist die Modell-API; Kimis Web-Funktionen und Mitgliedschaftsvorteile werden nicht übertragen. Hier verwendest du Cherry Studios Oberfläche und Werkzeuge.
Wenn ein Freund oder Unternehmen dir eine Reihe von Schnittstellen gibt, der Anbieter aber nicht in der Liste ist, klicke unten auf „Anbieter hinzufügen". Normalerweise benötigst du diese Informationen:
Der Anbietername kann alles sein, was du erkennst, z. B. „Unternehmenstestschnittstelle". Die Modell-ID kann nicht willkürlich sein; es ist der Name, den der Server zur Identifizierung des Modells verwendet. Wenn das Abrufen der Liste fehlschlägt, füge es manuell hinzu, wenn die ID angegeben ist.
Wenn es keine Verbindung herstellt, überprüfe den Fehler. Wenn der Key ungültig ist, überprüfe, ob er vollständig kopiert und an der richtigen Stelle eingefügt wurde; wenn das Guthaben nicht ausreicht, überprüfe das Guthaben des Anbieters; wenn das Modell nicht existiert, überprüfe die Modell-ID. Die Adresse und der Schnittstellentyp müssen ebenfalls mit der Dokumentation des Anbieters übereinstimmen.
Sobald das Modell chatten kann, probiere Bilder, Dateien und Werkzeugaufrufe aus. Eine Textantwort bedeutet nicht, dass es alle Funktionen unterstützt, insbesondere später für den Agenten.
Was die Wahl zwischen offiziellen und Drittanbieterdiensten betrifft, empfehle ich, mit offiziellen Schnittstellen zu beginnen, um die Fehlersuche zu vereinfachen. Drittanbieter sind in Ordnung, aber wisse, an wen die Daten gesendet werden, wie sie abgerechnet werden und wer das Modell bereitstellt. Ein Name, der einem Modell entspricht, beweist nicht, dass es derselbe Dienst dahinter ist.
Füge API-Keys nicht in Chat-Protokolle oder öffentliche Screenshots ein; andere könnten dein Guthaben nutzen.
4. Testen von Modellen
Sobald verbunden, teste mit Materialien, die du oft verwendest, wie einem Entwurf, Besprechungsnotizen oder Produktbeschreibungen. Vertrautheit erleichtert das Erkennen, ob der Antwort etwas fehlt.
Um beispielsweise ein langes Material in eine kurze Nachricht für einen Kollegen zusammenzufassen, gib zwei Modellen dieselbe Anforderung:
1Fasse das folgende Material in eine Nachricht für einen Kollegen zusammen, unter 200 Wörtern.23Behalte bestätigte Schlussfolgerungen, Verantwortliche, Zeiten und ungelöste Probleme.4Füge nichts hinzu, was nicht im Original steht; schreibe vorläufige Punkte nicht als bestätigt.5Keine Einleitung, gib den Text direkt.67Material:8Originaltext hier einfügen.
Beim Vergleichen achte auf: Wurde die Frist eingehalten? Wurde „voraussichtlich Freitag" in „abgeschlossen Freitag" geändert? Diese können am Original überprüft werden, ohne die „Intelligenz" anhand des Tons zu beurteilen.
Öffne die Modellauswahl oben im Chat, aktiviere die Mehrfachmodellauswahl, wähle zwei oder drei konfigurierte Modelle aus und sende dieselbe Frage.
Wenn ein Modell besser bei Entwürfen und ein anderes besser beim Überprüfen auf Auslassungen ist, kannst du sie später getrennt verwenden, anstatt eines alles machen zu lassen.
Um die Geschwindigkeit zu überprüfen, gehe zu „Einstellungen → Darstellung" und aktiviere „Geschätzte Token-Anzahl anzeigen". Nach einer Antwort überprüfe die Statistiken, um die Zeit bis zum ersten Token, Token pro Sekunde und die ungefähre Nutzung zu vergleichen.
Token sind die Einheit für die Modellverarbeitung; behandle sie nicht als genaue Wortanzahlen. Diese Statistiken helfen, die Kosten zu überwachen, aber die endgültige Rechnung hängt vom Anbieter ab.
Schreibmodelle sind weitere Tests wert. Bitte es, „den zweiten Absatz zu behalten, nur die Einleitung zu ändern, Zahlen nicht anzufassen", um zu sehen, ob es versehentlich andere Teile ändert. Jedes Mal den gesamten Text erneut überprüfen zu müssen, wenn du einen Satz änderst, ist ermüdend.
Speichere gängige Testfragen und Materialien als Notizen. Wenn du ein neues Modell verbindest, führe sie erneut aus. Beginne für Vergleiche immer ein neues Thema mit identischen Materialien, um den Einfluss vorheriger Chats zu vermeiden.
Du musst nicht jedes Modell jedes Mal fragen. Die Mehrfachauswahl sendet separate Anfragen, die jeweils Geld kosten und Daten an diese Dienste senden können. Verwende es zum Auswählen von Schemata oder Titeln; sobald eine Richtung festgelegt ist, fahre mit einem Modell fort.
5. Verwalten von Arbeit mit Branches
Wenn du die fünfte Version erreichst, aber plötzlich das Gefühl hast, dass die zweite besser war, oder zwei Schreibweisen derselben Gliederung ausprobieren möchtest, kannst du von der entsprechenden Nachricht aus einen Branch erstellen.
Finde die Nachricht, die du behalten möchtest, öffne das Nachrichtenmenü und wähle „Branch". Der neue Pfad trägt den Kontext vor dem Abzweig, und nachfolgende Diskussionen werden separat aufgezeichnet, ohne den ursprünglichen Pfad zu überschreiben. Wechsle mit dem Branch-Manager zurück.
Wenn ein Artikel beispielsweise eine Gliederung hat, aber die Einleitung noch nicht festgelegt ist, gabelst du zwei Branches: einen, der mit der Schlussfolgerung beginnt, einen anderen mit einem spezifischen Szenario. Bearbeite beide für ein paar Runden, sieh, welcher besser ist, und fahre von dort fort. Du musst keinen löschen, um einen anderen auszuprobieren.
Für kleinere Änderungen folge einfach nach. Wenn du beide Versionen behalten möchtest, verwende einen Branch.
Wenn du häufig dieselbe Art von Textarbeit erledigst, erstelle zuerst einen Assistenten. Gehe zu „Chat → Assistent hinzufügen", gib ihm einen erkennbaren Namen wie „Artikelredakteur" und speichere langfristige Anforderungen:
1Du hilfst mir, chinesische Artikel für allgemeine Leser zu bearbeiten.23Priorisiere das Behalten von Fakten und spezifischen Beispielen aus dem Entwurf.4Lösche Füllmaterial ohne neue Informationen; füge keinen Autorenhintergrund hinzu.5Wenn ich einen bestimmten Absatz zur Bearbeitung angebe, bearbeite nur diesen.6Weise auf Behauptungen ohne Beweise hin; erfinde keine Quellen.
Assistenten speichern langfristige Gewohnheiten. Spezifische Artikelthemen, Materialien und Längenanforderungen sollten im aktuellen Thema bleiben, um eine Übertragung auf das nächste zu vermeiden.
Beim Überprüfen öffne einen weiteren Branch und lass das Modell nur Probleme finden:
1Überprüfe diesen Entwurf, schreibe ihn nicht neu.23Vergleiche mit den von mir bereitgestellten Materialien und finde:41. Fakten oder Zahlen, die nicht durch das Original gestützt werden.52. Stellen, an denen „möglich" oder „vorläufig" zu bestätigt wurde.63. Wiederholte Erklärungen, die gelöscht werden können.78Zitiere das Original für jeden Punkt und erkläre das Problem. Wenn keine Grundlage gefunden wird, schreibe „Quelle erforderlich".
Der Wechsel des Modells zur Überprüfung kann manchmal Probleme finden, die das vorherige übersehen hat. Allerdings können von beiden genehmigte Inhalte immer noch falsch sein; überprüfe wichtige Fakten immer anhand der Originaldaten.
Wenn du nur Artikel bearbeitest, musst du dem Modell kein Terminal, keinen Browser oder Dateiwerkzeuge geben. Das Deaktivieren irrelevanter Werkzeuge reduziert unnötige Anweisungen.
Wenn du zu einem Agenten für Dateien wechselst, denke daran, ihm die endgültige Version und die Anforderungen zu geben. Die vorherige Konversation wird nicht automatisch vollständig übernommen; teile ihm explizit mit, welche Version verwendet werden soll.
6. Aufgaben an Agenten übergeben
Sobald der Entwurf feststeht und in Word formatiert oder als PDF exportiert werden muss, gehe links zu „Arbeit". Bereite das Manuskript und die Vorlage vor.
Klicke auf „Agent hinzufügen", benenne ihn nach Zweck, z. B. „Datenorganisator". Wähle den Ausführungsmodus, dann das unterstützte Modell und fülle die Anforderungen aus. Nach der Erstellung kannst du auf der Bearbeitungsseite Werkzeuge, Berechtigungen, Fähigkeiten und Wissensdatenbanken anpassen.
Der Ausführungsmodus beeinflusst, welche Modelle und Berechtigungen verfügbar sind; wähle basierend auf der Liste des aktuellen Modus. Modelle für normalen Chat sind nicht unbedingt für Agenten geeignet. Sobald ein Modus ausgewählt ist, kann er nicht direkt gewechselt werden; du musst einen neuen Agenten erstellen.
Einige Modi verfügen über Haupt-, Plan- und Kleinmodelle für die Hauptarbeit, Planung und leichte Verarbeitung. Beginne damit, für alle dasselbe Modell zu verwenden, um dich zunächst vertraut zu machen.
Erstelle dann eine neue Aufgabe und wähle ein Arbeitsverzeichnis. Verwende einen dedizierten Ordner zum Üben mit Kopien von Materialien. Wenn es eine Berechtigung „Jedes Mal bestätigen" gibt, verwende sie, um zu sehen, was der Agent lesen, ausführen und schreiben möchte.
Selbst mit einem ausgewählten Arbeitsverzeichnis überprüfe die Werkzeugberechtigungen. Einige Werkzeuge könnten immer noch auf Dateien außerhalb des Verzeichnisses zugreifen; aktiviere „Vollzugriff" nicht beim ersten Mal.
Du kannst mit nicht sensiblen Besprechungsnotizen beginnen, um den Projektfortschritt zu organisieren:
1Lies die Besprechungsnotizen im aktuellen Verzeichnis und erstelle einen Projektfortschrittsbericht.23Ändere, verschiebe oder lösche keine Originaldateien.4Organisiere in: Abgeschlossen, In Bearbeitung, Zu bestätigen.5Verantwortliche und Zeiten müssen aus dem Original stammen; markiere „TBC", wenn nicht angegeben.6Notiere den Quell-Dateinamen nach jedem Punkt.78Liste zuerst die gefundenen Dateien und die Gliederung für meine Bestätigung auf.9Nach der Bestätigung generiere eine neue Datei: Project_Progress.md.
Überprüfe, ob die gefundenen Dateien korrekt sind, bestätige dann die Gliederung. Nachdem die Datei generiert wurde, öffne sie zur Überprüfung, insbesondere Namen, Daten und stelle sicher, dass „TBC"-Punkte nicht als bestätigt geschrieben wurden.
Wenn du Word oder PDF ausprobierst, musst du möglicherweise entsprechende Dokumentwerkzeuge oder Abhängigkeiten installieren. Öffne die Datei im Ausgabebereich oder Arbeitsverzeichnis, um Inhalt und Layout zu überprüfen.
Wenn es das Web nach Daten durchsuchen muss, gehe zu „Einstellungen → Websuche" und konfiguriere einen Dienst wie Exa. Hole einen Such-API-Key, teste ihn und überprüfe, ob das Suchwerkzeug des Agenten aktiviert ist.
Die Suche erfordert eine separate Konfiguration und hat eigene Kontingente und Gebühren. Ohne sie könnte das Modell nur auf der Grundlage vorhandenen Wissens antworten, ohne das Web zu überprüfen.
Wenn die Suche eine Seite findet, die Aufgabe jedoch das Klicken auf Schaltflächen, Scrollen oder Herunterladen von Dateien erfordert, benötigst du möglicherweise Browser-Betriebsfähigkeiten. Siehe die Playwright-CLI-Fähigkeit in der Fähigkeitsverwaltung, installiere sie und weise sie dem Agenten zu.
Fähigkeiten sind Anweisungssätze, z. B. wie man einen Browser bedient oder Dokumente generiert. Einige erfordern Begleitwerkzeuge; konfiguriere sie und führe eine kleine Aufgabe zum Testen aus.
MCP wird verwendet, um externe Werkzeuge und Dienste zu verbinden, z. B. um einem Agenten den Zugriff auf ein Geschäftssystem zu ermöglichen. Füge den Dienst in „Einstellungen → MCP" hinzu, konfiguriere ihn gemäß den Anweisungen und binde ihn nach erfolgreicher Verbindung in den MCP-Einstellungen des Agenten ein.
Für lokale Besprechungsnotizen reichen Dateiwerkzeuge aus. Installiere Browser-Fähigkeiten und MCP nur bei Bedarf, um die Fehlersuche bei ungenutzten Konfigurationen zu vermeiden.
In technischen Demos haben Agenten drei Arten von Aufgaben ausgeführt: Finden und Herunterladen von elektronischen Lehrbüchern, Generieren von Word- und PDF-Lehrmaterialien aus Beispielen und Umwandeln von Physikproblemen in interaktive Webseiten mit einstellbaren Parametern.
Bei der Zuweisung ähnlicher Aufgaben sei klar bei Lehrbuchnamen, Beispieldateien und Parametern. Je spezifischer die Anforderungen, desto einfacher die Überprüfung.
Aufgaben, die in Codex gut funktionieren, können dort bleiben. Cherry Studio bietet eine weitere Wahl: Probiere verschiedene Modelle für dieselbe Arbeit aus oder konfiguriere verschiedene Werkzeuge für unterschiedliche Zwecke.
Verwende denselben Agenten für wöchentliche Fortschrittsberichte wieder; erstelle für ein neues Projekt eine neue Aufgabe und wähle den entsprechenden Ordner. Erstelle einen separaten für die Webseitenproduktion, um Werkzeuge und Anforderungen getrennt zu halten.
7. Aufbau einer Wissensdatenbank
Wähle einen Stapel von Materialien aus, die du wiederholt verwenden wirst, wie Produkthandbücher oder historische Artikel. Für Dateien, die nur einmal für eine aktuelle Frage gelesen werden, lade sie direkt in den Chat hoch, anstatt eine Datenbank aufzubauen.
Nach dem Aufbau einer Datenbank teilt die Software Daten in Segmente auf. Wenn du eine Frage stellst, findet sie zuerst relevanten Originaltext, gibt ihn dann an das Chat-Modell weiter, um eine Antwort zu organisieren; Daten werden getrennt gespeichert und abgerufen, nicht in das Modell trainiert.
Öffne links „Wissensdatenbank", klicke auf Hinzufügen und benenne sie nach Zweck, z. B. „Produkt-Kundendiensthandbuch". Setze beim ersten Mal „Einbettungsmodell" auf „Nicht verwenden", um dennoch eine Stichwortsuche zu ermöglichen.
Füge eine oder zwei vertraute Dateien hinzu, warte auf die Verarbeitung und überprüfe, ob der geparste Text normal ist. Überprüfe insbesondere gescannte PDFs; wenn Text nicht erkannt wird, ist er nicht durchsuchbar.
Gehe zu „Rückruftest" in dieser Wissensdatenbank und stelle eine Frage mit einer klaren Antwort. Der Rückruf zeigt, welche Segmente abgerufen wurden. Wenn das Handbuch Rückgabebedingungen hat, frage „Kann ich nach dem Öffnen zurückgeben?" und überprüfe, ob das Ergebnis genau diese Bedingung ist.
Dies zeigt die abgerufenen Originalsegmente, sodass du die Genauigkeit direkt überprüfen kannst, ohne durch die Antwort des Modells raten zu müssen.
Sobald bestätigt, gehe zurück zum Chat, klicke auf die Schaltfläche „Hinzufügen" im Eingabebereich, wähle „Wissensdatenbank" und aktiviere die Datenbank. Sobald der Name im Eingabebereich erscheint, stelle deine Frage:
1Basierend auf den ausgewählten Produktdaten, organisiere die am häufigsten gestellten Kundendienstfragen.23Füge die entsprechende Quelle für jede Antwort bei.4Für Inhalte, die nicht in den Daten sind, schreibe „nicht in Daten gefunden", füge keine Versprechungen hinzu.5Wenn verschiedene Dateien widersprüchlich sind, liste die Konflikte auf; entscheide nicht für mich.
Wenn der Eintrag der Wissensdatenbank ausgegraut ist, überprüfe, ob das aktuelle Modell Werkzeugaufrufe unterstützt, und entferne alle an die Nachricht angehängten Dateien. Die Wissensdatenbank muss auch mindestens eine verarbeitete Datei haben.
Wenn es bei geänderter Formulierung keinen Inhalt findet, füge ein Einbettungsmodell hinzu. Wenn der Text beispielsweise „Unterkunftskostenstandards" sagt, du aber fragst „Wie viel kann ich für ein Hotel verlangen?" Die Formulierung ist anders. Das Einbettungsmodell findet Inhalte nach Bedeutung, nicht das Chat-Modell, das die endgültige Antwort schreibt.
Die Konfiguration ist dieselbe wie beim Verbinden von Modellen. Am Beispiel von SiliconFlow: Konfiguriere den Key in „Modelldienste", rufe die Liste ab, finde und füge Modelle wie bge-m3 in der Einbettungskategorie hinzu.
Gehe zurück zu den Wissensdatenbank-Einstellungen, wähle es unter „Einbettungsmodell" aus und warte, bis die Software die Daten indiziert. Wenn du zuvor ein anderes Einbettungsmodell verwendet hast, musst du wie aufgefordert neu aufbauen. Teste erneut mit derselben Frage.
Die Stichwortsuche bleibt auch mit einem Einbettungsmodell erhalten. Wenn korrekte Inhalte gefunden, aber niedrig eingestuft werden, erwäge ein Rerank-Modell.
Ein Rerank-Modell ordnet abgerufene Segmente neu, um relevantere zuerst zu platzieren. Füge ein Rerank-Modell wie bge-reranker-v2-m3 in den Modelldiensten hinzu und wähle es dann in den Wissensdatenbank-Einstellungen aus. Verfügbare Modelle und Kosten hängen vom Anbieter ab.
Einbettungs- und Rerank-Modelle sind nicht immer notwendig. Für die Überprüfung von Produktmodellen oder Klauselnummern könnte die Stichwortsuche ausreichen.
Zur Fehlerbehebung: Wenn kein Text gefunden wird, überprüfe, ob die Datei verarbeitet wurde oder Text fehlt; wenn Text gefunden wird, aber Kontext fehlt, überprüfe, ob Segmente abgeschnitten wurden; wenn Segmente vollständig sind, aber die Antwort falsch ist, überprüfe die Eingabeaufforderung oder wechsle Chat-Modelle.
Wenn du alte Handbücher durch neue ersetzt, entferne veraltete Einträge, damit widersprüchliche Versionen nicht in der Datenbank bleiben. Du kannst auch eine Frage stellen, die nicht in den Daten enthalten ist, um zu sehen, ob sie zugibt, sie nicht finden zu können.
Um einem Agenten die Suche in diesen Materialien zu ermöglichen, binde die entsprechende Datenbank in den Wissensdatenbank-Einstellungen des Agenten ein. Gib ihm für einen Produktplan das Produkthandbuch, nicht alle Unternehmensdateien.
Die Verwendung von Cloud-Einbettungs-, Rerank- oder Chat-Modellen bedeutet, dass Inhalte an Anbieter gesendet werden können. Bestätige, ob dies erlaubt ist, bevor du Unternehmensdaten importierst.
8. Verbinden lokaler Modelle
Um quelloffene Modelle oder solche mit weniger Einschränkungen auszuprobieren, führe sie auf deinem eigenen Computer aus und verbinde sie mit Cherry Studio. Du verwendest dieselbe Schnittstelle, aber Antworten kommen nicht von einer Cloud-API.
Gängige Optionen sind Ollama und LM Studio; eines reicht aus. Sie laden Modelle herunter und führen sie aus; Cherry Studio übernimmt Verbindung, Chat und Datenorganisation. Hugging Face ist der Ort, an dem du Modelle findest.
Zuerst Ollama. Lade es von der Ollama-Website herunter und installiere es, öffne ein Terminal und führe aus:
1ollama run dolphin-mistral
Dies ist ein 7B-Modell zum Testen; es wird zuerst die Datei herunterladen. Sobald fertig, stelle eine Frage im Terminal, um zu bestätigen, dass es funktioniert.
Öffne Cherry Studio „Einstellungen → Modelldienste", finde Ollama. Die Dienstadresse ist normalerweise:
1http://localhost:11434
Aktiviere den Dienst, rufe die Liste ab, füge das Modell hinzu und wähle es im Chat aus.
„localhost" bezieht sich auf deinen Computer. Wenn es fehlschlägt, stelle sicher, dass Ollama läuft, das Modell heruntergeladen ist und der Port nicht geändert wurde. Öffne den Dienst nicht für das öffentliche Internet, nur um zwei lokale Apps zu verbinden.
Wenn du kein Terminal bevorzugst, verwende LM Studio. Suche und lade Modelle auf seiner Suchseite herunter, lade dann das Modell und starte den lokalen Server. In Cherry Studio finde den LM Studio-Anbieter, gib die angezeigte Adresse ein und rufe die Liste ab. Cherry Studio kann es nicht verwenden, wenn das Modell nicht geladen oder der Server nicht gestartet ist.
Um „ungezügelte Modelle" zu finden, suche auf Hugging Face nach:
1uncensored GGUF
„Uncensored" ist eine Beschreibung für weniger Einschränkungen, keine Zertifizierung. Das Modell könnte weniger kreative Anfragen ablehnen, aber es bedeutet nicht, dass es intelligenter oder zuverlässiger ist. Cherry Studio hat keinen einzelnen „Alle Modelle entschränken"-Schalter; du wählst einfach ein anderes Modell.
GGUF ist ein gängiges lokales Modellformat. Überprüfe das Basismodell, die unterstützten Sprachen und die Lizenz, bevor du die für dein Werkzeug geeignete Datei herunterlädst; du benötigst nicht das gesamte Repository.
Beginne mit 7B- oder 8B-, Q4-quantisierten Modellen. „B" ist die Parameterskala; „Q4" bedeutet, dass Gewichte komprimiert sind, weniger Speicher verbrauchen mit geringem Effektverlust. Um es in einem Agenten zu verwenden, bestätige, dass es Werkzeugaufrufe unterstützt.
Kleine Modelle können auf gewöhnlichen Computern laufen. Dolphin Mistral ist etwa 4 GB; ein 30B-Q4-Gewicht könnte 15-16 GB oder mehr sein, ohne Laufzeit-Overhead und Cache für lange Konversationen.
Ein Computer mit 16 GB RAM kann 7B- oder 8B-quantisierte Modelle ausprobieren; die Geschwindigkeit hängt vom Chip, VRAM und Kontextlänge ab. Um 30B auszuführen, überprüfe RAM/VRAM und Festplattenspeicher. Es könnte für ein paar Zeilen funktionieren, aber bei langen Materialien deutlich langsamer werden.
Wenn alles lokal läuft, werden Eingaben nicht an Cloud-Chat-Dienste gesendet, und es gibt keine API-Rechnung, aber es verbraucht die Leistung deines Computers. Wenn du Cloud-Suche, Einbettung oder Rerank verwendest, könnten diese Daten dennoch gesendet werden.
Hinweis: Die lokalen Einbettungs- und OCR-Komponenten, die in den Cherry Studio-Einstellungen heruntergeladen werden können, helfen bei der Abfrage und Texterkennung. Ihre Installation bedeutet nicht, dass du ein Chat-Modell installiert hast.
Wenn dir das nächste Mal jemand eine neue Modellschnittstelle schickt, verbinde sie und führe deine Testfragen aus. Wenn es passt, behalte es; wenn nicht, tausche es aus, ohne deine Arbeitsumgebung zu ändern.
Ich bin Miles, ein KI-Algorithmus-Experte, der von Big Tech zu FDE gewechselt ist, mit Erfahrung in F&E, Optimierung, Bereitstellung und Unternehmensschulung. Folge mir @miles_mazy, um gemeinsam zu wachsen und zu verdienen.
