Großes Update! Mein Claude Skills Video-Editing-Agent bietet jetzt bessere Erkennung und eine neue Benutzeroberfläche

Hallo zusammen, ich bin Cheng Feng.

Editing Skills wurde aktualisiert.

Nach der Veröffentlichung der letzten Version habe ich viel Feedback erhalten. Die beiden häufigsten Probleme waren:

• Das Herunterladen eines 5 GB großen Modells dauerte Dutzende von Minuten, was viele dazu brachte, aufzugeben.
• Das zeilenweise Auffinden von Versprechern in einem Dokument war zu anstrengend.

Also habe ich diesmal eine große Überarbeitung vorgenommen:

Ich habe das Audio-/Video-Erkennungsmodell von Volcengine ersetzt und die Benutzeroberfläche aktualisiert.

Wie ist die Wirkung? Vergleichen wir es direkt mit CapCut (Jianying):

CapCut:

Im selben Video erkannte die KI alle Versprecher, die CapCut übersehen hatte, und die Darstellung ist besser.

Basierend auf dem Feedback der Nutzer konzentriert sich dieses Update hauptsächlich auf drei Aspekte.

1. Schneller: API ersetzt lokale Modelle

Die vorherige Version erforderte das Herunterladen eines 5 GB großen lokalen Modells, was viele als zu langsam empfanden.

Diesmal bin ich direkt auf API-Aufrufe umgestiegen.

• Schneller Download: Kein stundenlanges Warten auf das Modell.
• Schnelle Ausführung: API-Server sind viel schneller als Ihr Computer.

2. Genauer: Überarbeitete Versprecher-Erkennung

Die bisherige Versprecher-Erkennung war etwas grob; jetzt wurde das gesamte System überarbeitet.

Modellaustausch

Doubaos Audio-/Video-Untertitelung ist die genaueste Erkennung, die ich je erlebt habe.

(Danke an @极客杰尼 für den Tipp)

KI-semantisches Verständnis

Jetzt analysiert die KI Segment für Segment:

Es bewertet jedes Segment anhand von Regeln: Stille, wiederholte Sätze, Stotterwörter, Füllwörter...

Transparente Benutzergewohnheiten

Alle Erkennungsregeln werden in einem eigenen Ordner abgelegt:

Wenn Sie denken, dass eine Regel falsch ist, bearbeiten Sie einfach die Datei. Wenn Sie eine neue Regel hinzufügen möchten, erstellen Sie einfach eine neue .md-Datei.

3. Intuitiver: Visuelle Überprüfungsschnittstelle

Das ist die größte Verbesserung.

Bisher gab die KI nach der Bearbeitung einen Überprüfungsentwurf in der Befehlszeile aus. Sie mussten Probleme im Text finden und der KI mitteilen, was sie ändern soll.

Jetzt startet nach dem Start der Bearbeitung automatisch ein Überprüfungsdienst.

Öffnen Sie Ihren Browser, und Sie sehen eine Oberfläche ähnlich der CapCut-Bearbeitung von sprechenden Köpfen:

Zwei zusätzliche Funktionen wurden hinzugefügt:

Funktion 1: Geschwindigkeits-Button

Sie können das gesamte Video in doppelter Geschwindigkeit anhören.

Funktion 2: Löschliste kopieren

Diese Funktion dient dem KI-Lernen. Nach Bestätigung der Überprüfungsergebnisse klicken Sie auf "Löschliste kopieren", kopieren die Informationen zu den gelöschten Segmenten und teilen sie der KI mit. Die KI analysiert Ihre Ausdrucksgewohnheiten, um sie beim nächsten Mal genauer zu erkennen.

Das ist der selbstaktualisierende Mechanismus, den ich immer betont habe – je mehr Sie es nutzen, desto besser versteht es Sie.

Der Prozess ist jetzt viel einfacher und dauert nur 15 Minuten.

Schritt 1: Skills herunterladen (1 Minute)

Hilf mir, Editing Skills herunterzuladen:

- Adresse:

https://github.com/Ceeon/videocut-skills

- Speicherpfad: .claude/skills/ (Direkt in dieses Verzeichnis klonen, keine Unterordner erstellen)

Schritt 2: API-Schlüssel konfigurieren (3 Minuten)

Diesmal nutzen wir die Funktion "Audio-/Video-Untertitelgenerierung" von Volcengine.

Es gibt eine Testversion mit 20 kostenlosen Stunden:

Melden Sie sich bei der Volcengine-Modellverwaltung an und aktivieren Sie "Audio-/Video-Untertitelgenerierung":

API-Schlüssel abrufen:

Geben Sie /v ein, wählen Sie videocut:install, geben Sie den API-Schlüssel ein und schließen Sie die Konfiguration ab.

Schritt 3: Video bearbeiten (10 Minuten)

Geben Sie /v ein, wählen Sie videocut:edit und geben Sie den Videopfad ein.

Die KI wird automatisch:

1. Die API zur Transkription aufrufen
2. Den lokalen Überprüfungsdienst starten
3. Einen Link zur Überprüfungsschnittstelle bereitstellen

Öffnen Sie den Link, um die Überprüfungsschnittstelle zu sehen:

Hier können wir die Erkennungsgenauigkeit der KI überprüfen.

Bedienung: Umschalt + Ziehen, um Segmente auszuwählen oder abzuwählen.

Vier Funktionsschaltflächen:

1. Abspielen — Wie CapCut überspringt es automatisch ausgewählte Segmente.
2. Schnellwiedergabe — Eine Funktion, die CapCut fehlt; Sie können Videos mit langsamer Sprache beschleunigen.
3. Löschliste kopieren — Bei großen Unterschieden kopieren Sie Ihre Löschergebnisse, damit die KI Ihre Gewohnheiten lernt.
4. Bearbeitung ausführen — Nach Bestätigung klicken, um die Bearbeitung automatisch abzuschließen.

Sobald der Vorgang abgeschlossen ist, erscheint ein Video mit "cut" am Ende des Namens.

Schritt 4: Untertitel hinzufügen (3 Minuten)

Wie zuvor geben Sie /v ein und wählen videocut:subtitles.

Denken Sie daran, Ihre Eigennamen zur Wörterbuchdatei hinzuzufügen, um eine höhere Untertitelgenauigkeit zu erzielen.

Vier Schritte, vollständig visualisiert.

Wenn Sie es früher als mühsam empfunden haben, versuchen Sie es diesmal erneut.

Teilen Sie mir gerne in den Kommentaren mit, wie es Ihnen gefällt.