대규모 업데이트! Claude 기반 영상 편집 에이전트, 인식 성능 및 UI 개선

@chengfeng240928
중국어5개월 전 · 2026년 1월 28일
226K
494
94
20
871

TL;DR

Cheng Feng이 자신의 Claude Skills 편집 도구에 대한 대규모 업데이트를 공개했습니다. 이번 업데이트에는 속도 향상을 위한 API 기반 처리, 시각적 검토 인터페이스, 그리고 말실수를 더 효과적으로 식별하고 제거하기 위한 자가 학습 메커니즘이 포함되었습니다.

안녕하세요, 저는 청펑입니다.

Editing Skills가 업데이트되었습니다.

지난 버전이 출시된 후 많은 피드백을 받았습니다. 가장 흔한 두 가지 문제는 다음과 같았습니다.

  • 5GB 모델을 다운로드하는 데 수십 분이 걸려서 많은 분들이 포기했습니다.
  • 문서에서 한 줄씩 말 실수를 찾는 것이 너무 힘들었습니다.

그래서 이번에는 대대적인 개편을 진행했습니다.

Agent成峰 - inline image

Volcengine의 오디오/비디오 인식 모델을 교체하고 인터페이스를 업그레이드했습니다.

효과는 어떨까요? CapCut( Jianying)과 직접 비교해보겠습니다:

Editing Skills:

Agent成峰 - inline image

CapCut:

Agent成峰 - inline image

같은 영상에서 AI가 CapCut이 놓친 모든 말 실수를 식별했으며, 표시 효과도 더 좋습니다.

사용자 피드백을 바탕으로, 이번 업데이트는 주로 세 가지 측면에 초점을 맞췄습니다.

1. 더 빠르게: API가 로컬 모델을 대체

이전 버전은 5GB 로컬 모델을 다운로드해야 했는데, 많은 분들이 너무 느리다고 하셨습니다.

이번에는 바로 API 호출로 전환했습니다.

  • 빠른 다운로드: 모델을 기다리며 몇 시간을 보낼 필요가 없습니다.
  • 빠른 실행: API 서버가 여러분의 컴퓨터보다 훨씬 빠릅니다.

2. 더 정확하게: 말 실수 인식 기능 개선

기존 말 실수 인식은 다소 조잡했는데, 이제 전체 시스템을 재구성했습니다.

모델 교체

Doubao의 오디오/비디오 자막 생성 기능은 제가 경험한 것 중 가장 정확한 인식입니다.

(@极客杰尼 님께 감사드립니다)

AI 의미 이해

이제 AI가 세그먼트별로 분석합니다:

Agent成峰 - inline image

각 세그먼트를 규칙에 따라 판단합니다: 무음, 반복 문장, 더듬는 단어, 군더더기 말...

사용자 습관 투명화

모든 인식 규칙은 별도의 폴더에 저장됩니다:

Agent成峰 - inline image

규칙이 잘못되었다고 생각되면 파일을 수정하면 됩니다. 새 규칙을 추가하고 싶다면 .md 파일을 새로 만들면 됩니다.

3. 더 직관적으로: 시각적 검토 인터페이스

이번 업데이트에서 가장 큰 개선점입니다.

이전에는 편집 후 AI가 명령줄에 검토 초안을 출력했습니다. 텍스트에서 문제점을 찾아 AI에 무엇을 변경할지 알려줘야 했습니다.

이제 편집을 시작하면 검토 서비스가 자동으로 시작됩니다.

브라우저를 열면 CapCut의 말하는 머리 편집 인터페이스와 유사한 화면이 나타납니다:

Agent成峰 - inline image

두 가지 추가 기능이 생겼습니다:

기능 1: 속도 버튼

영상 전체를 2배속으로 들을 수 있습니다.

기능 2: 삭제 목록 복사

이 기능은 AI 학습용입니다. 검토 결과를 확인한 후 "삭제 목록 복사"를 클릭하고, 삭제된 세그먼트 정보를 복사하여 AI에 알려줍니다. AI가 여러분의 표현 습관을 분석하여 다음 번에 더 정확하게 식별할 수 있습니다.

이것이 제가 항상 강조해온 자가 업데이트 메커니즘입니다. 사용할수록 여러분을 더 잘 이해하게 됩니다.

Agent成峰 - inline image

이제 과정이 훨씬 간단해졌으며, 단 15분밖에 걸리지 않습니다.

Agent成峰 - inline image

1단계: Skills 다운로드 (1분)

Editing Skills를 다운로드해주세요:

- 주소:

https://github.com/Ceeon/videocut-skills

- 저장 경로: .claude/skills/ (이 디렉터리에 직접 클론, 하위 폴더를 만들지 마세요)

2단계: API Key 설정 (3분)

이번에는 Volcengine의 "오디오/비디오 자막 생성" 기능을 사용합니다.

20시간 무료 체험 기회가 있습니다:

Agent成峰 - inline image

Volcengine 모델 관리에 로그인하여 "오디오/비디오 자막 생성"을 활성화하세요:

Agent成峰 - inline image

API Key를 받으세요:

Agent成峰 - inline image

/v 를 입력하고 videocut:install을 선택한 후 API Key를 입력하여 설정을 완료하세요.

Agent成峰 - inline image

3단계: 영상 편집 (10분)

/v 를 입력하고 videocut:edit을 선택한 후 영상 경로를 입력하세요.

Agent成峰 - inline image

AI가 자동으로:

  1. API를 호출하여 자막 생성
  2. 로컬 검토 서비스 시작
  3. 검토 인터페이스 링크 제공
Agent成峰 - inline image

링크를 열면 검토 인터페이스가 나타납니다:

Agent成峰 - inline image

여기서 AI의 인식 정확도를 확인할 수 있습니다.

작동 방법: Shift + 드래그로 세그먼트를 선택 또는 해제합니다.

네 가지 기능 버튼:

  1. 재생 — CapCut과 마찬가지로 선택한 세그먼트를 자동으로 건너뜁니다.
  2. 속도 재생 — CapCut에는 없는 기능으로, 말이 느린 영상을 빠르게 볼 수 있습니다.
  3. 삭제 목록 복사 — 차이가 크다면 삭제 결과를 복사하여 AI가 여러분의 습관을 학습하도록 합니다.
  4. 편집 실행 — 확인 후 클릭하면 자동으로 편집이 완료됩니다.

완료되면 파일 이름 끝에 "cut"이 붙은 영상이 생성됩니다.

Agent成峰 - inline image

4단계: 자막 추가 (3분)

이전과 마찬가지로 /v 를 입력하고 videocut:subtitles를 선택하세요.

Agent成峰 - inline image

사전 파일에 고유 명사를 추가하면 자막 정확도가 더욱 높아집니다.

Agent成峰 - inline image

네 단계, 완전히 시각화되었습니다.

이전에 번거롭다고 느끼셨다면 이번에 다시 시도해보세요.

댓글로 의견을 남겨주시면 감사하겠습니다.

원클릭 저장

YouMind로 바이럴 글을 AI 심층 읽기

소스를 저장하고, 핵심 질문을 던지고, 주장을 요약해 바이럴 글을 다시 활용할 수 있는 노트로 바꾸세요. 하나의 AI 워크스페이스에서 모두 할 수 있습니다.

YouMind 둘러보기
크리에이터를 위해

당신의 Markdown을 깔끔한 𝕏 글로

직접 쓴 장문을 올릴 때 이미지, 표, 코드 블록을 𝕏에 맞게 정리하는 일은 번거롭습니다. YouMind는 전체 Markdown 초안을 깔끔하고 바로 게시할 수 있는 𝕏 글로 바꿔 줍니다.

Markdown → 𝕏 사용해 보기

분석할 패턴 더 보기

최근 바이럴 아티클

더 많은 바이럴 아티클 보기