1
AI가 비디오를 프레임 단위로 보게 하려면 4,500만 토큰을 태워야 하지만, "읽게" 하면 12KB만 필요하다—누군가 후자를 영상 편집이 가능한 오픈소스 도구 video-use로 만들었고, 3개월 만에 12,835개의 별을 모았다.
그게 하는 일은 한 문장으로 설명할 수 있다: 원본 소스를 폴더에 던져 넣고, Claude Code와 두세 마디 주고받으면 잘린 final.mp4를 받아 본다. 대체되는 건 편집자의 미적 감각이 아니라, 편집자가 "프레임 단위로 타임라인 드래그, umm/uh/헛소리 수동 컷, 자막 맞추기" 이런 기계적 작업들—채움말, 샷 간 데드존 자동 제거, 각 컷 포인트마다 30ms 오디오 페이드인/아웃으로 폭음 방지, 자막은 기본 2단어 대문자 블록 분할.
왜 토큰을 폭발시키지 않을까?
핵심 설계는 "LLM은 결코 비디오를 보지 않고, 비디오를 읽는다"다. 한 번의 ElevenLabs Scribe 호출로 단어 수준 타임스탬프 + 화자 분리 + 오디오 이벤트(웃음소리/박수/한숨)를 얻고, 모든 소스를 약 12KB 크기의 takes_packed.md로 패킹해 메인 뷰로 삼는다; 컷 포인트에 모호함이 있을 때만 필요에 따라 timeline_view를 생성—필름 + 파형 + 단어 라벨의 PNG다. 작가가 직접 계산한 대로: 조잡한 방식은 30,000프레임 × 1,500토큰 = 4,500만 토큰의 노이즈지만, video-use는 12KB 텍스트 + 몇 장의 PNG다. 이건 browser-use가当年 LLM에게 스크린샷 대신 구조화된 DOM을 먹인 것과 같은 방법론으로, 웹페이지에서 비디오로 옮긴 버전일 뿐이다.
파이프라인을 뒤집어 보니, 가장 독한 건 자가 평가 단계다.