개아범

프롬프트를 3~4번 고쳐쓰는 게 기본값이 됐다면, 이미 돈이랑 시간을 버리고 있는 거다.

GitHub에 별 1만 개 넘게 찍힌 prompt-master라는 Claude 스킬이 있다. 이름만 보면 '또 프롬프트 엔지니어링 강의 같은 거겠지'라고 넘기기 쉬운데, 실제로는 Claude에 직접 설치해서 쓰는 스킬 파일이다. 내가 원하는 결과물을 Claude한테 대충 말하면, Claude가 그걸 해당 AI 도구에 맞는 최적화된 프롬프트로 변환해서 바로 뽑아주는 구조다.

이게 해결하는 문제가 딱 이거다.

막연하게 입력 → 원하는 결과 아님 → 다시 → 또 아님 → 4번째에 겨우 맞음.

나도 매일 이 패턴 반복하는데. API 직접 쓰는 입장에선 그 3번이 다 돈이고, 퇴근 후 남는 시간에 만지는 입장에선 그 시간이 너무 아깝다.

지원 범위가 꽤 넓다. Claude Code, GitHub Copilot, Windsurf, Cursor, Bolt, v0, Lovable 같은 코딩 도구는 물론이고, Midjourney, DALL-E, Stable Diffusion, ComfyUI, Sora, ElevenLabs, Zapier, Make까지 커버한다.

프롬프트를 감으로 짜고 있다는 걸 인정하기 싫었는데, 어느 순간부터 Claude 결과가 너무 들쑥날쑥해서 뭔가 문제가 있다는 건 알았다.

같은 작업인데 어떻게 쓰냐에 따라 결과 퀄리티가 다르더라. 근데 그게 모델 문제인지 내 프롬프트 문제인지 어떻게 구분하냐 -- 애매하게 그냥 쓰다가 찾은 게 PromptForge다.

GitHub 별 776개. Go로 만들어서 빠르다는 도구인데, 이름 뜻이 대장간(Forge)이다. 프롬프트 단조하는 작업대. 써보면 이름이 과장된 게 아니다. 데모 링크도 있지만 로컬로 띄워서 쓰는 게 편하다.

Docker 한 줄 치면 localhost:8080 에 웹 UI가 뜨고, 프롬프트 입력하면 AI가 분석을 먼저 뱉어준다. Quick Review 하면 즉각 최적화 제안이 나오고, Deep Analysis 들어가면 모범 사례 기준 점수까지 매겨준다. 점수가 나오면 어디가 약한지 명확하게 보인다. 감으로만 하던 걸 수치화해주는 거다.

제일 쓸모 있다 싶었던 건 자동 테스트 스위트 생성이다.

Claude Code로 퇴근 후 사이드 프로젝트 만지다 보면 꼭 막히는 순간이 생김. 새 라이브러리 도입하려고 '요즘 A랑 B 중에 뭐가 낫냐' 물어보면 걔 모름. 학습 데이터 끊긴 이후 건 모르고, 억지로 답 시키면 없는 거 지어내줌. 모른다고 하면 그나마 낫고, 자신 있게 틀린 정보 알려주는 게 제일 문제임. 이거 몇 번 당하면 리서치는 직접 해야겠다 싶어지는데, 퇴근 후 체력으로 탭 수십 개 열어가며 하기엔 솔직히 빡셈.

GPT Researcher라는 오픈소스 도구가 있음. GitHub 별이 27,983개 달린 프로젝트고, 어떤 주제든 자율 에이전트가 여러 웹소스를 병렬로 뒤져서 인용 포함한 상세 리서치 보고서를 자동으로 생성해주는 구조임.

이 도구가 노리는 문제가 명확해서 처음 봤을 때 눈에 들어왔는데 — LLM 기반 리서치의 구조적 한계 세 가지를 다 건드린다. 첫째, 최신 정보 못 다루는 문제. LLM은 학습 시점 이후는 그냥 모름. 어떤 모델이든 이건 피할 수 없는 한계인데, 이 도구는 웹에서 직접 끌어옴. 둘째, 할루시네이션. 출처 명시된 보고서를 뽑아주니까 검증이 가능해짐. 셋째, 긴 보고서 생성할 때 토큰 한계.

GitHub 스타 69,000개. 요구사항 한 줄 입력하면 PM이 분석하고, 아키텍트가 설계하고, 개발자가 코드 짠다. 혼자 만드는 사이드 프로젝트에 갑자기 팀이 생긴 느낌.

MetaGPT 얘기다.

처음 README 봤을 때 솔직히 황당했음. AI한테 역할을 할당해서 소프트웨어 회사 전체 프로세스를 통째로 흉내내는 게 핵심 컨셉이거든. 내부에서 프로덕트 매니저가 경쟁 분석 돌리고, 아키텍트가 시스템 설계 잡고, 프로젝트 매니저가 일정 조율하고, 엔지니어가 코드 짜는 구조. 각자 SOP(표준 운영 절차)대로 결과물을 주고받으면서 전체 흐름이 돌아감. 'Code = SOP Team'이 얘네 철학인데, 슬로건이 아니라 실제로 구현되어 있음.

Claude랑 연결하는 건 간단해. MetaGPT가 여러 LLM 백엔드를 지원하는 구조라서, 설정에서 Claude API 키 꽂아주면 됨. 기본값 GPT-4 대신 Claude Sonnet이나 Opus로 바꿔 돌릴 수 있고, 역할별로 다른 모델 쓰게 설정도 가능한 구조.