LLM 성능 올린다고 무작정 더 큰 모델을 찾거나 파인튜닝부터 고민하셨다면, 일단 멈추고 이거부터 확인해 보세요.
파인튜닝 없이 모델의 추론 능력만 대폭 끌어올려 주는 'OptiLLM'입니다. 복잡한 작업 없이 기존에 쓰시던 OpenAI 호환 API 코드 중간에 프록시로 연결만 해주면 끝이에요.
요청이 들어올 때 MCTS, Best-of-N, 다중 에이전트 같은 20여 가지 최신 최적화 기법을 알아서 적용해 줍니다. 수학이나 코딩, 논리 추론 작업에서 정확도가 2~10배까지 올라간다고 하네요.
Ollama, LiteLLM 등 주요 프로바이더와 바로 호환되고 도커 환경도 지원합니다.
무거운 모델로 넘어가거나 데이터 깎으면서 고생하기 전에, 코드 수정 없이 API 단에서 바로 붙여서 효율 뽑아내기 정말 좋은 도구 같습니다.
