@feelfree_ai
LLM 성능 올린다고 무작정 더 큰 모델을 찾거나 파인튜닝부터 고민하셨다면, 일단 멈추고 이거부터 확인해 보세요.
파인튜닝 없이 모델의 추론 능력만 대폭 끌어올려 주는 'OptiLLM'입니다. 복잡한 작업 없이 기존에 쓰시던 OpenAI 호환 API 코드 중간에 프록시로 연결만 해주면 끝이에요.
요청이 들어올 때 MCTS, Best-of-N, 다중 에이전트 같은 20여 가지 최신 최적화 기법을 알아서 적용해 줍니다. 수학이나 코딩, 논리 추론 작업에서 정확도가 2~10배까지 올라간다고 하네요.
Ollama, LiteLLM 등 주요 프로바이더와 바로 호환되고 도커 환경도 지원합니다.
무거운 모델로 넘어가거나 데이터 깎으면서 고생하기 전에, 코드 수정 없이 API 단에서 바로 붙여서 효율 뽑아내기 정말 좋은 도구 같습니다.
유저 상황에 맞춰 알아서 최적의 AI를 픽해주는 똑똑한 라우터가 나왔습니다.
Inworld의 'Realtime Router' 입니다.
유저의 언어, 국적, 심지어 '감정 상태' 같은 데이터를 넘겨주면 OpenAI, 앤스로픽, 구글 등 수백 개 모델 중에서 제일 가성비 좋고 빠른 녀석을 실시간으로 연결해줍니다.
도입도 간단합니다. 기존 OpenAI SDK랑 호환돼서 그냥 Base URL만 슬쩍 바꿔 끼우면 끝이에요.
알아서 비용이나 지연 시간(Latency)을 최적화해주고, 특정 모델 서버가 터져도 다른 모델로 안전하게 넘겨주는 자동 페일오버 기능까지 지원합니다.
LLM API 비용을 줄이고 싶거나 서비스 안정성 때문에 골치 아프셨던 분들은 가볍게 한번 살펴보셔도 좋을 것 같습니다.
안드레이 카파시(Karpathy)가 제안했던 'LLM 위키' 아이디어, 드디어 쓸만한 맥(Mac) 전용 앱으로 나왔네요.
이름은 'Tolaria' 인데, 복잡한 클라우드나 월 구독 없이 오직 오프라인에서 마크다운 파일로 작동하는 지식 관리 툴입니다.
가장 마음에 드는 건 데이터 종속이 아예 없다는 점이에요.
모든 저장소가 Git 기반이라 버전 관리는 기본이고, 평범한 마크다운 포맷이라 어떤 에디터에서든 자유롭게 열어볼 수 있습니다.
AI(Claude, Gemini 등)에게 던져줄 컨텍스트용 문서나 개인 세컨드 브레인 구축할 때 쓰기 딱 좋게 설계됐습니다.
관심 있으신 분들은 한번 찍어먹어 보셔도 좋을 것 같습니다.
