LLM API 무료로 쓰는 방법 공유 드립니다. (개발자분들 꼭 보세요)
NVIDIA NIM에서 LLM 모델들을 API로 무료 제공하고 있는데, 의외로 모르시는 분들이 많으시더라구요.
주소:
https://build.nvidia.com/models?filters=nimType%3Anim_type_preview
개발 하면서 이런저런 LLM을 많이 사용하는데요, 요즘 개발 중에 모델 비교할 때 여기 꽤 잘 쓰고 있어서 공유드립니다.
쓰면서 느낀 장점은
- 오픈소스 모델 포함해서 다양한 모델들을 한 곳에서 비교 테스트 가능
- OpenAI 호환 API 형식이라 기존 코드에 엔드포인트만 바꾸면 바로 연동됨
- Tool use (Function calling) 지원하는 모델들도 있어서 에이전트 개발 테스트에도 OK
- 사이트에서 바로 playground로 돌려볼 수 있고, curl / Python 예제 코드 제공
1 / 3
제한 사항이라고 하면,
RPM 40 제한이 있고 일일 한도는 따로 없습니다.
혼자 개발/테스트용으로는 충분합니다.
저는 로컬에서 ollama 돌리다가 이쪽으로 넘어왔는데,
솔직히 대량 트래픽 아닌 이상 로컬보다 낫습니다.
모델 내려받고 GPU 굴릴 필요 없으니까요.
프로덕션 전에 모델 검토용으로 딱입니다.
(토이프로젝트에서 잘 사용하고 있습니다.)
가입하고 API 키 받으면 바로 쓸 수 있으니 한번 써보세요 👍