[AI 트랜드] 경량하 AI : CPU만으로 OpenAI급 성능? MongoDB 'LEAF' 공개

 

• 뉴스 요약:
  • 누가: MongoDB 리서치 팀이
  • 언제: 현지 시각 2025년 11월 26일 (한국 시각 27~28일 화제)
  • 무엇을: 파라미터 수가 단 2,300만 개(23M)에 불과한 초경량 임베딩 모델 'LEAF'를 오픈소스로 공개했습니다.
  • 어떻게: '지식 증류(Knowledge Distillation)' 기법을 활용하여, 크기는 획기적으로 줄이면서도 OpenAI의 거대 모델(text-embedding-3-large) 대비 검색 성능의 97%를 달성했습니다.
  • 왜: 고가의 GPU 없이 일반 CPU 환경에서도 고성능 검색 증강 생성(RAG) 시스템을 구축하기 위함입니다.
• 업계 반응 (Hacker News & GeekNews):
  • "드디어 로컬(Local)에서 RAG를 제대로 돌릴 수 있는 시대가 왔다."
  • "임베딩 비용 때문에 주저하던 스타트업들에게는 구세주 같은 소식."
  • "GPU 품귀 현상 속에서 이런 최적화 기술이 진짜 기술력이다"라는 긍정적 반응이 지배적입니다.
• njcin의 인사이트 제안:
  • (개발자) 무조건 크고 비싼 모델을 쓰는 게 능사가 아닙니다. 사내 검색이나 추천 시스템 구축 시, LEAF 같은 경량 모델을 도입해 **인프라 비용을 1/10로 줄이는 '비용 효율화'**를 제안해 보세요.
  • (마케터) 고객 데이터가 외부로 나가는 게 꺼려졌다면, 이제 **'온프레미스(사내 구축형) AI'**로 보안과 성능 두 마리 토끼를 잡을 수 있다는 점을 어필할 수 있습니다.
• 참고 자료: GeekNews (MongoDB LEAF 공개)

제미나이 이미지 [경량화 AI] "작은 고추가 맵다, CPU의 반란"