← 전체 글

LLM만으로 충분할까? 실무에서 쓰는 언어 모델 5가지와 선택 기준

TL;DR

  • 필요한 출력이 답변인지, 벡터인지, 관련도 점수인지, 라벨인지, 원문의 일부인지부터 구분합니다.
  • 문서 Q&A라면 검색과 답변 생성부터 시작하고, 후보는 찾지만 순서가 문제일 때 리랭커를 검토합니다.
  • 같은 역할의 모델은 내 서비스의 한국어 데이터로 비교합니다. 품질과 함께 p95 지연, 비용, 서빙 조건도 봅니다.

들어가며

“이 기능에 어떤 LLM을 붙이면 될까요?”라는 질문을 받으면, 모델 이름을 비교하기 전에 필요한 출력을 먼저 적어보는 편이 좋습니다. 예를 들어 “이 문서가 환불 정책과 관련 있는가?”와 “이 문서에서 환불 기한이 적힌 표현은 어디인가?”는 같은 문서를 보지만 다른 결과를 요구합니다.

아래 다섯 가지는 모델의 계보나 서로 배타적인 종류가 아니라 서비스에서 맡기는 역할입니다. 생성형 LLM도 분류나 추출을 할 수 있지만, 결과 형태와 요구사항이 일정하면 전용 모델이나 간단한 규칙을 함께 비교해볼 만합니다.


1. 실무에서 쓰는 언어 모델 5가지

역할 입력 → 출력 비교를 시작할 후보 쓰는 곳
생성·추론 질문·지시·문맥 → 답변, JSON, 코드 Qwen3-8B 질의응답, 요약, 복합 조건 구조화
임베딩 질문 또는 문서 → 의미를 표현하는 벡터 BGE-M3, multilingual-e5-base 의미 기반 검색, 유사 문서 찾기
리랭킹 질문과 후보 문서 → 문서별 관련도 점수 Qwen3-Reranker-0.6B, bge-reranker-v2-m3 검색 후보 재정렬
분류 요청 또는 문서 → 하나 이상의 라벨 GLiClass 의도 판별, 요청 라우팅
개체 추출 원문 → 원문 구간과 라벨 GLiNER 날짜·이름·조건 표현 추출

표는 2026년 11월 기준 공식 모델 카드와 저장소를 토대로 정리한 후보 목록입니다. 같은 한국어 데이터에서 직접 비교한 순위가 아닙니다. 임베딩 행은 벡터 검색을 기준으로 단순화했습니다. 예를 들어 BGE-M3는 밀집 벡터 외에 희소 검색과 멀티벡터 검색도 지원합니다.


2. 사내 문서 Q&A에 붙여보면

가상의 업무 규정 검색에서 “출장비 영수증은 귀국 후 언제까지 제출해야 하나요?”라는 질문이 들어왔다고 해보겠습니다.

  1. 임베딩 검색은 질문과 문서 조각을 비교해 ‘출장비 정산 규정’, ‘업무 경비 제출 절차’ 같은 후보를 가져옵니다. 질문과 문서의 표현이 꼭 같을 필요는 없습니다.
  2. 리랭커는 질문과 각 후보를 함께 보고 순서를 다시 매깁니다. 출장 안내 전반을 담은 문서보다, 귀국 후 제출 기한이 적힌 조항이 위에 오는지를 확인합니다. 처음부터 후보에 없던 문서는 여기서 되살릴 수 없습니다.
  3. 생성 모델은 상위 문서에서 제출 기한과 예외 조건을 읽어 답변을 만듭니다. 근거 조항을 함께 보여주고, 기한이 적힌 문서를 찾지 못하면 추측하지 않고 확인이 필요하다고 답하게 합니다.

분류와 개체 추출은 필요할 때 따로 붙이면 됩니다. 분류는 이 질문을 ‘출장비 정산’으로 라벨링해서 어느 검색 경로로 보낼지 결정합니다. 개체 추출은 규정에 “귀국 후 7일 이내”라는 문구가 있을 때 해당 구간을 원문에서 그대로 뽑습니다. 마감일을 실제 날짜로 계산해야 한다면, 추출한 조건을 검증한 뒤 날짜 계산은 코드에 맡기는 편이 명확합니다.


3. 추천 모델은 어떻게 고를까?

  • 검색 후보 자체가 부족한 경우: 임베딩 모델만 교체하기 전에 문서 분할, 인덱싱 누락, 키워드 검색을 함께 점검합니다. 제품 코드나 양식 번호처럼 정확히 일치해야 하는 표현은 키워드 검색을 함께 쓰는 편이 유리할 수 있습니다.
  • 근거 문서는 찾는데 순서가 밀리는 경우: 동일한 후보에 리랭커를 적용하고, 정답 문서가 상위 결과에 더 자주 들어오는지와 늘어난 응답 지연을 같이 봅니다.
  • 근거는 맞는데 답변이 틀리는 경우: 생성 모델 후보를 비교하되, 답변의 사실 일치, 근거 표시, 모를 때 답을 보류하는지를 각각 평가합니다. JSON 형태가 맞아도 그 안의 값이 올바르다는 뜻은 아닙니다.
  • 라벨이나 원문 구간만 필요한 경우: 고정 규칙이나 전용 모델을 먼저 기준선으로 잡아봅니다. 분류는 라벨별 정밀도·재현율을, 추출은 라벨뿐 아니라 구간의 시작과 끝이 정확한지도 봅니다.

저라면 작은 한국어 검증셋으로 시작하겠습니다. 약어, 비슷한 규정, 예외 조건, 답이 없는 질문을 섞고, 같은 입력을 후보 모델에 넣어 비교합니다. 운영 관점에서는 평균 응답시간만 보지 않고 p95 지연, 요청당 비용, 자체 서빙에 필요한 자원과 체크포인트별 라이선스까지 확인합니다.


마무리

일단 검색과 생성만으로 첫 버전을 만들고, 틀린 결과를 보고 다음 모델을 고르는 편이 낫습니다. 후보를 못 찾는 문제와 후보는 찾았는데 순서가 틀리는 문제는 해결책이 다릅니다. 지금 틀린 단계가 어디인지 알면, 어느 모델을 추가하거나 바꿀지도 훨씬 선명해집니다.

Comments