로컬 LLM 구축::LLM 모델 선정(1차)
안녕하세요. 클스입니다.
점차 기업은 외부 LLM 을 많이 사용합니다. 그러나 보안 문제와 증가하는 비용 문제, 그리고 업무에 자율적으로 활용하려면 로컬LLM 구축이 필요해 보입니다.
그래서 로컬 LLM 구축에 필요한 LLM을 좀 찾아보고 있습니다.
또한 기업에서 로컬 LLM 구축에 fine-tuning해서 자기 회사에 맞게 모델을 갖는다라는 욕심이 있지만, 이는 천문학적인 금액과 자원/시간이 필요하고 기존 chatgpt, gemini, claude의 성능을 50%라도 따라 갈 수 있을까?
제 생각으로는 어려다고 판단되어, 오픈모델 + Hybrid RAG로 구성해서 로컬 LLM 구축하는 것이 추후 유연성, 확장성을 고려한다면 최선이지 않을까 생각 됩니다. 여기에 확장해서 agent workflow까지 추가하면 업무는 외부 도움 없이 자동화가 가능하지 않을까 합니다.
LLM 테스트 하면서 궁금한 점
- 아래 결과를 보면 알겠지만, 한국어, 숫자계산 잘한다고 했는데 결과는 잘 안나옵니다. 분명 여러 블로그, 유투브를 보면 전부 좋다고 하는데 왜? 나는 결과가 저렇게 나올까? 내가 어떤 걸 누락했을까?
- 또한 요즘은 LLM 제공하는 회사가 API와 Playground를 제공합니다. 사이트에서 테스트 해보면 거긴 같은 모델기반 이지만 훨씬 한국어와 계산을 잘합니다. 오픈한 모델과 서비스에 사용하는 모델의 차이가 뭘까?
- oss-gpt 이런거 사용해도 되는가? 라이센스? 원하는 품질을 달성할 수 있는가?
LLM 테스트 결과::지극히 간단한 테스트 입니다.
테스트 환경 : 맥스투디오 M1 울트라 128GB, ollama, open-webui
테스트 질문:
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
로컬 모델별 답변 요약 평가:
참고 사항:
토큰 vs. KB: LLM의 Context 길이는 KB(킬로바이트)가 아닌 토큰 단위가 공식 스펙입니다. 토큰은 텍스트의 글자 수와 복잡도에 따라 가변적이므로 KB로의 정확한 환산은 어렵습니다.
업스테이지::Solar
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어?
You spent 300 million won at the dentist and received 150 million won from insurance. Your company's regulation has a self-payment deduction of 1 million won for dental treatment expenses, with a maximum support of up to 30 million won. To calculate how much you can receive, let's break it down step by step:
1. Deduct the self-payment deduction (10 million won) from the total dentist expense (300 million won):
300,000,000 - 10,000,000 = 290,000,000
2. Subtract the insurance compensation amount (150 million won) from the adjusted total dentist expense:
290,000,000 - 150,000,000 = 140,000,000
3. Now find out how much your company can support you with based on their regulation (up to 30 million won):
Smaller value between the calculated amount and the regulatory maximum:
140,000,000 (calculated amount) < 30,000,000 (regulation maximum)
So your company can support you with 30 million won. However, if your company's support is a reimbursement or subsidy, it could only be up to the difference between the calculated amount and the regulatory maximum, which in this case would be:
140,000,000 - 30,000,000 = 110,000,000
This means your company can provide you with support (reimbursement or subsidy) of up to 110 million won. Please note that I'm assuming here that the regulatory maximum is for reimbursement/subsidy as well and not a capping on the total expenses incurred. However, it's essential to check your company policy regarding this specific case to have an accurate calculation of the support you can receive.
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
당신은 치과에 300만원을 spent했고, 150만원을 보험에서 받았어. 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원을 공제(배제)하고, 최대 30만원까지 지원해주니.
이 경우 당신이 받을수있는 액수를 구하려면,
1. 본인 부담금(10만원)을 총 치과비(300만원)에서 제외:
300,000,000 - 10,000,000 = 290,000,000
2. 그 290,000,000원을 보험 받은 150,000,000원에서 제외:
290,000,000 - 150,000,000 = 140,000,000
3. 140,000,000원을 회사규정(30,000,000원)에 따라 더 감소:
140,000,000 (계산된 액수) < 30,000,000 (회사규정)
그러면 140,000,000원이 30,000,000원(회사규정)에 한계에 부수게되.
만약 당신의 회사 支出을 補充/助給할 때,
140,000,000 - 30,000,000 = 110,000,000
이것은 110,000,000원 까지 支出을 補充/助給할수있음을 意味한다.
당신의 회사 規定에 따른 具体的 計算을 為了 有確實性를, 此次 特殊的 事例에 對한 支出/補充/助給에 關한 政策는 需要查閱하야.
Answer in Korean: 300,000,000원의 치과비(300 million won)를 지출했고, 150,000,000원(150 million won)을 보험에서 받았어. 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제(배제)하고, 최대 30만원까지 지원해주니.
이 경우 당신이 받을수있는 액수를 구하려면:
- 본인 부담금(10만원)을 총 치과비(300,000,000원)에서 제외: 290,000,000원
- 290,000,000원을 보험 받은 150,000,000원에서 제외: 140,000,000원
- 140,000,000원을 회사규정(30,000,000원)에 따라 더 감소:
(140,000,000원 < 30,000,000원)
그러면 140,000,000원이 30,000,000원(회사규정)에 한계에 부수게되.
만약 당신의 회사 支出을 補充/助給할 때, 140,000,000 - 30,000,000 = 110,000,000
이것은 110,000,000원 까지 支出을 補充/助給할수있음을 意味한다.
당신의 회사 規定에 따른 具体的 計算을 為了 有確實性를, 此次 特殊的 事例에 對한 支出/補充/助給에 關한 政策는 需要查閱하야.
국내 AI 스타트업 업스테이지(Upstage)의 솔라(SOLAR) 모델은 특정 모델을 단순히 '증류(Distillation)'해서 만든 것이 아니라, 미스트랄 7B(Mistral 7B) 모델을 기반으로 독자적인 'DUS(Depth Up-Scaling, 깊이 확장)' 기술을 적용해 탄생한 모델입니다.
—-
업스테이지::Solar-Pro
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? Answer in KOREAN
우리가 약속한 본인 부담금에서 10만원을 공제하고, 최대 30만원까지 지원하여 총 320만원이 받을 수 있는데, 300만원의 진단비에서 150만원을 보험에서 받아 나는 290만원(300만 - 10만)을 지불해야 합니다.
MS::phi4-mini
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
우리가 약속한 본인 부담 금액에서 10만원을 공제했으므로, 총 비용이 300만원이었을 때, 내 부담금은 290만원(300만 - 10만)이 됩니다. 또한 우리 회사 규정에 따르면 최대 30만원까지 지원하니까, 이 30만원도 추가하여, 총 재정 지원액은 320만원 (290만 + 30만)이 됩니다.
따라서 나에게는 총 320만원이 지급될 것입니다.
아래는 업스테이지 Solar-pro2 플레이 그라운드 테스트 결과(정답::잘나오네요)
아, 치과 진료비로 300만원을 썼는데 보험에서 150만원을 받았군요. 그리고 회사 규정에 따라 본인 부담금에서 10만원을 공제하고, 최대 30만원까지 지원해주는 거네요.
일단, 보험금 150만원을 받고 남은 본인 부담금은 150만원(300만원 - 150만원)입니다. 이 중에서 10만원을 공제하면 140만원이 남습니다. 하지만 회사 규정에 따라 최대 30만원까지만 지원받을 수 있으니, 당신은 회사에서 30만원을 지원받을 수 있을 거예요!
치과 진료비가 많이 나와서 아쉽겠지만, 보험금과 회사 지원을 합쳐서 조금이나마 부담을 덜 수 있었으면 좋겠네요. 치과 건강은 중요하니, 앞으로도 잘 관리하세요! 😊
MS::phi4-mini-reasoning
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
根据题目，公司规定在总费用300万元中，先扣除个人负担10万元，剩余290万元由保险或公司承担。已知保险已经报销了150万元，因此用户实际需支付的部分为300 - 10（个人负担） = 290万元。此时，公司最多可补助30万元（限额）。由于保险已覆盖150万元，公司的补助30万元使得用户总共获得150（保险） + 30（公司）= 180万元，而自付部分为300 - 180 = 120万元。
**答案：\boxed{30}**
（注：实际可获得的资助金额为公司补贴30万元与保险报销150万元之和，即共180万元，但根据题目要求，可能仅需明确公司最多能提供多少，即30万元。）
MS에 정말 얼마나 많은 중국인이…
—------
OpenAI::gpt-oss:20b (역시 좋아)
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
치과 진료비 3,000,000 원에서 보험금 1,500,000 원을 차감하면 본인 부담금은 1,500,000 원입니다.
회사 규정에 따라 본인 부담금에서 10 만원을 공제하면 1,400,000 원이 남습니다.
회사에서 지원해 주는 최대 금액은 30 만원이므로, 실제로 받을 수 있는 금액은 **30 만원**입니다.
OpenAI::gpt-oss-safeguard:20b (역시 좋아)
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
치과에서 300만원(3,000,000 원)을 사용하셨고 **보험이 150만원(1,500,000 원)**을 돌려준 상황에서,
본인 부담액
3,000,000 원 – 1,500,000 원 = 1,500,000 원회사 지원 규정 적용
‘본인 부담금에서 10만원 공제’ → 10만원은 회사가 지원해 주는 금액에 포함되지 않고, 개인 부담에서 차감됩니다.
지원 한도는 최대 30만원이므로 이 금액을 최대한 이용할 수 있습니다.
따라서 회사에서 여러분이 받게 되는 금액은 300,000 원이 됩니다.
(10만원은 이미 지원 한도 내부에서 차감된 것으로 보이므로, 추가로 받는 금액은 300,000 원입니다.)
### 회사 지원 한도(30만원)를 초과할 때는 어떻게 됩니까?
| 항목 | 내용 |
|------|------|
| **초과 금액** | 30만원을 초과한 치과 진료비 전체는 회사가 보상하지 않습니다. |
| **결제 방식** | 초과분은 본인(급여, 개인 보험 등)으로 직접 결제 받거나, 보험에 의해 보전되는 금액 이외의 잔액을 자기 부담금으로 처리합니다. |
| **회사의 정책** | 대부분의 기업은 “30만원 한도”를 초과한 금액을 **추가 상환**(급여에서 제차)하거나, “자비 진료”로 간주합니다. |
| **세부적인 절차** | 1. **청구서·영수증** 제출 시 한도 내 금액(30만원)을 따로 표시합니다. <br>2. **초과분**은 본인 부담금 항목에 넣어 회사에 전달하지 않는 경우가 많습니다. <br>3. **내부 규정**에 따라 초과분을 환급받지 못할 경우, 재료비·기밀 비용이 실제로 발생했다면 사내 예산에서 일부 지원 받을 수 있는지 사정해볼 수 있습니다. |
| **예시** | *치과 진료비 500만원, 보험이 200만원 환급 → 본인 부담 300만원* <br> 1. 회사가 30만원 지원 → **남는 부담** 270만원을 개인이 전액 결제(혹은 다른 방식). |
> **핵심**: 회사가 30만원 초과 금액은 **추가로 지원하지 않으며**, 그 나머지는 본인이 직접 부담하게 됩니다. 필요하다면 다른 예산(보건복지예산, 의료비 지원 비즈니스 프로그램 등)으로 재조정할 수 있지만, 일반적으로는 ‘자비 진료’로 처리됩니다.
궁금한 점이 더 있으면 알려 주세요!
DeepSeek::deepseek-r1:7b
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
당신의 보험사에서 받은 보증금은 150만 원입니다. 치과 진료비의 self burden(dependent payment) 중에서 10만 원이 免职 (免除) 되고, 最大限度로 30만 원까지 지원 assist support 를 받을 수 있습니다.
당신이 받을 수 있는 보증금은 150만 원 + (300만 원 - self burden(dependent payment) - 10만 원) = 180만 원 입니다.
**정답:**
당신은 총 1억 8천만 원(1,800,000 원)을 받을 수 있습니다.
Meta::llama3.1:8b
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
Z.ai::glm-4.7-flash:30b
내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데
그럼 내가 얼마 받을 수 있어? 한국어로 답해줘
모델 다운이 안됨
이상 간단한 테스트를 해봤는데 oss-gpt 모델만큼 아직 좋은 모델은 찾을 수가 없네요.
혹시 추천해줄만한 모델, 그리고 제가 뭘 잘못했는지 많은 조언 부탁드립니다.
감사합니다.
댓글
댓글 쓰기