로컬 LLM 구축::LLM 모델 선정(1차) 안녕하세요. 클스입니다. 점차 기업은 외부 LLM 을 많이 사용합니다. 그러나 보안 문제와 증가하는 비용 문제, 그리고 업무에 자율적으로 활용하려면 로컬LLM 구축이 필요해 보입니다. 그래서 로컬 LLM 구축에 필요한 LLM을 좀 찾아보고 있습니다. 또한 기업에서 로컬 LLM 구축에 fine-tuning해서 자기 회사에 맞게 모델을 갖는다라는 욕심이 있지만, 이는 천문학적인 금액과 자원/시간이 필요하고 기존 chatgpt, gemini, claude의 성능을 50%라도 따라 갈 수 있을까? 제 생각으로는 어려다고 판단되어, 오픈모델 + Hybrid RAG로 구성해서 로컬 LLM 구축하는 것이 추후 유연성, 확장성을 고려한다면 최선이지 않을까 생각 됩니다. 여기에 확장해서 agent workflow까지 추가하면 업무는 외부 도움 없이 자동화가 가능하지 않을까 합니다. LLM 테스트 하면서 궁금한 점 아래 결과를 보면 알겠지만, 한국어, 숫자계산 잘한다고 했는데 결과는 잘 안나옵니다. 분명 여러 블로그, 유투브를 보면 전부 좋다고 하는데 왜? 나는 결과가 저렇게 나올까? 내가 어떤 걸 누락했을까? 또한 요즘은 LLM 제공하는 회사가 API와 Playground를 제공합니다. 사이트에서 테스트 해보면 거긴 같은 모델기반 이지만 훨씬 한국어와 계산을 잘합니다. 오픈한 모델과 서비스에 사용하는 모델의 차이가 뭘까? oss-gpt 이런거 사용해도 되는가? 라이센스? 원하는 품질을 달성할 수 있는가? LLM 테스트 결과::지극히 간단한 테스트 입니다. 테스트 환경 : 맥스투디오 M1 울트라 128GB, ollama, open-webui 테스트 질문: 내가 치과에서 300만원을 썼고 보험에서 150만원 받았어, 우리회사 규정은 치과 진료비에 대해 본인 부담금에서 10만원 공제하고, 최대 30만원까지 지원해주는데 그럼 내가 얼마 받을 수 있어? 한국어로 답해줘 로컬 모델별 답변 요약 평가: 모델명 답변 평가 Co...