OpenAI gpt-4.1 시리즈 발표, Anthropic Claude에 대한 생각
안녕하세요. 클스 입니다.
4/15일자로 openai가 gpt-4.1 시리즈를 발표 했습니다. 현재는 api로만 사용가능합니다. 점차 웹/앱 사용자에게 오픈 될거라 생각 됩니다.
비용상 문제로 4.1-mini, nano를 사용해서 chatbot을 만들어 보고 있습니다.
4o 시리즈 보다는 확실히 빠르고, 답변의 정확도는 올라간 것 같습니다.
앤트로픽 클로드와 비교를 많이 하는데, 업무 시스템 혹은 AI 솔루션을 개발하는 입장에서는 어떤 생태계를 제공하는가가 주요한 결정 입니다.
AI관련 인력을 충분히 보유한 회사의 경우는 어떤걸 사용해도 좋을 결과를 가지겠지만
일반적인 챗봇 개발 절차를 보면 다음과 같이 볼 수 있습니다.
1. 문서를 준비한다. 대부분 pdf, text, markdown
2. 문서를 파싱해서 vectordb에 올린다.
- 별도 벡터디비 구성 필요. 어떤 db를 선택할지 고민 필요
- 어떤 Parser를 사용할지, 텍스트 오버래핑은 얼마가 적당한지 고민 필요
(회사의 문서가 워낙 많고, 다양하면 하나하나 테스트 해서 좋은걸 선택하는 것이 어렵다)
- 유사도 측정은 어떤 알고리즘을 써야할지 고민 필요
- llamaindex도 고민해야 함.
3. RAG flow를 만든다.
- langchain을 쓸지, 각 AI 벤더에서 제공하는 sdk를 쓸지 고민 필요
(대부분 락인이 되지 않으려면 langchain을 사용하면 좋지만, 벤더에 특화면 기능 적용이 늦음)
4. 챗봇 UI 앱을 만든다.
- 답변이 text 로 구성되다 보니. 그래프, 이미지등 복합적인 컨텐츠를 재배치 하여 표현하기 상당히 어렵네요. (이건 제가 실력이 모자라서 .. 패스)
- 내부 사용자별 권한 처리 필요
일단 openai 는 2번 3번에 관련된 것을 직접해도 되지만, openai 보다 잘하기 어렵기 때문에 assistant v2 를 사용하면 편합니다. 물론 텍스트 800자 오버래핑 200자가 기준이라 긴 문단은 이해를 잘 못하는 문제가 있긴 합니다. 이것도 외부에서 설정할 수 있으면 좋겠습니다.
[2025-05-02]
파일을 업로드 할때, advanced option 에 보면 chunk size, overlap size를 수정할 수 있네요
마지막으로 claude 에 대한 개인적인 생각입니다.
aws가 투자를 하다보니, aws 솔루션에 락인이 너무 되어 있다. vectordb(opensearch)를 제공하지만,
비용을 지불해야 합니다. bedrock로 좋은 컨셉이지만 이 또한 비용...
물론 assistant는 하나의 assistant가 몇개의 문서를 올리면 자동으로 vectordb를 구성해주니 편리한 장점이 있지만, 문서가 많으면 업로드 제한이 있습니다.
별도 vectordb를 구성하면, 문서에 대한 제한을 극복하겠지만, 사용자의 질문에 유사한 답변을 찾기가 너무 어렵네요.
그외 n8n 등으로 workflow 작성하고, chatbot을 구현하면 편리하긴 할 것 같습니다.
수많은 테스트, 최적을 찾는 것이 상당한 업무량으로 다가옵니다.
저는 개인적으로 assistant v2가 편의성 측면에서는 현재는 aws+claude 보다 좋다고 생각합니다.
공부를 더 해보면 달라질 수 있습니다. 아는 만큼 보이는 거라서..
그럼 즐거은 AI 개발 되세요. 운동하기 좋은 계절입니다. 목디스크 조심하세요.
댓글
댓글 쓰기