저도 같은 문제로 고생했는데 RAG 파이프라인 구축해서 컨텍스트 윈도우 문제 어느 정도 해결했어요. 긴 문서는 청킹해서 관련 부분만 집어넣으니까 훨씬 나아졌습니다. 솔라는 확실히 한국어 잘하더라고요.
오류해결
요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?
회사 보안 때문에 클라우드 기반 AI 서비스를 못 쓰게 돼서 한 달 전부터 로컬 LLM 가지고 놀고 있는데, 생각보다 선택지가 많더라고요. 처음엔 라마2 돌려봤는데 정확도가 좀 아쉬웠어요. 그래서 지금은 미스트랄이랑 솔라 모델을 번갈아 쓰고 있습니다.
특히 솔라가 그럭저럭 괜찮더라고요. 한국어 처리도 꽤 자연스럽고, 토큰 출력 속도도 내 RTX 3090에서는 충분히 쓸만한 수준이거든요. 근데 매번 프롬프트를 튜닝해야 하는 게 좀 번거롭습니다. 클라우드 기반 API 쓸 땐 생각 안 하던 문제네요.
가장 큰 문제는 메모리인데, 8비트 퀀타이제이션을 써도 한두 개의 탭에서 컨텍스트 윈도우가 자꾸 터진다는 게 거슬려요. 큰 파일 코드 분석을 할 땐 여전히 답답합니다. 그래서 최근에 이글 7B 시리즈도 시도해봤는데 이건 더 못하더라고요 ㅎㅎ
혹시 프로덕션 환경에서 로컬 LLM 운영하시는 분 계신가요? 어떤 모델 쓰세요? 그리고 컨텍스트 윈도우 문제는 어떻게 해결하셨나 궁금합니다. 혹은 애초에 로컬로는 포기하고 온프레미스 서버 구축하신 분도 있나요?
특히 솔라가 그럭저럭 괜찮더라고요. 한국어 처리도 꽤 자연스럽고, 토큰 출력 속도도 내 RTX 3090에서는 충분히 쓸만한 수준이거든요. 근데 매번 프롬프트를 튜닝해야 하는 게 좀 번거롭습니다. 클라우드 기반 API 쓸 땐 생각 안 하던 문제네요.
가장 큰 문제는 메모리인데, 8비트 퀀타이제이션을 써도 한두 개의 탭에서 컨텍스트 윈도우가 자꾸 터진다는 게 거슬려요. 큰 파일 코드 분석을 할 땐 여전히 답답합니다. 그래서 최근에 이글 7B 시리즈도 시도해봤는데 이건 더 못하더라고요 ㅎㅎ
혹시 프로덕션 환경에서 로컬 LLM 운영하시는 분 계신가요? 어떤 모델 쓰세요? 그리고 컨텍스트 윈도우 문제는 어떻게 해결하셨나 궁금합니다. 혹은 애초에 로컬로는 포기하고 온프레미스 서버 구축하신 분도 있나요?
추천 14 비추천 0
- 이전글최근에 로컬 LLM 써보신 분들 있나요?26.05.14
- 다음글로컬 LLM 돌려보니까 생각보다 쓸만하네요26.05.01
댓글
6
댓글목록
솔라 괜찮더라고요 ㅎㅎ
컨텍스트 윈도우 문제는 RAG 방식으로 나눠서 처리하는 게 가장 현실적이더라고요. 저도 처음엔 큰 파일 통째로 던졌다가 망했는데 청크 단위로 쪼개니까 훨씬 나았습니다. 솔라도 좋지만 요즘 Mistral 7B Instruct 최신 버전도 한국어 꽤 낫더라고요.
저도 비슷한 상황이라 공감되네요. 저는 올림프스 모델 써봤는데 솔라보다는 좀 느렸어요. 컨텍스트 윈도우 문제는 결국 RAG로 해결했습니다. 전체 파일 던지지 말고 청크 단위로 쪼개서 관련된 부분만 넣으니까 훨씬 나아지더라고요.
저도 비슷한 상황인데 컨텍스트 윈도우는 결국 RAG로 해결했어요. 전체 파일을 한번에 넣지 말고 청킹해서 넣으니까 훨씬 낫더라고요. 솔라도 좋지만 요즘 Llama2-ko 튜닝 버전도 한국어로 꽤 잘하더라고요.
저도 비슷한 환경이라 공감돼요. RTX 3090이면 꽤 좋은 사양인데도 컨텍스트 윈도우 부족함 느껴지시나보네요. 저는 요즘 미스트랄 7B보다는 neural-chat 같은 smaller 모델들을 RAG랑 조합해서 쓰고 있는데, 컨텍스트 문제를 어느 정도 우회할 수 있더라고요. 애초에 전체 문서를 한번에 처리하려고 하지 말고 청킹해서 필요한 부분만 던져주는 방식으로요. 프롬프트 튜닝도 처음엔 번거롭긴 한데 몇 번 반복하다 보면 각 모델의 특성이 보여서 시간이 줄어드는 느낌입니다. 혹시 vLLM 같은 추론 엔진은 안 써
댓글을 작성하려면 로그인이 필요합니다.