저도 비슷한 경험했는데 claude가 확실히 컨텍스트를 더 잘 유지하더라고요. gpt-4o는 긴 문서에서 중간중간 놓치는 부분이 있는 것 같아요. 프롬프트 문제라기보다는 모델 아키텍처 차이인 것 같습니다. 요즘엔 상황에 따라 섞어 쓰고 있는데 claude는 코드 수정, gpt는 빠른 프로토타이핑 용으로 나눠서 쓰시는 것도 방법일 수 있습니다.
활용법
최근 LLM들 문맥 이해 능력 비교해보니까 생각보다 차이가 크네요
회사 프로젝트에서 복잡한 요구사항을 여러 모델에 줘봤는데 결과가 꽤 달랐어요. 특히 길이가 긴 문서에서 핵심을 파악하고 일관성 있게 코드를 생성하는 부분에서 모델마다 편차가 심하더라고요. 가격이 비싼 모델이 항상 낫진 않다는 게 흥미로웠습니다.
최근엔 claude 3.5 sonnet이랑 gpt-4o를 주로 쓰는데, claude가 맥락을 더 잘 잡는 느낌이 들어요. 특히 이전 대화 내용을 반영해서 수정 요청할 때 실수가 적더라고요. 근데 gpt는 가끔 이전 지시를 무시하고 엉뚱한 방향으로 가는 경우가 있어서 조금 답답할 때가 있습니다.
혹시 비슷한 경험하신 분들 있으신가요? 아니면 내가 프롬프트를 잘못 쓰는 걸까요?
최근엔 claude 3.5 sonnet이랑 gpt-4o를 주로 쓰는데, claude가 맥락을 더 잘 잡는 느낌이 들어요. 특히 이전 대화 내용을 반영해서 수정 요청할 때 실수가 적더라고요. 근데 gpt는 가끔 이전 지시를 무시하고 엉뚱한 방향으로 가는 경우가 있어서 조금 답답할 때가 있습니다.
혹시 비슷한 경험하신 분들 있으신가요? 아니면 내가 프롬프트를 잘못 쓰는 걸까요?
추천 14 비추천 0
- 이전글LLM이 코드 리뷰 해주는 거 얼마나 믿을만한가요?26.06.30
- 다음글LLM 파인튜닝 할 때 LoRA vs 전체 학습, 실제로 뭐가 더 효율적인가요?26.06.28
댓글
4
댓글목록
저도 똑같은 경험했어요. Claude가 장문 문서에서 핵심 파악을 확실히 더 잘하더라고요. GPT-4o는 초반에 좋은데 대화가 길어지면 맥락이 흐릿해지는 느낌이 있습니다.
프롬프트 문제보다는 모델 아키텍처 차이 같아요. Claude는 attention mechanism이 길이에 더 robust하게 설계된 거 같습니다. 실제로 같은 프롬프트로 테스트해봐도 Claude가 일관성 있게 유지하더라고요.
요즘 Sonnet으로 갈아탄 건 잘한 선택 같습니다. 가격도 훨씬 낫고요.
프롬프트 문제보다는 모델 아키텍처 차이 같아요. Claude는 attention mechanism이 길이에 더 robust하게 설계된 거 같습니다. 실제로 같은 프롬프트로 테스트해봐도 Claude가 일관성 있게 유지하더라고요.
요즘 Sonnet으로 갈아탄 건 잘한 선택 같습니다. 가격도 훨씬 낫고요.
저도 완전 같은 경험이에요. Claude가 정말 문맥 유지를 잘하더라고요. 특히 "이전에 말했던 그 방식으로 수정해줄래?" 이런 식의 모호한 요청에도 정확히 이해하는 게 신기했어요.
GPT-4o는 분명 똑똑한데 가끔 맥락을 자르는 느낌이 있어요. 프롬프트 길이나 복잡도보다는 모델 특성인 것 같은데, 저는 GPT 쓸 땐 명시적으로 "앞의 지시사항을 잊지 말고" 이런 식으로 다시 한번 강조해주니까 나아졌습니다.
가격이 비싼 게 무조건 낫지 않다는 거 공감해요. 용도별로 쓰는 게 맞는 것 같습니다.
GPT-4o는 분명 똑똑한데 가끔 맥락을 자르는 느낌이 있어요. 프롬프트 길이나 복잡도보다는 모델 특성인 것 같은데, 저는 GPT 쓸 땐 명시적으로 "앞의 지시사항을 잊지 말고" 이런 식으로 다시 한번 강조해주니까 나아졌습니다.
가격이 비싼 게 무조건 낫지 않다는 거 공감해요. 용도별로 쓰는 게 맞는 것 같습니다.
저도 같은 경험했어요. Claude가 정말 맥락 추적을 잘 하더라고요. 특히 장문 분석할 때 이전 논의를 자연스럽게 이어가는 게 인상적이었습니다. GPT-4o는 성능이 좋긴 한데 프롬프트 민감도가 높은 것 같아요.
혹시 프롬프트 방식도 영향 있을 거 같은데, 제 경험상 Claude한테는 조금 더 상세한 컨텍스트를 주고, GPT한테는 명확한 제약 조건을 명시하니까 둘 다 성능이 나아지더라고요. 가격 대비로는 Claude가 나은 것 같긴 한데, 용도에 따라 섞어 쓰는 게 최고인 것 같습니다.
혹시 프롬프트 방식도 영향 있을 거 같은데, 제 경험상 Claude한테는 조금 더 상세한 컨텍스트를 주고, GPT한테는 명확한 제약 조건을 명시하니까 둘 다 성능이 나아지더라고요. 가격 대비로는 Claude가 나은 것 같긴 한데, 용도에 따라 섞어 쓰는 게 최고인 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.