회사 프로젝트에서 복잡한 요구사항을 여러 모델에 줘봤는데 결과가 꽤 달랐어요. 특히 길이가 긴 문서에서 핵심을 파악하고 일관성 있게 코드를 생성하는 부분에서 모델마다 편차가 심하더라고요. 가격이 비싼 모델이 항상 낫진 않다는 게 흥미로웠습니다.
최근엔 claude 3.5 sonnet이랑 gpt-4o를 주로 쓰는데, claude가 맥락을 더 잘 잡는 느낌이 들어요. 특히 이전 대화 내용을 반영해서 수정 요청할 때 실수가 적더라고요. 근데 gpt는 가끔 이전 지시를 무시하고 엉뚱한 방향으로 가는 경우가 있어서 조금 답답할 때가 있습니다.
저도 비슷한 경험했는데 claude가 확실히 컨텍스트를 더 잘 유지하더라고요. gpt-4o는 긴 문서에서 중간중간 놓치는 부분이 있는 것 같아요. 프롬프트 문제라기보다는 모델 아키텍처 차이인 것 같습니다. 요즘엔 상황에 따라 섞어 쓰고 있는데 claude는 코드 수정, gpt는 빠른 프로토타이핑 용으로 나눠서 쓰시는 것도 방법일 수 있습니다.
딥러닝장인
저도 똑같은 경험했어요. Claude가 장문 문서에서 핵심 파악을 확실히 더 잘하더라고요. GPT-4o는 초반에 좋은데 대화가 길어지면 맥락이 흐릿해지는 느낌이 있습니다.
프롬프트 문제보다는 모델 아키텍처 차이 같아요. Claude는 attention mechanism이 길이에 더 robust하게 설계된 거 같습니다. 실제로 같은 프롬프트로 테스트해봐도 Claude가 일관성 있게 유지하더라고요.
요즘 Sonnet으로 갈아탄 건 잘한 선택 같습니다. 가격도 훨씬 낫고요.