- 리더보드만 보고 모델을 고르는 게 얼마나 믿을 수 없는지
모델을 고르는 이야기를 하자면, 나는 예전에 문심일언에 1위안을 충전한 적이 있다. 당시 그것은 국내 최초의 유료 모델이었는데, 나는 속으로 '정말 뭔가 있는 건가?'라고 생각했다. 돈을 충전해서 실제로 쓸 만한지 보자 했는데, 결과적으로 사기를 당한 셈이었다.
이것이 전형적인 사례다. 리더보드에서 점수가 높은 걸 보았지만, 실제 응용에서는 형편없다. 당시 나는 그냥 웹페이지 하나 생성해 달라고 했는데, 최종 결과는 뭐라 말하기 어려웠다.
그 후에 치엔원을 테스트하고, GLM을 테스트하고, MiniMax를 테스트하고, DeepSeek을 테스트했는데, 모두 같은 문제를 겪었다.
사실 작년 한 해 동안, 그 두 곳을 제외하면 모두 고득점 저능력이었다. 여기까지.
아직 댓글이 없습니다