OpenAI의 o1-preview vs. o1-mini: 게임 풀기 성능 비교

OpenAI가 최근 출시한 o1 모델에는 두 가지 버전이 있습니다: o1-preview와 o1-mini. 이 두 모델은 성능과 속도에서 차이를 보이는데, o1-mini는 o1의 경량화된 버전으로, 속도는 빠르지만 성능은 o1-preview에 비해 떨어질 수 있습니다.

 

또 다른 차이점으로는 사용자가 보낼 수 있는 메시지 수 제한이 있습니다. o1-preview는 일주일에 50개의 메시지로 제한되지만, o1-mini는 하루에 50개의 메시지로 제한됩니다. 이 차이는 모델의 추론에 필요한 비용에 기반한 것으로 보입니다.

 

이번 포스트에서는 o1-mini가 주어진 Connections 게임을 얼마나 빠르고 정확하게 풀 수 있는지 살펴보려 합니다. 지난 포스트에서는 o1-preview로 동일한 게임을 풀어봤기 때문에 두 모델을 성능과 속도 측면에서 비교해 보겠습니다.

 

o1-mini로 Connections 게임 풀어보기

첫 번째 실험으로, 이전에 o1-preview로 풀었던 문제를 o1-mini에게 풀어보도록 했습니다. 문제는 16개의 단어로 구성되었으며, 그 목록은 다음과 같습니다:
champagne, super, nova, reunion, birthday, nature, nice, cocktail, angers, extra, surprise, masterpiece, hyper, frontline, over, dinner.

o1-mini의 첫 반응: 속도는 빠르지만 결과는 아쉬워

o1-preview는 이 문제를 21초 만에 풀었는데, o1-mini는 19초 동안 문제를 생각했다고 했습니다. 속도 측면에서는 오히려 더 빨랐지만, 결과는 완벽하지 않았습니다.

o1-mini는 '접두사'와 'PBS 다큐멘터리 시리즈'라는 두 개의 그룹을 정확하게 맞췄지만, 나머지 두 그룹에서는 단어들이 한 개씩 뒤바뀌었습니다. 이후, 틀린 그룹을 고쳐나가면서 다시 시도했지만, 여전히 같은 오류가 발생했습니다. 최종적으로 o1-mini는 150초가 넘는 시간을 사용하여 세 번의 시도 끝에 정답을 찾아냈습니다.

첫 번째 시도 결과 요약:

• 속도: 19초로 o1-preview보다 빠름
• 정확도: 일부 그룹에서 오류 발생
• 수정 과정: 총 150초 소요

새로운 문제에 대한 o1-mini의 성능 평가

이번에는 o1-mini에게 새로운 단어들을 주어 성능을 테스트해 보았습니다. 새로 제공한 16개의 단어는 다음과 같습니다:
cat, person, solo, hawk, chewy, figure, individual, corner, character, boba, imagine, party, suspect, emperor, litter, think.

첫 번째 시도: 빠르지만, 오류 발생

o1-mini는 첫 번째 답을 20초 만에 제출했습니다. 첫 번째 그룹인 스타워즈 캐릭터 그룹은 맞췄지만, 이후 그룹 분류에서 오류가 발생했습니다. 특히, 'person', 'individual', 'figure', 'character'를 '사람을 나타내는 단어'로 분류했으나, 이는 오답이었습니다.

이후 나머지 그룹을 다시 분류해달라고 요청한 결과, o1-mini는 165초 동안 고민한 후 새로운 답을 내놓았지만, 이번에도 일부 단어가 중복으로 사용되며 오류가 발생했습니다. 'figure'과 'character'가 두 그룹에서 중복 사용되는 등 규칙 위반이 발생했습니다.

제약조건 추가 후의 성능

단어를 중복 사용하지 말라는 제약을 추가한 후, o1-mini는 11초 만에 새로운 답을 제출했으며, 이번에는 정확한 분류를 해냈습니다. 그러나 그룹의 의미는 다소 포괄적이었고, 일부 단어는 애매한 해석이 포함되었습니다.

o1-preview와 o1-mini 성능 비교: 결과 요약

o1-mini는 속도 측면에서 o1-preview와 거의 비슷하거나 오히려 더 빠른 결과를 보여주었습니다. 하지만 문제 해결 과정에서 정확성은 다소 부족했고, 수정 과정에서의 시행착오로 인해 최종적으로 더 많은 시간을 소모하는 경향이 있었습니다. 특히 난이도가 있는 문제에서, o1-preview가 더 안정적인 성능을 보였다고 할 수 있습니다.

주요 차이점:

• 속도: o1-mini는 더 빠르게 첫 번째 답을 제시했으나, 정답을 찾는 데 최종적으로 더 긴 시간이 걸림.
• 정확성: o1-mini는 몇 차례의 오류와 수정 과정을 거친 후 정답에 도달.
• 사용 제한: o1-preview는 메시지 제한이 일주일에 50개, o1-mini는 하루에 50개로 다르게 설정.

결론: o1-mini는 언제 사용하는 것이 좋을까?

o1-preview와 o1-mini의 성능 차이를 고려할 때, 사용자는 자신의 필요에 맞춰 두 모델을 적절히 선택해야 합니다. 간단한 문제나 빠른 답변이 필요한 경우 o1-mini가 적합할 수 있지만, 복잡한 문제 해결이나 정확성이 중요한 경우 o1-preview를 선택하는 것이 더 나은 선택일 수 있습니다.

결국, 속도와 정확성 사이에서의 균형이 중요한 만큼, AI 모델 선택 시 각 모델의 메시지 제한과 문제의 난이도를 함께 고려하는 것이 필요합니다.