요약

우리는 ChatGPT에게 LSAT 논리적 추론 섹션 중 하나를 도전하게 했으며, 총 25문제 중 19문제를 맞혔습니다. 이는 76%의 정답률을 의미하며, 이는 아직 인간의 시험 전문가를 대체할 준비가 되지 않았음을 나타냅니다. 시작은 유망하지만, 우리는 미세 조정 및 분석을 통해 AI의 성능을 향상시키고, 중요한 상황에서는 여전히 전문가의 검토에 의존할 계획입니다.

ChatGPT가 LSAT 논리적 추론 문제에 어떻게 대처할지 궁금하셨나요? 저희도 궁금해서 테스트를 진행했습니다.

도전과 방법

우리는 LSAT 프리테스트 93의 섹션 2를 ChatGPT에게 제공했습니다. 이는 논리적인 두뇌 게임의 강력한 혼합입니다.

우리는 제로샷 접근법을 사용했습니다. 기술을 개선하여 신뢰성을 높이는 방법에 관한 연구는 Takeshi Kojima 등, 2022에서 자세히 설명되어 있으며, "질문에 대답하기 전에 하나씩 단계별로 생각해보자"라는 프롬프트를 사용하고 있습니다.

성능

ChatGPT는 논리적 추론 질문에서 25개 중 19개의 정답을 맞혀, 76%의 정확도를 기록했습니다. 반면, 우리 테스트 전문가들은 논리적 추론 섹션에서 평균 23-25개의 정답을 맞히고 있습니다.

다음 단계

76%의 정답률을 기록한 점수표로 볼 때, 현재 상태의 ChatGPT는 우리의 인간 테스트 전문가들을 대체할 준비가 되어 있지 않습니다.

이는 좋은 출발이지만, 개선의 여지가 있습니다. 우리는 다음과 같은 계획을 갖고 있습니다:

• AI의 성능을 강화하기 위해 기본 모델을 미세 조정하고, 잘못 답변된 질문을 분석합니다.
• 문제 해결에 AI를 활용하면서도 중요한 상황에서는 여전히 최고 득점의 테스트 전문가들이 최종 결정을 내리도록 합니다.

죄송하지만 이미지를 직접 번역할 수는 없습니다. 번역이 필요한 텍스트를 입력해 주시면 도와드리겠습니다.