어떤 수학자가 평가한 ChatGPT의 수학 실력

테렌스 타오가 ChatGPT-o1 (어제 출시한 최신 버전) 를 써보고
평가한 내용

------------------------------

* 이전 버전보다 개선되었지만, 고급 수학 과제에 대한 추론에서 아직 만족스럽지는 않음

* 이전 버전에 출제했지만 잘 못 풀었던 어려운 수학 문제 하나를 다시 내봤는데 이번에는 잘 풀어냄

* 잘 풀었으니 전보다 더 어려운 문제를 내봤는데, 이건 아직 잘 못 풀음

* ChatGPT가 해당 문제에서 올바른 답을 내도록 유도하기 위해서는 많은 힌트와 조언을 주어야 했음

* '평범한 수준의 대학원생'을 가르치는 것과 비슷한 느낌이었음.

* 앞으로 ChatGPT가 몇 차례 업그레이드 하고 컴퓨터를 위한 수학 도구들을 활용할 수 있게 된다면 '유능한 대학원생' 수준에 도달하고, 실제 수학 연구에도 기여할 수 있을 거라고 예상함

------------------------------

[참고]
이 평가를 한 '테렌스 타오'는
IQ 220, 12살에 수학올림피아드 금메달, 30살에 필즈상을 수상한
지구상에서 가장 똑똑한 사람 중 하나

이런 사람이 평가하기에
현재 ChatGPT의 수학 실력이 평범한 수학과 대학원생 수준까지 올라왔고
조금만 더 발전하면 유능한 수학과 대학원생 수준이 된다는 것
(※ 참고로 UCLA 수학과 재직중)