본문 바로가기

교육_GATE 관련 콘텐츠

2025 대학수학능력시험 영어영역, ChatGPT o1-preview 가 풀어보면?

 

2025 수능이 끝나고, 언제나 그랬듯이 난이도에 대해 논쟁이 시작된다.

과연 한국의 수능 문제를 LLM 을 활용해서 풀어보면 어떨까?

 

결론부터 말하자면, 듣기 문항은 제외하고 GPT o1-preview 최신의 모델을 활용한 결과.

27문제 (도표문항 제외) 중 2문제를 제외하고 모두 맞췄다.

2점(24번)과 3점(38번)짜리 문항을 각각 틀려서 총점 100점 중 95점이다. 

 

(혹시 원본 출처를 링크로 표기한다.)

대수능 문항 원본 출처 : http://cdn.kice.re.kr/su-2025-neung/index.html 

 

 

버르장머리 없이 답만 툭 뱉은 줄 알고 화가 났지만,

 

자세히보면, 나름대로 이유를 가지고 문제를 풀었다.

 

 

밑줄을 따로 표시하지 않아도, 해당 구를 찾아서 정답을 잘 골라냈으며. (21번)

 

 

22번 문제의 경우 어려운 우리말 중 하나인 '요지'도 잘 이해하고, 답을 맞췄다.

 

문제는 24번이었다.

 

 

 

정답은 5번인데, 3번을 답으로 골랐다.

 

 

혹시나, 발문이 한글이라서 어려울까 싶어. 영어로 다시 작성하고 구분을 위와 같이 Q, Text:, multiple choices 로 구분했다.

하지만 여전히 정답을 3번으로 선택한다.

 

 

각 선지별 정답/오답인 경우를 이유로 함께 제공하게끔 했는데도, 

 

"""

⑤ Selfies, the Latest Innovation in Representing Ourselves

  • This is partially accurate but doesn't fully encompass the depth of cultural significance discussed in the text.

"""

 

위와 같이 부분적으로만 '정확하다'고 말하며, 완전히 부합하지 않는 정답이라고 이야기한다.

혹시나 싶어 모델을 변경해서 4o, o1-mini 등으로 모델을 변경했는데, 같은 결과가 나온다.

이후에 프롬프트를 좀 더 변경해서 재도전하겠다.

 

 

이후에 도표, 차트 문항들을 지나서 어법, 어휘 문항까지 나오고 있다.

 

 

29, 30번 문항에도 별도로 밑줄을 주지 않아도 발문에 따라 문항을 제대로 고르고 있다.

 

이후 빈칸 4개 문항도 모두 올바르게 정답을 골라냈다.

 

 

단, 빈칸을 표시하기 위해서 [~] 대괄호를 사용했다.

 

그 후에도 모든 문항을 잘 맞춰내다가, 38번에서 갑자기 혓바닥이 길어지더니...

 

 

그래서, 모든 문항을 다 풀고난 후에.

24번 문항처럼 발문과 주어진 문장, 텍스트 그리고 선지를 구분해서 아래와 같이 질문했다.

 

 

하지만 여전히 문항을 틀리는 것을 볼 수 있다.

정답은 4번이다. 3~4번 사이의 문장은 '비밀 유지를 통해 발명품의 활용을 더 길게 가져갈 수 있다'고 하며, 

주어진 문장에서는 '거래 간 기밀을 보호하는 법적 조치가 없을 때, 그 정보가 공개될 위험성'을 언급하기 때문에 4번 위치에 들어가면 다음 문장인 Once~ '아이디어가 발표되면 공기(공공재)처럼 자유로워진다.' 라고 말하기 때문에 둘 사이의 위치가 가장 적절하다. 5번도 틀리지 않지만 더 정확히는 4~5번 사이의 'the idea'가 한정사와 함께 사용됨에 주목해야한다.

 

(갑자기.. 문제 풀이.. 하하)

 

그 후 40번 요약 문장을 읽고, (A), (B) 빈칸에 단어들도 올바르게 넣고 있다.

 

 

이후에 영어 잘하는 수험생들은 듣기 문제 푸는 동안, 풀어버릴 수도 있지만.

인공지능 언어모델에겐 다수의 정답을 찾도록 만드는 그룹형 문제도 한 큐에 2문항 (41~42번), 3문항 (43~45번) 까지 풀어낸다.

 

 

 

이 정도 실력이면, 듣기 문항은 무난하게 다 맞는 학생의 수준이라고 가정했을 때.

24번 -2점, 38번 -3점으로, 총점 100점 만점 중 95점의 결과다.

 

퍼플렉시티나 라마 모델을 활용하는 문제 풀이는,

이후 포스팅으로 다뤄보도록 하자.

 

특히 라마 비전 모델이 도표 문제를 올바르게 풀어내는지 후속 포스팅으로 다루겠다.