[6모분석] AI가 분석한 6모 영어(정성추)

안녕하세요!

AI 기반 수능영어 평가 및 예측 시스템 AIPEEP, 영어 변형문제 제작 서비스 ATM을 운영하는 LXPER(렉스퍼)입니다.

올해 첫 평가원 모의고사가 어제 치러졌습니다.

무엇보다 긴 시간 시험 치르신 수험생분들에게 정말 수고하셨다고 말하고 싶습니다.

─────────────────────────

시험 치르면서 조금은 들떴던 마음을 이제는 조금 가라앉히고, 냉철하게 6월 모의고사를 돌아볼 시간인 것 같습니다.

딱 지금 타이밍에 여러분에게 도움이 될, 그리고 조금은 흥미로운 리포트를 하나 가져와 봤습니다?

─────────────────────────

본 리포트는 아래와 같은 차별점을 가지고 있습니다.

1. 문항별 풀이 방법, 글의 구조, 핵심 어휘 등 ‘총평’이라는 단어에 어울리는 분석 내용은 하나도 담고 있지 않습니다.

2. 대신 LXPER만 할 수 있는, 자사의 AI 엔진으로 2023학년도 6월 모의고사를 분석한 내용을 담고 있습니다.

3. 구체적으로는 문제를 구성하는 ‘지문’의 Readability, 즉 ‘얼마나 읽기 수월했는지’ 여부를 수치로 나타냈습니다.

4. 이를 기반으로 2023학년도 6월 모의고사와 2022학년도 수능/6월 모의고사 지문의 난이도를 비교해볼 수 있습니다.

벌써 조금은 다른, 뭔가 어색한 느낌의 보고서라는 생각이 들지 않나요?

내가 문제를 ‘읽으면서’ 느꼈던 미묘한 어려움의 감정이 사실이었는지, AI로 분석해봤습니다.

─────────────────────────

이번 리포트에 사용한 AI 기술을 아주 간략하게만 소개하자면,

1) 지문 독해 난이도를 파악하기 위해서 LXPER Index 엔진을 사용했습니다. 약 200개의 변수를 고려하여 지문 독해 난이도 값을 산출하는 엔진입니다.

2) LXPER Index는 크게 한국교육과정(이하 K-12) 기준과 유럽연합 공통언어 표준등급(이하 CEFR) 기준으로 결과를 도출합니다.

(자세한 설명은 글 최하단에 있습니다!!!)

3) 한국교육과정 기준으로는 총 18개 결과(중고등 6개 학년 * 각 초중고 3개 수준)를 산출하고, 유럽연합 공통언어 표준등급 기준으로는 총 6개 결과(A1-C2)를 산출합니다.

─────────────────────────

A. LXPER Index의 K-12 기준은 중등 1학년부터 고등 3학년까지 총 6개 학년을 각각 초급/중급/고급 수준으로 세분화하여 지문의 난이도를 총 18개로 나누었습니다.

B. CEFR 기준은 A1, A2, B1, B2, C1, C2 총 6개 등급으로 나뉘어 있습니다.

─────────────────────────

간략하게 소개한다며 말이 길어졌는데, 이제 정말 본격적으로 분석을 시작해보겠습니다.

이번 분석은 오답률이 일정 수준 이상인, 고난도 유형 문제를 주로 다뤘다는 점 참고해주세요.

(주제, 제목, 요지, 주장, 밑줄, 어법, 어휘, 빈칸, 배열, 삽입, 요약)

1) 우선 가장 궁금하실 이번 2023학년도 6월 모의고사에 사용된 지문들의 난이도를 분석한 표입니다.

이번 모의고사에서는 K-12 기준 고3(고급) 레벨인 지문이 가장 많았고,

CEFR 기준으로도 C2 레벨이 가장 많았네요.

이 표를 지문 난이도순으로 정렬하면,

지문 자체가 가장 어려웠던 문제는, 39번 문장삽입, 29번 밑줄어법, 36번 문장배열, 34번 빈칸추론 문제 등이 있었습니다.

2) 작년 수능(2022학년도 수능)에서 사용된 지문들은 어땠을까요? 이번 2023학년도 6월 모의고사 문제를 읽으며 느낀 어려움과 작년 수능 문제를 풀며 느낀 어려움은 얼마나 차이가 있으셨나요?

K-12 기준으로는 고3(고급) 레벨의 지문이 역시 많았으나, CEFR 기준으로 봤을 때 이번 수능에 비해 C2 레벨 지문이 소폭 적었던 것을 확인할 수 있네요.

이때 제일 어려운 지문으로 제작된 문제는 39번 문장삽입 문제였네요.

3) 그럼 작년 이맘때 치러진 2022학년도 6월 모의고사에서 사용된 지문하고도 한번 비교해보죠.

역시 고3(고급) 레벨의 지문이 여전히 가장 압도적이지만, 이때는 CEFR 기준 C1 레벨의 지문이 가장 많은 시험이었네요. 또한, 이때는 36번 문장배열 유형을 가장 어려운 지문으로 만들었네요.

눈에 띄는 몇 지점들은,

- 우리가 보는 평가원 시험들은 K-12 기준 최고 난도 지문을 가지고 제작한다.

- CEFR 기준으로 봤을 때, 문장의 지문을 '읽는' 측면의 난이도는 2023학년도 6월 > 2022학년도 수능 > 2022학년도 6월 순이다.

인 것 같네요.

4) 그러면 과연 이런 값들은 어떤 변수들을 고려하여 산출된 것인지, 몇 가지 예시를 소개해드리겠습니다.

5) 우선 이번 2023학년도 6월 모의고사 29번 문법 문제와 2022학년도 수능 29번 문법 문제입니다. K-12 기준으로도, CEFR 기준으로도, 심지어 오답률까지 동일했던 두 문제입니다.

6) 같은 유형이면서 LXPER Index 지표 값도 동일하게 나왔습니다. LXPER Index를 구성하는 약 200여 개의 지표 중 몇 가지만 살펴보자면,

올해 6월 29번 문제작년 수능 29번 문제올해 6월 29번 문제작년 수능 29번 문제

다음과 같이 일부 변수에서는 거의 동일한 값이 나오기도 했습니다.

다시 위 지문들을 읽어봤을 때, 읽히는 난이도가 비슷하다고 느껴지시나요?

7) 2023학년도 6월 모의고사의 37번 순서 배열 문제와 2022학년도 6월 모의고사의 37번 순서배열 문제도 LXPER Index 값이 일치했습니다.

8) 동일하게 LXPER Index를 구성하는 약 200여 개의 지표 중 몇 가지만 살펴보자면,

올해 6월 37번 문제작년 6월 37번 문제올해 6월 37번 문제작년 6월 37번 문제

위와 같은 변수들에서 비슷한 결과를 보여주고 있는 걸 확인할 수 있습니다.

이 문제도 다시 한번 풀어보시면, 조금 다른 느낌을 받을 수 있지 않을까요?

─────────────────────────

자, 지금까지 이번 2023학년도 6월 모의고사 영어 과목을 AI 엔진으로 분석해봤습니다.

당장 이런 분석 결과가 큰 의미가 없다고 느껴질 수도 있겠지만, 다른 리포트와는 색다른 느낌을 받으셨다면 저희는 충분히 만족할 것 같습니다.

LXPER는 이외에도 다수의 AI 엔진을 보유하고 있으며, 많은 영어 콘텐츠 전문가들과 함께하고 있는 에듀테크 스타트업입니다.

더 많은 학생분들이 최소한 영어 과목 공부를 더 효율적으로 할 수 있도록, 영어 교사/강사분들이 더 편하게 수업을 진행할 수 있도록 LXPER도 힘쓰겠습니다.

LXPER의 다음 행보도 많이 응원해주세요.

저희는 그럼 다음 변형문제 게시글(아마 9월 모의고사,,, 부디 그보다는 전)과 함께 돌아오겠습니다.

궁금하신 점은 댓글로 남겨주시면 답변하겠습니다.

그럼 20000

*반응 좋으면 변형문제나 단어장 가지고 빨리 돌아올 수도,,,

─────────────────────────

*CEFR 기준 부가 설명

분석에서 자주 나온 C1, C2 레벨은 다음과 같이 설명되어 있습니다.

C1: “까다로운 주제까지도 장문으로 말하고 쓸 수 있는 단계. 자유로운 의사소통이 가능하며 논리적으로 자신의 의견을 전개하며 학교나 직장생활에서 유연하게 사용할 수 있다.”

C2: “거의 원어민 수준으로 어떤 유형의 주제라도 읽고 말할 수 있으며, 감정과 의견의 뉘앙스도 자유롭게 표현할 수 있습니다. 또한 학문적이거나 전문적인 견해도 표현할 수 있고 토론할 수 있습니다.”