5년 전 오르비에는 제휴사 담당자가 게시판에 직접 공지를 올릴 수 있는 기능이 있었습니다.
(출처: http://orbi.kr/~xi_orbi_mainboard/602122 )
(중략)
이런 식으로 제휴사 관리자가
매번 오르비의 허가를 받지 않고도 게시판에 공지 게시물을 직접 올릴 수 있는 기능이었습니다.
그런데 공지 게시물을 쓰는 용도로만 발급된 계정이
이듬해 닉네임을 바꾸어가며 이상한 용도로 사용이 되기 시작합니다.
(출처 : http://orbi.kr/0002071170 )
닉네임을 바꾸셨으나 오르비의 IMIN 시스템을 잘 이해 못하신 제휴사 담당자님의 댓글 ...
처음 발견하고 이런 거 오르비에서는 다 드러나니 그러시면 안 돼요 말씀을 드릴까 하다가 ...
이정도는 해프닝으로 웃어넘길 수 있을 거라 생각해 바로 말씀을 드리진 않았습니다.
그런데, (출처 : http://orbi.kr/0002073131 )
(출처 : http://orbi.kr/0002072151 )
(출처 : http://orbi.kr/0002077133 )
그리고 마침내 Fait 페이지에 악플도 남기십니다. (IMIN 241339)
Fait를 꾸중하시는 제휴사 담당자님..
이건 아니다 싶어 계정을 정지시키고 저희 회사 직원이 담당자님께 메일을 보냈습니다.
"직원이 의식하지 않고 쓴 글이다
여러 개의 계정을 동원한 것은 무슨 얘기인지 모르겠다.
앞으로는 그러지 않겠다."
이 약속을 믿고 다시 계정을 열어드렸습니다.
하지만 돌아온 것은 ...
(마지막 열 IP가 모두 같은 것을 참조)
강등시켜도, 시켜도 계속 새로 나타나는 아이디,
포인트 보면 댓글을 수백개 씩 단 아이디도 많습니다.
댓글 하나당 "잉여 Point" 1점입니다.
강등하다 지쳐서 몇 개 아이디를 그대로 두어 봤습니다.
약속 메일을 보낸지 고작 한 달도 지나지 않아 끊임없이 올라오는 댓글들...
(출처 : http://orbi.kr/~xi_agit_selfedu/282167 )
(출처 : http://orbi.kr/~xi_orbi_mainboard/606804 )
메가 합격 예측은 정확한가요?
그런 거 모르겠고 빨리 진학 오픈되었으면 좋겠어요
(출처 : http://orbi.kr/~xi_orbi_mainboard/610588 )
메가는 사과문 올릴 짓 하지 말고 합격예측 컷이나 신경 써주세요...
출처 : http://orbi.kr/0003983448
대성은 어떤가요?
진학 사세요.
출처 : http://orbi.kr/0004022154
두 댓글의 IMIN, IP 에 주목을 해 봅시다.
서로 다른 계정이지만 동일한 IP로부터 접속했습니다.
IP는 관리자에게만 표시되고, 일반회원에게는 표시되지 않기 때문에,
두 분(실제로는 한 분이 두 번 로그인을 한 것일 가능성이 높습니다)은 신원이 탄로나지 않을 것이라 믿었을 것입니다.
(출처 : http://orbi.kr/0004055133 )
이렇게 몇십 개의 아이디로 수백~수천 개의 댓글이 남겨졌습니다.
거짓말도 반복하면 믿게 되는 것이 사람 심리죠.
이때까지는 그래도
내가 뭐라 물어보건, "ㅇㅇ가 제일 좋아요" 에 머무는 댓글이었습니다.
매년 입시가 끝나고 광고 계정 강등, 또 강등 ...
올해는 다를까 싶었으나,
또다시 반복되는 IP 115.93.59.146 ...
새로 입사한 직원이실까요?
여기가 오르비인지 수만휘인지 잘 식별이 되지 않으십니다.
하지만 몇 달 만에 드디어 오르비에 완전 적응하신 "아르마니200"님
페이트, 메가, 대성 뭐 살까요?
여러 개 보면 헷갈리니 진학만 꾸준히 보세요.
그리고 올해들어 작년까지와는 다르게 네거티브로 변해가는 댓글 내용들 ...
"유웨이는 엉망임."
"메가도 예전같지 않음. "
"유니브 같은 건 그냥 버려!"
"오르비 모의지원은 검증이 안 된 게 문제죠.
"이투스 쓰시는 분 처음보네요. 이투스는 그냥 쓰지 마세요."
"메가는 표본은 많긴 하지만 다 쓰레기 데이터야."
진학과 페잇이 다르면 뭘 믿으실 거에요?
진학 표본을 보고 판단하세요. (115.93.59.146)
Fait 서울대 변표 오차 모든 점수 구간에서 0.00
정확하다고 다들 놀라지만,
"엑셀 조금만 할 줄 알면 다 만들 수 있어요"
이쯤되니 묘하게 인정받고 싶다(?)는 마음도 들기 시작했습니다.
그리고 결국...
경쟁사 직원도 인정한 Fait Medical 15 의
작년 예측 정확도부터 살펴보도록 하겠습니다.
아래 도표를 해석하는 방법은 다음과 같습니다.
둘째 줄 중앙(가)의 예를 들면,
작년도 Fait Medical 15에서,
중앙대 의예과 가군에 대해, 63.20% 이상의 합격률 판정을 받은 경우 최초합격했고,
52.72%~63.20% 범위의 합격률 판정을 받은 경우 1차 추가합격했고,
40.07%~52.72% 범위의 합격률 판정을 받은 경우 2차 ~ 최종 추가합격했고,
40.07% 미만의 합격률 판정을 받은 경우 최종 불합격했다는 의미입니다.
의치대 전체 평균 38.8% (작년 38.3%)
최종 커트라인이 100%에 가까울 경우 폭발,
0%에 가까울 경우 펑크라는 점은 쉽게 이해하실 수 있을 것입니다.
자료를 해석하는 법에 대해서는 작년 같은 날짜에 게시한 재작년판 Fait 분석 자료에 잘 나와있어서,
그것을 인용합니다. (출처 : http://orbi.kr/0005299188 )
1. 예를 들어 위 자료에서 중앙대 최종컷 40.07%로 표시되었다면,
합격 가능성이 40.07%보다 크게 표시되었던 모든 사람은 중앙대 의예과에 합격했고,
그보다 작게 표시되었던 경우 모두 불합격한 것입니다.
2. 그렇지만 이것이
"올해도 40.07%에서 합격선이 형성될 것"임을 의미하는 것은 전혀 아닙니다.
작년의 추정 결과를 반영해 올해 추정치가 보정되기 때문이며,
단순히 작년은 작년이고, 올해는 올해이기 때문이기도 합니다.
예를 들어 작년에 어떤 학과가 예상합격률 80%에서 합격선이 형성이 되었다면,
저희가 너무 낙관적으로 예측을 한 셈이되므로, 올해는 좀 더 비관적으로 예측을 보정합니다.
작년은 작년이고, 올해는 올해다라는 점에서는, 이런 예를 들어드리겠습니다.
저희가 ‘합격률 60%가 도대체 무슨 의미에요?’라는 질문을 받을 때
가장 흔히 하는 답변이
‘5년 내내 60% 점수로 같은 학과에 원서를 넣는다면
5년 중 3년은 합격하고 2년은 불합격할 것으로 예상한다는 뜻입니다.’라는 대답입니다.
3. 모든 대학, 모든 학과의 합격선이 완전히 확실하게 조사된 것은 아니므로 오차가 있을 수 있습니다.
예를 들어, 저희가 수집한 최저점 표본은 333점이었는데,
실제로는 332.5점 합격자가 있었고, 그 합격자의 점수는 저희에게 보고되지 않았다면,
실제로는 더 낮은 확률에서도 합격 가능했을 수 있음을 고려해야 합니다.
반대로 보고된 표본이 부정확해 반대 방향의 오류가 있을 가능성도 있습니다.
4. 합불 표본이 아예 없어 추정이 전혀 불가능할 정도인 학과들은 제외하였습니다.
5. 하나하나의 개별 학과에 대해서
모두 합격선 형성 지점이 합격 확률 추정치 50.0% 가 되어야 좋은 추정인 것이 아닙니다.
전체 추정의 평균값이 50.0% 이라면 좋은 추정이지만,
이론적으로는 개별 학과에 대한 합격선 형성 지점은 0%에서부터 100%까지 고르게 분포해야 합니다.
이 부분을 이해하기 힘들어하는 분이 계셔서 예를 들어 설명해 드리겠습니다.
모든 학과의 합격선이 합격확률 50.0%에서 형성되게 하는 것만이 유일한 목표라면,
극단적인 예를 들어, 모든 사람의 합격확률이 점수와 상관 없이 50.0%라고 나오게 표시하면 됩니다.
그것이 너무 극단적이라면, 50% 근처에서 합격률 변화의 민감도를 떨어트림으로써
(예를 들어 예상 합격선 근처에서 점수가 5점 변해도 확률은 49%에서 51% 범위에서 움직이게 한다든지)
대부분의 학과들의 합격률을 50% 근처에 몰아넣고 평균도 50% 로 만들 수 있습니다.
하지만 이렇게 하면 결과적으로 봤을 때,
합격률이 40%라고 표시된 지점에서는 실제 합격률이 0%가 됩니다.
그리고 합격률이 60%라고 표시된 지점에서는 실제 합격률이 100%가 될 것입니다.
그러면 이것은 아무 의미 없는 추정이 됩니다.
타사의 분석값, 추정치들이 대체로 이런 경향을 띱니다.
추정값에 자신이 없으면 방어적이게 되어서,
흔한 말로 추정값이 "짜지고",
점수가 많이 변해도 "칸 수"가 잘 변하지 않게 됩니다.
Fait 처럼 50% 근처에서의 민감도를 키우는 것,
다시 말해 칼날 위에 서있는 것 같이 작은 점수 변화에도 확률이 크게 바뀌게 표시하는 것은
예측력, 정확도, 정밀도에 대한 대단한 자신감과 믿음이 있고,
추정이 조금이라도 잘못될 경우 벌어질 엄청난 비난조차도 감수하겠다는
마음가짐이 있어야만 가능한 것입니다.
이번에는 또다른 극단적인 예를 들어보겠습니다.
예를 들어 100개 학과에 대해 추정을 한다고 하고,
100개 학과의 합격선 형성 지점이 0.5%인 것 하나, 1.5%인 것 하나, 2.5%인 것 하나, ... , 99.5%인 것 하나였다고 가정해 봅시다.
이 상황 하에서 서로 다른 100개의 학과에 합격 가능성 70% 지점에서 지원한 100명이 모였습니다.
그러면 이들 중에서 합격선 형성 지점이 0.5%, 1.5%, 2.5%, 3.5%, ..., 69.5%로 결국 판명될 70개 학과에 지원한 사람은 합격했으므로,
합격 가능성 70% 지점이 실제로 합격 가능성 70%였다는 것이 입증됩니다.
같은 방법으로 그러한 이상적인 분포 하에서는 합격 가능성 n%로 판명된 학과에 지원하면 합격 가능성이 n%가 됩니다.
요는, 수학적으로 참인 결론을 만들게 되는 것들은
n% 이하의 확률대에서 합격선이 형성된 n%의 학과들이라는 것입니다.
예를 들어 어떤 학과가 예상합격률 2% 라는 극단적인 지점에서 합격선이 형성되었다고 하면,
그 학과에 대해서만 보면 극단적으로 실패한 추정인 것처럼 보일 수 있습니다.
하지만 그렇게 극단적인 상황(예: 2%에서 합격선이 형성)이
그렇게 극단적이지만 정확한 확률로(그런 사례가 2%) 나타나야
전체 추정이 옳은 것이 된다는 것입니다.
물론 수학적으로 엄밀한 추정만을 고집한다면
저희가 98%의 가능성으로 합격 가능하다고 말씀드린 분들 중에 2%는 불합격을 해야 할 것입니다.
하지만 그 상황은 이용자가 너무 받아들이기 어려워하기 때문에,
일정 수준 (80%대 후반 이상) 이상의 합격률이 표시되는 범위에 대해서는
의도적으로 표시 확률을 왜곡합니다.
즉, 실질적으로 거의 100%에 가깝게 합격이 가능할 때 80% 후반 내지는 90%대의 합격률이 표시됩니다.
특히 올해는 "입시에 존재하는 불확실성을 피해 무조건 합격하기를 원하는 분들"을 위해
"Greenlight"를 도입해서,
"Greenlight"가 켜진 학과의 경우 실질적으로 거의 확실하게 합격할 수 있음을 알려주고 있습니다.
아마 내년에는 이런 주장을 할 수 있게 될 것입니다.
"Fait 16의 Greenlight, 합격 예측률 99.9%"
Fait Medical이 "몇% 의 확률로 합격 가능하다" 고 했을 때
실제로 몇% 합격하였는지를 도표로 정리하면 다음과 같습니다.
초록색 숫자와 주황색 숫자가 인접할수록 추정이 정확했던 것입니다.
위 도표를 그래프로 그리면 아래와 같습니다.
저희는 이것을 Fait - Fact Curve 라고 합니다.
진한 초록색 선이 저희가 통계적으로 추정한 선이고,
주황색 선이 실제 결과입니다.
주황색 선이 초록색 선보다 위에 있으면,
그 지점에서 추정치가 "짰던" 것, 즉 실제 예측보다 더 많이 합격했던 것이고,
주황색 선이 초록색 선보다 아래에 있으면,
그 지점에서 추정치가 "싱거웠던" 것, 즉 실제 예측보다 합격한 사람이 적었던 것입니다.
마찬가지 방식으로, 이제는 Medical 판이 아닌 "나머지는 그닥" 편을 쭉 늘어놓아 보겠습니다.
우선 Fait 15 인문계판 결과 입니다.
인문계 결과만으로 그린 Fait - Fact Curve
Fait 15 합격선 평균 (괄호 안은 이전 해 Fait 14)
서울대 인문계 평균 67.0% (47.7%)
연세대 인문계 평균 33.1% (40.6%)
고려대 인문계 평균 41.6% (34.7%)
서강대 인문계 평균 32.6% (23.5%)
성균관대 인문계 평균 49.8% (38.1%)
한양대 인문계 평균 58.2% (55.6%)
인문계 전체 평균 45.7% (42.2%)
이제 Fait 15 자연계판 결과입니다.
자연계판 (의치대 제외) 결과만으로 그린 Fait-Fact Curve
서울대 자연계 평균 55.0% (이전 해 64.8%, 이하 괄호 안은 이전 해)
연세대 자연계 평균 39.8% (45.2%)
고려대 자연계 평균 56.3% (61.1%)
서강대 자연계 평균 66.3% (52.9%)
성균관대 자연계 평균 58.0% (53.6%)
한양대 자연계 평균 47.4% (73.1%)
자연계 전체 평균 51.3% (61.5%)
수학적인 의미를 전달하기 워낙 쉽지 않은 내용이라
자세히 설명하기 위해 노력했지만,
제가 전달해 드리고 싶었던 내용이 오해없이 전달되기 어려웠을 것이라 우려됩니다.
하지만 최대한 명료하게, 또한 이해하기 쉬운 예를 들어 설명드리기 위해 노력했습니다.
한편,
저희는 경쟁사가 오르비 게시판에서 4년 전부터 은밀하게 행해온 일들이,
공정하지 못하고, 어른스럽지 못하며,
호되게 심판받아야 하는 일들이라고 생각합니다.
5년에 걸쳐, 수십 명이, 수천 개의 댓글을 남겼습니다.
거짓말도 자꾸 들으면 사실처럼 믿게 됩니다.
여러분들께서 들은
"ㅇㅇ 모의지원은 믿을만하다더라",
"ㅇㅇ 모의지원에 표본이 많아서 정확하다더라" ,
"ㅇㅇ 합격 예측 상품은 엉망이고 정확하지 않다더라" ,
심지어 "Fait, 오르비 모의지원은 믿을 게 못된다더라"
라는 말들 중 몇천 개는
정말 그 제품을 써본 수험생들이 남긴 생생한 후기가 아니라
자신의 이익을 위해 오르비를 "악용"한 사람들이 남긴 댓글이었습니다.
저희 Fait 팀, 오르비 모의지원 팀 그 중 누구라도
"게시판 알바" 행위 같은 것을 하고 있었다면
무엇보다도 제가 가장 호되게 꾸짖었을 것입니다.
그럴 시간이 있다면 1분이라도 더 정확한 분석에 매달리는 게 옳기 때문입니다.
지금 이 글을 쓰는 동안에도 저는,
몇 년 동안 묵혀둔 짐을 덜어 통쾌하고 시원하다?
그런 느낌은 없고,
저희를 믿고 Fait를 구매해 주신 분들을 위해 1분이라도 더 정확한 분석을 하기 위해 힘을 쏟아야 하는데
이런 한심하고 바보같은 캡처를 뜨느라 시간을 낭비했구나하는
통탄스러운 마음뿐입니다.
Fait는 뭐라 딱부러지게 설명할 수도 없고,
주관적인 느낌만 주는 4칸, 5칸, 6칸 그런 표현 안 씁니다.
55%라고 했으면 55%고, 70%라고 했으면 70%입니다.
4칸인데 붙는 건가요, 떨어지는 건가요? 라고 물으면,
아 그거 붙을 수도 있고 아닐 수도 있어요라고 대답하겠지만,
저희의 표현에는 빠져나갈 구멍이 없습니다.
합격 확률 60%라고 했으면,
정말 10개 중에 6개만 붙고 4개는 떨어졌으면 정확히 맞은 것이고,
맞으면 맞는대로 환호를 받고, 틀리면 틀리는대로 호되게 매를 맞습니다.
저희의 추정은 바로 다음해에 얼마나 정확했는지 수학적으로 검증할 수 있습니다.
그리고 그 검증을 저희가 이렇게 직접 해서 보여드립니다.
어떤 해에는 어느 부분에서 큰 오차가 있었는지,
정확도가 해를 거듭하며 얼마나 더 높아지는지도 수학적으로 측정할 수 있습니다.
석차백분위도 그렇습니다.
저희는 그냥 1.5%, 1.6% 같은 표현 쓰지 않습니다.
그런 표현 싫어합니다.
그렇게 말해놓으면,
뚜껑을 열고 보니 너무 짜게 잡았으면 "아 그거 수학 B형 기준이에요"라 하고,
너무 싱겁게 잡았으면 "아 사실은 과탐 기준이었어요"라 할 수 있습니다.
저희는 "귀하의 연세대 기준 점수는 전국 4,713등입니다." 라고 표현합니다.
연세대 점수로 줄 서서 정말 4,713번째 서있으면 정확히 맞는 거고,
4,760번째 서있으면 1% 오차인 것입니다.
저희는 뒤에 가서 말을 바꿀 여지를 남기지 않습니다.
그리고 그렇기 때문에 조금이라도 틀리면 그게 잊혀지지 않고 오래오래 기억에 남습니다.
게시판 알바도 안 쓰기 때문에,
실제로는 틀렸었지만 맞았던 척 해줄 사람도 없습니다.
역설적이게도, 저희의 홈 그라운드에서조차 말입니다.
Fait가 더 많이 판매되고,
Fait 때문에 도움이 많이되었다 말하는 분들 말씀 들으면
당연히 기분이 좋긴 합니다만,
사실 그것도 저희에겐 별 상관 없습니다.
저희에게 제일 중요한 것은 수학척인 "참"을 향해 오차를 줄여나가는 과정입니다.
Fait 15 합격선 전체 평균 47.0% (이전 해 51.1%)
