한국 프로농구|한국 프로농구 연봉

오늘 프로농구 일정

업계 "체급 무시한 불공정 게임" vs 연구팀 "비판 아닌 진단 목적"[디지털데일리 이건한기자] 최근 한국 기업들의 AI 모델이 수능을 포함한 고난도 수학 문제 풀이 평가에서 외산 모델보다 크게 뒤처진 점수를 기록했다는 소식이 전해지며 업계의 파문이 일었다.이는 지난 12일 서강대학교 수학과 김종락 교수 연구팀이 발표한 비교 평가 결과가 지난 15일 다수 언론을 통해 '국산 AI의 굴욕','낙제점' 같은 자극적인 제목으로 보도된 탓이다.

하지만 '충격적인 결과'라는 표면적 반응과 달리 AI 업계에서는 이번 평가가 방법론적으로 공정하지 못했다며 억울함을 호소했다.김종락 교수 측도 실험 의도와 달리 언론이 부정적으로 해석했다며 아쉬움을 표했다.

◆ "경량급 vs 헤비급".체급 무시한 링 위에서의 싸움

이번 논란의 발단은 김 교수 연구팀이 현재 정부가 이끌고 있는 '독자 AI 파운데이션 모델 개발' 프로젝트에 참여 중인 국내 기업 5개(네이버,LG AI연구원,SKT,NC AI,업스테이지)의 공개된 AI 모델을 대상으로 진행한 수학 능력 비교 평가에서 시작됐다.

연구팀은 수능 고난도 문항과 대학 논술 등이 포함된 테스트에서 구글의 '제미나이 3 프로',오픈AI의 'GPT-5.1' 등 주요 외산 모델은 76~92%의 높은 정답률을 보인 반면,한국 프로농구국내 모델은 대부분 20%대 혹은 그 이하의 저조한 성적을 거뒀다고 밝혔다.

하지만 이번 비교 대상에 포함된 한국 기업들은 비교군 자체가 불공정했다고 입을 모은다.이번 평가에 동원된 외산 모델들은 파라미터(매개변수)가 최대 1000B(1조개) 이상으로 추정되는 초대형 모델들이 포함돼 있다.반면 국산 모델들은 모두 매개변수 100B 미만의 중소형 혹은 경량화 모델들이기 때문이다.

일반적으로 AI 모델의 파라미터 규모는 일종의 '뇌 용량' 또는 '뇌세포 간의 연결 수준'으로 비유된다.한마디로 이번 비교는 마치 인간과 영장류 간 추론 능력 테스트처럼 비교군에 오른 AI 모델 간 '뇌 용량' 차이가 큰 상황에서 이뤄졌다는 지적이다.

실제로 실험에 투입된 모델 중 가장 작은 NC AI의 바르코 모델 매개변수는 8B에 불과했다.파라미터 수가 공개된 국산 모델 중 가장 큰 SKT 모델은 72B로,한국 프로농구국내 모델 간 비교에서부터 이미 격차가 크다.AI 업계에서 일반적으로 모델 성능을 비교할 때 비슷한 파라미터 그룹의 모델과 비교하는 관례를 비춰볼 때 이례적인 실험이었다.또한 비교 모델별 공개 시점도 상이하며 국산은 상대적으로 구형 모델이 많았다.

AI 기업 관계자 A는 "비교 대상이 된 해외 모델들은 막대한 자본과 인프라가 투입된 '헤비급' 선수들"이라며 "파라미터 규모와 학습 인프라 전제가 완전히 다른 상황에서 국산 경량 모델을 동일 선상에 놓고 직접 비교하는 것은 한계가 명확하다"고 지적했다.외산 모델과 비교가 반드시 필요했다면 해당 기업의 공개 모델 중 최소한 비슷한 체급의 모델을 비교 대상에 올려야 했다는 의미다.

◆ "사용법도 달랐다".최적화 과정 생략된 테스트

모델의 성능을 끌어내기 위한 '최적화(Tuning)' 과정이 부재했다는 점도 도마 위에 올랐다.통상적인 글로벌 벤치마크 기관들은 평가 전 개발사와 소통하며 최적의 프롬프트(명령어) 설정 값을 확인한다.이는 각 모델별 작동 특성이 다른 만큼,개발사가 인한 방식으로 성능을 측정해 불필요한 논란을 막기 위한 조치다.

하지만 이번 평가는 연구에 대한 사전 예고,조율 없이 진행 후 결과가 발표됐다.기업 B 관계자는 "우리 모델은 서비스형 모델이 아니므로 내장된 추론 기능을 제대로 활성화하려면 별도의 '트리거 프롬프트(Trigger Prompt)' 입력이 필수적"이라며 "단순히 문제만 입력하면 모델이 제 기능을 발휘하지 못해 엉뚱한 답을 내놓을 수 있다"고 설명했다.또 다른 관계자 역시 "AI가 데이터를 잘 이해할 수 있도록 변환하는 과정 없이 사람이 보는 시험지를 그대로 던져준 격"이라며 평가 설계의 정교함에 아쉬움을 표했다.

◆ 연구팀 "의도는 진단.자극적 해석 안타까워"

다만 김종락 교수 측은 이러한 논란에 대해 "이번 연구의 본질은 비판이 아닌 진단"이었다는 입장을 밝혔다.김 교수는 본지에 "국내 모델이 현재 어느 정도 수준인지 정확히 알아야 개선 방향도 잡을 수 있다는 취지였다"며 "언론에 보도된 '낙제점'이라는 표현은 연구팀의 공식 입장이 아니며,한국 프로농구객관성을 유지하려 노력했다"고 설명했다.

이에 연구팀은 국내 모델의 불리함을 보완하기 위해 파이썬(Python) 도구를 사용할 수 있도록 했으며,한국 프로농구순수 추론으로 풀지 못하는 문제들의 정답률을 높이려 했다고 설명했다.또한 연구팀은 "이번 평가가 단순한 순위 매기기에 그치지 않길 바란다.그보다는 자체 개발한 데이터셋(EntropyMath)을 통해 수학 리더보드를 국제적 표준으로 발전시키고 도메인 특화 모델 성장에 기여하려는 목표를 갖고 있다"고 강조했다.

한편 이번 논란은 AI 모델 평가 기준의 표준화,고도화 필요성을 제시한다.공정한 경쟁 기준과 모델 특성을 고려한 평가 설계가 이뤄지지 않는다면 제2,제3의 '낙제점 논란'은 언제든 반복될 수 있다는 의미다.한 AI 기업 관계자는 "굳이 외부에 공개하지 않았지만 이번 수능 직후 내부 테스트에서는 자사 모델이 연구에 공개된 결과보다 더 나은 점수를 얻었다"며 "기준이 모호한 외부 평가로 인해 국산 기업들의 기술력이 폄하되는 것은 경계해야 한다"고 말했다.

.