"AI가 스스로 연구하고 논문을 쓴다"는 이야기는 몇 년째 나오고 있다. 문제는 그 주장이 대체로 가설을 세우고, 코드를 돌리고, 원고를 쓰는 절차를 끝까지 밟았다는 뜻일 뿐, 결과물이 쓸 만한지는 별개라는 점이다.
2026년 8월 13일 arXiv에 올라온 「OmniScientist」 원고는 이 지점을 정면으로 다룬다. 그리고 자신들의 점수를 10점 만점에 6.3점으로 공개했다.
전제 하나. 이 글이 다루는 원고는 동료심사를 거치지 않은 arXiv 프리프린트다. 아래의 성능 수치는 연구진이 스스로 보고한 것이며, 제3자가 재현하거나 심사한 결과가 아니다. 특히 시스템을 만든 팀이 그 시스템을 평가했다는 점을 감안하고 읽어야 한다.
기존 AI 과학자의 맹점: 원본을 못 본다
원고가 지적하는 핵심 문제는 이렇다. 지금까지의 AI 연구 시스템들은 텍스트, 코드, 라벨, 또는 미리 계산된 요약값을 놓고 추론한다.
무슨 뜻이냐면, 현미경 사진 자체를 보는 게 아니라 "세포 수 1,240개, 평균 크기 12μm"라는 표를 받아서 판단한다는 것이다. 이 방식에서는 사진 속에서 세포들이 어떻게 뭉쳐 있는지, 신호가 시간에 따라 어떻게 변하는지 같은 정보가 사라진다. 원고의 표현으로는 "과학적으로 결정적인 공간적, 시간적, 채널 간, 절차적 관계"가 에이전트에게 도달하지 않는다.
사람 연구자가 데이터를 들여다보다 "어, 이거 이상한데?" 하고 방향을 트는 순간이 있는데, 요약값만 받는 시스템에는 그 순간이 존재하지 않는 셈이다.
무엇을 바꿨나
연구진(Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee, Wynne Hsu)이 만든 시스템은 가공되지 않은 원본 데이터를 직접 지각하는 층을 앞에 두고, 그 뒤에 아이디어 생성 · 실험 · 원고 작성을 맡는 3개의 자율 에이전트를 붙였다.
초록이 예로 든 데이터 형식은 이미지, 신호, 오디오, 영상, 3차원 구조, 궤적, 표, 수식, 그래프다.
여기에 더해 눈여겨볼 부분은 검증을 코드로 강제했다는 점이다.
- 참신성 스크리닝 (이미 나온 아이디어인지)
- 통계적 타당성 (분석이 통계적으로 말이 되는지)
- 실행 출처 추적 (이 결과가 어떤 실행에서 나왔는지)
- 수치 추적성 (원고 속 숫자가 어느 계산에서 왔는지)
AI가 그럴듯한 문장으로 결론을 지어내는 걸 막으려면, 원고에 적힌 숫자가 실제로 돌아간 코드까지 거슬러 올라가야 한다. 이 시스템은 그걸 파이프라인 안에 못 박아뒀다.
숫자를 어떻게 읽을 것인가
5개 학문 분야, 4종류의 과학적 증거를 아우르는 실제 데이터 36건에 대해 시스템은 원자료에서 완성된 원고까지 36건 모두 완주했다. 평균 점수는 6.3점(기준 추론 백본을 썼을 때)이었다. 채점은 타당성·중요도·사실 정확성 등의 항목에 대해 0~10점 척도로 이뤄졌다.
가장 흥미로운 건 대조 실험이다. 연구진은 같은 시스템에 원본 대신 미리 계산된 요약값만 주는 '눈 가린' 버전을 만들어 1:1로 비교했다. 원본을 직접 보는 쪽이 7개 평가 항목 전부에서 우세했고, 맞대결에서 85%를 이겼다.
여기서부터는 필자의 읽기다. 이 대조 실험은 "모델을 더 크게"가 아니라 "증거를 더 많이"가 성능을 가른다는 쪽을 가리킨다. 다만 이 비교는 같은 팀이 설계한 평가 체계 안에서의 결과이고, 6.3점 역시 어떤 기준으로 매겼는지에 따라 의미가 달라진다. 다른 팀이 다른 기준으로 채점하면 숫자는 얼마든지 달라질 수 있다.
정리하면
- 기존 AI 연구 시스템은 요약된 데이터만 보기 때문에 원자료에만 있는 정보를 놓친다.
- OmniScientist는 원본을 직접 지각하고, 참신성·통계·추적성 검증을 코드로 강제한다.
- 36건 전부 완주했지만 자체 평가 점수는 0~10점 척도에서 6.3점. 끝까지 쓴다는 것과 잘 쓴다는 건 다르다.
- 원본 접근만으로 7개 항목이 모두 개선되고 85% 승률이 나왔다는 결과는 방향을 시사하지만, 자체 평가라는 한계가 있다.
- 동료심사 전 프리프린트다.
'AI가 과학자를 대체한다'는 기사 제목을 볼 때마다, 만든 사람들이 스스로 매긴 6.3점을 같이 떠올리면 좋겠다.
출처와 확인 범위
- Li, B., Fei, H., Ju, T., Lee, M.-L., & Hsu, W. (2026). OmniScientist: An Omni-Modal Omni-Discipline AI Scientist. arXiv:2608.13558 (2026. 8. 13. 제출, 동료심사 전). 원문
확인 범위 — 초록과 본문의 평가 척도 서술(0~10점, 타당성·중요도·사실 정확성 등)까지 확인했다. 항목별 채점 세부 기준과 평가자 구성은 확인하지 못했다. 인용 부호로 묶인 문장은 초록의 번역이다.