"AI가 스스로 연구하고 논문을 쓴다"는 이야기는 몇 년째 나오고 있다. 문제는 그 주장이 대체로 가설을 세우고, 코드를 돌리고, 원고를 쓰는 절차를 끝까지 밟았다는 뜻일 뿐, 그 결과물이 쓸 만한지는 별개라는 점이다.
2026년 8월 arXiv에 올라온 「OmniScientist」 논문은 이 지점을 정면으로 다룬다. 그리고 스스로의 점수를 10점 만점에 6.3점으로 공개했다.
기존 AI 과학자의 맹점: 원본을 못 본다
논문이 지적하는 핵심 문제는 이렇다. 지금까지의 AI 연구 시스템들은 텍스트, 코드, 라벨, 또는 미리 계산된 요약값을 놓고 추론한다.
무슨 뜻이냐면, 현미경 사진 자체를 보는 게 아니라 "세포 수 1,240개, 평균 크기 12μm"라는 표를 받아서 판단한다는 것이다. 이 방식에서는 사진 속에서 세포들이 어떻게 뭉쳐 있는지, 신호가 시간에 따라 어떻게 변하는지 같은 정보가 통째로 사라진다. 논문의 표현으로는 "과학적으로 결정적인 공간적, 시간적, 채널 간, 절차적 관계"가 에이전트에게 도달하지 않는다.
사람 연구자가 데이터를 들여다보다 "어, 이거 이상한데?" 하고 방향을 트는 순간이 있는데, 요약값만 받는 AI에게는 그 순간이 아예 존재하지 않는 셈이다.
OmniScientist가 바꾼 것
연구진(Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee, Wynne Hsu)이 만든 시스템은 가공되지 않은 원본 데이터를 직접 지각하는 층을 앞에 두고, 그 뒤에 아이디어 생성 · 실험 · 논문 작성을 맡는 3개의 자율 에이전트를 붙였다.
다루는 데이터 형식은 이미지, 신호, 오디오, 영상, 3차원 구조, 궤적, 표, 수식, 그래프까지 아홉 가지다.
여기에 더해 눈여겨볼 부분은 검증을 코드로 강제했다는 점이다.
- 참신성 스크리닝 (이미 나온 아이디어인지)
- 통계적 타당성 (분석이 통계적으로 말이 되는지)
- 실행 출처 추적 (이 결과가 어떤 실행에서 나왔는지)
- 수치 추적성 (논문 속 숫자가 어느 계산에서 왔는지)
AI가 그럴듯한 문장으로 결론을 지어내는 걸 막으려면, 논문에 적힌 숫자가 실제로 돌아간 코드까지 거슬러 올라가야 한다. 이 시스템은 그걸 파이프라인 안에 못 박아뒀다.
결과를 어떻게 읽을 것인가
5개 학문 분야, 4종류의 과학적 증거를 아우르는 실제 데이터 36건에 대해 시스템은 원자료에서 완성된 논문 원고까지 36건 모두 완주했다. 평균 논문 점수는 6.3점이었다.
그리고 가장 흥미로운 실험은 따로 있다. 연구진은 같은 시스템에 원본 대신 미리 계산된 요약값만 주는 '눈 가린' 버전을 만들어 1:1로 비교했다. 결과는 원본을 직접 보는 쪽이 7개 평가 항목 전부에서 우세했고, 맞대결에서 85%를 이겼다.
이 숫자가 말하는 바는 명확하다. AI 연구 시스템의 성능을 가르는 건 모델의 추론 능력만이 아니라 어떤 증거에 접근할 수 있느냐라는 것이다.
정리하면
- 기존 AI 과학자들은 요약된 데이터만 보기 때문에 원자료에만 있는 정보를 놓친다.
- OmniScientist는 9가지 형식의 원본을 직접 지각하고, 참신성·통계·추적성 검증을 코드로 강제한다.
- 36건 전부 완주했지만 평균 점수는 6.3점. 끝까지 쓴다는 것과 잘 쓴다는 건 아직 다르다.
- 다만 원본 접근만으로 7개 항목 전부가 개선되고 85% 승률이 나왔다는 건, 이 방향에 아직 남은 여지가 크다는 뜻이기도 하다.
'AI가 과학자를 대체한다'는 기사 제목을 볼 때마다, 6.3점이라는 숫자를 같이 떠올리면 좋겠다. 논문을 직접 쓴 쪽이 공개한 점수다.
출처
- Li, B., Fei, H., Ju, T., Lee, M.-L., & Hsu, W. (2026). OmniScientist: An Omni-Modal Omni-Discipline AI Scientist. arXiv:2608.13558 (2026. 8. 13. 제출). 원문 보기
본문 중 인용 부호로 묶인 문장은 위 논문 초록의 번역입니다.