OpenAI 저자원 언어 코딩 성능: MultiLangBench 87.4%와 COBOL 이전의 한계

저자원 프로그래밍 언어 AI가 주목받는 이유

저자원 프로그래밍 언어 AI는 파이썬이나 자바스크립트에 비해 학습용 코드와 문서가 부족한 언어를 AI가 읽고, 수정하고, 새 프로그램으로 구현할 수 있는지를 다루는 분야다. 대표적으로 COBOL, Fortran, Visual Basic이 있다. 이러한 언어가 오래됐다고 중요성이 낮은 것은 아니다. 오래 운영한 금융·산업 시스템의 핵심 업무 규칙이 해당 코드에 남아 있을 수 있기 때문이다.

2026년 10월 19일 발표된 OpenAI 저자원 언어 코딩 연구는 AI가 두 가지 서로 다른 일을 얼마나 수행하는지 살펴봤다. 하나는 오래된 언어로 새로운 소프트웨어를 구현하는 작업이고, 다른 하나는 이미 실행 중인 프로그램의 동작을 보존하면서 코드를 다른 언어로 옮기는 작업이다.

MultiLangBench와 SQLite 호환 DB 벤치마크는 무엇을 측정하나

MultiLangBench는 20개 프로그래밍 언어 각각으로 SQLite 호환 데이터베이스 엔진을 처음부터 작성하도록 요구한다. 결과물에 데이터베이스 파일과 SQL 질의를 입력한 뒤 출력된 데이터베이스 내용이 참조 SQLite의 결과와 일치하는지 테스트한다. 따라서 이 SQLite 호환 DB 벤치마크는 단순 함수 한 개를 맞히는 문제가 아니라 상태 관리, 오류 처리, 기능 추가, 기존 동작 유지 등 긴 코딩 작업을 검사한다.

다만 벤치마크 테스트 통과율이 실제 서비스를 위한 성능·보안·규정 준수 또는 완전한 SQLite 호환성 인증을 의미하는 것은 아니다. 평가 범위와 실무 배포 조건을 구분해야 한다.

GPT-6 Astra 코딩 성능: 87.4%를 해석하는 방법

GPT-6 Astra 코딩 성능은 MultiLangBench의 20개 언어 평균 테스트 통과율 87.4%로 발표됐다. 비교 대상인 GPT-5.6 Sol은 26.8%였다. COBOL 개별 테스트에서는 각각 72.1%와 10.9%로 제시됐다. 모두 OpenAI가 공개한 자체 평가 결과이며 최대 추론 노력 조건에 따른 수치다.

GPT-6 Luna 코딩 성능은 평균 40.3%이며, 이 평가에서 제시한 샘플당 추정 API 비용은 0.77달러로 GPT-5.6 Sol의 3.48달러보다 약 78% 낮았다. 실제 기업 청구 비용은 사용 조건과 작업 특성에 따라 달라질 수 있다.

MultiLangBench 87.4% 평가 기준은 ‘20개 언어의 SQLite 호환 엔진 제작 과제에서 통과한 테스트의 평균’이다. 개발자 채용 평가, 제품 출시 성공률, 기업 전체 코드베이스 완성률 등으로 환산할 수 없다.

COBOL AI 코드 변환: 정확도 97.9%가 뜻하는 것

두 번째 과제인 COBOL AI 코드 변환 평가는 기존 COBOL 프로그램을 C++, Java, Kotlin, Python 또는 Rust로 옮긴 뒤 관찰 가능한 출력이 바이트 단위로 동일한지 숨겨진 테스트로 확인한다. OpenAI는 GPT-6.1 Sol이 낮은 추론 노력에서 86.6%, 높은 추론 노력에서 97.9%의 정확도를 기록했다고 밝혔다.

COBOL 마이그레이션 정확도 97.9% 의미를 이해할 때 핵심은 평가 범위다. 이 수치는 벤치마크의 숨겨진 테스트 기준을 통과한 결과이지, 모든 실제 COBOL 운영 시스템이 자동으로 97.9% 성공적으로 이전된다는 뜻이 아니다. 특히 고정소수점 연산의 반올림·절삭 규칙, 누락 레코드 처리처럼 눈에 잘 띄지 않는 차이가 금융 결과를 바꿀 수 있다.

레거시 시스템 AI 현대화: 도입 전에 확인할 사항

레거시 시스템 AI 현대화 프로젝트라면 먼저 기존 프로그램의 관찰 가능한 동작을 기록해야 한다. 입력과 출력뿐 아니라 예외 처리, 배치 주기, 데이터 형식, 업무상 허용 오차, 외부 서비스 의존성도 확인 대상이다. 벤치마크가 우수해도 조직별 운영 의존성까지 자동으로 검증되지는 않는다.