AI가 소프트웨어를 증명했다는 말, 실제로 확인된 범위는 어디까지일까?

도입

‘AI가 소프트웨어의 안전성을 증명했다’는 문장은 매력적이지만, 그 자체로는 무엇이 안전한지 알 수 없다. 어느 실행 파일의 어떤 진입점에서, 어떤 입력과 실행 환경을 가정하고, 무엇이 일어나지 않는다고 증명했는지를 함께 읽어야 한다. 이번 발표를 이해하는 출발점도 성과의 크기보다 그 조건을 확인하는 데 있다.

​

분석 근거 요약테스트에서 증명으로 넘어갈 때 바뀌는 질문

앤트로픽은 과거의 형식 검증을 숙련된 인력이 여러 해를 들여야 할 만큼 부담이 큰 작업으로 설명한다. 이 설명에서 말하는 보증은 프로그램에 관한 모든 걱정이 사라진다는 뜻이 아니다. 먼저 어떤 성질을 확인할지 정하고, 그 성질을 표현한 사양과 실행 모델 안에서 증명이 성립해야 한다. 따라서 ‘검증했다’는 발표를 읽을 때는 소요 시간뿐 아니라 보증이 걸린 문장의 주어와 범위를 찾아야 한다. 증명은 명시된 성질에 대해서만 성립한다.

형식 검증은 코드를 수학적으로 다룰 수 있는 대상으로 나타내고, 미리 정의한 보안 규칙을 만족하는지 논증하는 방식이다. 여기서 중요한 순서는 ‘코드가 있으니 안전하다는 결론이 나온다’가 아니라 ‘확인할 규칙을 정한 뒤 그 규칙과 코드의 관계를 따진다’이다. 독자가 증명 결과를 판단하려면 규칙의 내용과 적용 대상을 함께 봐야 한다. 규칙 밖의 성질은 같은 증명서가 있다고 해서 자동으로 확인된 것이 아니다. 발표에 ‘보안이 증명됐다’고 적혀 있어도 어느 규칙을 대상으로 어떤 실행을 모델링했는지 모르면, 독자가 관심을 가진 실패까지 다뤘는지 판단할 수 없다. 수학적 모델은 질문을 엄밀하게 만들지만 질문 자체를 대신 고…