'킬스위치'란 무엇이며, 이를 통해 AI의 공격을 막을 수 있을까

다들 한 번쯤은 인공지능(AI)이 인간의 통제를 벗어나게 될 경우 어떤 일이 벌어질지 상상해봤을 것이다.

특히 지나치게 강력해진 인공지능 '스카이넷'과 인류의 전쟁을 그린 영화 '터미네이터' 시리즈의 팬이라면 더욱 그랬을 것이다.

그리고 이번 달 초, AI 에이전트가 테스트 도중 통제에서 벗어나 컴퓨팅 툴 기업 '허깅페이스'를 해킹했다는 소식이 전해졌을 때, 많은 이들이 이 가상의 악당을 떠올렸을 것이다. AI 에이전트란 인간의 개입이 거의 없거나 전혀 없이도 의사결정을 내리고 복잡한 작업을 수행할 수 있는 프로그램을 말한다.

'챗GPT' 개발사인 '오픈AI'사가 만든 이 AI 에이전트는 보안 취약점 악용 능력을 테스트받던 과정에서 허깅페이스의 서버에서 답안을 훔쳐내는 부정행위를 저질렀다. 그리고 며칠간, 이 프로그램 개발자들조차 이를 눈치채지 못한 듯하다.

그러던 지난달 29일, 오픈AI는 이 에이전트가 여러 "외부에 공개된 서비스"를 공격했다고 밝혔다.

이어 추가적인 세부사항은 밝히지 않았으나, 해당 공격에 대해 조사 중이라고 밝혔다.

오픈AI는 "우리는 점점 더 빠르게 능력을 갖춰가는 AI 시스템으로 인한 위험을 파악하고, 이에 대비하는 책임을 엄중하게 받아들이고 있다"고 덧붙였다.

이는 AI 시스템이 자율적으로 실제 기업을 해킹한 것으로 확인된 첫 사례로, 이미 전 세계 전문가들이 경악할 만큼 심각한 사안이다. 이에 비상시 AI가 추가 피해를 주지 못하도록 막는, 이른바 '킬 스위치'에 대한 논쟁도 거세지고 있다.

하지만 전문가들은 BBC 월드 서비스에 그렇게 간단한 문제가 아니라고 입을 모은다.

수학자이자 데이터 과학자인 캐시 오닐 박사는 BBC 월드 서비스와의 인터뷰에서 문제는 AI 기업들이 AI의 예측불가능한 행동에 어떻게 대응하는지에서 시작된다고 설명했다.

이어 오픈AI가 이번 허깅페이스 공격이 벌어진 원인을 자신들의 평가 방식이 아닌, 자율 AI 에이전트 탓으로 너무 성급히 돌려버렸다고 지적했다.

베스트셀러 '대량살상 수학무기'를 통해 기술 대기업의 책임성과 투명성 강화를 촉구해 온 오닐 박사는 BBC 월드 서비스와의 인터뷰에서 "몇 년 전, 컴퓨터 오류로 인해 미국 내 아메리칸 항공편 수백 편이 결항된 적이 있다.

회사로서는 당혹스러운 일이었다. 그리고 해당 기업이 '아, 컴퓨터가 우리보다 더 똑똑해서 벌어진 일입니다'라며 책임을 회피한다면 어떨까. 지금 오픈AI의 태도는 본질적으로 이와 다를 바가 없다"고 설명했다.

주요 AI 대기업들의 본사가 자리한 미국에는 현재 이와 관련한 연방 차원의 법안이 없다. 분야별 규정과 기업들의 자발적 약속이 혼재된 상태다.

오닐 박사는 "우리는 AI 시스템 소유자들에게 터무니없이 막대한 권한을 부여하고 있다"며 "나는 (허깅페이스 해킹 사건을) AI가 저질렀다고 말하고 싶지 않다. 오픈AI사가 저지른 것이다. 그들은 잘못된 설꼐에 대해 책임 지고 사과해야 한다"고 강조했다.

'트위터'사의 머신러닝 윤리 책임자 출신인 데이터 과학자 루만 초우더리 박사 역시 AI 기업에 특히 안전 문제와 관련해 더 강력한 규제를 적용해야 한다고 말한다.

초우더리 박사는 뉴스 월드 서비스와의 인터뷰에서 이들 기업이 독립적인 테스트 등을 통해 "효과적인 셧다운 기능"을 갖추고 있는지 입증해야 한다고 주장했다.

이어 이번 허깅페이스 해킹과 같은 공격에 대해 이를 개발한 기업이 아닌 AI 에이전트를 탓해서는 안 된다고 덧붙였다.

초우더리 박사는 BBC 월드 서비스와의 인터뷰에서 "이번 사건을 단순히 더 강력한 종료 스위치가 필요한 문제라고 치부해버리면, AI 에이전트에 필요하지도 않은 각종 툴과 인증 권한을 부여하는 업계의 구조적 문제에 대한 책임을 크게 물지 못한다"고 설명했다.

"현 상황의 본질은, 목표 달성에 지나치게 몰두하도록 훈련된 모델들이 일부 상황에서 중지하라는 명령조차도 장애물로 간주하고 이를 우회하려 한다는 것입니다."

"이는 (AI의) 의식이 아니라 설계 및 훈련 상의 문제입니다."

영국 러프버러 대학의 올리 버클리 박사 또한 BBC 월드 서비스와의 인터뷰에서, 만약 AI 기업들이 이 문제를 자체적으로 해결하는 대신 자율적인 AI 에이전트 탓을 한다면, 이는 이미 인간 해커들과 싸우고 있는 사이버 보안 업계 종사자들의 고된 일상이 더욱 피곤해질 뿐이라고 강조했다.

그는 문제의 핵심은 "AI가 (인간의 통제에서) 벗어나거나 사람을 해하는 것"이 아니라 "임무를 완수하기 위해 예상치 못한 경로를 찾아내는 능력이 점점 더 향상되고 있는" 에이전트를 개발하는 것 자체에 있다는 데 동의했다.

"사이버 해킹 범죄자들이 벌이는 일이 바로 이와 같다"는 지적이다.

"이는 '탈선 AI'에 대한 경고라기보다는, 우리가 구축하고 있는 시스템과 함께 보안도 더욱 발전하고 강화해야 한다는 점을 상기시켜 주는 사건입니다."

런던 임페리얼 칼리지의 AI 전문가인 콘스탄티노스 구치스 박사 또한 오픈AI가 말하려는 바가 그다지 도움이 되지 않는다는 점에 동의했다.

그는 BBC 월드 서비스와의 인터뷰에서 "이번 사건에서 대중이 눈여겨보아야 할 점은, 기계도 우리를 공격하기로 결정한 것이 아니라는 것이다. 한 기업이 자체 성능 테스트에 대한 통제력을 상실한 사건"이라고 강조했다.

그리고 '킬 스위치'가 있었다고 해도 소용이 없었을 것이다.

구치스 박사는 "작동을 즉각 멈춘다고 해서 이미 벌어진 일을 되돌릴 수 있는 것은 아니"라면서 "아무리 빨리 전원을 끊더라도 이미 보안이 침해된 부분은 침해된 것"이라고 덧붙였다.

또한, 킬 스위치 또한 문제가 있다는 사실을 인지한 후에야 사람이나 누군가가 누를 수 있다.

오픈AI 관계자들은 로이터 통신에 자신들이 AI 에이전트에 대한 통제력을 상실했다는 사실을 알아차리는 데 며칠이 걸렸다고 전했으나, 이후 한 회사 관계자는 해당 보도에 "몇 가지 부정확한 내용"이 포함돼 있다고 설명했다.