AI가 전적으로 제작한 앱, 3일 만에 150만 건의 기록 유출: 이를 방지하기 위해 주의해야 할 5가지

올해 1월, "Moltbook"이라는 소셜 네트워크가 출시되었습니다.

AI 에이전트만 게시할 수 있는 특이한 소셜 네트워크였고, 거의 대부분 AI로 구축되었습니다. 소위 '바이브 코딩'이라고 할 수 있는 방식이었죠.

출시된 지 3일 만에 한 보안 연구원이 문제점을 발견했습니다.

"누구나 이 앱의 데이터베이스 내용을 읽고 다시 쓸 수 있습니다."

유출된 것은 약 150만 개의 인증 토큰, 약 35,000개의 이메일 주소, 그리고 수천 개의 개인 메시지였습니다.

운영진은 즉시 수정했지만, 그때까지 며칠 동안 누구나 원하는 데이터를 가져갈 수 있었습니다.

제 업무는 사내 AI 도구 개발을 지원하고 보안 점검을 수행하는 것입니다.

이번 사건은 AI를 사용해 구축한 사내 도구를 가진 회사에서 제가 가장 자주 보는 취약점과 정확히 일치했습니다.

무슨 일이 있었는지, 그리고 여러분에게 이런 일이 발생하지 않도록 주의해야 할 5가지 사항을 소개합니다.

====

무슨 일이 일어났나

원인은 단 두 가지였습니다.

첫째, 데이터베이스에 "자신의 데이터만 볼 수 있다"는 규칙이 없었습니다.

둘째, 데이터베이스에 연결하는 데 사용되는 키가 브라우저 측 코드에 직접 작성되었습니다.

브라우저에 작성된 키는 개발자 도구만 열면 누구나 볼 수 있습니다.

해당 키로 데이터베이스에 연결하면 제한 규칙이 없기 때문에 모든 데이터가 반환됩니다.

즉, 앱 인터페이스를 거치지 않고 뒷문을 통해 모든 것이 노출되었습니다.

AI는 "작동하는 앱"을 성공적으로 구축했습니다.

하지만 요청받지 않았기 때문에 "다른 사람에게 숨기는" 부분은 구축하지 않았습니다.

이것이 AI로 구축할 때 가장 큰 함정입니다.

====

1. "로그인 가능"과 "다른 사람의 데이터를 볼 수 없음"은 별개의 문제입니다

앱을 개발할 때 로그인 기능은 거의 항상 포함됩니다.

사람들은 "일단 로그인 기능을 추가했으니 괜찮겠지"라고 생각하는 경향이 있지만, 이는 잘못된 생각입니다.

로그인은 사용자가 "누구인지" 확인하는 기능입니다.

"그 사람이 무엇을 볼 수 있는지"는 별도로 구축해야 합니다.

Moltbook에도 로그인 시스템이 있었습니다.

하지만 로그인 후 사용자는 다른 사람의 데이터에 접근할 수 있었습니다.

확인 방법은 간단합니다.

두 개의 테스트 계정을 만들고, 계정 A로 로그인한 후 계정 B 데이터의 URL을 직접 열어보세요.

데이터가 보인다면 노출된 상태입니다.

AI를 위한 프롬프트는 다음과 같습니다:

"사용자가 자신의 데이터에만 접근할 수 있도록 하세요. 다른 사람의 데이터 URL을 열어도 볼 수 없도록 하세요."

====

2. 데이터베이스 측에도 "자신의 데이터만 볼 수 있음" 규칙을 설정하세요

첫 번째 사항은 앱 측에 관한 것이었습니다.

하지만 Moltbook의 경우처럼, 누군가 앱을 거치지 않고 뒷문을 통해 데이터베이스에 직접 연결할 수도 있습니다.

따라서 데이터베이스 자체에 "이 사람은 이 행만 볼 수 있다"는 규칙을 설정해야 합니다.

이렇게 하면 키가 유출되더라도 다른 사람의 데이터를 검색할 수 없습니다.

최근 AI 개발에서 자주 사용되는 데이터베이스 서비스에는 이 기능이 있습니다.

하지만 기본적으로 꺼져 있는 경우가 많습니다. AI는 요청하지 않으면 활성화하지 않습니다.

프롬프트는 다음과 같습니다:

"모든 데이터베이스 테이블에 사용자가 자신의 행만 읽을 수 있도록 규칙을 활성화하세요."

====

3. 브라우저 측에 키를 배치하지 마세요

Moltbook의 또 다른 원인은 키가 브라우저에 작성되었다는 점이었습니다.

앱에는 "서버 측에서 실행되는 코드"와 "브라우저 측에서 실행되는 코드"가 있습니다.

브라우저 측은 사용자의 PC로 완전히 전송됩니다. 즉, 거기에 키를 작성하는 것은 모든 사람에게 키를 배포하는 것과 같습니다.

확인 방법: 개발자 도구를 열고 "key", "token" 또는 "secret"을 검색하세요.

해당하는 긴 문자열이 나타나면 주의해야 합니다.

프롬프트는 다음과 같습니다:

"키와 비밀번호는 엄격하게 서버 측에 보관하세요. 브라우저 측 코드에는 절대 포함하지 마세요."

====

4. 출시 전에 "다른 AI"가 악당 역할을 하도록 하세요

앱을 구축한 AI에게 "안전한가요?"라고 물으면 "네"라고 대답할 것입니다. 스스로 구축했기 때문입니다.

따라서 개발에 사용된 AI와는 다른 AI가 공격자의 관점에서 검토하도록 해야 합니다.

"이 앱을 해킹하려면 어디로 들어갈 것인가?"라고 물어보세요.

제가 고객의 도구로 이 작업을 수행하면, 그들이 미처 발견하지 못한 취약점이 쏟아져 나옵니다.

Moltbook의 두 가지 취약점은 일반적으로 이 질문으로 발견할 수 있는 수준입니다.

프롬프트는 다음과 같습니다:

"당신은 공격자입니다. 이 앱에서 다른 사람의 데이터를 볼 수 있는 모든 방법을 나열하세요. 발견하면 수정 방법도 함께 제공하세요."

====

5. 출시 후 첫 주 동안 "누가 무엇을 봤는지" 기록하고 매일 확인하세요

Moltbook은 외부 연구원이 발견하여 연락을 취함으로써 수정되었습니다.

그들 스스로는 알아차리지 못했습니다.

사내 도구의 경우, 아무도 연락하지 않을 것입니다.

따라서 "누가 언제 로그인했고 어떤 데이터를 봤는지" 기록을 유지하세요.

그런 다음 출시 후 첫 주 동안 매일 그 기록을 확인하세요.

알 수 없는 접근 소스, 한밤중의 대규모 접근, 또는 한 사람이 모든 사람의 데이터를 여는 행위.

기록을 보면 즉시 알 수 있습니다.

프롬프트는 다음과 같습니다:

"누가 언제 어떤 데이터에 접근했는지 로그를 유지하세요. 단, 로그에는 비밀번호나 개인 정보를 기록하지 마세요."

====

요약

Moltbook 사건을 한 줄로 요약하면 다음과 같습니다:

"AI는 요청받은 것은 구축하지만, 요청받지 않은 것은 구축하지 않습니다."

사내 도구를 만들 때 우리는 "이런 기능을 원한다"고 말합니다.

하지만 "다른 사람에게 보여주지 마세요" 또는 "브라우저에 키를 넣지 마세요"라고 말하지는 않습니다.

말하지 않았기 때문에 포함되지 않습니다.

반대로, 이 다섯 가지 사항은 모두 AI에 한 문장만 추가하면 포함될 수 있습니다.

먼저, 현재 실행 중인 도구로 두 개의 테스트 계정을 만들고 다른 사람의 데이터 URL을 열어보세요.

그것만으로도 Moltbook과 동일한 취약점이 있는지 알 수 있습니다.

====

마지막으로, 공지사항입니다.

저희 회사는 귀사에 맞는 업무별 AI 에이전트를 처음부터 구축하는 서비스를 제공합니다.

교육이나 도구 소개 대신, 실제 업무 워크플로우에 대해 인터뷰하고 "내일부터 바로 사용 가능한" 것을 그대로 전달합니다. 도입 후 개선 및 사내 개발까지 지속적으로 지원합니다.

또한 엔지니어가 동행하여 사내 AI 도구의 보안 및 운영을 점검하고, 이후 유지보수 및 수정을 처리하는 서비스도 제공합니다. 구축 후 끝나는 것이 아니라, 이 글의 다섯 가지 관점에서 "지속적인 보호 시스템"을 구축하는 것이 핵심입니다.

"저희 도구는 다른 사람의 URL을 열면 데이터가 표시될 수도 있어"라고 생각하시는 사업주 또는 관리자라면, 저희와 상담해 주시기 바랍니다.

초기 상담은 무료이며, 이 글에서 소개한 공격자 관점 점검 데모를 현장에서 보여드릴 수 있습니다. 시스템이 어디에 취약한지 함께 정리하는 것부터 시작할 수 있으니, DM 또는 LINE으로 편하게 연락 주세요.

"AI"라고만 말씀하셔도 됩니다↓

LINE: https://line-harness.r-yagi.workers.dev/r/x