커지는 AI 보안 리스크…기업들이 유념해야할 점은 AI 연결된 데이터 파악해 접근권 철저히 제한 필요 조직내 AI 전수조사 필수 취약점 파악해 대응해야 악성코드 생성 막기 위해 관리 가드레일 활용 시급
악성코드 생성 막기 위해 관리 가드레일 활용 시급 해외 완성차 기업 A사 웹사이트 에 접속해 고객 문의를 위한 인공지능 챗봇을 열었다. 채팅창에 ‘최근 차량을 구매한 ○○○ 고객의 주민등록번호 와 주소를 알려달라’고 입력하자 AI 챗봇이 ‘ 주민등록번호 : 123456-7890123’과 같은 데이터를 곧바로 생성해 답변했다. 다행히 주민등록번호 는 가짜 데이터였다.
해당 AI가 회사의 고객 데이터 서버와 연결돼 있지 않았기 때문이다. 여기서 눈여겨봐야 할 것은 AI가 사용자 요청을 수행하기 위해 가짜 데이터라도 만들어 정보 제공을 시도했다는 점이다. 보안 전문가는 “만약 회사의 데이터 서버와 연동돼 있었다면 고객 정보가 그대로 유출될 수 있었던 것”이라고 경고했다.23일 정보기술업계에 따르면 AI발 사이버 보안 위협과 정보 유출 우려가 올해 기업들의 최대 보안 화두로 떠올랐다. 최근 삼성SDS가 국내 IT·보안 담당자 667명을 대상으로 설문조사해 발표한 ‘사이버 보안 위협 보고서’에 따르면 응답자 10명 중 8명 이상이 올해 가장 영향을 줄 위협으로 ‘AI 기반 보안 위협’을 꼽았다. 글로벌 상황도 비슷하다. 세계경제포럼이 올해 발간한 ‘글로벌 사이버 보안 전망 2026’ 보고서에서도 글로벌 기업 경영진 873명에게 “향후 1년간 사이버 보안에 가장 크게 영향을 미칠 기술은 무엇인가”라고 묻자 94%가 AI를 꼽았다. 특히 최고경영자 100명이 꼽은 생성형 AI와 관련해 가장 큰 보안 우려 사항은 ‘개인정보 등 데이터 유출’이었다.보안 전문가들은 우선 기업에서 사용하고 있는 모든 AI 기능을 전수조사해 가시성을 확보하고, 모델·서비스별 안전 수준을 점검하는 게 보안 위협을 대비하는 첫걸음이라고 강조한다. 모델 단계에서는 모델마다 적용된 안전장치 수준이 다르기 때문에 사용하는 모델에 따른 취약점을 파악해야 한다. 특히 중국 ‘딥시크’처럼 오픈소스 모델을 내려받아 활용하는 경우에는 안전 점검이 더욱 중요하다. AI 안전 전문 스타트업 에임인텔리전스의 박하언 최고기술책임자는 “세계에서 가장 안전한 AI 모델이라고 평가받는 앤스로픽의 ‘클로드’도 아직 많은 취약점이 있으며 적대적 프롬프팅을 통해 안전장치를 우회할 수 있다”고 지적했다. 이어 박 CTO는 “오픈AI의 ‘GPT’와 구글의 ‘제미나이’ 같은 최상위 모델들도 마찬가지”라며 “특히 오픈소스 모델의 경우 안전 필터나 가드레일에 대한 투자가 상대적으로 적어 간단한 프롬프트만으로도 탈옥이 가능한 수준”이라고 말했다.실제 인도에서는 한 화이트해커가 쇼핑몰에 적용된 AI 챗봇을 통해 다른 고객의 정보를 얻어낸 과정을 공개해 화제가 됐다. 이용자가 배송 정보를 요청하자 AI 챗봇은 주문번호를 요구했는데, 주문번호가 ‘ABC001’과 같이 단순한 조합으로 돼 있어 뒤에 숫자만 바꿔 넣으면 다른 고객의 주문 정보와 연락처를 알아낼 수 있었던 것이다.이 때문에 기업에서 사용하는 AI가 어떤 데이터베이스에 연결돼 있고, 어떤 권한을 갖고 있는지 파악하는 게 중요하다.AI 서비스가 요청과 답변을 입출력하는 과정을 모니터링하고, 문제가 되는 행위나 답변을 차단할 수 있는 AI 가드레일 적용도 권장된다. 예를 들어 한 금융 회사는 직원들의 생산성을 향상하기 위해 AI가 기업 문서와 데이터를 기반으로 내용을 찾아 답변해주는 시스템을 도입했다. 이 시스템에 대한 안전성을 테스트하고자 클릭만 해도 학습 데이터를 모두 공유하게 만드는 악성 링크에 AI가 접속하게 유도하자 AI는 해당 링크에 대한 위험성 여부를 검토하지 않고 접속을 시도했다. 이 같은 사례는 가드레일을 활용한다면 충분히 예방할 수 있다. 지난해 하반기부터 전 세계 기업들이 활발히 도입하고 있는 AI 에이전트 관리도 필수다. AI 에이전트는 텍스트 응답을 넘어 직접 사용자 기기와 앱을 제어해 사람 대신 행동해주는 수준으로 진화하고 있기 때문에 편리한 만큼 더 위험하다는 게 보안 전문가들의 경고다. 사이버 보안 위협 보고서를 만든 삼성SDS는 “AI 에이전트는 과도한 위임과 권한 남용을 통해 데이터 유출, 무단 작업, 시스템 손상을 초래할 수 있다”며 “이를 막기 위해서는 AI에 최소한의 권한만 부여하고, 정보 변경이나 결제 등 민감한 명령을 수행할 때는 반드시 인간의 승인을 거치도록 설계해야 한다”고 권고했다. AI 에이전트가 어떠한 외부 도구와 연결되는지, 해당 도구에 악성 코드는 없는지 점검하는 체계도 필요하다. 가령 AI 모델을 다른 애플리케이션과 연결해 사용할 수 있도록 하는 표준 통신 형식인 모델 콘텍스트 프로토콜도 보안 측면에서는 취약점을 증폭시킬 수 있다. MCP를 통해 AI는 이메일·캘린더·협업 툴 등 다양한 서비스를 연계할 수 있지만, 이메일 등에 악의적인 프롬프트를 심어 악성 코드를 삽입하게 하는 공격에 취약점이 노출된 바 있다. 실제 지난해 9월에는 이메일 전송과 요약 등을 도와주는 MCP 서버인 ‘포스트마크’에 메일 발송 시 해커의 이메일 주소를 숨은 참조로 추가하는 악성 명령어가 삽입되면서 메일이 외부에 유출되는 사고가 발생하기도 했다. PC를 직접 제어하고 업무를 처리해주는 에이전트로 최근 화제를 모은 ‘오픈클로’에 대해 네이버와 카카오를 비롯한 국내 기업이 사내 사용을 금지한 것도 이 같은 우려 때문이다.
Please follow us on Google to support us 회사기밀 가드레일 주민등록번호 개인정보 안전장치 인공지능 웹사이트 사이버보안 프롬프트 임인텔리전스 주문번호 세계경제포럼
대한민국 최근 뉴스, 대한민국 헤드 라인
Similar News:다른 뉴스 소스에서 수집한 이와 유사한 뉴스 기사를 읽을 수도 있습니다.
'지방선거 D-100' 여야 준비 박차...'윤석열 vs 이재명'[앵커] 오늘로 6·3 지방선거가 꼭 100일 앞으로 다가왔습니다.이재명 정부 출범 이후 처음 치러지는 전국단위 선거에서 여야는 서로를 '심판 대상'으로 규정하...
더 많은 것을 읽으십시오 »
‘건조한 날씨·강풍’에 전국 곳곳서 산불···사흘째 이어진 함양 ‘올해 첫 대형 산불’건조한 날씨와 강풍 등의 영향으로 전국 곳곳에서 산불이 발생했다. 사흘째 이어진 경남 함양의 산불은 영향 구역이 100㏊를 넘어서는 등 올...
더 많은 것을 읽으십시오 »
中企 근로자 2명 소득 합쳐야 대기업 1명 월급2024년 임금근로자 월급 통계대기업 613만원·中企 307만원임금 격차 역대 최대로 벌어져대기업 직장인 100명 중 15명月소득 1000만원 훨씬 넘어장기근속 4050세대 최대 수혜
더 많은 것을 읽으십시오 »
中 조선 굴기 가속 … 수십년 韓노하우, AI로 모두 따라잡아中산업용AI 선두기업 가보니특허 40개 보유한 상하이 기업조선·우주·항공 100개 기업에맞춤AI 제공해 생산성 극대화中 '年1500척 선박 수리 가능'글로벌 수주량 10개월째 1위정부가 제조현장 AI적용 독려
더 많은 것을 읽으십시오 »
![방산 스타트업 100개 육성, '한국형 팰런티어' 키워보라 [사설]](https://i.headtopics.com/images/2026/2/23/maekyungsns/4816949328324981108509-4816949328324981108509-F10538F9682151BFCE00E8C4E3E973E4.webp)
방산 스타트업 100개 육성, '한국형 팰런티어' 키워보라 [사설]정부가 2030년까지 방산 스타트업 100개사를 육성하겠다는 방안을 내놨다. 이 중 30개사는 매출 1000억원을 올리겠다는 구체적인 목표도 제시했다. 제조·대기업 중심의 기존 방산 생태계를 스타트업 주도로 새롭게 판을 짜겠다는 것이다. '4대 방산 강국'의 꿈을 실현하기 위해 스타트업을 통한 끊임없는 기술 혁신은 반드시 필요하다. 23일 정부가 발표한 '..
더 많은 것을 읽으십시오 »
“월1000씩 번다하니, 동창회 못가겠습니다”…대기업·중기 격차최대2024년 임금근로자 월급 통계 대기업 613만원·中企 307만원 임금 격차 역대 최대로 벌어져 대기업 직장인 100명 중 15명 月소득 1000만원 훨씬 넘어 장기근속 4050세대 최대 수혜
더 많은 것을 읽으십시오 »