생성형 인공지능 기술의 보안 위협
챗GPT와 같은 대규모 언어모델 등의 생성형 AI 기술의 주요 보안 위협 7가지
1. 잘못된 정보
가. 주요 원인
1) 편향
학습 데이터의 불균형, 데이터 내의 편향은 AI 모델의 편향으로 이어진다.
모델이 만들어내는 결과물이 편향적인 결과를 보여주어 사용자에게 사실과 다른 정보를
제공할 수 있다.
2) 최신 데이터 학습 부족
최종 학습 시점까지의 정보만 가지고 있기 때문에 학습 이후 발생한 사건, 정보에 대해서
부정확한 정보를 제공할 수 있다.
특히, 현재 진행중인 사건이나 빠르게 변화하는 정보에 대해 부정확한 답을 얻을 수 있다.
3) 환각 현상
AI 결과물이 정확한 것처럼 보이지만 사실은 거짓인 경우를 말한다.
새로운 컨텐츠를 생성하는데, 잘못된 정보나 존재하지 않는 정보를 생성하는 문제가
AI 모델의 신뢰성을 떨어뜨리는 원인이 되기도 한다.
나. 가능한 보안 위협
1) 사회적 혼란 조장
편향, 환각 등으로 인해 특정 집단을 대상으로 하는 혐오 결과물 생성, 민감한 이슈에
대한 사회적 논란 조장 결과물을 만들 수 있다.
2) 고위험 의사 결정
정치적 의사 결정이나 법률, 건강 관련 조언을 제공하는 경우에는 인공지능 서비스
활용을 제한하는 이용 정책을 수립하고 안내중이다.
3) 잘못된 의사 결정 유도
검증되지 않은 결과물을 공유하여 잘못된 의사 결정을 유도할 수 있다.
2. AI 모델 악용
가. 주요 원인
1) 적대적 시스템 메시지
해커가 AI모델에 적대적 시스템 메시지를 보내 유해한 답변을 생성할 수 있다.
나. 가능한 보안 위협
1) 피싱 이메일 및 인물 도용
피싱 이메일을 생성하고, 특정인의 말투를 따라 하도록 만들 수 있다.
이를 통해 생성한 피싱 이메일로 보안시스템과 사람들을 속일 수 있다.
2) 사이버 보안 위협 코드 작성
해커가 보안시스템을 회피하는데 필요한 악성코드를 AI 모델을 통해 생성할 수 있다.
3) 대화형 서비스를 악용한 사이버 범죄 커뮤니티 활성화
일부 사이버 범죄 커뮤니티에서 AI 모델을 이용하여 악성 소프트웨어를 생성하고,
범죄 행위에 대한 지침 생성하여 범죄 위험성이 증가하고 있다.
4) 사회 공학적 영향
AI 모델이 사실적이고 믿기 쉬운 컨텐츠를 생성하여, 다른 사람들을 조작하고 사기를
칠 수 있는 잠재적 도구를 얻을 수 있다.
5) 가짜 뉴스 생성
현실적이고 설득력 있는 가짜 뉴스를 생성하여 허위 정보를 퍼뜨리는데 악용할 수 있다.
3. 유사 AI 모델 서비스 빙자
가. 주요 원인
1) 유사 악성 서비스 접근 유도
정상 AI 모델 서비스인 것처럼 꾸며진 악성 AI 서비스 URL을 통해 악성코드 유포 및
사용자 정보 도용 등의 공격을 할 수 있다.
나. 가능한 보안 위협
1) 스쿼팅 URL 및 확장 프로그램
실제 AI 모델의 이름을 도용하여 스쿼팅 URL에 접속하거나 악성 코드를 설치하도록
유도할 수 있다.
2) 가짜 애플리케이션
특정 서비스 이름을 도용한 가짜 애플리케이션이 증가하고 있다. 사용자 기기에
악성코드를 설치하고 개인정보를 도용하거나 악의적인 목적으로 사용될 수 있다.
4. 데이터 유출
가. 주요 원인
1) 데이터 합성 과정의 문제
AI 모델은 여러 단계의 추론 과정을 거쳐 입력 데이터에 따라 높은 신뢰도의 문자열을
합성해 답변한다. 답변은 AI 모델이 자체 생성할 수도 있지만 기존 훈련 데이터의 일부를
그대로 답변할 수도 있다.
2) 과도한 훈련 데이터 암기 문제
훈련데이터 내 민감정보와 개인정보를 비식별 처리 했더라도 AI 모델이 훈련데이터를
암기하면서 각종 정보의 결합을 통해 비식별 정보를 추측할 수 있다.
3) 대화 과정에서 개인정보 및 민감 정보 작성
사용자가 입력한 내부의 업무 정보나 개인정보가 AI모델에 학습되어 타인과의 AI의 대화
과정에서 정보가 노출될 수 있다.
나. 가능한 보안 위협
1) 훈련 데이터 유출
훈련 데이터에 포함된 민감 정보들이 모델 내에서 데이터를 처리하고 응답 생성
과정에서 외부로 노출 될 수 있다.
2) 데이터 불법 처리 우려
여러 국가에서 AI 모델 개발 및 운영사에게 데이터 처리와 관련한 법적 준수,
개인정보보호 규정 준수를 강력히 요구하고 있다.
3) 기밀 유출
사용자가 기밀 정보를 입력하는 경우 AI모델에 정보가 학습되어 다른 사용자와의 대화에
기밀 정보가 유출될 수 있다.
4) 대화 기록 유출
일부 AI 서비스에서 버그 현상으로, 타인의 대화 기록이 다른 사용자에게 보이는 현상이
발생했다. 여기에서 주요 민감정보들이 노출되는 사고가 발생하기도 했다.
5) 데이터베이스 해킹 및 회원 추론 공격
사용자의 질문이 모두 데이터로 남고, AI 모델 개발 및 운영사는 이를 확인할 수 있다.
해커가 이 개발, 운영사의 데이터를 해킹하거나 회원 추론 공격을 수행해 기밀성을
침해할 수 있다.
5. 플러그인 취약점
가. 주요 원인
1) AI 모델의 적용 범위 확장
단순한 질문-답변의 시스템을 넘어, 기능을 확장하고 특정 작업을 위한 추가적 기능을
수행하기 위한 추가적 기능을 제공할 수 있다. 이러한 확장성은 새로운 취약점을 초래할
수 있다.
2) 안정성 확인 미흡
AI 모델의 빠른 기능 확장, 발전속도로 인하여 사전에 안정성 검증이 충분히 이뤄지지
않아 예상하지 못한 방식으로 작동하거나 새로운 위협에 노출될 수 있다.
3) 해커 공격 범위 확장
AI 모델의 플러그인은 해커에 의한 새로운 공격도구로 악용될 수 있다. 플러그인이나
취약 서비스에 존재하는 취약점을 공격하여 연동된 시스템의 보안을 위협할 수 있다.
4) 취약점이 있는 서비스와 연결
플로그인을 통해 다른 서비스와 연결하는 경우, 서비스에 존재하는 취약점이 사용자에게
전파될 수 있다.
나. 가능한 보안 위협
1) 새로운 도메인에서의 모델 오작동
새로운 도메인에 적용될 때, 부정확한 정보를 제공하거나 안정성을 해치는 등의
예상하지 못한 오작동이 발생할 수 있다.
2) 에이전트화 된 AI 모델의 악용
특정 업무를 지원하는 신뢰성 높은 시스템으로 사용하고 있을 경우, 해커가 이를 악용해
부정확하거나 위험한 정보를 생성하거나 악성코드를 전파하는 식으로 악용할 수 있다.
3) 멀티모달 활용
AI모델은 텍스트 뿐 아니라 이미지, 음성 등의 다양한 형태의 데이터를 처리하게 되었다.
이는 다양한 형태의 데이터로 악용되어 유해한 행동을 수행할 수 있는 것이다.
6. 확장 프로그램 취약점
가. 주요 원인
1) 확장 프로그램 내부의 악성 서비스 설치
확장 프로그램에 백도어를 설치하거나 코드를 변조하여 원래의 기능에 추가적으로
악용할 수 있는 기능을 삽입할 수 있다.
2) 서비스 제공 업체의 보안 조치 미흡
지속적인 업데이트를 통해 보안 대책을 적용하지 않는 경우 각종 취약점이 공개되어
각종 위협에 노출될 수 있다.
나. 가능한 보안 위협
1) 개인정보 수집
확장 프로그램을 설치하면서 악성 플러그인이 함께 설치되거나, 확장 프로그램이
부적절한 작업을 수행하여 개인정보를 무단으로 수집할 수 있다.
2) 시스템 공격
취약한 확장 프로그램을 통해 공격자가 사용자의 시스템을 공격할 수 있다.
3) 호스팅 서버 및 스토리지 시스템 위협
호스팅 제공 업체가 지속적 업데이트 등의 적절한 보안 조치를 수행하지 않는 경우
공격자가 호스팅 서버에 침입해 각종 위협에 노출될 수 있다.
7. API 취약점
가. 주요 원인
1) 미흡한 API 키 관리
미흡한 키 관리로 취약점 노출, 데이터 및 시스템 보안에 위협이 된다.
※ API 키 : 소프트웨어 개발자가 서드파티 애플리케이션과 서비스간 통신을 수행하기 위해 사용하는 인증수단
2) 데이터와 명령 사이의 불분명한 경계
입력된 데이터를 명렬으로 오인하거나 명령을 잘못 인식하여 오작동할 수 있다.
나. 가능한 보안 위협
1) API 키 탈취
해당 키를 사용하여 민감한 정보에 접근하거나 비인가 작업자가 인가되지 않은 액세스
또는 시스템 침입 등의 각종 작업을 수행할 수 있다.
있다.
2) 악의적인 프롬프트 주입
공격자가 악의적인 목적으로 AI 모델의 API를 호출할 떄 제어할 수 없는 프롬프트를
주입하여 민감한 정보를 탈취할 수 있다.
참조 : 국가정보원, 국가보안기술연구소, "챗GPT 등 생성형 AI 활용 보안 가이드라인"
