■ 생성형 AI 기술을 악용한 공격 동향

‍

2월 27일, 동아일보·채널A 주최 <2024 동아 인포섹 - 정보보호 콘퍼런스>가 열렸습니다. SK쉴더스 EQST Lab 이호석 팀장은 ‘딥페이크 기술을 접목한 피싱 공격과 대비책’을 주제로 발표했는데요. 딥페이크 기술이 접목된 피싱 범죄부터 대응 방법까지, 자세히 알아보겠습니다.

‍

‍

생성형 AI가 등장함에 따라 이를 악용하여 해킹 공격에 활용하는 등 공격 진입 장벽이 낮아지고 있습니다. 최근 포착된 AI 관련 공격 동향으로는 웜 GPT, 악성 프로그램·앱 제작, 딥페이크·딥보이스 악용 등이 있습니다.

​

✅ AI 관련 공격 동향 - 웜 GPT

웜 GPT는 해킹에 특화된 생성형 AI로, 불법 행위에 제한이 없습니다. 오픈소스 GPT-J^* 모델로 제작된 웜 GPT는 BEC(Business Email Compromise) 공격 혹은 멀웨어를 제작할 수 있는 특징을 지니고 있습니다.

*GPT-J: GPT-3와 비슷한 성능을 내는 오픈소스 LLM 모델로, 2021년에 공개됨.

​

• BEC(Business Email Compromise) 공격: 기업 이메일 침해(BEC) 공격에 특화된 생성형 AI로, 매우 설득력 있는 문법을 사용합니다.
• 멀웨어 제작: 멀웨어 생성에 관련된 데이터를 학습시킨 생성형 AI로, 고도화된 악성 소프트웨어를 작성할 수 있습니다.

​

✅ AI 관련 공격 동향 - 악성 프로그램·앱 제작

최근 공격자들은 피해자들을 속이기 위해, 생성형 AI를 악용하여 더 고도화된 악성 프로그램을 제작하고 있습니다.

​

• 가짜 금융 앱: 사용자가 눈치채지 못할 정도로 정교한 악성 앱 제작
• APT: 기업에 특화된 피싱으로, 콘텐츠 제작 등 공격 프로세스에 소요되는 리소스를 최소화
• 악성 소프트웨어: 실행될 때마다 변형되는 악성 소프트웨어 제작으로, 보안 솔루션 탐지를 회피

​

✅ AI 관련 공격 동향 - 딥페이크·딥보이스

2019년에 딥페이크를 사용한 첫 사기 사건이 발생한 이래로, 최근에는 AI 기반 이미지 합성 기술로 피해자를 시각적으로 속이는 딥페이크 공격과, AI 기반 목소리 합성 기술로 피해자를 청각적으로 속이는 딥보이스 공격을 통해 피싱 공격도 고도화되고 있습니다.

​

• 2019년: CEO의 음성을 복제하는 딥페이크를 사용한 첫 사기 사건 발생
• 2020년: 딥페이크로 인한 가짜 뉴스 발생, 페이스북은 이를 차단하기 위한 작업 착수
• 2021년: 중국 정부의 안면 데이터를 이용한 범죄 발생
• 2022년: 러시아-우크라이나 전쟁 관련 가짜 뉴스 발생
• 2024년: 유명 가수의 얼굴을 도용한 불법 콘텐츠 발생

​

국내에서는 유명 연예인의 허위 영상으로 제작한 광고를 통해 투자를 유도하거나 ‘현직 검사의 허위 영상으로 사기를 연습한 일당이 검거되는 등 신뢰할 만한 사람의 얼굴이나 보이스를 활용한 피싱 사례가 발생했습니다.

​

■ AI 딥페이크 피싱, 이렇게 예방하세요!

‍

알아채기 어려운 딥페이크, 딥보이스 피싱은 어떻게 예방해야 할까요? 사전 조치 사항을 파악하고 피해를 최소화할 수 있습니다.

​

​

✅ AI 딥페이크 피싱 예방법 - 일반인이라면?

① 비판적 사고를 가지고, 의심스러운 요청은 반드시 사실 여부를 확인하기

② 영상, 음성 등에 부자연스러운 부분은 없는지 항상 체크하기

③ 소셜 미디어에는 개인정보 공유를 최소화하기

​

딥페이크 피싱에 대응하기 위해서는 일반인의 실천 뿐 아니라 각계각층의 모두의 협력이 필요합니다. 다음과 같이 공공기관, 연구기관, 기업 등 각 분야에서는 연구와 개발이 지속되어야 합니다.

​

​

✅ AI 딥페이크 피싱 예방법 – 공공기관 및 연구기관이라면?

• 공공기관: 딥페이크 악용에 대한 강력한 법적 규제 마련, 딥페이크 탐지 및 방지 기술에 대한 연구 지원
• 연구기관: 딥페이크 미디어 탐지 기술을 연구·개발하여 기술 제공

​

​

✅ AI 딥페이크 피싱 예방법 – 금융 및 통신 서비스 업체라면?

• 금융기업: 이상 거래 패턴에 대한 모니터링을 통해, 사용자 대상 경고 및 인증 절차 강화
• 통신 서비스 기업: 딥페이크 미디어 탐지 기술과 솔루션을 적극 활용하여 실시간 대응 강화

‍

​