손에 잡히는 경제 - [플러스] 3/7(목) 우리나라, 딥페이크에 투자해야 한다? 외

 

출퇴근 시간에 노래는 잘 안 듣고 독서, 유튜브, 손경제를 합니다.

그러다 퇴근길 지하철에서 재미있는 AI 트렌드를 들을 수 있어서 공유하고 싶은 마음과 다시 읽어보고 싶은 마음으로 내용을 정리해 봤습니다.

 

2024년 3월 7일에 방송한 손경제 내용을 일부 요약했습니다.

직접 다시 들어보고 싶다면, 팟캐스트와 팟빵을 이용하시면 됩니다.

 

1,2부 [이슈플러스] 딥페이크의 경제력 잠재력 - 김상윤 중앙대 컴퓨터공학과 교수

 

---

딥페이크 소개

AI의 최대 부작용 딥페이크(deepfake)는 딥러닝(인공지능) 데이터 학습 방법론으로 딥러닝(Deep Learning) + 가짜(fake) 합성어임

 

가짜를 만들어내는 영역에서 활용. 대표적으로 연예인/정치인이 이용됨

'딥페이크'라는 신조어/용어의 뉘앙스가 별로 좋지 않음

레딧이라는 커뮤니티 사이트에서 만들어진 용어

조회수가 폭발한 게시물이 있는데, 연예인 조작된 이미지와 영상이었음

딥페이크라는 아이디를 쓰는 레딧 사용자였음

딥페이크가 대명사가 되었고, 딥페이크 전용 페이지도 생김

 

생성형 AI/딥러닝 분야 성장 히스토리

영상, 이미지 처리 분야는 컴퓨터 비전 영역

1. 1998년 CNN 합성곱 신경망
   이미지나 영상의 특징을 잘 추출함
   SNS 필터 기술 활용
2. 2014년 GAN 적대적 생성 신경망
   위조지폐범과 경찰의 관계로 사례 언급
3. 2017년 구글 연구자들이 Attention is All You Need 논문 발표(트랜스포머 모델)
   인간의 언어를 식별, 인식, 해석뿐만 아니라 창작하는 것도 주요 핵심
   Chat GPT는 언어를 창작하는 기술인데, 트랜스포머라는 알고리즘 사용
   

인공지능이 2010년대 급성장했는데, 초반엔 주로 판별하는 인공지능. 영상판별, 언어판별, 판독 알고리즘이 주였다면, 2010년대 중반 이후엔 언어/이미지 창작하는 생성 알고리즘이 급성장하여 딥페이크까지 옴

 

최근 해외에서 이슈 있던 딥페이크 사례

• 24년 1월 마크 러팔로(어벤져스 헐크)의 트위터에 트럼프가 제프리 엡스타인(성범죄자) 비행기를 타고 십대 소녀들과 함께 섬에 가는 사진을 게재 후에 조작(딥페이크) 임을 알고 사과글을 올림
• 24년 1월 중간선거 시기로 바이든 목소리가 담긴 전화가 오고 우리당 어떤 후보를 찍지 말아라, 트럼프를 돕는 것이다 등 바이든 어투를 그대로 표방한 딥페이크 음성으로 밝혀짐

 

딥페이크 방어 기술 개발

방어적인 기술은 뒤늦게 따라오게 됨

• 인텔의 페이크캐쳐는 얼굴 페이크를 잡아내는 것으로 방법론은 바이오 정보를 활용
  인간의 얼굴 안에 혈류 흐름이 색, 빛깔이 다르게 표현되기에 혈류 흐름이 자연스럽게 이어지느냐로 딥페이크를 찾아내고 있고 정확도는 96%라고 밝힘
• 마이크로소프트는 딥페이크 영상을 만들었느냐 안 만들었느냐를 사후 판단하기보다 최초 생성정보냐 가공정보냐를 아예 정보에 담아 정보 관리를 잘하자는 접근법으로 기술 개발
  인터넷상에 돌아다니는 정보가 최초생성인지 아닌지를 판별하는 정도의 수준으로 상용화되지는 않음
• 스페인 스타트업 오라오?는 아예 위조할 수 없는 컨텐츠를 제작하는 솔루션을 배포하고 있음
  금융업에 집중하는 서비스로 보험사기 중 문서위조가 많은데, 여러 정보를 정보의 진위가 담길 수 있게 컨텐츠 제작할 때부터 인증해 주는 기술이 들어감

 

딥페이크 범죄

기술이 나쁜 쪽부터 성장하고 있어, 딥페이크가 98% 성인 컨텐츠에 치중되어 있음

이어서 범죄에 활용되고 있음

• 경제범죄
  홍콩의 한 금융기관 담당자가 해외 지사 지사장에게 전화를 받았고 영상통화였음
  해외지사가 급한데 얼마 송금해라, 정보도 정확히 얘기하고 얼굴과 음성도 정확하고 자체에서 사용하는 영상통화 툴을 사용했기에 의심의 여지가 없었음
  3백4십억 피해를 입음
• 사회범죄
  납치범, 테러, 보이스 피싱이 영상 피싱으로 진화

 

딥페이크 긍정적인 사례

• 언어나 문화의 격차 해소
  해외 컨텐츠를 볼 때 더빙/자막
  더빙의 입모양이 어색한 것을 딥페이크 기술을 활용하여 입모양을 정교하게 맞춰 우리말을 자연스럽게 구사
• 의학 분야에서 CT/MRI 암진단
  사전에 암 초기단계에서 진단하면 좋기에 인간의 판단력과 인공지능을 더해서 상호비교, 사진/영상 판독

 

경제적 파급 효과

• 방어하는 기술의 시장
  딥페이크 시장은 다른 생성형 AI에 비해 크지 않고 태동하는 분야
  HSRC 리서치 회사 전망에 따르면, 딥페이크 피해 방지를 위한 시장 규모 4조 원 정도로 연평균 성장률이 40%대 이룰 것이고 빠르게 커나갈 영역으로 보고 있음
  음지에 머물러 있는 딥페이크가 양지로 올라왔을 때 긍정적인 파급이 파생되는 효과가 있어 부정적인 것을 해소하는 게 필요

 

개인 차원에서 딥페이크 피해를 방어할 수 있는 대안/고민은?

• 통화/영상통화로 금융사기를 당할 수 있으니 암호를 만들자
• MIT에서 이용자가 탐지할 수 있는 현실적인 방법으로 8가지 가이드라인을 발표
  주로 얼굴을 관찰하는 것
  https://www.media.mit.edu/projects/detect-fakes/overview/

📑가이드라인

1. Pay attention to the face. High-end DeepFake manipulations are almost always facial transformations.
2. Pay attention to the cheeks and forehead. Does the skin appear too smooth or too wrinkly? Is the agedness of the skin similar to the agedness of the hair and eyes? DeepFakes may be incongruent on some dimensions.
3. Pay attention to the eyes and eyebrows. Do shadows appear in places that you would expect? DeepFakes may fail to fully represent the natural physics of a scene.
4. Pay attention to the glasses. Is there any glare? Is there too much glare? Does the angle of the glare change when the person moves? Once again, DeepFakes may fail to fully represent the natural physics of lighting.
5. Pay attention to the facial hair or lack thereof. Does this facial hair look real? DeepFakes might add or remove a mustache, sideburns, or beard. But, DeepFakes may fail to make facial hair transformations fully natural.
6. Pay attention to facial moles. Does the mole look real?
7. Pay attention to blinking. Does the person blink enough or too much?
8. Pay attention to the lip movements. Some deepfakes are based on lip syncing. Do the lip movements look natural?

 

딥페이크의 긍정적인 활용 및 기대

• 컨텐츠 산업
  엔터테인먼트, 컨텐츠, 드라마, 영화, 미디어 분야에서 기대하고 있고 버츄얼 휴먼 사례도 있음
  드라마/영화에서 정말 사랑하는 배우인데 유명을 달리했을 경우 고인을 소환해서 제작 가능
• 교육업
  역사 고증을 재현할 수 있어 유관순 열사, 윤봉길 의사를 초등학생, 유치원생에게 대화하는 경험을 누릴 수 있음
  유관순 자료를 학습을 시켜서 직접 말을 하는 컨텐츠 제작하는 등 교육적 효과가 높을 것임
• 미디어 제작 방식의 변화
  챗지피티가 시놉시스, 대본, 스토리 등 기획/제작한다면 작가 역할을 하고, 영상까지 생성하는 것도 맡길 수 있음
  제작 전에 자본 투자를 받는 것이 선행되는데, 딥페이크 기술이 활용되면 장소로 인한 제작 비용을 줄일 수 있음
  그밖에 완성도 높은 배경을 구현할 수 있다면 위험한 사고 장면도 제작 가능

 

딥페이크 한계

인공지능이 급성장함에 따라 투자가 확대되고 있는 영역이 있고, 소외되고 있는 영역이 있는데, 딥페이크는 소외 영역임

먼저 치고 나간 대형 사업자나 주도적인 알고리즘에 의존적인 상황이 돼버림

1. 딥러닝 분야의 한계이기도 한 블랙박스 영역임
   '이런 방식, 이런 논리로 인공지능이 데이터를 이해하는 거예요'라고 설명할 순 있지만 인공지능 안에 세부 로직 등을 하나하나 따질 수 없음
   그런 블랙박스 모델이 딥페이크에 적용된다면, 논리나 프레임이 주도적인 알고리즘에 의존적으로 흘러갈 수 있음
2. 데이터가 부족함
   사람 얼굴을 판별하기 위한 영상, 이미지 데이터가 부족하고, 접근 방법론도 부족한 상태로 데이터가 쌓여야 거대 모델이 생길 것임
3. 딥페이크를 판별하고 만들고 하는 자체에 운영비용이 상당히 발생함
   Chat GPT의 경우도 비용으로 인해 유료회원제로 돌리고 있고, 하드웨어 과부하를 우려하고 있음
   딥페이크도 백만분의 1로 잘못된 페이크를 잡아내기 위한 노력이 너무 비효율적임

 

딥페이크 관련 법과 제도

• 올해 선거를 앞두고 선관위에서 딥페이크 전담팀 72명으로 구성
  SNS 안의 검열 진행하여 129개 영상을 적발
  사후 적발로 당사자(피해자)가 신고 후에 적발하는 식이였음
• 딥페이크 선거운동 금지법
  누가 봐도 사실과 구분이 어려운 경우만 딥페이크로 정의하기로 함
  문어다리 그려져 있는 그림에 사람얼굴을 붙인 것은 딥페이크가 아님

 

학계에서는?

AI는 수면 아래의 기술이고 랩실에서 연구/시도되는 단계였지만, 거대 자본과 기술력이 동원되는 영역으로 주도권이 넘어가버림

학계는 뒤쳐지는 영역, 부족한 영역을 채우는 기술을 연구하는 방향으로 전환하여 알고리즘 개발, 데이터 처리 기술 쪽으로 치중하여 더 정교하게 하는 방향으로 연구

거대한 시장을 형성하고 상업화한 영역은 거대 기업의 역할로 넘어갔음

 

기업에서는?

국내 기업 중 구글코리아, 메타코리아, 네이버, 카카오 등 대표 IT기업에서 악성 딥페이크에 공동 대응하자는 협의회를 구축함

협의체 1차 발표 안을 내놓겠다는 선언을 함

 

ⓒ한국인터넷기업협회

 

딥페이크를 양지로 끌어올리기 위한 아이디어

• 워터마크
• 블록체인으로 메타데이터를 블록체인에 담아 관리(예. NFT)

 

---

 

review

2~3년 전 뜨끈 뜨근했던 기술인 메타버스, 블록체인, NFT, AR/VR 이런 것들이 잠잠해졌다.

토이 프로젝트로 어떤 것을 해볼지 고민하고, 회사에서 제안서를 작성하기 위해 사업 내용을 살펴봐도 대세는 LLM이다.

너도 나도 LLM이고, 여기저기서 LLM 얘기뿐이라 왠지 재미가 반감되곤 했다.

그 와중에 딥페이크와 관련한 트렌드를 확인해 볼 수 있는 좋은 컨텐츠였고, 많이 배우고 시야를 넓힐 수 있는 좋은 내용이었다.

 

reference

https://zdnet.co.kr/view/?no=20240226182656

https://biz.newdaily.co.kr/site/data/html/2024/03/08/2024030800321.html

 

deepfake