최근 인터넷에서(rounds on the internet) Nicholas Cage의 얼굴이 다른 캐릭터로 바뀌는 동영상을 본 적이 있을 것 입니다. Face/Off 의 클립을 의미하는 것은 아닙니다 . 이것은 Nicholas Cage 가 확실히 연기하지 않았지만 실제로 매우 설득력있는 다양한 영화의 장면입니다. 그들은 이것을 어떻게 해냈습니까?
글쎄요, 정답(answer isn) 은 '마법'이 아니라 '딥페이크'라고 불리는 기술로 다양한 산업과 커뮤니티에서 소란을 피우고 있습니다.
"딥페이크"란 무엇입니까?
"딥페이크"라는 단어는 "딥 러닝"과 물론 "페이크"라는 용어에서 유래했습니다. 딥 러닝 은 (Deep learning)인공 지능(Artificial Intelligence) 의 전체 영역의 일부인 기계 학습(machine learning) 의 전문 분야입니다
.
컴퓨팅 성능의 극적인 증가와 컴퓨터가 현실 세계의 방대한 양의 데이터를 처리하고 분석하는 방법이 새로 발견됨에 따라 컴퓨터는 이제 갑자기 우리 대부분이 상상할 수 없는 일을 할 수 있게 되었습니다. Deepfakes 는 이 기술을 적용하여 사람의 이미지를 합성하여 사람들이 하지도 말하지도 않은 사진이나 동영상을 만듭니다.
Deepfake 기술은 어떻게 작동합니까?
딥페이크 방법을 뒷받침하는 딥 러닝(Deep learning) 은 대규모 데이터 세트에 신경망 시뮬레이션을 현대적으로 적용하는 방법을 설명합니다. 신경망은 새로운 개념이나 기술(concept or technology) 이 아니지만 현대까지 상당히 기초적이었습니다.
인공 신경망 은 생물학적 뇌에서 발생하는 학습 과정(learning process) 을 적어도 어느 정도 시뮬레이션합니다. 외부 세계를 배우거나 처리할 때 뇌 세포 간의 연결이 변경됩니다.
그것들은 회로와 논리적 구조를 형성하여 일부 연결을 강화하고 다른 연결을 약화시킵니다. 운전을 배우거나 테니스를 치는 것과 같은 것을 마스터하면 뇌 회로가 빠르고 효율적이 됩니다. 결국 당신은 무언가를 너무 잘해서 그것을 할 생각조차 할 필요가 없습니다.
이는 딥 러닝 시스템(learning system) 에서 발생하는 것과 본질적으로 동일 합니다 . 그것은 어떤 것의 많은 예를 살펴본 다음 점진적으로 "이해"하는 능력이 향상됩니다.
딥페이크의 경우 소프트웨어는 조옮김하려는 얼굴의 예와 조옮김하려는 비디오를 살펴봅니다. 충분한 훈련을 통해 결국 훈련 데이터와 일치하는 얼굴을 합성한 다음 다른 얼굴에 매끄럽게 오버레이할 수 있습니다.
Deepfakes를 만드는 데 사용되는 소프트웨어(Software) 는 무엇입니까 ?
사람들이 딥페이크를 만들 수 있게 해주는 많은 응용 프로그램이 있습니다. FakeApp 은 일반 사람들이 딥페이크 콘텐츠를 만들 수 있는 기회를 제공하는 것을 목표로 하는 최초의 앱이었습니다. 지금은 없어진 웹사이트로 사본을 찾는 것이 전혀 쉽지 않습니다.
딥페이크 제작자는 이제 GitHub(GitHub) 에서 호스팅되고 Reddit 과 같은 장소에서 끝없는 튜토리얼 스트림을 생성한 DeepFaceLab 이라는 애플리케이션으로 크게 이동했습니다 .
딥페이크 만들기
이 기사는 튜토리얼이 아니므로 실제로 딥페이크를 만드는 방법에 대한 개요를 제공하지만 직접 만드는 방법에 대한 정확한 단계는 제공하지 않습니다.
여기에는 몇 가지 이유가 있지만 가장 큰 이유는 딥페이크 제작의 합법성에 대해 논란이 많다는 것입니다. 소프트웨어를 불법 복제하거나 기타 불법 활동을 수행하는 데 도움이 되는 정확한 단계를 제공하지 않는 것처럼 딥페이크 제작에 대한 단계별 지침은 제공하지 않습니다.
게다가, DeepFaceLab 의 실제 제작자는 이러한 위험에 대한 책임을 지기를 원하는 경우 누구나 따라할 수 있는 소프트웨어에 대한 단계별 비디오 자습서(step-by-step video tutorial) 를 발표했습니다 .
이 항목이 얼마나 좋아졌는지 요점을 파악 하려면 페이지를 새로 고칠 때 존재하지 않는 사람의 새 사진이 생성되는 이 웹사이트를 확인 하십시오.(check out this website)
우리의 목표는 시간이 지남에 따라 점점 더 많이 접하게 되므로 기술을 이해하는 데 도움이 되는 것입니다. 즉, 이것은 DeepFaceLab(DeepFaceLab) 으로 딥페이크를 생성하는 광범위한 단계입니다
.
DeepFaceLab 을 다운로드하고 압축을 풀면
다른 많은 폴더와 일련의 배치 파일이 포함된 폴더에 직면하게 됩니다.
교육 모델, 소스 비디오(source videos) 및 출력 을 포함하는 "workspace"라는 폴더가 있습니다 . DeepFaceLab
은 배치 파일이 작동할 수 있도록 특정 파일 이름 및 위치와 함께 작동합니다. 예를 들어 소스 파일(source file) 의 이름은 항상 "data_src"이고 대상 파일의 이름은 "data_dst"입니다.
대부분의 사람들이 알고 있는 소프트웨어 인터페이스(software interface) 가 없습니다 . 프로세스의 단계를 나타내는 번호가 매겨진 배치 파일의 목록입니다. 먼저 (First)소스 및 대상 비디오(source and destination videos) 의 프레임이 사진 파일로 추출됩니다.
그런 다음 몇 가지 분석 단계가 실행되고 GPU 기반 교육이 수행됩니다. 여기서 신경망은 모델을 구축하기 위해 두 개의 비디오에서 얼굴에 대해 필요한 것을 학습합니다. 마지막으로 새로운 합성 비디오가 생성됩니다.
Deepfakes의 오용
위에서 언급했듯이 딥페이크는 매우 논란의 여지가 있습니다. 일부 국가에서는 기존 법률을 위반할 수 있으며 기술 및 응용 프로그램을 다루는 새로운 법률이 준비 중입니다.
딥페이크는 대통령이 미친 소리(video of a president saying crazy things) 를 하는 비디오와 같은 날조를 만드는 데 사용될 수 있습니다 . 그것은 목적으로 사람들을 포르노 영화에 삽입하거나 괴롭히(purpose or harassing) 거나 해치는 데 사용될 수 있습니다 .
아마도 상상할 수 있듯이, 설득력 있는 딥페이크로 많은 피해를 입힐 수 있으며, 적발될 경우 가까운 장래에 그 결과가 훨씬 더 심각해질 수 있습니다.
무엇이든 물어보세요
이제 이 기술이 존재하고 제대로 작동하기 때문에 완전히 새로운 시각으로 미디어를 비디오와 같은 미디어로 봐야 합니다. 누군가가 유명인이나 정치인의 소셜 미디어에서 논란의 여지가 있는 말이나 행동을 하는 비디오를 유포하는 경우 먼저 해당 비디오가 진짜인지 물어봐야 합니다.
대부분의 제대로 수행되지 않은 딥페이크는 무엇을 찾아야 하는지 알고 몇 가지를 본다면 분명히 가짜입니다. 그러나 어떤 경우에는 훈련된 눈이라 할지라도 일종의 CG 조작(CG manipulation) 이 일어나고 있다고 말하는 데 어려움을 겪을 수 있으며 기술이 향상됨에 따라 결국 불가능하게 될 것입니다.
What is a Deepfake and How Are They Made?
You may have seen a video of Nicholas Cage’s face transposed onto another charactеr doing the rounds on the internet recently. No, we don’t mean a clip from the movie Face/Off. These are scenes from various movies in which Nicholas Cage did definitely not play, yet they look very convincing indeed. How did they pull this off?
Well, the answer isn’t “witchcraft”, but a
technology that has been dubbed “deepfake” and it’s causing quite a ruckus in
various industries and communities.
What is a “Deepfake”?
The word “deepfake” comes from the term “deep
learning” and of course “fake”. Deep learning is a specialized branch of
machine learning, which is again part of
the overall area of Artificial Intelligence.
With the dramatic rise in computing power and
newly-discovered ways for computers to process and analyze massive amount of
data from the real world, computers can now suddenly do things most of us could
never imagine. Deepfakes apply this technology to synthesize human images,
creating photos or videos of things those people never did and never said.
How Does Deepfake Technology
Work?
Deep learning, which underpins deepfake
methods, describes the modern application of neural net simulation to massive
data sets. Neural nets are not a new concept or technology, but until modern
times they have been pretty rudimentary.
An artificial neural net simulates the learning process that happens in biological brains, at least to some extent. When you learn or otherwise deal with the outside world, the connections between your brain cells change.
They form circuits and logical structures, strengthening some connections and weakening others. As you master something, like learning to drive or play tennis, those brain circuits become fast and efficient. Eventually you are so good at something that you don’t even have to think about doing it.
That’s essentially the same thing that happens with a deep learning system. It looks at heaps of examples of something and then becomes progressively better at “understanding it”.
In the case of deepfakes the software looks at examples of the face you want to transpose as well as the video you want to transpose it to. With enough training it can eventually synthesize a face that matches the training data and then seamlessly overlay it on any other face.
What Software is Used to Make
Deepfakes?
There are a number of applications that allow
people to make deepfakes. FakeApp was the first app we know of aimed at giving
normal people a shot at making deepfake content. The website it now defunct and
finding a copy is not easy at all.
Makers of deepfakes have now largely moved on to an application called DeepFaceLab, which is hosted on GitHub and has spawned an endless stream of tutorials on places like Reddit.
Making a Deepfake
This article is not meant to be a tutorial, so
we are going to provide an overview of how deepfakes are made in practice, but
not provide exact steps on how to make one yourself.
There are a few reasons for this, but the main
one is that the legality of making deepfakes is highly-contentious. Just as we
wouldn’t provide exact steps to help you pirate software or do other illegal
activities, we won’t give step-by-step instructions for making deepfakes.
Besides, the actual creator of DeepFaceLab has released a step-by-step video tutorial for the software which anyone can follow along, should they wish to take responsibility for such a risk.
To get a gist of how good this stuff has become, check out this website where a new photograph of a person who does not exist is generated when you refresh the page.
Our goal is to help you understand the
technology, since you are bound to encounter it more and more as time goes by.
With that being said, these are the broad phases of creating a deepfake with
DeepFaceLab.
After downloading and unzipping DeepFaceLab
you are faced with a folder containing many other folders and a series of batch
files.
There’s a folder called “workspace” which
contains the training models, the source videos and the output. DeepFaceLab
works with specific file names and locations, so that the batch files can work.
For example, the source file is always named “data_src” and the destination is
named “data_dst”.
There is no software interface as most people know it. Just a list of numbered batch files representing the steps of the process. First the source and destination videos have their frames extracted as picture files.
Then several analysis steps are run, followed by GPU-based training, where the neural net learns what it needs about the faces in the two videos to build a model. Finally a new composite video is produced.
Misuse of Deepfakes
As we mentioned above, deepfakes are very
controversial. It may violate existing laws in some countries and new laws are
in the works to deal with the technology and its applications.
Deepfakes can be used to create hoaxes, such as a video of a president saying crazy things. It can be used to insert people into pornographic films with the purpose or harassing or otherwise harming them.
As you can probably imagine, you could do a lot of damage with a convincing deepfake and the consequences if you are caught may become much more severe in the near future.
Question Everything
Now that this technology exists and works as
well as it does, it means we have to look at media like videos in a whole new
light. If someone circulates a video on social media of a famous person or
politician saying or doing something controversial, you’ll first have to ask if
the video is even real.
Most poorly-done deepfakes are obviously fake,
once you know what to look for and have seen a few. However, in some cases even
a trained eye may have trouble telling that some sort of CG manipulation is
happening and as the tech improves it will eventually become impossible.
