일전에 디즈니의 머신러닝 기술을 포스팅하며 딥페이크의 악용에 대해 걱정했는데, 역시 연구자들이 이런 일을 생각하지 않았을리 없다 ㅋㅋ. ICML 2020 논문에 대한 정보는 ACM Technews에서 얻고, 나머지는 알아서 조사함.

실제 이미지와 딥페이크 이미지를 사람이 분석하는 것은 꽤 어려운 태스크로 알려져 있다. whichfaceisreal.com이라는 페이지에서 당신의 구별 능력을 테스트할 수 있다. 방금 해봤는데 10번중에 세번 맞았다 -_- 안면인식에 문제가 있나… Wired.com의 기사에 따르면 평균적으로 75%의 정확도를 지닌다는듯. 내 눈에 문제가 있는듯하다 -_-…

여튼 이번 ICML 2020에 발표될 것으로 얼마전 채택된 논문에 따르면, (GAN 계열으로 생성되는) 딥페이크 데이터들에 대한 주기분석 (Frequency Analysis)를 진행하면 아래와 같이 구체적인 차이점이 드러난다고 한다. 저자들의 대학인 RUHR 대학의 홍보페이지에 조금 더 자세한 글도 올라와 있다.
(왜 푸리에분석이 아닐까? -_- 뭔가 기술적으로는 다른가?)

기존에 이미지 자체에서 차이를 찾아내는 논문이 몇몇 있었는데, 주기분석을 전체적으로 분석한 논문은 몇 없었나보다. 이 논문은 꽤 총체적으로 주기분석을 다룬듯 하다. 어찌보면 딥페이크는 이미지 도메인(그냥 우리가 보는 모습)을 흉내내는것이니, 푸리에 도메인에서는 차이점이 드러날 수 있으니 꽤 그럴듯한 분석인듯.

분석 대상으로 삼은 논문들을 몇개 보니 오히려 분석 대상들이 쇼킹하다 ㅋㅋㅋ

• 주어진 음원 파일을 말하도록 알맞게 동영상의 입모양을 바꾸는 딥페이크 [논문, 유튜브]
• 목소리를 유지하며 하는말 일부를 편집하는 딥페이크 [논문, 유튜브]
• StyleGen으로 유명한 “스타일”을 배우는 딥페이크 [논문, 유튜브, 관련 Zariski님 포스팅]

이 논문의 레퍼런스를 따라가다 다른 신기한 결과들도 여럿 발견했다.

예를들어, 최근 딥페이크 동영상들을 심장박동을 기준으로 분석하면 뭔가 이상한점이 찾아진다는 논문. 근데 심장박동은 어떻게 재려나?

또, 이런 구별 논문들을 보면 그냥 이미지 말고 구별방식까지 다 같이 러닝하면 되지 않는가 하는 의문이 든다. 이 방식은 아니지만, 딥페이크로 학습한 이미지를 살짝만 고치면 다음 이미지와 같이 최근 구별하는 방식들을 피할수있다는 논문도 있다. 별로 방식에는 관심이 없어 읽어보지는 않음 -_-ㅋㅋ

뭔가 해커와 보안전문가의 대결같다 -_- 구별하는 방식을 내놓을 때마다 그걸 막는 딥페이크를 제시하면 되지 않나 싶은데, 머신러닝 전문가가 아니여서 전혀 모르겠구만. 지금 발전하는 방식으로는 수 년 내에는 컴퓨터로도 새로운 아이디어 없이는 구별할 수 없는 딥페이크가 나오지 않을까 싶다. 그러면 또 NSA같은데서 구별 방식을 숨기려나-_-….

뉴욕타임즈지에 따르면 한국에서 사용하고 있는 자가격리 앱에서 사용자의 이름과 현재 위치를 유출시킬 수 있고, 자가격리 앱에 현재 위치를 속일수도 있는 결함이 발견되었다고 한다. 비슷한 안전성 문제가 인도에서도 있었다고 일전 뉴욕타임즈에서 보고된적 있으며, 국제 앰네스티에 따르면 카타르 자가격리 앱도 문제가 있었다고 한다. 대부분의 문제점은 이미 해결되었고, 한국 앱의 경우에는 지난주 앱스토어와 구글플레이에서 이미 업데이트가 된듯.

사실 이런 새로운 형태의 앱에서 정보가 새는건 흔한 일인듯 해서 그렇게 놀랍진 않다 -_- 아카이브나 이프린트를 보면 이런저런 대책을 제공하고 있지만, 당장 급해죽겠는 국가에서 논문을 거들떠나 볼리가 ㅋㅋ..

그것보다 놀라운 것은 한국과 인도의 앱 보안 이슈를 뉴욕타임즈 팀이 밝힌듯 하다는것. 아니 얘네는 기자들 아닌가? 왜이렇게 전문적이지 -_-.. 구독을 해야지 해야지 말만하다 한주 3번인가 되는 free trial로 만족하고 있었는데, 1주 0.5$로 할인하길래 그냥 질렀다. 역시 사람은 전문성이 있어야..

2020/07/23 추가 2: Zariski님이 댓글에서 지적해주신대로 한국 앱의 경우에는 Frédéric Rechtenstein라는 엔지니어가 찾아서 보고했다고 한다. 아래 대학원생분 말고 이분도 정부에 문제제기를 했으니 역시 묵살된듯 ㅋㅋ… 경향신문 기사에서 당사자분의 인터뷰도 했으니 참조.

---

2020/07/23 추가 1: snulife의 한 글(계정 필요)에 따르면 그냥 코드 자체가 굉장히 문제가 많았다고. 다음과 같은 너무나 간단한 수준의 문제들이 있던듯.

• https가 아닌 http회선을 이용함.
• 암호화 과정에서 비밀키를 소스코드에 포함시키고, 그 비밀번호는 123456789012345678901234567890123456 이였다고 함.
• 개인인증도 딱히 없어서 다른 사람의 정보도 볼 수 있었다고 함.
• 컴공 원생이 개발자/담당자에게 이미 문제점을 알고 연락했었는데, 회신을 받지 못했다고 함.

아니 이건 너무한거 아닌가… -_-… K-보안이란…

외신 포브스나 국내 AI타임즈, 혹은 몇몇 해외/국내 커뮤니티에서 OpenAI에서 개발한 GPT-3라는 자연어처리모델을 보았다. 처음 본 예시들은 정말 놀라웠는데, 다음과 같은 예시가 있다.

• 여러가지 준 전문적인 대화 [medium by Kirk Ouimet]
• 설명을 듣고 작동하는 JSX code이나 앱을 만들기 [Twitter, Twitter2, Twitter3]
• 사무일 조언 구하기 [Twitter]
• 튜링 테스트 [Gwern.net]
• 구직 서류 쓰기 [Gwern.net]
• BQP vs NP에 대해 묻기 [Twitter of Michael Nielsen] (2020/07/21 추가, 대답을 잘 못한다 ㅋㅋㅋ)
• 바로 실행가능한 텍스트 인터랙티브 게임 [페이지] (2020/07/21 추가, 결제 필요. 무료버젼은 GPT-2로 진행. 지금 기준으로 아마 유일한 다른 억세스 없는 GPT-3와의 대화인듯.)

굉장히 놀랍도록 잘 쓴다. medium의 Wise Being과의 대화가 퀄리티가 꽤 괜찮은듯 하고 유명한듯 하고, 링크에서 직접 대화를 할 수 있는 waitinglist에도 등록할 수 있는듯.

이런저런 예시들을 번역하여 정리해봄. Gwern.net에서 들고온 사무보조 AI와 구체적인 Q&A 하나씩, 그리고 Kevin Lacker의 블로그에서 몇가지 예시를 들고왔다.

계속 읽기 →

20세기 최고의 물리학자라고 해도 될만한 알버트 아인슈타인에 대해 이것저것 찾아보다가 갈리나 웨인스타인(Galina Weinstein)이라는 아인슈타인의 생을 전공으로 하는 사학자에 대해 알게되었다. 논문도 이것저것 많이 쓰고 책도 많이 쓴것같은데, 심심해서 이것저것 찾아보다가 여러 가십들을 알게되어 여기 정리해본다. 전적으로 웨인스타인의 글과 의견에 따른 내용이다. 알던 내용도 있고 헷갈리던 내용도 있는데 그냥 재밌는 것들 위주로 랜덤으로 적음. 몇가지는 출처를 까먹음ㅋ

내가 가장 재밌게 읽은 것들은 5,7,11같은 젊은 아인슈타인의 오만함으로 보이는 모습들이다 ㅋㅋㅋ

1. 아인슈타인은 어린 시절부터 과학과 관련되지 않은 수업은 개판으로 들었고, 과학과 관련된 수업은 진도보다 빨리 혼자 공부했다.
2. 아인슈타인은 유클리드 기하, 대수 등을 혼자 공부했고, 12살때 피타고라스 정리의 새로운 증명을 혼자 발견하기도 했다.
3. 아인슈타인은 아버지 사업이 망해서 이리저리 나라를 옮겨다니며 살았고, 16살때 취리히 공대 (the Polytechnic institute in Zürich) 시험을 봤으나 언어, 역사 등에서 성적이 낮아 떨어졌다. 근데 수학과 과학에서 아주 뛰어난 결과를 보여 스위스 2차교육을 받고 와서 그 다음해에 붙었다. 첫 시험을 볼 당시에 아인슈타인은 제대로 된 증명서 (졸업 증명서 등인듯)도 없었고, 취리히 공대 보통 입학하는 학생보다 두 살 어렸는데 주변인의 도움으로 시험 응시자격을 얻은듯 하다. 스위스의 교육은 꽤나 리버럴했고, 대학과 닮아있었다고 한다. (대부분 유명한 사실인듯 하다. 어렸던 것은 몰랐음..)
4. 아인슈타인이 취리히 공대에 입학했을 때 수학/이론물리의 학과장 하인리히 프리드리히 웨버 (Heinrich Friedrich Weber)와 실험물리의 학과장인 장 페넷(Jean Pernet)이 있었다. 아인슈타인은 웨버의 수업을 주로 들었는데, 웨버의 렉쳐는 좀 구닥다리다 ((Weber’s)”lectures were indeed a little old-fashioned.”)라고 깠다 ㅋㅋㅋ 최신의 내용을 다루지 않는데에 굉장히 불만이 있었던 듯 하다. (아인슈타인에 따르면) 웨버는 헤르만 폰 헬름홀츠(Hermann von Helmholtz)이후의 물리는 가르치지 않았다고. 그래서 대학에 가서도 공부는 혼자한듯하다 ㅋㅋ 특히 멕스웰방정식 등을 공부한듯.
5. 그 당시 웨버는 사실상 연구를 그만둔 상태에다가 웨버의 연구 자체가 순수 물리라기보단 다양한 응용에 집중되어있던듯 하다. 또한 웨버는 꽤나 꼰대였던듯 하고, 엄청나게 리버럴했던 아인슈타인은 웨버를 전혀 존중하지 않고, 수업도 거의 듣지 않은듯 하다. (그래서 웨버도 아인슈타인을 굉장히 싫어했던듯 하다.) 웨버는 아인슈타인을 일컬어 “총명한 학생이다. 근데 남의 말을 전혀 들으려 하지 않는다는 문제가 있다.”라고 했다고 한다.
6. 아인슈타인이 페넷의 연구실에서 일을 잠깐 하기도 했다. 1899년 6월 그 실험실에서 오른손을 크게 다친적도 있는듯. 페넷은 꽤 리버럴했던듯 하지만 아인슈타인은 그래도 개판이였던듯 하다 ㅋㅋㅋ 매번 부탁한 일과 다른 일을 하고 있었다고.
7. 페넷이 아인슈타인에게 왜 약학이나 법학, 언어학을 하지 않냐고 묻자 아인슈타인은 “제게 재능이 있다고 믿으니까요, 교수님” (Because I feel that I have a talent, Herr professor)이라고 말했다고 한다.
8. 위에서 Herr professor라는 표현이 있는데, 이게 공손한 표현인듯 하다. 아인슈타인이 웨버를 부를때는 Herr Weber라고 불렀고, 둘 사이는 굉장히 공공연히 안좋았던듯 ㅋㅋㅋ
9. 아인슈타인은 수학수업도 거의 안가고, 대부분의 시험을 친구인 마르셀 그로스만(Marcel Grossmann)의 필기로 공부해서 시험을 쳤던듯 하다. 그로스만은 아인슈타인에게 현대 기하학을 공부하기를 추천하기도 한 듯 하고, 상대성 이론에 영향을 꽤나 준 듯하다.
10. 졸업 이후 웨버와의 불화로 인한 강력한 방해와 시민권 문제로 아인슈타인은 한참 직업을 못구했다고 한다. 이 때 그로스만이 사교육 강사와 스위스 특허청의 일 등을 추천해준듯 하다. 이 때 스위스 특허청의 디렉터는 그로스만 아버지의 친구 프리드리히 할러(Friedrich Haller)였고, 그로스만의 아버지는 굉장히 강한 추천서를 써주었다고 한다.
11. 아인슈타인은 그로스만과의 인터뷰에서 특허에 관한 지식이 있냐고 묻자 전혀 없다(no, nothing)이라고 대답했다고 한다 ㅋㅋㅋ 근데 맥스웰의 전자기학 등에 대한 이해를 보고 잘 할거라고 믿고 뽑은듯 하다.
12. 어쩌면 당연한 얘기지만, 할러는 아인슈타인이 물리공부를 할거라고 생각하지 않은듯 하다. 최소한 아인슈타인은 할러가 자신이 물리공부를 하는걸 발견하면 화를 내고 비웃을것이라고 생각했고, 그래서 작은 종이에 적고 발자국소리를 듣자마자 종이를 숨겨가며 연구했다고 한다. 그 결과들이 바로 아인슈타인의 기적의 해 1905년의 논문들(Annus mirabilis papers).. -_-….
13. 아인슈타인은 1905년 논문을 제출하고 떨어질까 굉장히 걱정했고, 출판된 이후에는 강렬한 비판을 생각했으나 한동안 전혀 반응이 없어 굉장히 실망했다고 한다. 첫 편지를 받은게 막스 플랑크에게서 인듯 -_-…. 그리고 당시 대부분의 연구자들이 아인슈타인을 찾는 편지를 베른 대학의 아인슈타인 교수에게 보냈다고 한다 ㅋㅋㅋ
14. 첫 아내였던 밀레바 마리치(Mileva Marić)가 아인슈타인의 기적의 논문들에 영향을 주었다는 주장도 있는듯 하다. 주된 요지는 아인슈타인이 1901년 마리치에게 쓴 편지 중의 “bringing our work on relative motion to a successful conclusion!”라는 문장과 초고에 있던 서명 Einstein-Marity (i.e. Marić)인듯. 웨인스타인은 이 주장이 틀렸다고 생각하고, 그게 대세의 주장인듯. 한글위키에도 근거가 꽤 잘 정리되어 있다.
15. 우주상수(Cosmological constant)가 “가장 큰 실수(biggest blunder)”라고 했다는 아인슈타인의 말이 유명한데, 이건 아주 큰 실수(capital blunder or monumental blunder)라는 말이 와전된것으로 보인다고 한다.

찾다보니 사학자라기보단 작가에 가까운것 같기도 하고. 신기한 사람이 많구만. 출처들은 다음과 같음.

1. Albert Einstein: Rebellious Wunderkind, Galina Weinstein (https://arxiv.org/abs/1205.4509)
2. Albert Einstein at the Zürich Polytechnic: a rare mastery of Maxwell’s electromagnetic theory, Galina Weinstein (https://arxiv.org/abs/1205.4335)
3. Albert Einstein’s close friends and colleagues from the Patent Office, Galina Weinstein (https://arxiv.org/abs/1205.3904)
4. George Gamow and Albert Einstein: Did Einstein say the cosmological constant was the “biggest blunder” he ever made in his life?, Galina Weinstein (https://arxiv.org/abs/1310.1033)

지난주 진행된 Eurographics Symposium on Rendering에 디즈니가 소위 딥페이크(DeepFake)로 불리는 영상에서의 얼굴 치환 기술을 발표했다는 The Verge의 소식. 우선 결과만 보면 아래와 같다.

꽤나 그럴듯하다. 특히 1024*1024 (비교적) 고해상도의 이미지에도 잘 작동하고, 다양한 방식의 치환이 가능한듯하다. 아래 유튜브 동영상에서 저자들의 짧은 결과설명을 들을수 있다.

3분정도부터 나오는 Comparison을 보면 비진보를 꽤 정확히 볼 수 있다. 부자연스러운 부분도 없고, 이전 DeepFake보다 훨씬 선명한듯.

기술적인 부분에 대해 궁금해서 해커뉴스등을 찾아보았는데 딱히 설명은 없는듯. 이런 기술은 악용될게 굉장히 걱정인데, 최소한 폰 카메라등으로 직접 촬영한 사진이나 동영상파일에 암호학적 인증방식이 들어가야하지 않을까 싶을정도다 -_-..