수학자를 위한 크리스마스 선물

Mathoverflow에 올라온 재미있는 질문 [링크]:

수학과 PhD 학생에게 훌륭한 크리스마스 선물은 무엇일까요?

80여개의 upvote를 받으며 화제가 되었다 ㅋㅋㅋ 너드들이란.. 다음이 순위권에 있는 대답들. 번역을 해보려고 노력했다. 굵은 글씨가 원래 답변들.

  • 아무도 평생 쓸 하모로고 분필을 추천하지 않았다는게 놀라운데.
    다음 천만번 넘는 조회의 유튜브에서 Chalk of Champion으로 극찬한다 ㅋㅋ 질문만큼의 upvote를 받으며 1위.
Seven Klein Bottles in a Row!
  • 좀 비싸긴 한데, Gömböc (코멘트에서는 Gömböcok라는 말도 있다)이 훌륭한 책상용 장난감이 될 것 같은데.
    추가: 여기 3D-프린터 주문제작 업체가 수학적 아트 항목을 갖고있네. [링크]
    내 친구 John Bamberg가 만든 일반화된 order 2의 육각형도 있어 (광고 아니다). [링크] 이 이분 incidence 그래프는 diameter 6, girth 12와 126개의 꼭지점을 가졌고 Tutte’s 12-cage라고도 불리는 그래프이론 측면에서는 꽤 가치있을듯.

    아래꺼 말고도 굉장히 예쁜 것들이 많다 ㅋㅋㅋ 첫 링크를 구경하는 것을 추천함.
Generalised hexagon of order 2 3d printed
Digital Preview, not a photo라는 문구가 있다.
  • 이게 아직 출시가 된건 아니니까 2021년이나 그 이후를 위한거긴 한데, 여기 있는 이게 아직 출시가 된건 아니니까 2021년이나 그 이후를 위한거긴 한데, 여기 있는 수학자들의 칠판에 대한 사진첩(coffee table book)이 엄청나게 멋져보이는걸: Jessica Wynne의 “Do Not Erase: Mathematicians and Their Chalkboards”
    아래가 책 표지인듯하다 ㅋㅋㅋ 답변중 제일 탐나는 것 중 하나인듯
Image
  • 내가 아는 범위에서는 수학 박물관(Museum of Mathematics) 기념품점에 제일 잘 정리된 수집품들이 있을껄. 거기 내가 갖고싶지만 세상 쓸모없는게 진짜 많더라고. 그게 바로 좋은 선물의 정의잖아. [링크]
    뉴욕에 있는 MoMath를 말하는듯. 한번 가 볼걸! 싶었지만 음 ㅋㅋ 찾아보니까 딱히 끌리는건 없는듯. 그래서 사진도 패스..
  • 내가 기뻤던 수학적인 선물은 세개의 width가 일정한 입체였어.
    어디서 사는지 알려줘야지 양반아 ㅡㅡ!! 세 번째 질문의 링크에 똑같이 생긴게 있긴 한듯.
enter image description here
  • Nate Eldredge가 너를 위해서 임의의 수학 논문을 공짜로 만들어줄거야. 저자도 너가 정할수있고. 개인화가 되는지는 잘 모르겠는데, 임의로 만들어진 책을 주문할수도 있어. 그 사람 블로그 한번 봐바. 책 하나 팔릴때마다 $5씩 기부한다네.
    아래와 같은 책을 만들어주는듯.
galois-cover

이 아래 답변들은 그냥 그저 그렇다 ㅋ.

큰 언어 모델의 안전성에 대한 염려

지난번 굉장히 성공적인 모델인 GPT-3와 그 변형에 대해 포스팅한적 있다. [지난글 1, 지난글 2, 지난글 3] 최근의 언어 모델들은 주어진 문장(의 부분)에서 다음 단어를 예측하는 형태로 많이 이루어진다. 이러한 형태의 문제를 푸는 언어 모델들은 최근의 GPT-3처럼 굉장히 큰 데이터를 기반으로 굉장히 많은 파라미터를 이용해 만드는것이 트렌드로 보인다. 지난번 Zariski님의 포스팅에서 소개했듯 이미 만든 모델의 많은 부분을 제거하고 비슷한 성능을 내는 것이 종종 가능한 것으로 보이지만, 대체적으로 학습 자체와 기본이 되는 모델은 엄청 크다는 이야기.

그렇다면 여기서 보안의 시각으로 모델을 보면 자연스러운 질문이 떠오른다: 학습에 사용된 데이터가 혹시 모델 안에 그대로, 혹은 복원 가능하게 저장되어있는게 아닐까? 최근 구글, 하버드, 스탠포드, OpenAI, 애플, 노스이스턴의 많은 연구자가 발표한 논문 링크에 따르면 큰 언어 모델이 있을 때, 이 모델에 질문을 하는 것만으로 (즉, 문장의 일부를 주고 다음 단어를 보는 것) 모델을 학습하는데 사용되었던 구체적인 데이터를 복원해냈다고 한다.

Image
논문에 소개된 Figure. 결과가 정확해서 일부를 숨겼다고.

연구진은 이러한 공격을 GPT-2에 적용된 결과를 논문에 소개했다. 구체적인 공격 결과로는 다음과 같은 정보들을 GPT-2 모델에서 추출해냈다고. 1800개의 후보군 중 600여개를 복원했다고 한다. (수작업으로 결과를 검증해야해서 후보군의 수를 제한했다고 한다.)

  • 뉴스 헤드라인
  • 메세지 로그
  • 자바스크립트 코드
  • 개인 식별정보

또한 GPT-2의 여러 모델을 비교한 결과 파라미터/학습량이 클수록 복원하는 정보가 더욱 더 커진다고. 현재 GPT-3 등은 훨~씬 많은 학습량과 파라미터를 쓰니 이러한 공격에 더욱 더 취약할듯 하다.

연구자들에 따르면 이런 공격이 다른 모델에 적용되지 않는다는 말은 아니고, GPT-2가 공개된 데이터만을 이용해서 학습했기 때문에 현실에 대한 (윤리적인 이유로) 위협을 줄이기 위해 GPT-2를 타겟으로 삼았다고. 이 공격은 다른 모델에도 당연히 적용될 수 있을것으로 보이고, 큰 언어 모델은 이러한 공격을 방어하는 것을 하나의 목표로 삼아야 한다는게 논문의 제안중 하나.

연구자들은 이 공격을 막는 방법의 하나로 대규모 정보 분석에서 개인 정보를 보호하는 수단인 Differential Privacy를 이용하는 것을 제안한다. 지난 Cynthia Dwork에 대한 글 [링크]에서 이를 살짝 소개한적 있다.


2021년 1월 13일 추가: 한국의 인공지능 챗봇 이루다가 비슷한 논란(과 다른 여러 논란)으로 화제가 되고있다. 페이스북 TensorFlow KR에 올라온 글 [글 1,글 2]가 아주 잘 정리되어 있다.

보손 샘플링을 통한 양자우월성의 증명

12월 초 아카이브에 Quantum computational advantage using photons라는 제목의 논문이 올라왔다. 중국의 Chao-Yang Lu를 위시한 중국과학기술대학의 연구자들을 중심으로 발견한 결과. Jiuzhang(구장산술의 구장이라고 한다.)이라는 광-양자 컴퓨터(Photonic quantum computer)를 통해 40-70여개의 관찰된 광자에 보손 샘플링 실험을 통해 양자우월성(Quantum Supremacy)을 증명했고, 12월 18일 Science지에 실렸다. 소개하는 기사로는 Science NewsScientific American의 기사가 볼만하다고 한다. 지금까지의 양자우월성 실험은 작년의 구글의 실험뿐인데, 이에 관해서는 지난 블로그글을 참조. [글 1,글 2,글 3]

이 결과는 같은 그룹의 작년 결과인 14개의 광자를 통한 실험 [논문]의 확장이라고. 안타깝게도 이 방면은 자세히 알지 못해서 -_- 간단하게만 설명해보고자 한다. 사소하게나 크게 틀릴 가능성이 농후하지만 큰 방향은 맞을것이다. 아마도.. 즉 이 글의 목표는 다음 것들을 여러 가십과 함께 간단하게 소개하는 것이다.

  • 보손 샘플링과 관련된 양자계산의 소개
  • 보손 샘플링이 양자우월성의 실험이 될 수 있다고 믿는 근거
  • 구글과 길 칼라이(Gil Kalai)가 제시한 반박 가능성

물론 글의 많은 부분은 아론손(Aaronson)의 블로그 글 [글 1,글 2]들을 많이 참조했다.

계속 읽기

미쳐버린 학회 온라인 발표

CS분야는 저널 논문보다 학회 논문을 많이 쳐주고, 특히 학회에서 발표를 듣고 의견을 나누는 것에 굉장히 중점을 둔다. 근데 요즘 COVID-19 사태때문에 대부분의 학회가 온라인으로 바뀌었고, 발표도 미리 녹화해서 유튜브에 올려놓곤 한다. 실제 학회는 줌으로 진행되며 각 논문의 간단한 소개에 그치고.

그런데 학자들이 아래와 같은 놀라운 영상을 발표로.. 공개했다 -_- 무려 PKC (Public key cryptography) 2020의 공식 비디오.

제목이 Pirates of the CSIDH인데, 최근 Commutative Supersingular Isogeny Diffie-Hellman (CSIDH, [siːsaɪd])라는 양자컴퓨터에 안전할 것으로 기대되는 암호학적 가정이 생겼다. 공식 페이지 CSIDH도 있다. 이게 해변을 거닐며 생각해냈다고 이름을 이렇게 지었다…는 식으로 들었는데 맞는지는 잘 모름 -_- 이 이름에서 Csi-FishSashimi같은 논문도 있다 -_-

이번껀 저 가정으로 새로운 스킴을 만든듯. 갇혀있다보니 사람들이 확실히 미쳐가는듯 ㅋㅋㅋ