AI가 내 마음까지 읽어 낸다면? - Meta, Image Decoder 발표

AI가 '너의 목소리가 들려'의 이종석처럼

누군가 내 마음을 읽어 낸다면..?

 

또는 내 머릿속 상상을 읽어서

이미지로 구현해 준다면?

 

.

.

.

 

여러분은 지금! 무슨 상상을 하고 계신가요?! 갑자기 누군가 내 생각을 들여다 보고 있다면 기분이 어떨 것 같으세요? 매우 불쾌하고 끔찍하지 않을까요? 이러한 의견과 사생활 보호 등 윤리적 측면에서 상단에 나열한 내용(생각을 읽는 다던가...)들은 아직까지는 함부로 개발되고 있지 못하고 있는 실정입니다.

 

하지만, 놀랍게도 최근 Meta에서 유사 기술인 Image Decoder에 대한 연구 결과를 발표했다고 하는데요. 함께 만나보시죠~

 

 

👇Meta recreates mental imagery from brain scans using AI 👇

(의역 : 메타는 AI를 활용해 생각을 스캔함으로써 당신의 머릿속 그림을 재현해 냅니다.)

https://venturebeat.com/ai/meta-recreates-mental-imagery-from-brain-scans-using-ai/

Meta recreates mental imagery from brain scans using AI

 

얼마 전 발견한 해외 기사입니다.

 

(제가 의역한 내용으로 일부 오류가 있을 수 있습니다.)

 

요약하자면, Facebook, Instagram 등의 모회사 Meta에서는 뇌파, 두뇌 활동에 대한 결과를 활용해 확률적으로 높은 정확도를 가진 이미지 구현이 가능한 새로운 딥러닝 어플리케이션 이미지 디코더(Image Decoder)를 발표했습니다. 심지어 실시간으로 가능하다고 합니다.

 

실시간으로 기술 구현이 가능하다는 뜻은 즉, 연구자가 피실험자를 직접 마주하지 않더라도, 또한, 대상이 어느 공간에 있더라도 이미지 디코더를 통해 대상이 보거나 생각하는 주체를 이미지나 영상으로 구현할 수 있다는 것입니다. 이때, 실험 대상은 뇌파 신경을 관찰하는 영상 시설과 MEG* 등 뇌 활동을 관찰받을 수 있는 장비가 마련되어 있어야 합니다.

 

* MEG : 비침습적으로 뇌의 작은 자기장 변화를 감지하는 기기

 

 

❓ 이미지 디코더는 어떤 방식으로 동작할까요?

이미지 디코더는 MEG로부터 피실험자들의 뇌파 신호를 얻고 이론 딥러닝(AI)을 이용해 분석한 기술입니다.

 

본 실험에서는 피실험자 4명에게 MEG 신호 데이터를 얻은 뒤 Meta의 자가학습 프로그램인 DINOv2를 통해 self-supervised learning했다고 하는데요.

 

디코더 알고리즘은 피실험자에게 정해진 이미지를 보게한 뒤, 얻어진 MEG 데이터로 뇌에서 어떤 모양과 색상을 생각하는지 해독하게 했는데 

 

출처: https://venturebeat.com/ai/meta-recreates-mental-imagery-from-brain-scans-using-ai/

 

위과 같은 결과가 나왔다고 합니다.

 

흰색 세로 공백을 기준으로 좌측 사진이 피실험자들에게 보여준 이미지, 우측 다수의 이미지는 이후 피실험자들로 부터 얻어낸 MEG 신호를 그림으로 디코딩한 결과값입니다.

 

물론 현 시점으로 봤을 때, 본 데이터들은 실험 이전에 AI 모델을 미리 교육한 데이터이고, 피 실험자들에게도 이미 보여준(교육한) 데이터이므로 제한적이며, 개인이 자유롭게 상상을 하는 방식으로 측정하면 정확도가 떨어진다고 합니다.

 

또한, 현재는 동의 없이 뇌파 탐지를 통해 결과값을 내는 등의 행위는 불가합니다. 다만 미래에 이 같은 기술을 활용해 올바르게 활용할 수 있는 방법은 모색될 것 같습니다.

 

💡

Editor Ko SAY :

 

쉽게 이야기하면, 피실험자, 연구자, 관련 기기, AI모델이 준비물로 필요합니다. 피실험자의 뇌파 검사를 MEG를 통해 미리 행합니다. (평소에 어떤 이미지를 보면 어떻게 뇌 활동이 이루어 지는지 조사함) -> 여기서 얻은 데이터를 AI 모델에 입력하고 알고리즘 훈련을 시킵니다. 이 때, 모델 딥러닝은 Meta의 자가 지도 학습 모델인 DINOv2 사용했어요.

 

ex. 초록색 나무가 많고 탁트인, 광활한 숲 이미지를 봤을 때 뇌파 데이터가 A / 푸르른 바다가 끝없이 펼쳐진 시원하고 프레시한 풍경 이미지 데이터가 B라면, 왠지 모르게 A과 B가 비슷한 반응일 것 같지 않나요? (제 개인적인 생각입니다.ㅎㅎ)

 

다음은 피실험자에게 이미지를 보여주고 발생하는 MEG 결과를 생성할 때, 알고리즘에게 실제로 피실험자가 보고 있는 이미지를 보여주며 뇌파+이미지+알고리즘을 매칭하는 작업을 진행했습니다.

 

후에, 피실험자에게 이미지 보여준 뒤 뇌파 측정 데이터를 AI모델에 넘겨주고 "얘가 지금 무슨 생각하고 있~게~?"하고 추론을 명령합니다. AI는 새롭게 받은 뇌 활동 데이터 + 기존에 학습된 데이터를 토대로 피실험자가 무슨 생각(이미지 측면으로)을 했을지 유추해 내는 겁니다. 이 결과 값을 우리에게 보여주는 거고요.

 

저도 좀 헷갈리네요. 오류 지적 환영합니다.

 

하여... 본 이슈에 대한 제 개인적인 의견은 이미지 디코더 어플리케이션은 현재 관련 장비와 인력이 많이 든다는 물리적 이슈와 사회 윤리적 측면의 이슈를 감안했을 때, 일상 속에서 사용하는 상용 어플리케이션으로 자리 잡긴 어렵다고 느꼈습니다. 다만, 피의자 수사 과정에서 '거짓말 탐지기' 등을 사용하는 것과 같이 향후에는 이를 사용할 수 있는 기준과 법안에 따라 올바른 방식을 통해 범용성있게 사용할 수 있지 않을까요?

 

유튜브 조코딩님도 관련 내용에 대한 영상을 업로드 하셨더라고요. 링크 첨부드립니다.

 

.

.

.

 

👇  AI 뉴스 - 메타 실시간 생각 읽는 AI 외 이슈 👇

https://youtu.be/4qKBI7JtOCM?si=6TrkRt3y_kudw7FQ

 

 

 

 

 

 

 

 

AI 비전문가로써, 저와 같은 사람을 위해 AI 지식을 나눕니다.
전문가 분들의 반박 시 님 말이 다 맞습니다. 댓글 반박 환영