'파충류의 뇌' 위에 이성이 얹혀 있다는 이야기, 70년 만에 무너지다

다람쥐 원숭이 뇌(왼쪽)와 아홉 개의 띠를 가진 아르마딜로 뇌(오른쪽)의 단면은 다양한 신경계가 종에 따라 어떻게 함께 확장되거나 축소되는지를 보여줍니다. 시각적으로 매우 뛰어난 다람쥐 원숭이는 더 큰 신피질(파란색)을 가지고 있으며, 향기에 의존하는 아르마딜로는 더 큰 후각 복합체(보라색)와 기억 센터(녹색)를 가지고 있습니다. 출처: 조지아 공과대학교

"머리로는 알겠는데 가슴이 안 따라준다." 이런 말, 우리 모두 한 번쯤 해봤을 겁니다. 그리고 이런 갈등을 설명할 때 자주 등장하는 이야기가 있죠. 우리 뇌 깊숙한 곳에는 본능만 아는 '파충류의 뇌'가 있고, 그 위에 이성적인 인간의 뇌가 얹혀 있다는 설명 말입니다.

그런데 최근 연구는 이 익숙한 이야기가 사실과 상당히 다르다고 말합니다. 뇌의 진화는 그보다 훨씬 기묘하고, 훨씬 흥미로운 방식으로 일어났다는 겁니다.

"진화생물학자는 그렇게 생각하지 않는다"

이 '층층이 쌓인 뇌' 이야기는 1950년대에 제안된 이론에서 비롯됐습니다. 기본적인 신체 기능에서 시작해, 파충류의 뇌에 해당하는 감정 영역을 거쳐, 인간의 정교한 추론 능력까지 층층이 쌓이며 진화했다는 설명이죠.

조지아공대 계산과학공학부 조교수이자 신경과학·신경기술·사회 연구소(INNS) 소속인 나빌 이맘 교수는 이 이론을 단호하게 반박합니다. "이건 진화생물학자가 이 문제를 바라보는 방식이 아닙니다."

'사이언스 어드밴시스(Science Advances)'에 발표된 이맘 교수 연구팀의 연구는, 뇌 진화의 진짜 이야기가 오래된 부품과 새로운 부품을 차곡차곡 쌓는 과정이 아니라고 말합니다. 감정과 논리 사이의 깔끔한 분업도 아니고요. 핵심은 전혀 다른 곳에 있습니다. 바로 배선(wiring), 공간, 그리고 트레이드오프입니다.

애초에 '변연계'라는 묶음부터 이상했다

사람들이 '논리적인 뇌'라고 말할 때, 보통은 신피질(neocortex)을 가리킵니다. 시각, 지각, 추론 등 복잡한 능력에 관여하는 뇌의 바깥층이죠. 반면 이른바 '파충류의 뇌'는 대개 변연계(limbic system)와 연결됩니다.

그런데 이맘 교수는 이 '변연계'라는 이름표가 사실 복잡한 기능들의 뒤죽박죽 혼합을 가리고 있다고 지적합니다. "'파충류의 뇌'라고도 불리는 변연계는 넓게 보면 감정을 담당합니다. 하지만 여기엔 전혀 다른 기능을 하는 다른 구성 요소들도 함께 들어 있어요."

실제로 변연계 안에는 감정 조절 외에도 기억, 후각, 공간 탐색을 담당하는 별개의 영역들이 함께 묶여 있습니다. 이맘 교수의 질문은 여기서 시작됩니다. "왜 사람들은 이렇게 다른 영역들을 하나의 큰 시스템으로 묶어놨을까요? 이 서로 다른 회로들 사이에 무엇이 공통적인지에 대한 제대로 된 이론이 없었습니다."

변연계는 '함께' 커지고 '함께' 줄어든다

이 문제를 풀기 위해 연구팀은 접근법을 바꿨습니다. 각 뇌 영역이 '무슨 일을 하는지'만 보는 대신, 변연계와 신피질이 여러 종에 걸쳐 어떻게 크기가 변하는지를 물은 겁니다. 만약 변연계가 정말로 하나의 연관된 네트워크라면, 그 부분들은 제각각 따로 노는 게 아니라 함께 변해야 할 테니까요.

그리고 정확히 그런 결과가 나왔습니다. 여러 종을 비교했더니, 변연계의 한 부분이 크면 다른 변연계 구성 요소들도 함께 큰 경향이 나타났습니다. 그리고 동시에 신피질은 작아지는 경향을 보였습니다. 개별 부위들이 무작위로 성장하는 패턴이 아니었던 겁니다.

이맘 교수는 "오히려 이건 여러 종에 걸쳐 나타나는 이 영역들의 '조율된 확장'"이라고 설명합니다. 이 결과는 변연계에 대한 인식 자체를 바꿔놓았습니다. 감정과 기억, 후각 회로를 아무렇게나 담아놓은 잡동사니 주머니가 아니라, 진화의 시간 속에서 함께 커지고 함께 줄어드는 하나의 네트워크로 보이기 시작한 겁니다.

그렇다면 다음 질문은 자연스럽습니다. 왜 그럴까요?

지도형 배선 vs 바코드형 배선

이맘 교수의 설명은 뇌 회로가 경험에 의해 다듬어지기 '이전'에 어떻게 배치되는지에서 출발합니다.

신피질은 마치 지도처럼 조직되어 있습니다. 엄지와 검지처럼 가까이 있는 신체 부위는 뇌에서도 가까운 영역에 표현됩니다. 시각과 청각을 조직하는 방식도 비슷한 지도형 배치를 따릅니다. 이런 배선은 정보가 명확한 공간적 구조를 가질 때 특히 유용합니다. 소리가 어디서 났는지, 물체가 시야의 어느 지점에 있는지 같은 것들 말이죠.

반면 변연계는 전혀 다르게 작동합니다. 이곳의 배선은 물리적 위치를 기준으로 조직되어 있지 않습니다. 대신 마치 바코드처럼 작동합니다. 네트워크 전반에 퍼진 독특한 패턴을 이용해서 냄새나 복잡한 기억 같은 것들을 표현하는 방식입니다.

AI로 검증한 '타고난 배선'

그렇다면 이 두 가지 배선 방식은 타고나는 걸까요, 아니면 경험을 통해 학습되는 걸까요? 연구팀은 이걸 검증하기 위해 흥미롭게도 인공지능을 동원했습니다.

연구진은 서로 다른 감각을 담당하는 AI 모델들을 만들고, 각각 다른 초기 아키텍처를 부여했습니다. 결과는 명확했습니다. 국소적이고 공간적인 연결을 가진 네트워크는 시각, 청각, 촉각에서 자연스럽게 좋은 성능을 냈습니다. 반면 분산된 바코드 방식의 연결을 가진 네트워크는 후각 인식과 기억에 훨씬 적합했습니다.

이 실험이 중요한 이유는, 뇌의 구조와 기능을 직접 연결지었기 때문입니다. 연구진은 단순히 "신피질과 변연계는 생김새가 다르다"고 말한 게 아닙니다. 서로 다른 배선 패턴이 서로 다른 종류의 정보에 더 적합하다는 것을 실제로 보여준 겁니다.

뇌는 부동산이다: 한정된 공간을 놓고 벌이는 경쟁

이제 마지막 퍼즐입니다. 이 두 가지 배선 전략이 여러 종의 뇌 전체를 어떻게 빚어내는가.

핵심은 뇌 조직이 '비싸다'는 사실입니다. 공간도 에너지도 한정되어 있으니, 진화는 모든 시스템을 똑같이 확장할 수 없습니다. 우선순위를 정해야만 하죠.

후각에 크게 의존하는 종이라면 분산형 변연계 네트워크를 키우는 게 유리합니다. 시각에 더 의존하는 종이라면 신피질을 키우는 게 이득이고요.

연구팀은 이 트레이드오프를 다중감각 네트워크로 시뮬레이션했습니다. 공간형 시스템과 분산형 시스템이 한정된 '부동산'을 놓고 경쟁하게 만든 거죠. 결과는 예상대로였습니다. 모델 환경이 후각에 보상을 주자 분산형 시스템이 함께 확장되고 신피질은 작아졌습니다. 반대로 시각이 더 중요해지자 신피질이 확장되고 분산형 시스템이 수축했습니다.

아르마딜로와 다람쥐원숭이가 보여준 증거

이 패턴은 실제 종 간 차이를 그대로 설명해냈습니다. 냄새에 강하게 의존하는 아홉띠아르마딜로는 유독 큰 변연계를 갖고 있습니다. 반면 시각에 크게 의존하는 다람쥐원숭이는 신피질이 뇌를 지배하고 있죠.

연구진이 조사한 182개 종 전체를 놓고 봤을 때, 그림은 명확했습니다. 진화가 본능 위에 이성을 차곡차곡 쌓아 올린 게 아니었습니다. 그저 어떤 동물이 살아남는 데 무엇이 도움이 되느냐에 따라, 서로 다른 배선 시스템 사이에서 공간을 재배분해온 것이었습니다.

AI도 뇌의 배선을 빌려올 수 있을까

이 논리는 인공지능에도 시사점을 던집니다. 오늘날의 AI는 대개 어마어마한 양의 데이터를 먹으며 학습합니다. 하지만 생물의 뇌는 그렇게 시작하지 않습니다. 경험이 세부사항을 채워 넣기 전에, 이미 학습을 이끌어주는 타고난 아키텍처를 갖추고 출발합니다.

이맘 교수는 이렇게 말합니다. "오늘날의 인공신경망은 방대한 데이터로 훈련됩니다. 전적으로 '양육(nurture)'인 셈이죠. 하지만 뇌는 경험으로 훈련되는 백지가 아닙니다. 뇌는 본성과 양육의 혼합이고, 그 '본성'에 해당하는 것이 바로 사전에 배선된 아키텍처입니다."

그는 이어 "우리는 그 아키텍처를 AI 시스템으로 번역해서, AI를 더 뇌에 가깝게 만들거나, 뇌만큼 효율적으로 학습하고 작동하게 만들 수 있을 것"이라고 덧붙였습니다.

---

우리 안에 잠든 '파충류'는 없었습니다. 대신 한정된 공간을 놓고 끊임없이 협상해온, 두 가지 배선 전략의 오랜 줄다리기가 있었을 뿐입니다. 어쩌면 우리가 이성과 본능 사이에서 갈등한다고 느끼는 그 순간에도, 뇌는 그저 자기 방식대로 정보를 처리하고 있는 것뿐인지도 모르겠습니다.

참고 논문: Nabil Imam 외, "Dual computational systems in the development and evolution of mammalian brains", Science Advances (2026년 4월 22일), DOI: 10.1126/sciadv.aec6112

---

#뇌진화 #파충류의뇌 #변연계 #신피질 #신경과학 #조지아공대 #인공지능 #뇌과학 #진화생물학 #ScienceAdvances