Когда визуальная информация поступает в мозг, она проходит по двум путям, которые обрабатывают различные аспекты поступающей информации. На протяжении десятилетий ученые выдвигали гипотезу, что один из этих путей, вентральный зрительный поток, отвечает за распознавание объектов и что эволюция, возможно, оптимизировала его именно для этого.
В соответствии с этим, за последнее десятилетие ученые Массачусетского технологического института обнаружили, что когда вычислительные модели анатомии брюшного потока оптимизируются для решения задачи распознавания объектов, они становятся удивительно хорошими предикторами нейронной активности в брюшном потоке.
Однако в новом исследовании ученые Массачусетского технологического института показали, что, когда они обучают модели такого типа пространственным задачам, полученные модели также являются неплохими предикторами нейронной активности вентрального потока. Это говорит о том, что вентральный поток может быть оптимизирован не только для распознавания объектов.
“Это оставляет открытым вопрос о том, для чего оптимизируется вентральный поток. Я думаю, что многие специалисты в нашей области придерживаются мнения, что вентральный поток оптимизирован для распознавания объектов, но это исследование дает новый взгляд на то, что вентральный поток может быть оптимизирован и для пространственных задач”, — говорит аспирант Массачусетского технологического института Юди Се.
Се является ведущим автором исследования, которое будет представлено на Международной конференции по репрезентации знаний. Среди других авторов статьи — Вейчен Хуан, приглашенный студент по программе MIT Research Science Institute; Эстер Альтер, инженер-программист в MIT Quest for Intelligence; Джереми Шварц, спонсируемый исследовательский технический персонал; Джошуа Тененбаум, профессор мозга и когнитивных наук.; и Джеймс Дикарло, профессор мозга и когнитивных наук имени Питера де Флореза, директор программы Quest for Intelligence и сотрудник Института исследований мозга Макговерна при Массачусетском технологическом институте.
За гранью распознавания объектов.
Когда мы смотрим на объект, наша зрительная система может не только идентифицировать его, но и определять другие характеристики, такие как его местоположение, удаленность от нас и ориентация в пространстве. С начала 1980-х годов нейробиологи выдвинули гипотезу о том, что зрительная система приматов разделена на два канала: вентральный, который выполняет задачи распознавания объектов, и дорсальный, который обрабатывает признаки, связанные с пространственным расположением.
В течение последнего десятилетия исследователи работали над моделированием вентрального потока, используя модель глубокого обучения, известную как сверточная нейронная сеть (CNN). Исследователи могут обучить эти модели выполнять задачи распознавания объектов, предоставляя им наборы данных, содержащие тысячи изображений, а также метки категорий, описывающие изображения.
Современные версии этих CNN обладают высокими показателями успешности при классификации изображений. Кроме того, исследователи обнаружили, что внутренняя активация моделей очень похожа на активность нейронов, которые обрабатывают визуальную информацию в вентральном потоке. Более того, чем больше эти модели похожи на вентральный поток, тем лучше они справляются с задачами распознавания объектов. Это привело многих исследователей к предположению, что основной функцией вентрального потока является распознавание объектов.
Однако экспериментальные исследования, особенно исследование, проведенное лабораторией Дикарло в 2016 году, показали, что брюшной поток, по-видимому, также кодирует пространственные особенности. Эти характеристики включают размер объекта, его ориентацию (насколько он повернут) и его местоположение в поле зрения. Основываясь на этих исследованиях, команда Массачусетского технологического института задалась целью выяснить, может ли вентральный поток выполнять дополнительные функции, помимо распознавания объекта.
“Наш главный вопрос в этом проекте заключался в том, возможно ли, что мы можем рассматривать вентральный поток как оптимизированный для решения этих пространственных задач, а не просто задач категоризации?” Говорит Се.
Чтобы проверить эту гипотезу, исследователи решили обучить CNN распознавать одну или несколько пространственных характеристик объекта, включая поворот, местоположение и расстояние. Для обучения моделей они создали новый набор синтетических изображений. На этих изображениях изображены такие объекты, как чайники или калькуляторы, расположенные на разных фонах, в местах расположения и ориентации, которые обозначены так, чтобы помочь модели их изучить.
Исследователи обнаружили, что модели CNN, которые были обучены только одной из этих пространственных задач, продемонстрировали высокий уровень “нейронной согласованности” с вентральным потоком — очень похожий на уровни, наблюдаемые у моделей CNN, обученных распознаванию объектов.
Исследователи измеряют нейронное соответствие, используя методику, разработанную лабораторией Дикарло, которая заключается в том, что после обучения моделей просят предсказать нейронную активность, которую будет генерировать в мозге конкретное изображение. Исследователи обнаружили, что чем лучше модели справлялись с пространственной задачей, которой они были обучены, тем большую нейронную согласованность они демонстрировали.
“Я думаю, мы не можем предполагать, что вентральный поток просто выполняет категоризацию объектов, потому что многие из этих других функций, таких как пространственные задачи, также могут привести к такой сильной корреляции между нейронной ориентацией моделей и их производительностью”, — говорит Се. “Мы пришли к выводу, что вы можете оптимизировать либо с помощью категоризации, либо с помощью выполнения этих пространственных задач, и оба они дают вам модель, подобную вентральному потоку, основанную на наших текущих показателях для оценки нейронного выравнивания”.
Сравнение моделей.
Затем исследователи исследовали, почему эти два подхода — обучение распознаванию объектов и обучение пространственным особенностям — привели к одинаковой степени нейронной согласованности. Для этого они провели анализ, известный как центрированное выравнивание ядра (CKA), который позволяет им измерить степень сходства между представлениями в разных CNN. Этот анализ показал, что на ранних и средних уровнях моделей представления, которые изучают модели, практически неотличимы.
“На этих ранних уровнях, по сути, вы не можете отличить эти модели друг от друга, просто взглянув на их представления”, — говорит Се. “Кажется, что на ранних и средних уровнях они усваивают очень похожие или унифицированные представления, а на более поздних этапах они расходятся для решения различных задач”.
Исследователи предполагают, что даже когда модели обучены анализировать только один признак, они также учитывают “нецелевые” признаки — те, на которых они не обучены. Когда объекты обладают большей вариативностью в отношении нецелевых характеристик, модели, как правило, усваивают представления, более похожие на те, которые были получены моделями, обученными другим задачам. Это говорит о том, что модели используют всю доступную им информацию, что может привести к тому, что разные модели будут создавать похожие представления, говорят исследователи.
“Большая нецелевая изменчивость на самом деле помогает модели лучше усваивать представление, вместо того чтобы изучать представление, которое о них не знает”, — говорит Се. “Вполне возможно, что модели, хотя и обучаются на одной цели, одновременно изучают другие вещи из-за изменчивости этих нецелевых функций”.
В будущей работе исследователи надеются разработать новые способы сравнения различных моделей в надежде узнать больше о том, как каждая из них разрабатывает внутренние представления объектов на основе различий в обучающих задачах и обучающих данных.
“Между этими моделями все еще могут быть небольшие различия, хотя наш нынешний способ измерения того, насколько эти модели похожи на мозг, говорит о том, что они находятся на очень схожем уровне. Это говорит о том, что, возможно, еще предстоит проделать некоторую работу, чтобы улучшить сравнение модели с мозгом, чтобы мы могли лучше понять, для чего именно оптимизирован вентральный поток”, — говорит Се.
Источник: MIT
