
Известно, что биологические синапсы хранят множество воспоминаний друг над другом в разных временных масштабах, очень похожих на представления ранних методов написания рукописей, известных как “палимпсест“, где примечания могут накладываться рядом со следами более раннего письма.
Биологическая консолидация палимпсеста происходит с помощью скрытых биохимических процессов, которые управляют синаптической эффективностью в разное время жизни. Такое расположение может облегчить перезапись незанятых воспоминаний, не забывая их, при кратковременном использовании ранее невидимых воспоминаний. Встроенный искусственный интеллект может значительно выиграть от такой функциональности; .
В новом отчете, опубликованном в журнале Science Advances, Кристос Джотис и группа ученых в области электроники и компьютерных наук из Университета Саутгемптона и Эдинбургского университета, Великобритания, показали, как внутренние свойства металлоксидных летучих [мемристоров](https://www.techtarget.com/whatis/definition/memristor#:~:text=A memristor is an electrical,they retain memory without power.) имитируют процесс консолидации биологического палимпсеста.
Мемристоры – это устройства, которые могут регулировать протекание электрического тока в цепи, чтобы запоминать проходящий через нее заряд. Без выполнения специальных инструкций экспериментальные синапсы мемристора демонстрировали увеличенную вдвое емкость, защищая консолидированную память, поскольку в память временно перезаписывали до сотен некоррелированных кратковременных воспоминаний. Результаты показали, как новые технологии памяти могут эффективно расширить возможности аппаратного обеспечения искусственного интеллекта для концептуализации обучающей памяти.
Биологический интеллект против искусственного интеллекта (ИИ)
Нейронные сети в коре головного мозга используют, по оценкам, от 1013 до 1014 синапсов для генерации целого ряда когнитивных способностей, их реконструированные аналоги требуют такого же количества обучаемых параметров для гораздо более узких применений.
Чтобы объяснить эту разницу в способности к обучению между биологическим интеллектом и искусственным интеллектом, исследователи ИИ предполагают, что синапсы могут объединять несколько воспоминаний, которые будут раскрыты в разных временных масштабах, подобно палимпсесту. В то время как синапсы могут запоминать долгосрочные события, они могут выражать измененные состояния в краткосрочной перспективе. В результате мозг может использовать один и тот же ресурс для целого ряда вычислительных процессов. Такая гибкость может сделать нейроморфное оборудование важной вехой в интеграции искусственного интеллекта в широкий спектр современных систем непрерывного обучения.

В ходе ранних экспериментов исследователи разработали синапсы, которые в значительной степени основаны на материалах памяти с фазовым изменением, и мемристоры на основе резистивной оперативной памяти (RRAM) для реализации метапластичности для настройки скорости обучения искусственных синапсов в нейронных сетях.
Джотис и его команда построили это исследование на основе предыдущей работы, чтобы соединить синаптическую пластичность с автоматической консолидацией и защитой памяти изученных воспоминаний от синаптических модификаций — жизненно важный элемент для эффективного онлайн-обучения. Команда исследовала характеристики изменчивости RRAM, чтобы имитировать скрытые биохимические процессы, способствующие консолидации палимпсеста в биологическом интеллекте. Они реализовали две объединенные временные шкалы в одном устройстве, чтобы создать технологию, которая может защитить надежную память при ее длительном хранении с уникальными характеристиками, без особых искажений или функциональных сложностей.
Возможные изменчивые воспоминания для консолидации палимпсеста
Процесс консолидации биологического палимпсеста предполагает, что скрытые переменные, такие как сложные биохимические процессы, могут вызывать изменения в синаптической эффективности в разных временных масштабах. Хотя эти процессы еще предстоит отобразить, их фенотипическую реакцию можно смоделировать с помощью диффузии жидкости. Исследователи использовали летучие мемристивные устройства на основе диоксида титана для изучения потенциала консолидации палимпсеста и продемонстрировали процесс на одном мемристивном синапсе. Результаты показали, как искусственный синапс защищал скрытую память, сохраняя при этом гибкость для выражения другой памяти поверх нее, чтобы удвоить объем памяти. Благодаря высокому соотношению летучих и нелетучих изменений пластичности, которые обеспечивали ключевой функциональный параметр системы, данный синапс стал хорошим кандидатом для дальнейших исследований.

Управление системой памяти
Джотис и его команда построили мемристивную сеть, состоящую из шести синапсов, для усиления или консолидации двух конкурирующих сигналов. Они проиллюстрировали экспериментальную установку, в которой каждый бит воспоминаний записывался на соответствующий мемристивный синапс, и изучили, как два сигнала памяти взаимодействуют между синапсами. Синапсы циклически проходили через несколько стадий консолидации, и ученые продолжали макроскопически изучать производительность памяти. Они приписали прогрессивно более успешную презентацию конкретной памяти к ее способности перезаписывать конкурирующую память с воздействием шума в качестве решающего фактора.
Исследователи провели дополнительные эксперименты, чтобы количественно оценить, как шум влияет на производительность памяти, и результаты показали, что характеристики устройства способствовали консолидации палимпсеста, обеспечивая обратимость от кратковременной памяти к состояниям долговременной памяти. Сеть также продемонстрировала способность при воспоминаниях о знакомстве определять, были ли ранее представлены несколько воспоминаний. Они охарактеризовали продолжительность жизни кратковременной памяти как период, когда сигнал кратковременной памяти доминировал над долговременной памятью. Эта работа проливает свет на компромисс между способностью и точностью запоминания, наряду с метапластическими свойствами, специально реализуемыми через синапсы. Исследователи показали, как высокий уровень консолидации, по-видимому, защищает долговременную память от сотен поступающих кратковременных воспоминаний.

Визуальная рабочая память
Команда далее исследовала зрительную память, основанную на концепциях кратковременного внимания и неконтролируемого построения памяти в системе. Во время экспериментов они черпали вдохновение из существующих теорий рабочей памяти, чтобы построить зрительную сеть с кратковременным вниманием, дополняющим ее объем памяти. Они также изучали, может ли система определять статистическую значимость без надзора. Когда они сравнили трассировку долговременной памяти с последующими моментальными снимками, они отметили, что сеть может автоматически отключать консолидированные сигналы.
Прогноз
Таким образом, Кристос Джотис и его коллеги сосредоточились на бинарных синапсах, которые, как известно, поддерживают обучение в математических моделях и алгоритмах глубокого обучения. Взаимодействие между интенсивной двунаправленной летучестью и небольшими нелетучими остаточными связями способствовало палимпсестовой способности устройства. Будущие реализации исследований не ограничиваются выбранным материалом технологии диоксида титана и могут быть изучены в соответствии с конкретными потребностями применения. Установка продемонстрировала переход от долговременной памяти к кратковременной памяти, а также напоминала механизмы кратковременного внимания с перспективой более сложных алгоритмов искусственного интеллекта. Двойная временная емкость устройств напоминает бистабильное переключение, которое, как известно, управляет синаптической пластичностью. Команда приравнивает функциональность пластичности ядра к биологическому процессу https://pubmed.ncbi.nlm.nih.gov/11994750/; calcium/calmodulin-dependent protein kinase II mechanism первичный биологический механизм молекулярной памяти.
Дополнительная информация: Christos Giotis et al, Palimpsest memories stored in memristive synapses, Science Advances (2022). DOI: 10.1126/sciadv.abn7920
Marcus K Benna et al, Computational principles of synaptic memory consolidation, Nature Neuroscience (2016). DOI: 10.1038/nn.4401