Бензин АИ-92 — характеристики, расшифровка, реализация

Бензин АИ-92 – самое популярное в России топливо для карбюраторных и инжекторных моторов. На нем ездят почти все автомобили российского производства, а также большинство стареньких иномарок. Неэтилированный АИ-92 не содержит соединений тяжелых металлов, в том числе, свинца. АИ-92 хорошего качества позволяет автомобилю раскрыть 100% своего потенциала и не приводит к быстрому изнашиванию деталей мотора.

Расшифровка АИ-92 означает, что это бензин автомобильный (буква А), октановое число которого (ОЧ 92) было рассчитано исследовательским методом (буква И) в условиях, максимально соответствующих стандартным городским.

Многие считают, что более высокая цифра октанового числа говорит о лучшем качестве топлива. Но это не так. Число здесь показывает только устойчивость топлива к детонации, не более. И выбирая, каким видом топлива заправить своего железного коня, нужно ориентироваться на рекомендации завода-изготовителя.

Характеристики

ГОСТ на АИ-92 предусматривает для этой марки бензина следующие свойства:

• Содержание свинца – не более 0,013
• Содержание смол – не более 5 мг/дм3 (промытых растворителем)
• Массовая доля серы – не более 0,05%
• Плотность (или удельный вес) – 725-780 кг/м3

Другие важные характеристики:

• Температура вспышки. Для бензинов она составляет в среднем -39 градусов. Это минимальный порог нагрева топлива, при котором легкие его фракции, отделяясь, могут вспыхнуть при приближении источника пламени.
• Температура горения. Этот показатель отражает, какую максимальную температуру может создавать горящий бензин. Он достигает 1300-1400 градусов.
• Температура кипения. Показывает, какой должна быть температура окружающего воздуха, чтобы бензин в двигателе закипел. Раньше в летнюю жару «кипящий» мотор был нередким явлением. АИ-92 может закипеть при температуре от 33 до 205 градусов (в зависимости от производителя и состава).
• Цвет. Оттенок 92-го бензина должен быть естественным – от бесцветного до соломенно-желтого. При этом структура топлива должна быть однородной, чистой и прозрачной без взвесей.

Еще одно важнейшее свойство – фракционный состав бензина. Это показатель его испаряемости и того, как ведет себя топливо в разных фракциях: пусковой, рабочей и концевой. По ГОСТ фракционный состав измеряется на 5 стадиях: начало перегонки, перегонка 10% от объема, далее 50%, 90% и в конце кипения.

Экологический класс

Согласно ОКПД (общероссийскому классификатору продукции) бензином АИ-92 может называться бензин автомобильный с октановым числом выше 92 (но не выше 95) и соответствующий, как минимум, классу К2.

Экологические классы бензина (К2 – К5) предусматривают различное содержание серы в топливе. От 500 мг/кг для К2 до 10 мг/кг для К5. Чем меньше в составе бензина серы, а вместе с ней монометиланина, тем безопаснее для экологии данное топливо.

В маркировке бензина экологический класс указывается после октанового числа. Например, АИ-92-4.

Срок годности

В советское время считалось, что бензин не теряет своих свойств при хранении и его срок годности достигает 5 лет. Но это не так. При длительном хранении бензин начинает испаряться, окисляться, у него распадаются присадки, использованные для повышения октанового числа, и образуется осадок. Также могут расслаиваться фракции из-за разности плотности.

Поэтому сейчас максимальный срок хранения бензина не превышает 1 год с момента производства.

Реализация АИ-92

Многих интересует вопрос, что собой представляет тонна бензина АИ-92 в литрах? Если считать плотность 92-го равной 0,735 кг/л, то в тонне этой марки бензина будет 1360,5 литров.

Но главное, что волнует всех автолюбителей, это разница между АИ-92 и АИ-95. Есть ли она?

В сравнении с 92-м, АИ-95 позиционируется как бензин повышенного качества. Здесь больше добавок, снижающих взрывоопасность, и при производстве полностью исключен свинец. Плюс за счет добавления моющих присадок топливо обладает чистящими свойствами для мотора.

В целом, при использовании качественного топлива обоих видов, разница при обычной эксплуатации незаметна. На все же лучше ориентироваться на рекомендации производителя автомобиля.

Купить бензин оптом

Бензин – его производство, маркировка, октановое число

Бензин – сложно вспомнить что-то более привычное для автомобилиста. Ежедневно автомобили сжигают сотни тысяч литров этого топлива, однако мало кто из автовладельцев всерьез задумывался над тем, как его производят, об особенностях состава топлива и других аспектах.

Немного терминологии

Как сообщают справочники, бензином именуется смесь лёгких углеводородов разных типов:

1. Ароматические;
2. Олефиновые;
3. Парафиновые и прочие.

Эти углеводороды обладают горючими свойствами. Температура кипения смеси варьируется от 33 до 250 °С, что зависит от применяемых присадок.

Из чего делают бензин

Схема производства бензина

Горючее выпускается на мощностях нефтеперерабатывающих заводов. Сам производственный процесс очень сложен и делится на несколько циклов.

Сначала сырая нефть поступает на предприятие по трубопроводам, закачивается в огромные резервуары, после чего отстаивается. Далее начинается промывка нефти – в нее добавляется вода, а потом пропускается электрический ток. В итоге соли оседают на дно и стенки резервуаров.

Во время последующей атмосферно-вакуумной перегонки происходит подогрев нефти и ее деление на несколько типов. Осуществляются 2 этапа обработки:

1. Вакуумная;
2. Термическая.

По завершении процесса первичной переработки начинается каталитический риформинг, во время которого происходит очередное очищение бензина и извлечение фракций 92-го, 95-го и 98-го бензина.

Фото: aif.ru

Это процесс, который еще называют вторичной переработкой, включает 2 основных этапа:

1. Крекинг – очистка нефти от примесей серы;
2. Риформинг – наделение субстанции октановым числом.

Видео: Как делают бензин из нефти. Просто о сложном

По окончании данных этапов проходит контроль качества горючего, который занимает несколько часов.

Примечательно, что отечественные заводы (в большинстве) из 1 тонны нефти получают 240 литров бензина. Остальное приходится на газ, дизтопливо, мазут и авиационное горючее.

Что такое октановое число

Эта фраза известна очень многим, однако далеко не все знают, что именно означает данный термин и почему он так важен.

Октановое число – это способность топлива (в том числе и бензина) противостоять самопроизвольному возгоранию под давлением. Иначе говоря – его детонационная стойкость.

В процессе работы двигателя поршень сжимает топливно-воздушную смесь (такт сжатия). В этот момент, когда готовая смесь находится под давлением, может произойти ее самопроизвольное воспламенение еще до того, как свеча зажигания дала искру. В народе это явления называется одним словом – «детонация». Характерным признаком детонации являются шумы в двигателе – металлический звон.

Следовательно, чем выше октановое число, тем выше способность горючего сопротивляться детонации.

Маркировка бензина

На АЗС можно встретить самые разные наименования, не исключая и наиболее привычные для большинства автомобилистов. Обычно бензин маркируется литерами «А» и «АИ». Их расшифровка:

1. «А» – это обозначение свидетельствует, что бензин автомобильный;
2. «АИ» – буква «И» означает метод, которым было определено октановое число.

Существует 2 способа определения октанового числа – исследовательский (АИ) и моторный (АМ).

Исследовательский метод – он определяется путем тестирования топлива на одноцилиндровой силовой установке, при условии переменной степени сжатия, частоте вращения коленвала в 600 об/мин, угле опережения зажигания в 13° и температуре воздуха (всасываемого) в 52 °С. Эти условия аналогичны небольшим и средним нагрузкам.

Моторный метод – его определение осуществляется на аналогичной установке, однако прочие условия другие. Температура воздуха (всасываемого) составляет 149 °С, частота вращения коленвала равна 900 об/мин, а угол опережения зажигания переменный. Такой режим аналогичен высоким нагрузкам – езда в гору, работа мотора под нагрузкой и т. д.

Следовательно, число АМ всегда ниже, нежели АИ, а разница в показаниях свидетельствует о чувствительности горючего к работе силового агрегата в разных режимах. Примечательно, что в некоторых государствах на Западе октановое число определяется как среднее между значениями «АМ» и «АИ». В РФ же обозначается только более высокое значение «АИ», что и можно увидеть на всех АЗС.

Марки бензина

Чаще всего на отечественных заправочных станциях встречаются следующие обозначения:

• Бензин АИ-98.  Отличается высоким октановым числом. В отличие от АИ-95, который производится в соответствии с ГОСТом, 98-й выпускается согласно ТУ 38.401-58-122-95, а также ТУ 38.401-58-127-95. В производстве этой марки бензина запрещено применение алкилсвинцовых антидетонаторов. Выпуск данного высокооктанового бензина осуществляется с использованием ряда компонентов – толуола, изопентана, изооктана и алкилбензина.
• Экстра АИ-95 – бензин повышенного качества, что достигается путем применения присадок антидетонационного типа. Производится из дистиллятного сырья, бензина каталитического крекинга, с добавлением изопарафиновых элементов (ароматических) и газового бензина. В составе нет свинца, что обеспечивает высокое качество бензина.
• АИ-95 – основное отличие от Экстра АИ-95 в концентрации свинца, которая выше на 30%;
• АИ-93 – делится на 2 категории: этилированный и неэтилированный. Этилированное топливо выпускается на основе бензина каталитического риформинга (мягкий режим) с добавлением в его состав толуола и алкилбензина, а также бутан-бутиленовой фракции. Неэтилированный выпускается из того же бензина каталитического риформинга (жесткий режим), с добавлением бутан-бутиленовой фракции, алкилбензина и изопентана;
• АИ-92 – наиболее распространенный на рынке бензин среднего качества, с содержанием присадок антидетонационного типа. Максимальная плотность – 0,77г/смА-923. Может быть как этилированным, так и неэтилированным;
• АИ-91 – отличается содержанием присадок антидетонационного типа. Это неэтилированный бензин с ненормированной плотностью и определенным процентом свинца в составе;
• А-80 – состав этого бензина аналогичен таковому у АИ-92. Максимальная плотность – 0,755г/смА-803;
• А-76 – обычно применяется в сельском хозяйстве. Выпускается этилированный и неэтилированный А-76 с ненормируемой плотностью. В его составе содержатся присадки разных типов (антиокислительные и антидетонационные), прямогонный бензин, а также итоговые продукты коксования, пиролиза и крекинга (термического и каталитического).

Видео: Аи-92 или Аи-95? Разгон до 100км и расход топлива на Mazda Demio (Ford Festiva Mini Wagon)

Какой бензин заливать?

Многие ищут ответ на этот вопрос, чтобы ненароком не навредить двигателю. В данном случае все просто – требования к топливу указаны в инструкции по эксплуатации конкретного автомобиля, а также продублированы на обратной стороне лючка бензобака. Если производитель в качестве рекомендуемого топлива указал АИ-95, то заливать нужно именно его, а заправляться 92-м можно только на свой страх и риск. Однако стоит помнить, что в мануале и на этикетке может быть указано как октановое число, так и марка топлива.

Также в мануале могут быть записаны разные типы бензина. Например:

1. АИ-92 – допустимый;
2. АИ-95 – рекомендуемый;
3. АИ-98 – для улучшения характеристик.

Как видно, заливать в бак необходимо только рекомендуемое производителем авто топливо. Впрочем, использование бензина с более высоким октановым числом никакого вреда двигателю не нанесет. Ведь чем выше октановое число, тем медленнее скорость горения и больше КПД топлива, что благотворно сказывается на отдаче двигателя, экономичности и других моментах. Как правило, прибавка в мощности и экономичности достигает 7%. Кроме того, современные машины комплектуются ЭБУ, которые учитывают качество горючего и его октановое число, корректируя настройки.

Это значит, что в бак современного автомобиля с атмосферным мотором необходимо заливать АИ-95 на качественной АЗС. В крайнем случае, допускается АИ-92. Также можно ориентироваться на степень сжатия – если она ниже 10 ед., можно заливать АИ-92. Если выше – только 95-й.

Что касается турбированных двигателей, то для них рекомендуемое топливо – АИ-98 или Экстра АИ-95, но  не АИ-92.

Можно ли смешивать бензин?

Этим вопросом задаются многие. В целом от смешивания горючего с разным октановым числом ничего катастрофического не произойдет, но только если смешивать рекомендуемый бензин с более высоким (по октановом числу). К примеру, рекомендуемый для машины 92-й смешать с 95-м. Однако понижать не нужно. Также стоит помнить, что плотность у бензина с разным октановым числом различается, так что его смешивания может вообще не произойти – горючее с более высоким октановым числом просто окажется вверху бака, а с низким внизу.

В целом, чтобы сохранить двигатель, рекомендуется не экономить, заправляться только на сертифицированных станциях крупных сетей (не франшиза) и лить в бак бензин с октановым числом, рекомендованным изготовителем (но не ниже).

Цена на дизель, газ, бензин АИ-92, АИ-95 на заправках Минска сегодня

Контроль над качеством топлива

Мы заботимся о качестве топлива на наших заправках. А-100 проверяет его на каждом этапе долгого пути от нефтеперерабатывающего завода до бака вашего автомобиля.

Автомобильные цистерны пломбируются на своем пути от завода до АЗС. Непосредственно на заправке в обязательном порядке берутся пробы каждого вида топлива, которые хранятся на АЗС на протяжении всего периода реализации топлива.  

Дорожим вашим доверием

Нам важно, чтобы вы получали только качественный продукт. Поэтому наши поставщики —  надежные белорусские предприятия. 

Главное правило при выборе топлива — используйте тот вид, октановое число которого рекомендовано производителем вашего автомобиля. 

Наши клиенты могут сами убедиться в качестве топлива от А-100. Иногда мы устраиваем «народный тест-драйв» по качеству контролю топлива на наших заправках.

Мы сами проверяем качество топлива

У А-100 свой собственный склад нефтепродуктов. Именно там с помощью  специального оборудования следят за качеством топлива. Перед сливом топлива в резервуары хранения берутся контрольные пробы для исследования в независимых аккредитованных лабораториях.

Расшифровка маркировки топлива

ДТ — дизельное топливо.

Климатические условия применения — буквы Л (летнее), З (зимнее), А (арктическое), Е (межсезонное).

Экологический класс — символы К2, К3, К4, К5 (наилучший), обозначающие экологический класс автомобильного бензина. Класс 5 соответствует Евро-5. С 1 января 2015 года в Республике Беларусь разрешен оборот только дизельного топлива экологического класса К5.

АИ — автомобильный бензин.

Октановое число — цифровое обозначение октанового числа автомобильного бензина (92,95,98), определенного исследовательским. Чем выше число, тем лучше очищен бензин.

Экологический класс — символы К2, К3, К4, К5 (наилучший), обозначающие экологический класс автомобильного бензина. С 1 января 2016 года в Республике Беларусь разрешен оборот только автомобильного бензина экологического класса К5.

Бензин АИ-98 — РН-СПЕКТР официальный дистрибьютор Роснефть Битум

Бензин неэтилированный Супер Евро-98 вид II

Назначение
Предназначен для использования в качестве моторного топлива на транспортных средствах с бензиновыми двигателями, сконструированными для работы на неэтилированном бензине. Соответствует экологическому классу К5 (требование ТР ТС №013/2011. ГОСТ Р 51866-2002

Предназначен для использования в качестве моторного топлива на транспортных средствах с бензиновыми двигателями, сконструированными для работы на неэтилированном бензине. Соответствует экологическому классу К4 (требование ТР ТС №013/2011). ГОСТ Р 51866-2002 

Супер-98 — с октановым числом по исследовательскому методу не менее 98

Физико-химические и эксплуатационные показатели автомобильных бензинов

Автомобильные бензины должны изготавливаться в соответствии с требованиями ГОСТ Р 51313-99 «Бензины автомобильные. Общие технические требования» (этот ГОСТ утратил свою силу) по технологической документации, утверждённой в установленном порядке.

Физико-химические и эксплуатационные показатели автомобильных бензинов.

Наименование показателя	Нормаль 80	Регуляр 92	Премиум 95	Супер 98
ОЧММ	76	83	85	88
ОЧИМ	80	92	95	98
Концентрация Pb, г/л, не более	0,01
Концентрация Mn, мг/л, не более	50	нет
Концентрация фактических смол, мг/100 см³, не более	5
Индукционный период бензина, мин, не менее	360
Массовая доля серы, %, не более	0,05
Объёмная доля бензола, %, не более	5
Испытания на медной пластине	Выдерживает, класс 1
Внешний вид	Чистый, прозрачный
Плотность при 15 °C	700-750	725-780	725-780	725-780

Бензин — Нормаль 80 (АИ-80)

Бензин — это самая легкая из жидких фракций нефти. Эту фракцию получают в числе других в процессе возгонки нефти с целью получения различных нефтепродуктов. Обычный углеводородный состав бензина — молекулы длиной от C 5 до C 10 . Но бензины отличаются друг от друга, как по составу, так и по свойствам, ведь их получают не только как продукт первичной возгонки нефти. Бензин получают из попутного газа (газовый бензин) и из тяжелых фракций нефти (крекинг-бензин). 

Бензин Аи-80 применяется как топливо для карбюраторных и инжекторных двигателей, при производстве парафина, чистке тканей (растворяет жиры), как горючий материал, как растворитель. 

Бензин АИ-80 изготовляется зимнего и летнего видов:

• зимний — для применения в течение всех сезонов в северных и северо-восточных районах, а в остальных районах с 1 октября до 1 апреля;
• летний — для применения во всех районах, кроме северных и северо-восточных, в период с 1 апреля до 1 октября; в южных районах допускается применять летний вид бензина в течение всех сезонов.

Бензин АИ-80 содержит смесь углеводородов различного строения в виде бесцветной жидкости с пределами кипения 33-205°С. 
Бензин АИ-80 , применяется в качестве топлива для карбюраторных автомобильных и мотоциклетных двигателей, а также двигателей другого назначения. Автомобильный бензин предназначен для карбюраторных и мотоциклетных двигателей в зависимости от конструктивных особенностей двигателей внутреннего сгорания, а также от условий, в которых они эксплуатируются.  Бензин АИ-80 представляет собой смесь компонентов, получаемых в результате различных технологических процессов:

• прямой перегонки нефти;
• каталитического риформинга;
• каталитического крекинга и гидрокрекинга вакуумного газойля;
• изомеризации прямогонных фракций;
• алкилирования;
• ароматизации термического крекинга;
• висбрекинга;
• замедленного коксования.

Компонентный состав бензина АИ-80 зависит, в основном, от его марки и определяется набором технологических установок на нефтеперерабатывающем заводе.  Базовым компонентом для выработки автомобильных бензинов являются обычно бензины каталитического риформинга или каталитического крекинга. Бензины каталитического риформинга характеризуются низким содержанием серы, в их составе практически отсутствуют олефины, поэтому они высокостабильны при хранении. Однако повышенное содержание в них ароматических углеводородов с экологической точки зрения является лимитирующим фактором. К их недостаткам также относится неравномерность распределения детонационной стойкости по фракциям. В составе бензинового фонда России доля компонента каталитического риформинга превышает 50 %. 

Бензины каталитического крекинга характеризуются низкой массовой долей серы, октановыми числами по исследовательскому методу 90-93 единицы. Содержание в них ароматических углеводородов составляет 30-40 %, олефиновых — 25-35 %. В их составе практически отсутствуют диеновые углеводороды, поэтому они обладают относительно высокой химической стабильностью (индукционный период 800-900 мин.). По сравнению с бензинами каталитического риформинга для бензинов каталитического крекинга характерно более равномерное распределение детонационной стойкости по фракциям. Поэтому в качестве базы для производства автомобильных бензинов целесообразно использовать смесь компонентов каталитического риформинга и каталитического крекинга. 
Бензины таких термических процессов, как крекинг, замедленное коксование имеют низкую детонационную стойкость и химическую стабильность, высокое содержание серы и используются только для получения низкооктановых бензинов в ограниченных количествах. 

При производстве высокооктановых бензинов используются алкилбензин, изооктан, изопентан и толуол. Бензины АИ-95 и АИ-98 обычно получают с добавлением кислородсодержащих компонентов: метил-трет-бутилового эфира (МТБЭ) или его смеси с трет-бутанолом, получившей название фэтерол. Введение МТБЭ в бензин позволяет повысить полноту его сгорания и равномерность распределения детонационной стойкости по фракциям. Максимально допустимая концентрация МТБЭ в бензинах составляет 15 % из-за его относительно низкой теплоты сгорания и высокой агрессивности по отношению к резинам. 
Для достижения требуемого уровня детонационных свойств этилированных бензинов к ним добавляют этиловую жидкость (до 0,15 г свинца/дм3 бензина). К бензинам вторичных процессов, содержащим непредельные углеводороды, для их стабилизации и обеспечения требований по индукционному периоду разрешается добавлять антиокислители Агидол-1 или Агидол-12. В целях обеспечения безопасности в обращении и маркировки этилированные бензины должны быть окрашены. Бензин А-76 окрашивается в желтый цвет жирорастворимым желтым красителем К, бензин АИ-91 — в оранжево-красный цвет жирорастворимым темно-красным красителем Ж. Этилированные бензины, предназначенные для экспорта, не окрашиваются.

ЧЕМ ОТЛИЧАЕТСЯ БЕНЗИН АИ-92, 95, 98, 100?

12 июня 2019 г.

Неопытные водители часто даже не представляют, чем отличаются друг от друга виды бензина. Они заливают тот, который им сказали знающие люди, и не пытаются разгадать тайну возрастания цифр. В нашей статье мы поможем разобраться в видах топлива и указать на достоинства каждого.
Что нужно знать в первую очередь
Конечно, речь идет о значении букв и цифр, которые используются для обозначения топлива. Что значат «АИ»? «А» говорит о том, что топливо пригодно для использования в автотранспорте. Буква «И» обозначает октановое число установлено путем исследования. Итак, А – автотранспорт, И – исследованное. Цифры, как раз говорят о том, какое октановое число есть в бензине.

Возникает новый вопрос, что за зверь – октановое число? Октановым числом называют показатель детонационной стойкости бензина, то есть его степень его самовозгорания. Для наглядности посмотрим на АИ-92. Судя по названию, им можно заправлять автомобиль, а, допустим, самолет – нет. Октановое число составляет 92, что было проверено и установлено в специальных лабораториях.

Существует ошибочное мнение, которое говорит о том, что чем выше число, тем качественнее бензин. На самом же деле, каждый вид топлива, будь то АИ-92 или АИ-100, предназначен для разных видов двигателей.

АИ-92

Самый популярный из-за низкой стоимости бензин в нашей стране. На самом деле это простое топливо, не содержащее большого количества присадок, предназначен для карбюраторных и некоторых инжекторных моторов.

АИ-95

Стоит дороже 92-го, но до премиального еще не дотягивает. Стоимость оправдана появлением небольшого количества присадок и отсутствием свинца в составе, что делает выхлоп менее токсичным. АИ-95 станет идеальной «пищей» для инжекторных двигателей.

АИ-98

Этот вид топлива открывает линейку «премиальных». АИ-98 заливают владельцы форсированных двигателей. Напомним, что форсированными называют те моторы, которые способны выдать максимальную мощность за счет высокого давления в камере сгорания. Чтобы двигатель работал исправно, приходится «раскошеливаться» на АИ-98. На практике этот бензин используется довольно редко. Основные потребители – владельцы гоночных автомобилей.

АИ-100

Самый новый вид топлива на российском рынке. АЗС уверяют, что АИ с октановым числом 100 способен существенно снизить расход топлива. Каждые 100 километров удастся сэкономить 10%. Конечно, стоит он значительно дороже остальных и является универсальным. Правда, больше всего это топливо подходит для турбированных моторов.

Ошибки при заправке

Еще один из часто задаваемых вопросов «Что будет, если заправлять авто более дешевым топливом?».

Узнать, какой вид топлива подходит конкретной машине можно, если заглянуть в технический паспорт авто. Это самое верное решение, пренебрегать которым не стоит. Дело в том, что снижение октанового числа от заявленного приводит к тому, что воспламенение происходит раньше, чем требуется, а, значит, страдает двигатель, повреждаются поршни и стенки цилиндров. Таким образом, износ произойдет гораздо раньше. В случае, если заправить авто более дорогим бензином, то время сгорания увеличится, что тоже негативно сказывается на состоянии «внутренностей».

 

---

АВТОНОВОСТИ
АВТОР: Н. ПЛОТНИКОВА
https://naavtotrasse.ru/auto-news/chem-otlichaetsya-benzin-ai-92-95-98-100.html

Паспорта качества

I Продукция  производства ОАО «Нафтан» представлена следующими группами:

Бензины автомобильные

Топливо дизельное

Керосины

Темные нефтепродукты 

• Газойль вакуумный смесевой
• Мазут топочный 100, 2,50 %, зольный, 25 °С
• Мазут топочный 100, 2,50 %, малозольный, 25 °С
• Мазут топочный 100, 3,00 %, зольный, 25 °С
• Мазут топочный 100, 3,00 %, малозольный, 25 °С
• Продукт остаточный гидрокрекинга

Прочие нефтепродукты

II Продукция производства ОАО «Мозырский НПЗ» представлена следующими группами:

1.  Топливо

Топливо дизельное, выпускаемое по СТБ 1658-2015 соответствует:

• требованиям технического регламента Таможенного союза ТР ТС 013/2011 «О требованиях к автомобильному и авиационному бензину, дизельному и судовому топливу, топливу для реактивных двигателей и мазуту» в отношении экологического класса К5;
• требованиям европейского стандарта EN 590 «Топлива для двигателей внутреннего сгорания. Топливо дизельное. Технические требования и методы испытаний».

Для эксплуатации в условиях умеренного климата предлагаются следующие марки топлива дизельного: 

ДТ-Л-К4(К5), Сорт C – предельная температура фильтруемости не выше -5 °C;

ДТ-З-К4(К5), Сорт F – предельная температура фильтруемости не выше -20 °C.

Для эксплуатации в условиях арктического и холодного зимнего климата предназначено топливо дизельное:

ДТ-З-К5, класс 2 — предельная температура фильтруемости не выше минус 32°C, температура помутнения не выше минус 22°C;

ДТ-А-К5, класс 4 — предельная температура фильтруемости не выше минус 44°C, температура помутнения не выше минус 34°C; 

Бензины неэтилированные АИ-92-К5-Евро и АИ-95-К5-Евро, выпускаемые по СТБ 1656-2011 соответствуют:

• требованиям технического регламента Таможенного союза ТР ТС 013/2011 «О требованиях к автомобильному и авиационному бензину, дизельному и судовому топливу, топливу для реактивных двигателей и мазуту» в отношении экологического класса К5;
• требованиям европейского стандарта EN 228 «Топлива для двигателей внутреннего сгорания. Неэтилированный бензин. Технические требования и методы испытаний».
• ДСТУ 7687:2015 «Бензини автомобільні ЄВРО. Технічні умови» в части требований к бензинам А-92-Євро5-Е5, А-95-Євро5-Е5 и А-98-Євро5-Е5 соответственно. 

Топочный мазут производства ОАО «МНПЗ» используется для стационарных котельных и технологических установок. Вырабатывается на базе остатков атмосферной и вакуумной перегонки с добавлением тяжелых газойлевых фракций. Производится мазут топочный 100, 2,50 %, зольный, 25 °C и мазут топочный 100, 3,00 %, зольный, 25 °C.

2. Битумы

Битумы дорожные по СТБ EN 12591-2010, EN 12591:2009

Битумы дорожные предназначены для применения при строительстве и ремонте дорожных, аэродромных и других асфальтобетонных покрытий.

3. Газы углеводородные сжиженные

Газы углеводородные сжиженные топливные предназначены для использования в качестве топлива для коммунально-бытового потребления и промышленных целей.
Производятся следующие марки газов:
СПБТ – смесь пропана и бутана технических
БТ – бутан технический.

4. Вакуумные газойли

Газойль прямогонный вакуумный
Широкая углеводородная фракция, полученная при вакуумной дистилляции мазута. Применяется для производства базовых масел и твердых парафинов, в качестве сырья установок пиролиза, гидрокрекинга и каталитического крекинга.

Гидроочищенный вакуумный газойль
Тяжелый остаток с установки легкого гидрокрекинга или гидроконверсии вакуумного газойля, с содержанием общей серы не более 0,5%. Идеальное сырье для установок каталитического крекинга и пиролиза.

Версия для печати

Google с открытым исходным кодом AI, который может различать голоса с точностью 92%

Присоединяйтесь к Transform 2021, чтобы узнать о наиболее важных темах корпоративного искусственного интеллекта и данных. Узнать больше.

---

Диаризация — процесс разделения речевого образца на отличительные, однородные сегменты в зависимости от того, кто что и когда сказал, — для машин не так просто, как для людей, а обучение алгоритму машинного обучения для его выполнения сложнее чем кажется.Надежная система дневника должна быть способна связывать новых людей с сегментами речи, с которыми она ранее не сталкивалась.

Но исследовательское подразделение Google в области искусственного интеллекта сделало многообещающий прогресс в создании производительной модели. В новом документе («Полностью контролируемый дневник выступающих») и в сопроводительном сообщении в блоге исследователи описывают новую систему искусственного интеллекта (ИИ), которая «более эффективно использует ярлыки контролируемых выступающих».

Базовые алгоритмы, которые, по утверждению авторов статьи, обеспечивают достаточно низкую частоту ошибок в онлайн-дневнике (DER) для приложений реального времени — 7.6 процентов по тесту NIST SRE 2000 CALLHOME, по сравнению с 8,8 процентами DER по предыдущему методу Google — доступно в открытом доступе на Github.

Вверху: отображение динамиков при потоковой передаче звука, с разными цветами на нижней оси, обозначающими разные динамики.

Кредит изображения: Google

Новый подход исследователей Google моделирует вложения говорящих (то есть математические представления слов и фраз) с помощью рекуррентной нейронной сети (RNN), типа модели машинного обучения, которая может использовать свое внутреннее состояние для обработки последовательностей входных данных.Каждый говорящий начинает со своего собственного экземпляра RNN, который продолжает обновлять состояние RNN с учетом новых внедрений, позволяя системе изучать знания высокого уровня, которыми обмениваются говорящие и высказывания.

«Поскольку все компоненты этой системы могут быть изучены контролируемым образом, она предпочтительнее неконтролируемых систем в сценариях, где доступны обучающие данные с высококачественными метками динамиков с метками времени», — написали исследователи в статье. «Наша система полностью контролируется и может учиться на примерах, где метки динамиков снабжены метками времени.”

В будущей работе команда планирует усовершенствовать модель, чтобы она могла интегрировать контекстную информацию для выполнения автономного декодирования, которое, как они ожидают, еще больше снизит DER. Они также надеются смоделировать акустические характеристики напрямую, чтобы можно было обучать всю систему диаризации динамиков от начала до конца.

VentureBeat

Миссия VentureBeat — стать цифровой городской площадью, где лица, принимающие технические решения, могут получить знания о преобразующих технологиях и транзакциях. На нашем сайте представлена ​​важная информация о технологиях и стратегиях обработки данных, которая поможет вам руководить своей организацией.Мы приглашаем вас стать участником нашего сообщества, чтобы получить доступ:

• актуальная информация по интересующим вас вопросам
• наши информационные бюллетени
• закрытый контент для лидеров мысли и доступ со скидкой к нашим призовым мероприятиям, таким как Transform 2021 : Подробнее
• сетевых функций и многое другое

Станьте участником

Google Open-Sources Speaker Diarization AI Technology, утверждает точность 92%

В недавнем сообщении в блоге Google объявил, что они открыли исходный код своей технологии диаризации спикеров, которая может различать голоса людей с высокой точностью.Google может сделать это, разделив аудиопоток, который включает нескольких участников, на однородные сегменты для каждого участника.

Разделение речи на однородные сегменты имеет множество применений. Чонг Ван, научный сотрудник Google, объясняет:

Решая проблему «кто и когда говорил», диаризация говорящего находит применение во многих важных сценариях, таких как понимание медицинских разговоров, создание субтитров для видео и т.д.

Возможность точно сегментировать разговоры повышает качество как онлайн-, так и офлайн-систем дневниковой записи.Это преимущество имеет много практических преимуществ в отрасли здравоохранения, поскольку в недавнем журнале Annals Family Medicine Journal сообщается, что:

Врачи часто тратят ~ 6 часов из 11-часового рабочего дня на ведение электронных медицинских записей (EHR) на документацию. Следовательно, одно исследование показало, что более половины опрошенных врачей сообщают по крайней мере об одном симптоме выгорания.

Обучение систем голосовой диктовки с использованием контролируемых методов обучения исторически было сложной задачей.Ван объясняет, почему:

Обучение этих систем с помощью контролируемых методов обучения является сложной задачей — в отличие от стандартных задач контролируемой классификации, надежная модель диаризации требует способности связывать новых людей с отдельными речевыми сегментами, которые не были задействованы в обучении. Важно отметить, что это ограничивает качество как онлайн-, так и офлайн-систем дневниковой записи.

Использование онлайн-записи динамиков для потокового аудиовхода позволяет обнаруживать разные динамики, как показано на следующем изображении разными цветами на нижней оси.

Источник изображения: https://ai.googleblog.com/2018/11/accurate-online-speaker-diarization.html

Google разработал исследовательский документ под названием «Полностью контролируемая диаризация ораторов», в котором они представили новую модель, в которой ярлыки контролируемых ораторов используются более эффективно по сравнению с традиционными подходами. В рамках этой модели выполняется оценка, которая определяет количество говорящих, участвующих в разговоре, что увеличивает объем помеченных данных.

В рамках тестирования NIST SRE 2000 CALLHOME методы Google позволили достичь коэффициента ошибок диаризации (DER) на уровне 7,6%, где DER определяется как «процент входного сигнала, ошибочно помеченный выходом диаризации». Недавние результаты — это улучшения по сравнению с DER 8,8%, достигнутым с использованием метода на основе кластеризации, или DER в размере 9,9%, достигнутым с помощью методов глубокого внедрения нейронных сетей.

Современные системы диаризации спикеров обычно используют алгоритмы кластеризации, такие как k-среднее или спектральная кластеризация.Ван объясняет некоторые недостатки использования этих подходов:

Поскольку эти методы кластеризации являются неконтролируемыми, они не могут эффективно использовать контролируемые метки говорящих, доступные в данных. Более того, алгоритмы онлайн-кластеризации обычно имеют худшее качество в приложениях дневника в реальном времени с потоковыми аудиовходами. Ключевое различие между нашей моделью и обычными алгоритмами кластеризации заключается в том, что в нашем методе все вложения динамиков моделируются рекуррентной нейронной сетью с совместным использованием параметров (RNN), и мы различаем разных динамиков, используя разные состояния RNN, чередующиеся во временной области.

Чтобы проиллюстрировать, как работает эта модель, рассмотрим четыре разных динамика (модель может поддерживать неизвестное количество динамиков), каждый из которых имеет свой цвет (синий, желтый, розовый и зеленый). У каждого динамика будет свой собственный экземпляр RNN, в котором начальное состояние будет общим для всех динамиков. Оратор будет продолжать обновлять свой RNN, пока другой говорящий не начнет говорить. Например, синий динамик может начинать разговор, пока не перейдет к желтому динамику.В течение обоих этих периодов каждый выступающий будет обновлять свой RNN во время выступления. Это происходит со всеми участниками, когда разговор переходит от одного говорящего к другому.

Источник изображения: https://ai.googleblog.com/2018/11/accurate-online-speaker-diarization.html

Ван объясняет, почему важно использовать состояния RSS:

Представление говорящих в виде состояний RNN позволяет нам изучать высокоуровневые знания, которыми обмениваются разные говорящие и высказывания, с использованием параметров RNN, и это обещает полезность более размеченных данных.Напротив, общие алгоритмы кластеризации почти всегда работают с каждым отдельным высказыванием независимо, что затрудняет извлечение выгоды из большого количества помеченных данных.

Результатом использования подхода, основанного на состояниях RSS, являются метки говорящих с отметкой времени, которые идентифицируют, кто говорил и как долго. Кроме того, этот подход подходит для приложений, чувствительных к задержкам.

В дальнейшем Google будет продолжать сокращать DER и интегрировать контекстную информацию для выполнения автономного декодирования.Чтобы узнать больше о технологии диаризации спикеров, Google опубликовал статью и выложил ее исходный код на GitHub.

Генетически закодированные датчики позволяют осуществлять микро- и наноскопическое декодирование передачи в здоровом и больном мозге.

Дисфункция нейронной коммуникации является основной причиной множества психических и неврологических расстройств. Крупные генетические исследования ассоциации показывают, что структурные и функциональные изменения в быстрой передаче опосредуются быстродействующими передатчиками, т.е.например, глутамат и гамма-аминомасляная кислота (ГАМК) могут быть ответственными за общую патологию, лежащую в основе многих симптоматически различных когнитивных расстройств [1, 2]. Подтверждая эту точку зрения, электрофизиологические и другие функциональные исследования идентифицировали различные аберрантные синаптические механизмы, лежащие в основе патогенеза заболеваний [3, 4]. Исследования нейромодуляции показали, что медленная передача, опосредованная медленными передатчиками, такими как ацетилхолин (ACh), моноамины и нейропептиды, участвует во множестве физиологических и патологических процессов.Точно так же нарушение регуляции медленной нейромодуляторной передачи связано с основными нарушениями мозга, включая зависимость, болезнь Альцгеймера, аутизм, сердечно-сосудистые заболевания, депрессивные расстройства и шизофрению, расстройства пищевого поведения, эпилепсию и нарушения сна [5,6,7,8,9,10] . Однако, в отличие от исследований глутаматергической и ГАМКергической нейротрансмиссии, определение синаптической регуляции и дисрегуляции нейромодуляторных передач остается сложной задачей, которая препятствует попыткам механистического понимания поведения и заболеваний, связанных с нейромодуляцией.

Медленное продвижение в определении свойств передачи нейромодуляторной коммуникации в первую очередь связано с ограничениями доступных в настоящее время инструментов для мониторинга нейромодуляторных передач. Патч-зажим записи, которые могут сделать надежные повторяющиеся измерения выдающихся токовых ответов быстрой передачи, служат основным методом для исследования фундаментальных синаптических свойств глутаматергической и ГАМКергической передачи [11, 12]. Тем не менее, небольшие и быстро десенсибилизирующие нейромодуляторные ответы делают записи патч-кламп или электрофизиологию неэффективными для разграничения синаптических параметров нейромодуляторной передачи [13, 14].Другие доступные в настоящее время инструменты мониторинга нейромодуляторной передачи также не подходят для решения этой проблемы. Например, хотя чувствительность обнаружения микродиализа, часто используемого метода, была улучшена в последние годы, плохое пространственное и временное разрешение все еще ограничивает его способность оценивать динамику холинергических и моноаминергических сигналов [15, 16]. Циклическая вольтамперометрия с быстрым сканированием обеспечивает превосходную наномолярную чувствительность и миллисекундное временное разрешение, но этот подход к обнаружению сдерживается его низким пространственным разрешением и неспособностью различать норадреналин (NE) и дофамин (DA) [17].Недавние усилия привели к разработке Фёрстеровского резонансного переноса энергии и клеточных флуоресцентных сенсоров ACh и моноаминов [18, 19]. Однако низкая чувствительность и / или низкое разрешение этих датчиков позволяет обнаруживать только передачу размера объема, что исключает их применение в разрешении синаптических свойств нейромодуляторной передачи. Ограничения, тем не менее, вызывают большее желание разработать удобные для пользователя и широко применимые генетически закодированные сенсоры нейромедиаторов, которые позволяют проводить тканеспецифичные измерения нейромодуляторной передачи с высоким разрешением [20, 21].

Генетически закодированные сенсоры нейромодулирующего передатчика

Недавно колоссальными коллективными усилиями инструментальных инженеров и биологов было получено несколько генетически закодированных сенсоров на основе интенсивности для ACh и моноаминов (Рис. 1). Эти сенсоры состоят из конформационно чувствительного GFP с кольцевой перестановкой (cpGFP) и лиганд-связывающего белка, который изменяет флуоресценцию cpGFP, вызывая конформационные изменения при связывании трансмиттера (рис. 1A). Были созданы две основные группы генетически кодируемых сенсоров-трансмиттеров: сенсоры на основе рецепторов, связанных с G-белком (GPCR) и бактериального периплазматического связывающего белка (PBP).Сенсоры на основе GPCR, в которых третья внутриклеточная петля первичных GPCR заменена на cpGFP, часто наследуют превосходную мембранную поверхностную транспортировку, сродство связывания лиганда и фармакологические свойства от своих GPCR-прародителей и часто готовы к обнаружению эндогенно высвобождаемых трансмиттеров [22]. , 23]. Однако эти сенсоры могут иметь ограниченную динамику и / или медленную кинетику из-за медленной кинетики прародителей и ограниченных конформационных изменений, связанных со связыванием лиганда [24,25,26].Поскольку PBP имеют более низкое сродство со своими лигандами, создание сенсоров на основе PBP с чувствительностью, соответствующей уровням эндогенного передатчика, может потребовать кропотливой эволюции, но эти усилия могут привести к созданию высокопроизводительных сенсоров с быстрой кинетикой и большой динамикой [27,28,29, 30]. Транспортировка сенсоров на основе PBP через мембрану может быть менее чем оптимальной, но эти сенсоры обычно более пригодны для направленной экспрессии в других субклеточных компартментах. Таблица 1 суммирует свойства недавно разработанных генетически кодируемых сенсоров для ACh и моноаминов.

Рис. 1: Анализ с высоким разрешением генетически закодированной передачи, иллюстрированной сенсорами.

A Схема генетически кодируемых сенсоров на основе G-белкового рецептора (GPCR) и бактериального периплазматического связывающего белка (PBP) для нейромодулирующих передатчиков. B Схема вирусной экспрессии, применения генетически кодируемых сенсоров in vivo и ex vivo. C Схема микроскопического анализа сверхразрешения и / или деконволюции данных изображения, полученных с помощью генетически закодированных сенсоров. D Трехмерное пространственно-временное профилирование синаптической передачи. Обратите внимание на подборку образцовых экспериментальных данных на животных, выполненных с помощью недавно опубликованного проекта [32].

Таблица 1 Ключевые свойства генетически кодируемых сенсоров ацетилхолина и моноаминов.

Генетически закодированные сенсоры ACh включают GRAB _ACh3.0 и GRAB _ACh4.0 на основе GPCR [24, 31], а также iAChSnFR на основе PBP с зеленой и желтой флуоресцентными версиями [29] (Таблица 1).Прямое сравнение перфорации сенсоров GRAB _ACh и iAChSnFR в одном медиальном энторинальном кортикальном препарате выявило несколько ключевых различий между этими двумя семействами сенсоров [29, 32]. Хотя сенсоры GRAB _ACh давали устойчивые флуоресцентные ответы, их унаследованная медленная кинетика значительно ослабляла и задерживала высокочастотные холинергические сигналы; они были отличными детекторами бинарных холинергических сигналов [24, 31]. iAChSnFR гораздо лучше справляются с точным отслеживанием холинергических сигналов во всем частотном диапазоне [29, 32].Хотя флуоресцентный ответ ΔF / F iAChSnFRs менее чем оптимален, датчики действительно имеют большой динамический диапазон отклика для улучшения флуоресцентных ответов [29].

В настоящее время доступны два датчика норэпинефрина (NE) на основе GPCR, GRAB _NE1m и GRAB _NE1h (Таблица 1), при этом GRAB _NE1m более эффективно обнаруживает эндогенные адренергические сигналы [33]. Мы экспрессировали iAChSnFR и GRAB _NE1m в одном и том же препарате миндалины, чтобы сравнить их способность измерять эндогенные сигналы, и результаты показали, что GRAB _NE1m не конкурирует с iAChSnFR по скорости и величине флуоресцентного ответа [32].Тем не менее, GRAB _NE1m все еще может следовать относительно более медленной адренергической передаче ([32]; наши неопубликованные данные). Эти результаты вселяют надежду на то, что GRAB _NE1m может разрешить основные свойства передачи адренергической модуляции, даже несмотря на то, что эксперименты могут быть технически сложными из-за небольших ответов адренергической флуоресценции [32].

Существуют генетически кодируемые сенсоры серотонина (5-гидрокситриптамин или 5HT) как на основе GPCR, так и на основе PBP (таблица 1) [34, 35].GRAB _5HT0.5 и GRAB _5HT1.0 на основе GPCR эффективно детектируют серотонинергические сигналы в популяциях клеток [34]. GRAB _5HT0.5 лучше показал себя при оценке эндогенных одноклеточных серотонинергических сигналов и может служить жизнеспособным инструментом для анализа свойств передачи серотонинергической модуляции, предположительно из-за его кинетики и аффинности, более близких к динамике и концентрации эндогенно высвобождаемого 5HT. [32, 34]. ISeroSnFR на основе PBP сообщил о заметных эндогенных серотонинергических сигналах в популяциях клеток [35].Однако, учитывая его относительно более низкую чувствительность (по сравнению с GRAB _5HT ) [34, 35], он ждет, чтобы увидеть, может ли датчик обнаруживать одноклеточные и субклеточные серотонинергические сигналы.

Два семейства сенсоров дофамина на основе GPCR (3,4-дигидроксифенэтиламин или DA), человеческий D ₂ на основе рецептора дофамина GRAB _DA [25, 36] и человеческий D ₁ на основе дофаминового рецептора dLight [ 26, 37], сконструированы (табл. 1). GRAB _DA1m , GRAB _DA1h , GRAB _DA2m и GRAB _DA2h являются зелеными версиями генетически кодируемых датчиков DA, ​​в то время как rGRAB _DA1m и rGRAB _DA1h относятся к первым красным версиям генетически кодируемых нейронов. датчики-передатчики [25, 36].Датчики dLight также имеют несколько версий с несколько разными свойствами [26, 37]. Наиболее эффективные GRAB _DA2m и dLight ₁ зарегистрировали устойчивые дофаминергические сигналы от популяций клеток в полосатом теле [32, 36] и базальной миндалине [38], которые получают наиболее тяжелую дофаминергическую иннервацию с, вероятно, наибольшими дофаминергическими сигналами [38, 39,40]. Недавнее добавление — это красная версия генетически кодируемого DA-сенсора на основе дофаминового рецептора D ₂ , RdLight ₁ [41], дополнительно расширяющая набор инструментов для DA-сенсоров.Прямое экспериментальное сравнение показало, что GRAB _DA2m вызывал несколько более выраженные одноклеточные дофаминергические ответы с лучшим отношением сигнал / шум по сравнению с dLight ₁ в том же препарате полосатого тела [32, 36]. В то время как чрезвычайно низкая базовая флуоресценция dLight ₁ часто препятствует идентификации отдельных экспрессирующих клеток, dLight ₁ , по-видимому, имеет немного более высокую селективность по сравнению с NE, чем GRAB _DA2m [26, 36]. Остается неясным, способны ли GRAB _DA2m и dLight ₁ обнаруживать умеренные одноклеточные дофаминергические сигналы в других областях мозга, таких как префронтальная кора и гиппокамп.

Новый метод анализа на основе сенсоров

Разработка генетически закодированных передающих сенсоров открывает возможности для революционных достижений в исследованиях нейромодуляции. Хотя многие исследователи используют новые датчики просто как чувствительные детекторы для отслеживания динамических нейромодуляторных сигналов, как утверждают недавние обзоры [22, 23, 42, 43], эти датчики на самом деле могут делать больше. Новые генетически закодированные нейромодулирующие сенсоры случайно испускают большое количество фотонов, причем их флуоресцентные ответы в значительной степени не зависят от уровней экспрессии [29, 32,33,34].Приятные свойства в сочетании с последними достижениями микроскопии сверхвысокого разрешения и / или деконволюции [44, 45] позволяют количественно оценить свойства передачи нейромодуляции [11], что важно для разграничения физиологии поведения и патогенеза заболеваний. [1,2,3,4].

Первоначальные эксперименты продемонстрировали, что высокопроизводительные сенсоры могут разрешать синаптические свойства нейромодуляторной передачи [29, 32,33,34]. К сожалению, существует значительное количество недавно опубликованных инструментов или методов «доказательства принципа», которые оказались биофизически не интерпретируемыми, методологически невоспроизводимыми и / или биологически неприменимыми [46, 47].Чтобы неукоснительно представить этот метод микроскопического анализа сверхразрешения и деконволюции на основе генетически закодированного нейромедиатора, сенсора, мы представляем его биофизическую основу, практические решения, биологическую валидацию и широкое применение.

Биофизическая основа

С 16 по 19 века мастерство проб и ошибок было основным средством улучшения микроскопических изображений. В конце 19 века напряженная вычислительная работа Эрнста Аббе, подтвержденная экспериментами, проведенными в мастерской Carl Zeiss, продемонстрировала, что, только зная точное поведение света, можно получить представление обо всех решающих факторах, влияющих на характеристики микроскопа, и контролировать их [48]. .Эта работа привела Аббе к выводу, что волновая оптика и дифракция накладывают фундаментальные ограничения на способность изображения или предел разрешения Аббе [49]. Он дает минимальное расстояние ∆ x между двумя различимыми объектами как

$$ \ Delta X _ {{\ mathrm {Abbe}}} = {\ uplambda} / \ left ({2n \ bullet {\ mathrm {Sin}} \ alpha} \ right) \ Equiv {\ uplambda} / 2 {\ mathrm {NA}}, $$

(1)

, где n дает показатель преломления среды, в которой делается изображение, α — максимальный угол между оптической осью и всеми лучами, захваченными объективом микроскопа, а NA — числовая апертура, используемая для описания разрешения. {- 1/2}, $$

(2)

, где N представляет количество обнаруженных фотонов.Такое благоприятное масштабирование разрешения позволяет микроскопии сверхвысокого разрешения принципиально превосходить классический дифракционный предел и достигать в большинстве приложений диапазона разрешения менее 100 нм с возможностью достижения разрешения ~ 10 нм или вплоть до разрешения одной молекулы [45, 52, 54]. Компромисс микроскопии сверхвысокого разрешения — скорость получения изображений, особенно в приложениях для получения изображений живых существ с широким полем зрения, которые требуют высокого временного разрешения. Кроме того, микроскопические процедуры со сверхвысоким разрешением часто отбрасывают данные о скопившихся молекулах с перекрывающимися изображениями, тратя впустую ценную информацию об изображении, частично ухудшенную из-за перекрытия.{- 1/4}, $$

(3)

Стремительно расширяющееся применение деконволюционной микроскопии связано, в основном, с новыми генетическими инструментами, которые дают больше собираемых фотонов и быстро улучшают вычислительные алгоритмы [53, 55, 56]. Учитывая, что высокопроизводительные сенсоры с генетически закодированными нейротрансмиттерами могут обеспечить плотную экспрессию флуорофоров и испускать большое количество фотонов при связывании передатчика, можно получить живую визуализацию высвобождения передатчика в широком поле с разрешением ~ 100-200 нм и разрешить многие проблемы. фундаментальные синаптические свойства нейротрансмиссии [32].Конечно, неблагоприятное масштабирование разрешения N ^-1/4 для деконволюционной микроскопии означает, что умеренное увеличение разрешения требует большого увеличения числа фотонов, что делает улучшение разрешения менее экономически выгодным. Комбинированные микроскопические методы деконволюции и сверхвысокого разрешения, которые могут обеспечить как высокое разрешение, так и высокую скорость визуализации, являются отличными альтернативными подходами [57, 58].

Вышеупомянутые оптические свойства предсказывают, что генетически закодированные сенсоры нейротрансмиттеров могут производить надежные измерения высвобождения нейромодулирующих передатчиков с нано- и микромасштабным пространственно-временным разрешением.Измерения могут предложить достаточно точные оценки фундаментальных синаптических свойств нейромодуляторной передачи, таких как степень диффузии передатчика, количество сайтов высвобождения, размер пула высвобождения, вероятность высвобождения, квантовый размер и скорость пополнения [11, 59]. Определение синаптических параметров создает научную основу для исследования регуляции, функции, а также краткосрочной и долгосрочной пластичности нейромодуляторной передачи и устанавливает базовый уровень нейромодуляции для тестирования и разработки лекарств.

Практические решения

Следование хорошим практическим решениям является центральным для точных измерений синаптических свойств нейромодуляторной передачи, особенно учитывая, что многие генетически закодированные датчики еще предстоит оптимизировать, чтобы они соответствовали этой задаче. Выбор наиболее эффективных датчиков — это первый ключевой шаг. iAChSnFR, GRAB _NE1m и GRAB _5HT0.5 выявили устойчивые, но вариабельные одноклеточные ответы во всех исследованных ex vivo и in vivo нейронных и ненейрональных тканях [29, 32,33,34], что подтверждает их применимость в разрешение трансмиссионных свойств в обычных тканевых препаратах ([32]; наши неопубликованные данные).GRAB _DA2m и dLight ₁ могут выполнить ту же задачу в полосатом теле [25, 26, 32, 36], но не могут в других областях мозга ([32]; наши неопубликованные данные). Остальные датчики требуют дальнейшей оценки. Поскольку существующие генетически закодированные сенсоры нейромодулирующего передатчика разработаны очень немногими строгими исследовательскими группами, можно вывести относительную производительность сенсоров, созданных из тех же групп, на основе заявленных специфичностей сенсоров (например, чувствительности, ΔF / F, SNR и кинетики). ) (Таблица 1).

Экспрессия генетически закодированных сенсоров трансмиттера является еще одним ключевым шагом, который может быть достигнут с помощью различных подходов к экспрессии генов, включая часто используемые системы вирусной экспрессии (например, аденоассоциированный вирус (AAV), вирусы lenti и Sindbis) (рис. 1B). ). Вирус Синдбис имеет наиболее эффективное время продуцирования ~ 1,5 дня, самое короткое время экспрессии ~ 8–24 ч, наибольшую полезную нагрузку до 15 т.п.н. (готов к совместной экспрессии нескольких трансгенов) и самые высокие уровни экспрессии (предпочтение для высоких пространственно-временных разрешений изображений). ), хотя самое короткое время жизнеспособной экспрессии ~ 3-5 дней [60,61,62].Напротив, несколько серотипов вирусов AAV широко используются из-за их минимальной токсичности, стойкого времени экспрессии ≥6 месяцев (предпочтительно для долгосрочных физиологических и поведенческих тестов) и возможности неинвазивной доставки [63, 64]. Однако небольшая полезная нагрузка трансгена до ~ 4,5–5 т.п.н., низкая эффективность продукции вируса и медленное время экспрессии ≥3 недель являются основными ограничениями вирусов AAV. Лентивирус, который имеет относительно более быстрое производство, большую полезную нагрузку до ~ 8-10 kb, более короткое время экспрессии ~ 1-2 недели и долгоживущую экспрессию в несколько месяцев [65,66,67], предлагает решение в компромисс.

Получение изображения и анализ — это два последних ключевых этапа. Учитывая преимущества низкой потребности в инструментах и ​​применимости широкоугольной визуализации живых организмов, деконволюционная микроскопия практически используется во многих биологических приложениях. Поскольку цель микроскопического анализа с деконволюцией состоит в том, чтобы «переназначить» свет на его исходное место, практические решения должны быть сосредоточены на коррекции дрейфа и флуктуаций изображения, минимизации фотообесцвечивания, автофлуоресценции и шума, а также оптимизации коррекции дифракции света, многие из которых применимы к микроскопии сверхвысокого разрешения и комбинированной микроскопии деконволюции-сверхвысокого разрешения.

Дрейфы и флуктуации изображения могут привести к значительному артефакту переназначения света. Таким образом, оптимизация системы визуализации для минимизации дрейфа и колебаний стоит затраченных усилий. Электрофизиологические установки, разработанные для стабильной множественной записи патч-кламп, обычно оптимизированы для смягчения экспериментального дрейфа и флуктуаций [68, 69], и их можно легко адаптировать для получения стабильных изображений живых клеток с минимальным дрейфом и флуктуациями, легко корректируемыми с помощью функция регистрации по интенсивности [32].Фотообесцвечивание и автофлуоресценция могут привести к неправильной оценке реального распределения интенсивности света и привести к ошибкам в переназначении фотонов. Выполнение алгоритмов коррекции позволяет минимизировать фотообесцвечивание и автофлуоресценцию [32, 70]. Шум, случайный процесс, ответственный за деградацию изображения, возникает из двух основных источников, включая фотонный шум, обусловленный распределением Пуассона, и электронный шум гауссовой природы, которым в современных детекторах часто пренебрежимо мало. Поскольку шум заметно ограничивает эффективность алгоритмов деконволюции, очень желательно, чтобы процедуры шумоподавления на различных этапах алгоритмов деконволюции.

Дифракция света через оптическую систему, которая соответствует описанию ее функции рассеяния точки (PSF), вызывает оптическое размытие, ограничивающее оптическое разрешение. Удаление размытия — ключевой процесс деконволюционной микроскопии, который использует PSF для устранения оптического искажения, чтобы «переназначить» свет на его исходное место [71]. Следовательно, получение правильного PSF посредством теоретических расчетов или эмпирических измерений имеет важное значение для качества восстановленных изображений. Поскольку теоретические модели PSF применимы только к идеальным линзам и четко определенным оптическим путям, а некоторые сферические аберрации трудно предсказать теоретически, на практике предпочтительны эмпирические измерения.Для точного определения PSF оптической системы лучше всего измерять PSF в той же системе при тех же условиях, которые использовались для получения изображения. Один простой способ получить PSF — получить изображения коммерчески доступных флуоресцентных микросфер. Теоретически лучше всего подойдут самые маленькие бусинки. Однако маленькие шарики имеют меньшую интенсивность и быстрее отбеливаются, и поэтому на практике более крупные шарики с диаметром меньше половины разрешения работают нормально. Чтобы уменьшить шум от эмпирически измеренных PSF, можно усреднить измерения от нескольких шариков, многократных испытаний одиночных шариков и / или нескольких круговых осей одиночных шариков [32].Важно отметить, что деконволюция больших наборов данных с изображениями эпизодов нейромодуляторных передач — это вычислительно-ресурсоемкая задача, занимающая часы, если не дни [32]. Следовательно, для выполнения этих задач целесообразно использовать оптимизированные алгоритмы анализа и алгоритмы глубокого обучения [44].

Биологические проверки

Для решения фундаментальных биологических вопросов использовался метод анализа изображений на основе сенсоров, который обеспечивает строгую проверку его применимости. Например, генетически закодированные сенсоры нейромедиаторов, которые позволяют впервые с высоким разрешением визуализировать пространственную диффузию эндогенно высвобождаемых нейромодуляторных передатчиков [32] (рис.1C, D), был использован для решения давнего биологического вопроса о первичном нейромодуляторном способе передачи [72, 73]. Широко принятая теория нейромодуляторной передачи, предложенная три десятилетия назад, постулирует, что основным способом межклеточной нейромодуляторной коммуникации является объемная передача, которая происходит между клетками в общих регионах, а не между конкретными клетками, которые образуют прямые цепи или контакты [74, 75] . Эта модель, в частности, предполагает, что ACh и моноамины диффундируют в локальные области, воздействуя на многие различные типы близлежащих клеток, а нейропептиды распространяются еще дальше, влияя как на локальные клетки, так и на отдаленные клетки на расстоянии миллиметров [74, 76].Основа теории основана, прежде всего, на предположении, что эндогенно высвобождаемые нейромодуляторные передатчики ведут себя так же, как и экзогенно применяемые (которые более свободно диффундируют во внесинаптическом пространстве), что еще не подтверждено какими-либо прямыми экспериментальными доказательствами [72, 73]. Генетически закодированные сенсоры нейромодулирующих передатчиков в сочетании с микроскопическим анализом деконволюции позволили впервые непосредственно визуализировать пространственную диффузию нейромодуляторных передатчиков в отдельных местах высвобождения, давая константы длины распространения пространственной диффузии ~ 0.75 мкм как для ACh, так и для моноаминов ([32]; ср. [77,78,79]) (рис. 1C, D). Техника высокоскоростной двухфотонной визуализации позже подтвердила значение эндогенно высвобождаемого ACh в интактном мозге [29]. Эти результаты показывают, что сильно ограниченная нейромодуляторная передача без объема является ключевым режимом межклеточной коммуникации.

Интересно, что тот же анализ, проведенный с генетически кодируемым датчиком глутамата, iGluSnFR [27], дал константу длины распространения ~ 0,60 мкм для глутамата (рис. 2A – C) [32, 80], что немного меньшее значение, ожидаемое для отрицательно заряженный глутамат электрофоретически подвержен влиянию возбуждающих токов [81].Более того, в сочетании с новыми сенсорами нейропептидов на основе GPCR, анализ позволил провести первые измерения нейропептидергической передачи, которые выявили сравнимую константу длины распространения ~ 0,80 мкм (рис. 2D-F). Идентичные пространственные константы длины распространения для быстро- и медленно действующих нейротрансмиттеров в различных клетках подтверждают идею о том, что синапсы оптимизируют свои пре- и постсинаптические организационные элементы в наномасштабе (включая также количество высвобождаемых передатчиков, ширину синаптических щелей и расположение постсинаптических структур). рецепторы) для максимальной эффективности и точности [82,83,84].Это попытка предположить, что, подобно быстродействующим нейротрансмиттерам глутамат (например, через рецепторы NMDA) и ГАМК (например, через рецепторы GABA _A , содержащие субъединицу δ), нейромодуляторные передатчики могут использовать рецепторы с высоким сродством и / или кластерные высвобождения для достичь определенного объема передачи при физиологических и патологических условиях. В самом деле, накопление данных свидетельствует о том, что нейротрансмиттеры как быстрого, так и медленного действия осуществляют межклеточную коммуникацию в основном посредством сильно ограниченной передачи, при этом объемная передача служит дополнительным способом при определенных условиях [29, 32, 72, 80].

Рис. 2: Визуализация пространственной диффузии передатчика с помощью генетически закодированных сенсоров.

A Схема экспериментов по визуализации стимуляции в острых срезах миндалины мышей. Л. А. Боковая миндалина. B Трехмерное пространственно-временное профилирование ΔF / F iGluSnFR, экспрессирующего миндалевидный нейрон, на локальные электрические стимулы. Обратите внимание на один изолированный участок высвобождения, обозначенный розовой стрелкой в ​​ B . C Пиксельный график максимального ΔF / F на изолированном участке высвобождения, обозначенном розовой стрелкой в ​​ B .Подгонка точек данных на этом графике с помощью одной экспоненциальной функции затухания (розовая линия) дает расчетную константу длины распространения глутамата, равную 0,65 мкм. Обратите внимание на подборку образцовых экспериментальных данных на животных, выполненных с помощью недавно опубликованного проекта [32]. D Схема экспериментов по визуализации стимуляции на острых срезах ствола мозга мышей. NTS nucleus tractus solitarius. E Трехмерное пространственно-временное профилирование ΔF / F GRAB _NP , экспрессирующего нейрон NST на локальные электрические стимулы.Обратите внимание на один изолированный участок высвобождения, обозначенный розовой стрелкой в ​​ E . F Пиксельный график максимального ΔF / F на изолированном участке высвобождения, обозначенном розовой стрелкой в ​​ E . Подгонка точек данных на этом графике с помощью одной экспоненциальной функции затухания (розовая линия) дает расчетную константу длины распространения нейропептида 0,91 мкм. Обратите внимание на подборку образцовых экспериментальных данных на животных, выполненных с помощью недавно опубликованного проекта [32].

Несколько высокопроизводительных сенсоров с генетически закодированными нейротрансмиттерами могут надежно отслеживать относительно медленную нейромодуляторную передачу, вызванную умеренными (на самом деле, более физиологическими [11]) темпами стимуляции в течение длительного периода ([32]; наши неопубликованные данные) (рис.3А, Б). Используя ранее установленные модели пула пузырьков [85,86,87,88], можно было бы сделать достаточно точные оценки фундаментальных нейромодуляторных синаптических свойств (например, размер пула высвобождения, вероятность высвобождения и скорость пополнения). Как и в случае с пространственным разрешением, временное разрешение нейромодуляторной передачи улучшается с увеличением сбора фотонов. Наш предварительный анализ показал, что наиболее эффективные сенсоры генетически кодируемых нейротрансмиттеров (например, iAChSnFR, GRAB _NE1m и GRAB _5HT0.5 ) испускают достаточное количество фотонов в ответ на выбросы эндогенного медиатора, вызванные продолжительными сериями стимулов, что позволяет определить основные синаптические свойства нейромодулирующей передачи с микромасштабным разрешением (рис. 3C, D). Комбинирование пространственного и временного анализа может даже позволить декодирование количества сайтов высвобождения, вероятности высвобождения и количественного размера в отдельных участках высвобождения для нейромодуляторной передачи ([59]; например, см. [29, 32]). Пилотный анализ предполагает, что медленная нейромодуляторная передача имеет некоторые, но не все свойства, с быстрой глутаматергической и ГАМКергической передачей.

Рис. 3. Расшифровка холинергических синаптических свойств с помощью генетически кодируемого сенсора iAChSnFR.

A Схема экспериментов по визуализации стимуляции на препарате базолатеральной миндалины (BLA) мышей ex vivo. B Флуоресцентные ответы iAChSnFR, экспрессирующие нейрон миндалины, вызванные длительной серией из 1920 стимулирующих импульсов с частотой 16 Гц. Графики кумулятивного ( C ) и индивидуального ( D ) высвобождения в зависимости от количества стимулов позволяют оценить размер легко высвобождаемого пула, скорость пополнения, вероятность высвобождения холинергических синапсов в миндалине.Обратите внимание на C прямую голубую линию ( f _(x) = 0,081 ● x + 0,0068), подогнанную к поздним точкам синей совокупной кривой с ее пересечением по оси y и наклоном, взятым в качестве пула. оценка и скорость пополнения везикул, соответственно, и в D голубой график, представляющий средние значения синих индивидуальных выбросов, соответствующих вероятности выброса. Обратите внимание на подборку образцовых экспериментальных данных на животных, выполненных с помощью недавно опубликованного проекта [32].

Широкая применимость

Новый метод микроскопического анализа со сверхразрешением и / или деконволюцией на основе сенсоров имеет широкое применение в различных биологических и клинических приложениях. В частности, этот метод выявил неожиданный точный контроль и точность нейромодуляторной передачи [29, 32], которые сразу же дают объяснение некоторым загадочным клиническим наблюдениям и предлагают новые методы лечения различных психических и неврологических расстройств, включая болезнь Альцгеймера.Например, единственная доступная терапия болезни Альцгеймера основана на обнаружении уменьшения высвобождения АХ и ухудшения холинергических нейронов в мозге Альцгеймера — холинергическая гипотеза [89]. В настоящее время все одобренные FDA препараты для лечения болезни Альцгеймера прямо или косвенно ингибируют ацетилхолинэстеразу для усиления холинергических сигналов. Эти лекарства имеют ограниченную эффективность в улучшении когнитивных функций, а после прекращения приема лекарств вызывают необратимое ускоренное ухудшение состояния [90, 91]. Тонкий пространственно-временной контроль холинергической передачи, проиллюстрированный генетически закодированными сенсорами, проливает свет на эти два клинических наблюдения [29, 32].Во-первых, ингибиторы ацетилхолинэстеразы могут снизить физиологическую точность холинергической передачи (ср. [72, 73]), что объясняет ограниченное улучшение когнитивных функций. Во-вторых, длительное применение ингибиторов ацетилхолинэстеразы может гомеостатически повышать уровень ацетилхолинэстеразы у пациентов с болезнью Альцгеймера и / или подавлять пресинаптическое высвобождение ACh [91], что объясняет ускоренное ухудшение после прекращения приема лекарств.

Точно так же нарушение регуляции адренергической передачи часто проявляется как ранний патологический коррелят когнитивного снижения при болезни Альцгеймера [92, 93].Генетически закодированные датчики выявили удивительный набор адренергических синаптических свойств, по-видимому, предназначенных для противодействия естественной тенденции синапсов достигать точных линейных вычислений ввода-вывода ([32]; наши неопубликованные данные). Эти свойства отличают адренергическую передачу от всех других нейрональных передач, включая быструю глутаматергическую и ГАМКергическую передачу [12], а также другую медленную нейромодуляторную передачу [29, 32]. Полученные данные подчеркивают уникальный вклад адренергической передачи в тонкую настройку внимания [94], оптимизацию поведения в сложных социальных и физических средах [95] и нарушение сложных умственных задач (напр.g., рассуждение и абстрактное мышление) у пациентов с болезнью Альцгеймера [96].

Зависимость, ведущая проблема здоровья, которая ежегодно приводит к нескольким миллионам людей с инвалидностью, представляет собой сложное подкрепляющее поведение, проявляющееся в навязчивом употреблении психоактивных веществ, несмотря на пагубные последствия [97]. Аддиктивные расстройства связаны с первичными нарушениями дофаминергической системы, хотя значение недофаминергических систем, которое менее изучено, не следует недооценивать [8, 10, 97].Аддиктивное поведение состоит из процессов внимания, мотивации и обучения, которые, по-видимому, по-разному регулируются различными локальными субклеточными и быстрыми субсекундными дофаминергическими сигналами [98]. Основным недостатком существующей литературы является то, что до сих пор ни одно исследование не смогло зафиксировать связанную с поведением быструю клеточную и субклеточно-специфичную динамику дофаминергического сигнала. Генетически закодированные датчики DA могут (по крайней мере, в полосатом теле) квалифицировать динамику отдельных дофаминергических высвобождений с микроскопическим пространственно-временным разрешением [32] и впоследствии определять синаптические параметры и чередования, ответственные за специфические аддиктивные поведенческие события.Понимание, полученное в результате исследований зависимости, также должно помочь в понимании некоторых других связанных психиатрических и неврологических расстройств, таких как болезнь Паркинсона, болезнь Хантингтона, синдром Туретта, синдром дефицита внимания / гиперактивности и шизофрения [8].

Реакции на стресс и невзгоды инициируют скоординированные нейромодулирующие действия в различных областях мозга, чтобы изменить внимание, тревогу, эмоции, удовольствие, поощрение, отвращение, моторные, исполнительные и другие поведенческие процессы, а неадаптивные реакции могут привести к меланхолической и атипичной депрессии [99 , 100].Депрессия поражает примерно каждого шестого человека в течение жизни, а в настоящее время более 300 миллионов человек во всем мире [99, 101]. Раннее клиническое наблюдение приводит к моноаминовой гипотезе депрессии, согласно которой депрессивные расстройства возникают из-за снижения уровня моноаминов [102]. Сегодня антидепрессанты на основе моноаминов остаются первой линией терапии депрессии, однако лечение имеет медленное начало, низкую скорость ответа и низкую скорость ремиссии (около 30%), поскольку механизмы их действия остаются неуловимыми [99, 100] .Недавние достижения в области генетического профилирования, анализа цепей и разработки моделей на животных открыли многие идеи о стрессовых реакциях и депрессии, подчеркнув гетерогенные подтипы моноаминергических нейронов и цепей, участвующих в различных стрессовых и депрессивных поведенческих процессах [103, 104]. Однако ограничения электрофизиологического подхода до сих пор препятствовали попыткам функционально связать определенные изменения передачи в определенных моноаминергических нейронах и цепях с конкретными стрессовыми и депрессивными поведенческими эпизодами [104].Генетически кодируемые сенсоры нейромодулирующего передатчика позволяют напрямую определять специфические синаптические изменения моноаминергической передачи на специфических моноаминергических концах аксонов специфических подтипов нейронов в специфических нейронных цепях [32]. Такой анализ должен пролить новый свет на стрессовые реакции и депрессивные расстройства.

Сон — одно из самых загадочных, но вездесущих форм поведения животных, а расстройства сна, наиболее частые клинические проблемы, вызывают множество проблем со здоровьем, включая депрессию, снижение когнитивных функций, иммунную недостаточность и ожирение [105,106,107].ACh и моноамины играют сложную и центральную роль в регуляции поведения во сне и бодрствовании. В то время как в ранних исследованиях сообщалось, что нейроны в холинергических ядрах важны для инициации и поддержания бодрствования [108, 109], поздние результаты частично приписывают эту роль глутаматергическим нейронам в ядрах. До сих пор ведутся споры о том, необходимы ли холинергические нейроны для бодрствования [105]. Генетически кодируемые сенсоры ACh детектируют вызванные нейрональной активностью большие начальные и небольшие устойчивые выбросы ACh из холинергических нейронов [29, 32]; Эти сенсоры позволили напрямую оценить синаптические свойства холинергической передачи в естественных циклах сна и бодрствования для определения холинергического вклада [105, 106].Coerulear нейроны не требуются для бодрствования, но имеют решающее значение для обеспечения бодрствования при определенных условиях [95]. Адренергическая передача, проиллюстрированная генетически закодированными сенсорами NE, по-видимому, действует вопреки естественной тенденции синапсов производить линейный вычислительный процесс ввода-вывода ([32]; наши неопубликованные данные), что идеально подходит для тонкой настройки бодрствования и внимания [94]. Эта операция, однако, сделает адренергическую передачу уязвимой для выхода системы из строя. Адренергические синапсы, кажется, создают небольшой пул выброса и крошечную скорость пополнения, чтобы гарантировать истощение нейромедиаторов после определенного количества нейрональной активности, чтобы создать аварийную точку останова ([32]; наши неопубликованные данные), которая предположительно ответственна за наблюдаемые поведенческие остановки [ 94].Очевидно, что всесторонний анализ с помощью генетически закодированных сенсоров NE должен разграничить синаптические механизмы адренергического вовлечения в циклы сна-бодрствования и нарушения сна.

Серотонинергическая и дофаминергическая роли в циклах сна и бодрствования еще менее ясны. Хотя в некоторых сообщениях предполагалось, что 5HT может инициировать и поддерживать сон, в других было обнаружено, что серотонинергические нейроны способствуют бодрствованию, предположительно отражая первичные и вторичные эффекты большого разнообразия серотонинергических процессов [105, 106].Определение синаптических изменений серотонинергической передачи в естественных циклах сна-бодрствования с помощью генетически закодированных датчиков 5HT должно дать новое понимание серотонинергических ролей в поведении сна-бодрствования [34]. DA участвует в регуляции сна и бодрствования так же, как и другие его подкрепляющие элементы (например, пища, вода и секс), потому что дофаминергическая нейрональная активность и внеклеточные уровни DA коррелируют с циркадными колебаниями и поведением, ориентированным на сон [110, 111]. Однако то, как DA регулирует и / или регулируется циркадными часами и другими регуляторами сна и бодрствования, остается неясным из-за умеренных изменений высвобождения DA и различных дофаминергических эффектов в среднем мозге, гипоталамусе и других связанных областях мозга, что подчеркивает важность декодирования. синаптические изменения дофаминергической передачи, специфичной для определенного типа и проекции клеток, на разных этапах цикла сна-бодрствования [105, 106].Конечно, учитывая умеренное высвобождение DA, связанное с циклами сна-бодрствования [106], может потребоваться следующее поколение датчиков DA с улучшенными флуоресцентными ответами для анализа синаптических дофаминергических механизмов, лежащих в основе поведения сна-бодрствования.

Таким образом, генетически закодированные сенсоры сделали экспериментальную проверку вышеупомянутых гипотез и возможностей осуществимой на различных моделях болезней. С помощью технологий человеческих плюрипотентных стволовых клеток (ИПСК) модели заболеваний могут распространяться на здоровые и больные препараты нейронов, полученные из ИПСК человека [112,113,114].Новаторское исследование показало, что быстрая передача между нейронами, дифференцированными с помощью ИПСК человека, ведет себя так же, как и между нейронами грызунов, с их синаптическими свойствами, разделяющими сопоставимые числовые параметры [115]. Это вдохновило нас на экспрессию генетически закодированных сенсоров в препаратах культур холинергических и моноаминергических нейронов человека (рис. 4A), которые применимы для исследования нейромодуляторной передачи между человеческими нейронами и ненейрональными клетками [29, 32, 114]. Анализ микро- и наноскопических изображений показал, что нейромодуляторная передача в препаратах культуры нейронов человека демонстрирует прекрасную регуляцию и точность (рис.4Б – Г), напоминающий таковой в срезах мозга грызунов и препаратах in vivo [29, 32]. Эти предварительные эксперименты устанавливают индуцированную человеком нейронную систему для определения синаптических параметров нейромодуляторной передачи здорового человека, определения дефицита нейромодуляторной передачи у человека, скрининга терапевтических препаратов и генов, вызывающих болезнь —, а также разработки потенциальных методов лечения на основе трансплантации клеток, вызывающих захватывающие эмоции. возможности для регенеративных и персонализированных лекарств.

Фиг.4: Визуализация холинергической передачи человека с помощью iAChSnFR.

A Схема дифференциации холинергических нейронов от индуцированных человеком плюрипотентных стволовых клеток (hiPSC). Окрашивание антихолинацетилтрансферазой CAT (Abcam, # ab223346), окрашивание MAP2 антимикротрубочко-ассоциированным белком 2 (Abcam, # ab32454), DAPI 4 ‘, 6 — диамидино — 2 — окрашивание фенилиндольной нуклеиновой кислотой ( Sigma-Aldrich, D9542). Обратите внимание на аутентификацию hiPSCs в предыдущем отчете [67]. B Отображение флуоресцентных ответов iAChSnFR, экспрессирующего нейрон, производный от ИПСК человека, вызванный серией из 20 стимулирующих импульсов, доставляемых с частотой 32 Гц. C Деконволюционный микроскопический анализ трехмерного пространственно-временного профилирования ΔF / F iAChSnFR, экспрессирующего нейрон, полученный из ИПСК человека, на локальные электрические стимулы. Обратите внимание на один изолированный участок высвобождения, обозначенный розовой стрелкой в ​​ C . D Пространственное профилирование изолированного сайта высвобождения, указанного розовой стрелкой в ​​ C с пиксельным графиком максимального ΔF / F.Подгонка точек данных на этом графике с помощью одной экспоненциальной функции затухания (розовая линия) дает расчетную константу длины распространения ACh 0,88 мкм.

Гиперреалистичное нейронное декодирование: реконструкция стимулов лица из измерений фМРТ через латентное пространство GAN

Abstract

Мы представляем новую структуру для гиперреалистичной реконструкции воспринимаемых натуралистических стимулов из записей мозга. С этой целью мы охватываем использование генеративных состязательных сетей (GAN) на самом раннем этапе нашего конвейера нейронного декодирования путем получения данных функциональной магнитно-резонансной томографии, когда субъекты воспринимали изображения лиц, созданные генераторной сетью GAN.Впоследствии мы использовали подход декодирования, чтобы предсказать скрытое состояние GAN на основе данных мозга. Следовательно, получаются скрытые представления для (повторной) генерации стимула, что приводит к современной реконструкции изображений. В целом, мы разработали многообещающий подход к расшифровке сенсорного восприятия по активности мозга и систематическому анализу обработки нейронной информации в человеческом мозге.

Заявление об ограничении ответственности Эта рукопись не содержит изображений реальных лиц; все лица искусственно созданы генеративной враждебной сетью.

1 Введение

В последние годы область нейронного декодирования становится все более и более популярной, поскольку передовые вычислительные методы становятся все более доступными для применения к нейронным данным. Это очень долгожданное развитие как в нейробиологии, так и в нейротехнологии, поскольку чтение нейронной информации не только поможет понять и объяснить функцию человеческого мозга, но также найдет применение в интерфейсах мозга и компьютера и нейропротезах, чтобы помочь людям с ограниченными возможностями.

Нейронное декодирование можно представить как обратную задачу отображения ответов мозга на сенсорные стимулы через скрытое пространство (20). Такое отображение можно идеализировать как составную функцию линейных и нелинейных преобразований (рис. 1). Линейное преобразование моделирует отображение ответов мозга на скрытое пространство. Скрытое пространство должно эффективно отражать определяющие свойства лежащих в основе нейронных репрезентаций. Нелинейное преобразование моделирует отображение скрытого пространства на сенсорные стимулы.

Рисунок 1:

Отображение сенсорных стимулов (слева) и записей фМРТ (справа). Нейронное кодирование пытается найти преобразование стимула в наблюдаемую реакцию мозга через скрытое представление (в центре). И наоборот, нейронное декодирование стремится найти информацию, присутствующую в наблюдаемых ответах мозга, путем сопоставления активности мозга с исходным стимулом.

Систематические соответствия между латентными репрезентациями дискриминирующих констант и нейронными репрезентациями сенсорной коры хорошо установлены (23; 14; 2; 7; 8; 6).Таким образом, использование этих систематических соответствий в нейронном декодировании визуального опыта подтолкнуло современное состояние вперед (20). Это включает в себя линейную реконструкцию воспринимаемых рукописных символов (15), нейронное декодирование категорий воспринимаемых и воображаемых объектов (10) и реконструкцию естественных изображений (17; 16) и лиц (9; 21). Тем не менее, есть еще много возможностей для улучшения, поскольку современные результаты все еще не дотягивают до фотореалистичных реконструкций.

В то же время генеративные состязательные сети (GAN) стали, пожалуй, самыми мощными генеративными моделями на сегодняшний день (5; 11; 12; 1), которые потенциально могут вывести нейронное декодирование на новый уровень.Однако, поскольку истинных латентных представлений GAN недоступны для ранее существовавших нейронных данных (в отличие от вышеупомянутых дискриминативных сверток), внедрение GAN в нейронное декодирование было относительно медленным (см. (16) для более ранней попытки с GAN и (21) для связанной попытки с VAE).

В этом исследовании мы представляем очень мощную, но простую структуру для гиперреалистической реконструкции восприятия (HYPER), которая элегантно интегрирует GAN в нейронное декодирование путем объединения следующих компонентов (Рисунок 2):

Рисунок 2:

Схематическая иллюстрация HYPER рамки.Изображения лиц генерируются из случайно выбранных скрытых признаков z ∈ Z с помощью GAN, генерирующего лица, как обозначено пунктирной рамкой. Эти лица затем представляются как визуальные стимулы во время сканирования мозга. Затем модель линейного декодирования изучает отображение ответов мозга на исходное латентное представление, после чего она предсказывает скрытые особенности для невидимых реакций мозга. В конечном итоге эти предсказанные скрытые функции передаются в GAN для реконструкции изображения.

1. GAN .Мы использовали предварительно обученную GAN, которая позволяет генерировать значимые выборки данных из случайно выбранных латентных векторов. Эта модель используется как для создания набора стимулов, так и для окончательной реконструкции воспринимаемых стимулов. В текущем исследовании мы использовали модель прогрессивного роста GAN (PGGAN) (11), которая генерирует фотореалистичные лица, напоминающие знаменитостей.

2. фМРТ . Мы использовали нейронные данные с известным латентным представлением, полученные путем представления набора стимулов, созданного с использованием вышеупомянутой генеративной модели, и записи ответов мозга на эти стимулы.В текущем исследовании мы собрали записи фМРТ в ответ на изображения, полученные с помощью PGGAN. Мы создали набор данных, состоящий из отдельного обучающего и тестового набора.

3. Расшифровка модели . Мы использовали модель декодирования, отображающую нейронные данные в латентном пространстве генеративной модели. Используя эту модель, мы затем получили латентные векторы для нейронных ответов, соответствующие изображениям стимулов в тестовой выборке. Подача этих латентных векторов обратно в генеративную модель привела к гиперреалистичным реконструкциям восприятия.

2 Методы

2.1 Обучение на синтетических изображениях с известными скрытыми особенностями

Современные методы реконструкции лица используют глубокие нейронные сети для кодирования векторов скрытых признаков для изображений, представленных во время эксперимента фМРТ (9; 21 ). Было показано, что эти векторы признаков имеют линейную связь с измеренными реакциями мозга. Однако этот подход влечет за собой потерю информации, поскольку целевые изображения необходимо восстанавливать из линейного предсказания с использованием приближенной сети инверсии, такой как вариационный декодер, что приводит к серьезным препятствиям для максимально возможного качества реконструкции.

В этой статье мы избегаем этой субоптимальности, представляя участникам фотореалистичные синтетические изображения, созданные с помощью PGGAN. Это позволяет нам хранить достоверные скрытые данные, соответствующие сгенерированным изображениям, которые могут быть идеально реконструированы с использованием генеративной модели после их прогнозирования на основе данных мозга.

2.2 Нейронное декодирование

2.2.1 Прогнозирование латентных векторов по данным мозга

Мы адаптировали глубокую генеративную сеть PGGAN, добавив вначале плотный слой для преобразования данных мозга в латентные векторы.Этот слой обучается путем минимизации евклидова расстояния между истинными и предсказанными скрытыми представлениями (размер партии = 30, lr = 0,00001, оптимизация Адама) с уменьшением веса ( альфа = 0,01), чтобы уменьшить сложность и мультиколлинеарность модели. Остальная часть генеративной сети оставалась неизменной.

Первая модель декодирования обучается с функцией потерь, которая учитывает только скрытые векторы. Тем не менее, конечная цель — восстановить то, что видели наши участники.Технически это достигается, когда все активации слоев вплоть до выходного изображения будут похожи между реальным и предсказанным скрытым вектором. Поэтому мы создали пять дополнительных функций потерь, которые включают эти активации слоев, чтобы изучить, как они способствуют дальнейшей оптимизации нейронного декодирования. Важно отметить, что мы взяли только центры карт активации, чтобы исключить окружающий фоновый шум. В конце концов, мы обучили одну модель только латентным векторам и пять моделей латентным векторам вместе с активацией одного слоя PGGAN.

2.2.2 Прогнозирование активаций слоев на основе данных мозга

Более ранняя работа обнаружила соответствия между искусственными нейронными сетями и мозгом (7). Основываясь на этих знаниях, мы обучили четыре модели декодирования для прогнозирования активаций уровня PGGAN на основе данных мозга, чтобы исследовать соответствие между этой глубокой генеративной сетью и мозгом. В частности, мы использовали следующие выходы уровня PGGAN: 4, 9, 14 и 19, которые мы будем называть активацией уровня 1, 2, 3 и 4, соответственно, в оставшейся части этой рукописи.Функция потерь представляет собой евклидово расстояние между истинной и предсказанной активациями слоя (а не скрытыми векторами). В остальном обучение продолжалось как раньше. Затем мы исследовали вклад каждого вокселя в предопределенной маске на производительность модели, используя комбинацию подхода картирования прожектора и анализа окклюзии. Подход прожектора использует кубическое подмножество вокселей 7 × 7 × 7 с центром в вокселе. Поскольку каждый воксель имеет размер 2 × 2 × 2 мм ³ , это приводит к объемам 14 × 14 × 14 мм ³ .Соседние воксели включаются только тогда, когда они также находятся в маске. В конечном итоге этот прожектор исключается из входных данных мозга, чтобы обнаружить влияние центрального вокселя на производительность модели.

2.3 Наборы данных

2.3.1 Визуальные стимулы

Изображения лиц с высоким разрешением (1024 × 1024 пикселей) генерируются сетью генераторов модели Progressive GAN (PGGAN) (11) из случайно выбранных латентных векторов. Каждое сгенерированное изображение лица обрезается и изменяется до 224 × 224 пикселей.Всего 1050 уникальных лиц представлены один раз для обучающей выборки, и 36 лиц повторяются 14 раз для тестовой выборки, для которой берется средний ответ мозга. Это гарантировало, что обучающий набор покрывает большое пространство стимула, чтобы соответствовать общей модели лица, тогда как воксельные ответы из тестового набора содержат меньше шума и более высокую статистическую мощность.

2.3.2 Ответы мозга

Был собран набор данных фМРТ, состоящий из ЖИРНЫХ ответов, которые соответствуют воспринимаемым стимулам лица.Смелые ответы (TR × × = 1,5 с, размер вокселя = 2 × 2 × 2 мм ³ , охват всего мозга) двух здоровых субъектов были × × измерены (S1: 30-летний мужчина; S2: 32-летний мужчина), когда они фиксировались на мишени (0,6 × 0,6 градуса) (19), наложенной на стимулы (15 × 15 градусов), чтобы минимизировать непроизвольные движения глаз.

Во время предварительной обработки полученные объемы мозга повторно согласовываются с первым функциональным сканированием и средним функциональным сканированием, соответственно, после чего объемы нормализуются по пространству MNI.Общая линейная модель подходит для деконволюции связанной с задачей нейронной активации с помощью канонической функции гемодинамического ответа (HRF). Затем для каждого вокселя мы вычислили его t-статистику и преобразовали эти t-баллы в z-статистику, чтобы получить карту мозга с точки зрения z на воспринимаемый стимул. В конечном итоге из обучающей выборки были выбраны 4096 наиболее активных вокселей для определения маски вокселей (рис. 3). Большинство этих вокселов маски расположены в нижних отделах мозга. Воксельные ответы из тестового набора не используются для создания воксельной маски, чтобы избежать двойного погружения.

Рисунок 3:

Маска вокселей: 4096 наиболее активных вокселей на основе наивысшей z-статистики в пределах усредненной z-карты из ответов обучающего набора, что приводит к распределенной сети активности.

Эксперимент был одобрен местным комитетом по этике (CMO Regio Arnhem-Nijmegen). Субъекты предоставили письменное информированное согласие в соответствии с Хельсинкской декларацией. Набор данных фМРТ как для субъектов, так и для используемых моделей находится в открытом доступе через Github.

2.4 Оценка

Производительность модели оценивается по трем параметрам: скрытое сходство, сходство функций и структурное сходство.Во-первых, скрытое сходство — это евклидово сходство между предсказанными и истинными скрытыми векторами. Во-вторых, сходство признаков — это евклидово сходство между выходными данными слоя выделения признаков ( n = 2048) модели ResNet50, предварительно обученной для распознавания лиц, в которую мы загружаем стимулы и реконструкции. Наконец, структурное сходство используется для измерения пространственной взаимозависимости между пикселями стимулов и реконструкций (22).

Далее, исходя из предположения, что существует гиперплоскость в скрытом пространстве для двоичных семантических атрибутов (например,грамм. мужчина против женщины), (18) определили границы принятия решения для пяти семантических атрибутов лица в латентном пространстве PGGAN: пол, возраст, наличие очков, улыбка и поза, обучив пять независимых машин линейных опорных векторов (SVM) ( Рисунок 4). Мы использовали эти границы решения для вычисления оценок характеристик для каждого изображения, взяв скалярное произведение между скрытым представлением и границей решения (что привело к скаляру). Таким образом, характеристики модели в отношении конкретных визуальных характеристик могут быть зафиксированы в непрерывном спектре и сравниваться по изображениям.

Рисунок 4:

Семантическое редактирование лица изображения стимула из тестового набора (номер 7) путем изменения скрытого вектора вдоль границы разделения.

3 Результаты

Линейное декодирование записей фМРТ с использованием скрытого пространства PGGAN привело к беспрецедентным реконструкциям стимулов. Наивысшая производительность достигается с помощью первой модели, которая обучается только на латентных векторах (рис. 5).

Рисунок 5:

Результаты пяти моделей, которые предсказывают латентные векторы на основе данных мозга.Наивысшая производительность достигается нашей первой моделью, которая обучается только на латентных представлениях и без активации промежуточного уровня. A. Четыре стимула тестового набора (слева) и их пять соответствующих реконструкций модели. B. Среднее значение скрытого сходства, сходства признаков и структурного сходства (ось Y) пяти моделей (ось X). C. Пять графиков отображают коэффициенты корреляции Пирсона (ось Y) между истинными и предсказанными оценками семантических признаков пяти моделей (ось X) для каждого визуального признака.Мы обнаружили высокую корреляцию для пола, позы и возраста, но не обнаружили значительной корреляции для атрибута улыбки.

На рисунке 6 представлены все реконструкции изображений этой лучшей модели декодирования мозга вместе с первоначально воспринимаемыми стимулами. Для краткости изложения первая половина изображений (1-18) реконструирована по активациям мозга субъекта 1, а вторая половина (19-36) — субъекту 2. Интерполяции визуализируют расстояние между предсказанными и истинными латентными представлениями, которые лежат в основе (пере) сгенерированных лиц.Он показывает, какие функции сохраняются или изменяются. Гистограммы рядом с воспринимаемыми и реконструированными изображениями показывают оценки каждого изображения с точки зрения пяти семантических атрибутов лица в латентном пространстве PGGAN: пол, возраст, наличие очков, улыбка и поза. Анализ сходств и различий в графиках для воспринимаемых и реконструированных изображений — это способ оценить, насколько хорошо каждый семантический атрибут улавливается нашей моделью. Для большинства реконструкций два графика совпадают по направленности.Однако есть несколько случаев, демонстрирующих, что еще есть возможности для улучшения, например: номер 31, 34 и 35. Корреляция оценок характеристик для стимулов и реконструкций привела к значимым (p <0,05; t-критерий Стьюдента) результатам для пола, возраста, очков и позы, но не для улыбки (рис. 5). Мы хотели бы отметить, что использование показателей характеристик позволяет количественно оценить производительность модели как непрерывную, а не как двоичную, что объясняет значительную корреляцию для очков, несмотря на отсутствие реконструкции под номерами 1 и 8.

Рисунок 6:

Результаты модели 0, обученной только латентным векторам. Здесь мы отображаем образцы тестового набора 1-18 для Субъекта 1 и 19-36 для Субъекта 2. Реконструкции изображений (слева) по сравнению с воспринимаемыми изображениями (справа). Интерполяции визуализируют сходство в лежащих в основе скрытых репрезентациях. Рядом с каждой реконструкцией и воспринимаемым стимулом вращающаяся гистограмма отображает соответствующие характеристики для пола, возраста, очков, позы и улыбки.

Затем мы сравнили производительность фреймворка HYPER с современным подходом VAE-GAN (21) и традиционным подходом с собственным лицом (3), которые отображают записи мозга на различные скрытые пространства.Для честного сравнения мы использовали одну и ту же маску вокселей для оценки всех методов, представленных в этом исследовании, без какой-либо оптимизации для конкретного подхода к декодированию. Подход VAE-GAN предсказывает 1024-мерные скрытые представления, которые передаются в сеть декодера VAE для реконструкции стимула (128 × 128 пикселей). Подход собственного лица предсказывает первые 512 основных компонентов (или «собственных граней»), после чего достигается реконструкция стимула (64 × 64 пикселя) путем применения обратного преобразования PCA.Все количественные и качественные сравнения показали, что структура HYPER превзошла базовые показатели и имела значительно более высокую вероятность латентной и функциональной реконструкции (p «0,001, тест перестановки), что указывает на вероятность того, что случайный латентный вектор или изображение будут более похожи на исходный. стимул (таблица 1).

Таблица 1:

Модельные характеристики нашего метода по сравнению с современным VAE-GAN (21), а подход с использованием собственных граней (3) оценивается с точки зрения сходства признаков (столбец 2) и структурного сходства (столбец 3) между стимулами и реконструкциями (среднее ± стандартная ошибка).В первом столбце отображается скрытое сходство, которое применимо только к методу HYPER, поскольку истинный и прогнозируемый скрытые векторы известны. Из-за различий в разрешении все изображения изменяются до 224 × 224 пикселей и сглаживаются с помощью фильтра Гаусса (размер ядра = 3) для честного сравнения. Также удаляются фоны. Кроме того, статистическая значимость метода HYPER оценивается относительно случайно сгенерированных латентных векторов и их реконструкций.

Мы также представляем произвольно выбранные, но репрезентативные примеры реконструкции из VAE-GAN и подхода eigenface, снова демонстрируя, что структура HYPER привела к заметно лучшим реконструкциям (рис. 7).

Рисунок 7:

Качественные результаты нашего подхода по сравнению с (21) и подходом собственной грани при восстановлении изображений 26, 28 и 36 (произвольно выбранных). Столбцы модели отображают наилучшие возможные результаты. Для (21) здесь отображаются реконструкции, непосредственно декодированные из 1024-мерного скрытого представления этого метода. Для подхода собственных граней здесь показаны реконструкции, полученные непосредственно из 512 главных компонентов.

Наконец, мы искали любое соответствие между генеративной сетью и мозгом.Для каждого вокселя анализ загораживания прожектором определил, на какой из четырех моделей прогнозирования активации он оказал наибольшее влияние с точки зрения евклидова сходства активации. Затем активация этого слоя была назначена этому вокселю и отображена в мозге (рис. 8). Было обнаружено, что большинство вокселей соответствует активациям слоя, ближайшим к латентному вектору (то есть L1 и L2). Кроме этого, не было никакой систематической связи между вокселями и активациями слоев. Это неудивительно, учитывая, что воксельная маска покрывала в основном нижележащие области, такие как FFA, которые уже специализированы для представлений высокого уровня.Тем не менее, было бы интересно дополнительно исследовать, отображаются ли слои GAN на зрительную кору, как это делают оптимизированные для задач модели при обучении и тестировании на естественных изображениях.

Рисунок 8:

A. Активации слоев, которые больше всего соответствовали каждому вокселю, наносятся на карту мозга двух субъектов соответственно. Розовым цветом обозначены границы между первичной зрительной корой, ранней зрительной корой, зрительной корой дорсального потока, зрительной корой вентрального потока, комплексом MT + и соседними зрительными областями, согласно (4). B. Распределение слоев, назначенных вокселям, по разным интересующим областям. C. Активационное сходство разных слоев.

4 Обсуждение

Мы декодировали записи мозга во время восприятия фотографий лиц с использованием представленного метода HYPER, что привело к современной реконструкции стимулов. Фреймворк HYPER привел к значительно лучшим реконструкциям, чем два эталонных подхода. Важно отметить, что реконструкции с использованием подхода VAE-GAN, по-видимому, имеют более низкое качество, чем те, которые представлены в исходном исследовании.Вероятным объяснением этого результата могло быть то, что количество обучающих изображений в нашем наборе данных было недостаточным для эффективного обучения их модели (8000 против 1050) и другой процедуры выбора вокселей.

Реконструкции изображений с помощью HYPER содержат искажения. То есть модель предсказывает в первую очередь скрытые представления, соответствующие молодым, западно выглядящим лицам без очков, потому что прогнозы имеют тенденцию следовать статистике изображений обучающего набора (знаменитости). Также известно, что генераторная сеть PGGAN страдает от этой проблемы, называемой «запутанность функций», когда манипулирование одной конкретной функцией в скрытом пространстве влияет и на другие функции (18).Например, редактирование скрытого вектора для одновременного создания сгенерированного лица в очках, заставляет лицо выглядеть старше из-за таких смещений в данных обучения. Переплетение функций мешает генератору отображать незнакомые скрытые элементы на их соответствующие визуальные особенности. Легко предвидеть сложности при восстановлении изображений существующих лиц.

Модифицированная версия PGGAN, называемая StyleGAN (12; 13), разработана для решения проблемы запутанности функций. StyleGAN сопоставляет запутанный скрытый вектор с дополнительным промежуточным скрытым пространством — тем самым уменьшая запутанность функций — которое затем интегрируется в сеть генератора с использованием адаптивной нормализации экземпляров.Это приводит к превосходному контролю над семантическими атрибутами в реконструированных изображениях и, возможно, к способности генератора восстанавливать незнакомые особенности. По сравнению с PGGAN, фотографии лиц, сгенерированные StyleGAN, значительно улучшились по качеству и вариативности, из которых последнее, вероятно, увеличит текущие предубеждения. Таким образом, замена PGGAN на StyleGAN будет логическим следующим шагом для исследований, связанных с нейронным декодированием лиц.

Помимо большого научного потенциала, это исследование может также оказать влияние на общество, поскольку оно позволяет применять различные приложения в области нейротехнологии (например,грамм. интерфейс мозг-компьютер и нейропротезирование) в помощь людям с ограниченными возможностями. В то время как текущая работа сосредоточена на расшифровке сенсорного восприятия, расширение нашей структуры на образы может сделать ее предпочтительным средством общения для заблокированных пациентов.

5 Заключение

Мы представили основу для гиперреалистической реконструкции восприятия (HYPER) путем нейронного декодирования ответов мозга через латентное пространство GAN, что привело к беспрецедентным современным реконструкциям стимулов.Учитывая скорость прогресса в области генеративного моделирования, мы считаем, что структура HYPER, которую мы представили в этом исследовании, вероятно, приведет к еще более впечатляющим реконструкциям восприятия и, возможно, даже изображений в ближайшем будущем, что в конечном итоге также позволит лучше понять механизмы функционирования мозга человека.

Сноски

• Изменен раздел о методах и результатах. Вместо гребневой регрессии сеть генераторов PGGAN адаптирована таким образом, что она напрямую генерирует изображения из данных мозга с использованием различных функций потерь, что приводит к улучшенным реконструкциям.Мы также ищем соответствие между иерархией уровней сети генератора PGGAN и мозгом.

Ссылки

1. [1] .↵
2. [2] .↵
3. [3] .↵
4. [4] .↵
5. [5] .↵
6. [6] .↵
7. [7] .↵
8. [8] .↵
9. [9] .↵
10. [10] .↵
11. [11] .↵
12. [12] .↵
13. [13] .↵
14. [ 14] .↵
15. [15] .↵
16. [16] .↵
17. [17].
18. [18] .↵
19. [19].↵
20. [20] .↵

    Марсель А.Дж. ван Гервен, Катя Селигер, Умут Гучлю и Ягмур Гючлютюрк. Современные достижения в области нейронного декодирования. В Explainable AI: Interpreting, Explaining and Visualizing Deep Learning, страницы 379–394. Springer, 2019.

21. [21] .↵
22. [22] .↵
23. [23] .↵

Модель машинного обучения показывает, что SARS-CoV-2 становится все более заразным | MSUToday

Новая модель машинного обучения, разработанная исследователями из Университета штата Мичиган, предполагает, что мутации в геноме SARS-CoV-2 сделали вирус более заразным.

Модель, разработанная ведущим исследователем Гуовей Вэй, профессором кафедры математики, биохимии и молекулярной биологии, проанализировала генотипирование SARS-CoV-2 из более чем 20 000 образцов вирусного генома. Исследователи проанализировали мутации белка шипа — белка, который в первую очередь отвечает за распространение инфекции — и обнаружили, что пять из шести известных подтипов вируса теперь более заразны.

Как и в случае с любым вирусом, многие мутации в конечном итоге являются доброкачественными, что практически не представляет риска для инфицированных пациентов.Некоторые мутации даже снижают заразность. Но некоторые мутации приводят к более заразному вирусу.

Вэй и его команда месяцами изучали и анализировали паттерны и места мутаций, отслеживая изменения по сравнению с официальным образцом вирусного генома, полученным в январе.

«Знание об инфекционности SARS-CoV-2 является жизненно важным фактором для превентивных мер против COVID-19 и восстановления мировой экономики», — сказал Вэй. «Ключевой вопрос заключается в том, каковы последствия этих мутаций для передачи, диагностики, профилактики и лечения COVID-19.”

Вирусная инфекция возникает, когда спайковый белок взаимодействует с рецептором клетки-хозяина человека, который называется ангиотензин-превращающим ферментом 2 — сокращенно ACE2. Что касается ACE2, ученых беспокоит концепция, известная как аффинность связывания, или сила связывающего взаимодействия между белком-спайком и рецептором хозяина на начальной стадии инфекции.

«Инфекционность вируса увеличивается, если сродство связывания усиливается», — сказал Вэй. «В настоящее время обнаружено более 50 мутаций наряду с интерфейсом связывания на рецептор-связывающем домене шипованных белков — сокращенно RBD — который имеет 194 возможных сайта мутации.”

Модель машинного обучения

Wei, продвинутая нейронная сеть, проанализировала более 8000 записей взаимодействия белков, чтобы определить влияние известных в настоящее время мутаций на аффинность связывания шипового белка SARS-CoV-2. Результат, который предполагал повышенную аффинность связывания у пяти из шести известных подтипов, показал, что инфекционность могла увеличиться в результате мутаций.

Обеспокоенные возможностью дальнейшей мутации, Вэй и его команда обратились к своей модели будущего.

«Чрезвычайно важно знать, будут ли будущие подтипы SARS-CoV-2 представлять неминуемую опасность для здоровья населения», — сказал Вэй. «С этой целью мы провели систематический скрининг всех возможных 3686 будущих мутаций на 194 возможных сайтах мутации вдоль RBD».

Модель

Вей предсказывает, что множественные остатки на рецептор-связывающем мотиве — компоненте области RBD — имеют высокие шансы мутировать в более инфекционные штаммы COVID-19.

Он предупреждает, что, хотя прогнозы, основанные на искусственном интеллекте, согласуются с доступными экспериментальными данными, необходимы дальнейшие исследования, чтобы полностью понять влияние мутаций на инфекционность COVID-19, что имеет жизненно важное значение для реакции общественного здравоохранения на COVID-19.

В рамках своего исследования Вэй и его команда также прогнозируют, что новый коронавирус, распространяющийся по миру, немного более заразен, чем оригинальный вирус SARS, обнаруженный в 2003 году.

Вэй сказал, что результаты совпадают с результатами другого исследования, недавно опубликованного исследователями из Исследовательского института Скриппса во Флориде. В этом исследовании изучались спайковые мутации белков в лабораторных условиях, а также было обнаружено, что вирус мутирует, увеличивая его заразность.

Документ «Мутации усилили инфекционность SARS-CoV-2», наряду с большей частью опубликованных исследований, касающихся COVID-19 и вируса SARS-CoV-2, появляется на сервере препринтов ArXiv.

Вэй — преподаватель факультета естественных наук МГУ на факультетах математики, биохимии и молекулярной биологии и инженерного колледжа на факультете электротехники и вычислительной техники.

Его дополнительное исследование COVID-19 включает: Расшифровку бессимптомной инфекции и передачи COVID-19, Обзор методов лечения антителами COVID-19, Мутации в диагностических целях COVID-19, Перемещение 8565 существующих лекарств от COVID-19, Раскрытие молекулярного механизма Подавление основной протеазы SARS-CoV-2 в 92 кристаллических структурах, Расшифровка передачи SARS-CoV-2, эволюция и разветвление в диагностике COVID-19, вакцинах и лекарствах, потенциально сильнодействующие препараты для 2019-nCoV и Дизайн машинного интеллекта 2019 года -nCoV препараты

Научные интересы: математическая молекулярная бионаука и биофизика, искусственный интеллект и машинное обучение, дизайн лекарств и фармакология, биомедицинская визуализация и анализ поверхности, методы интерфейса высокого порядка, наномоделирование и симуляция, квантовая кинетическая теория, локальная спектральная теория вейвлетов и динамические системы.

(Примечание для СМИ: пожалуйста, включите ссылку на исходный документ в онлайн-обзоре: https://arxiv.org/pdf/2005.14669.pdf)

Гуовей Вэй, профессор биохимии и молекулярной биологии Колледжа естественных наук.

Расшифровка моторики человека по нейронным сигналам: обзор | BMC Biomedical Engineering

Нейрофизиология моторного контроля

Чтобы расшифровать моторное намерение человека, полезно сначала понять естественную нейрофизиологию моторного управления, чтобы мы могли знать, где перехватить управляющий сигнал и какой тип сигнала что мы можем встретить.

Моторный контроль в организме человека начинается с лобной и задней теменной коры (PPC) [5, 6]. Эти области осуществляют высокоуровневое абстрактное мышление, чтобы определить, какие действия следует предпринять в данной ситуации [7]. Например, при столкновении с игроком противоположной команды футболисту может потребоваться решить, вести ли мяч, стрелять или передавать мяч своему товарищу по команде. Выбор наилучшего действия зависит от местоположения игрока, соперника и мяча. Это также зависит от текущих углов суставов коленей и лодыжек по отношению к мячу.PPC получает информацию от соматосенсорной коры для получения информации о текущем состоянии тела. Он также имеет обширную взаимосвязь с префронтальной корой, которая отвечает за абстрактные стратегические мысли. Префронтальной коре может потребоваться учитывать другие факторы помимо сенсорной информации о текущей среде. Например, насколько искусен противник по сравнению со мной? Какова существующая командная стратегия на текущем этапе игры, мне следует играть более агрессивно или в обороне? Комбинация сенсорной информации, прошлого опыта и стратегического решения лобной и задней теменной коры определяет последовательность действий, которые необходимо предпринять.

Планирование последовательности действий затем осуществляется премоторной зоной (PMA) и дополнительной моторной зоной (SMA), которые расположены в зоне 6 Бродмана коры головного мозга. Известно, что стимуляция в области 6 вызывает сложную последовательность действий, и внутрикортикальная запись в PMA показывает, что она активируется примерно за 1 секунду до движения и прекращается вскоре после начала движения [8]. Некоторые нейроны в PMA также кажутся настроенными на направление движения, при этом некоторые из них активируются только тогда, когда рука движется в одном направлении, но не в другом.

После того, как последовательность действий запланирована в PMA или SMA, требуется ввод от базальных ганглиев, чтобы фактически инициировать движение. Базальные ганглии содержат прямой и непрямой путь [9–11]. Прямой путь помогает выбрать конкретное действие для инициирования, в то время как косвенный путь отфильтровывает другие неподходящие моторные программы. По прямому пути полосатое тело (скорлупа и хвостатое) получает входные данные от коры головного мозга и подавляет внутренний бледный шар (GPi). В состоянии покоя GPi самопроизвольно активируется и подавляет оральную часть вентрального латерального ядра (VLo) таламуса.Таким образом, ингибирование GPi усилит активность VLo, которая, в свою очередь, возбуждает SMA. При непрямом пути полосатое тело возбуждает GPi через ядро ​​субталамуса (STN), которое затем подавляет активность VLo и, в свою очередь, ингибирует SMA. При некоторых неврологических расстройствах, таких как болезнь Паркинсона, дефицит способности активировать прямой путь приведет к трудностям в инициировании движения (например, брадикинезии), в то время как дефицит непрямого пути приведет к неконтролируемому движению в состоянии покоя (т.е. тремор покоя).

После того, как базальные ганглии помогают отфильтровать нежелательные моторные программы и сосредоточиться на выбранных программах, первичная моторная кора (M1) будет отвечать за их выполнение на низком уровне [12]. В слое V M1 есть популяция крупных нейронов пирамидальной формы, которые проецируют свои аксонные связи вниз по спинному мозгу через кортикоспинальный тракт. Эти аксоны моносинаптически соединяются с мотонейронами спинного мозга для активации мышечных волокон. Они также соединяются с тормозными интернейронами в спинном мозге, подавляя антагонистические мышцы.Эта структура позволяет одной пирамидальной клетке генерировать скоординированные движения в нескольких группах мышц.

Моторные нейроны спинного мозга получают входные данные от пирамидных клеток M1 через кортикоспинальный тракт [13]. Они также получают входные данные косвенно от моторной коры и мозжечка через руброспинальный тракт, направляемый через красное ядро ​​среднего мозга. Хотя его функции хорошо известны у низших млекопитающих, функции руброспинального трека у человека, по-видимому, рудиментарны.Моторные нейроны в вентральном роге пучка спинного мозга вместе образуют вентральный корешок, который выходит из спинного мозга и соединяется с спинным корешком, образуя смешанный спинномозговой нерв. Спинной нерв разветвляется на более мелкие нервные волокна, которые иннервируют различные мышцы тела. Один двигательный нейрон может снабжать несколько мышечных волокон, вместе известных как одна двигательная единица. Мышца состоит из множества мышечных волокон, сгруппированных в двигательные единицы разного размера, каждая из которых может снабжаться разными двигательными нейронами.В крупных мышцах, таких как мышцы ног, один двигательный нейрон может снабжать сотни мышечных волокон. В более мелких мышцах, например в пальцах, один двигательный нейрон может снабжать только 2 или 3 мышечных волокна, обеспечивая точный контроль движений.

Путь управления моторикой человеческого тела идет от высокоуровневой ассоциативной области мозга, опосредованной моторной корой, через спинной мозг к отдельным мышечным волокнам. Каждый из этапов играет свою роль и использует разные механизмы, чтобы гарантировать, что движение выполняется скоординированным и плавным образом.Каждый из этих этапов также предлагает различные режимы сигнала и функции, которые можно использовать для декодирования двигателя. Теперь мы подробно обсудим эти функции и стратегии их использования ниже. Обзор, показывающий путь управления двигателем и различные способы перехвата управляющего сигнала, показан на (Рис. 1).

Рис. 1

Обзор различных способов перехвата сигналов управления двигателем. Сигнал управления двигателем передается от первичной моторной коры головного мозга через спинной мозг и периферический нерв к мышечным волокнам.Управляющий сигнал может быть перехвачен в различных точках с использованием различных методов. Электроэнцефалография (ЭЭГ) фиксирует наложенные электрические поля, создаваемые нейронной активностью на поверхности кожи головы. Электрокортикография (ЭКоГ) измеряет активность под кожей головы на поверхности мозга. Интракортикальные записи проникают в ткань головного мозга для получения многокомпонентных и единичных действий. Электроды также могут быть помещены на периферический нерв для отслеживания сигнала низкого уровня, используемого для сокращения мышц.Наконец, электромиограф (ЭМГ) также может использоваться для непосредственного мониторинга активности мышц (рисунок содержит элементы изображений, адаптированных из Патрика Дж. Линча и Карла Фредрика в соответствии с лицензией Creative Commons Attribution License)

Кортикальное декодирование движений конечностей

Все волевые моторные механизмы управления исходят из головного мозга. Моторная кора головного мозга играет особенно важную роль в планировании и выполнении моторных команд. Для некоторых пациентов мозг — единственное место, где может быть зафиксировано двигательное намерение, потому что они потеряли двигательные функции во всех своих конечностях (например,грамм. у пациентов с тетраплегией). Поэтому много усилий было вложено в корковое декодирование.

Электроэнцефалография (ЭЭГ)

ЭЭГ — это измерение слабых электрических сигналов от мозга на поверхности кожи головы. Считается, что его происхождение связано с суммированием постсинаптических потенциалов возбудимых нервных тканей головного мозга [14]. Череп, твердая мозговая оболочка и спинномозговая жидкость между мозгом и электродами ЭЭГ значительно ослабляют электрический сигнал, поэтому сигнал ЭЭГ очень слабый, обычно ниже 150 мк В.Эти структуры также действуют как временные фильтры нижних частот, ограничивая полезную полосу пропускания сигнала ЭЭГ ниже 100 Гц [15]. Кроме того, из-за эффекта объемной проводимости источников тока в голове эффект одного источника тока распространяется на несколько электродов. Результатом является пространственное низкое прохождение исходного сигнала, что приводит к «размытию» источника сигнала и снижению пространственного разрешения. Таким образом, большинство установок ЭЭГ для декодирования двигателя включает только 64 или 128 электродов.Установки с более чем 128 электродами встречаются редко.

Сигнал ЭЭГ традиционно разделяется на несколько частотных диапазонов (дельта: 0–4 Гц, тета: 4–7,5 Гц, альфа: 8–13 Гц, бета: 13–30 Гц, гамма: 30–100 Гц). Особое значение для моторного декодирования имеют колебания мозга в альфа-диапазоне над моторной и соматосенсорной корой, также известные как μ -ритм [16, 17]. Было замечено уменьшение мощности сигнала в диапазоне 8–13 Гц, когда субъект выполняет реальное или даже воображаемое движение [18, 19].Подобные наблюдения также можно найти в нижнем бета-диапазоне (12–22 Гц). Хотя некоторые компоненты колебаний бета-диапазона могут быть гармониками сигналов альфа-диапазона, сейчас общее мнение состоит в том, что они являются независимыми характеристиками сигнала из-за различных топографических и временных характеристик [18, 20]. Мю-ритм имеет тенденцию фокусироваться на двусторонней сенсомоторной области, тогда как бета-ритм концентрируется в основном на макушке. В совокупности модуляция мощности полосы сигнала в сенсомоторной области называется сенсомоторным ритмом (СМС).

Это уменьшение мощности полосы, совпадающее с событием, называется десинхронизацией, связанной с событием (ERD). Противоположное явление называется синхронизацией, связанной с событием (ERS), то есть увеличением мощности диапазона, совпадающим с событием. ERD / ERS обычно рассчитывается по отношению к базовому периоду, обычно когда субъект бодрствует расслабленным и не выполняет никаких задач [21]:

$$ ERD = \ frac {R-A} {R} \ times 100 \% $$

, где R — мощность диапазона в течение базисного периода, а A — мощность в течение интересующего периода времени.Пример топографии ERD во время воображения движения показан на (рис. 2).

Рис. 2

Примеры особенностей ЭЭГ при моторной расшифровке. Характеристики ЭЭГ от одного из субъектов из набора данных BCI Competition IV 2a [214]. a Временной ход изменения мощности полосы сигнала ЭЭГ, отфильтрованного в диапазоне 8–12 Гц, в образах движения левой и правой руки, по сравнению с контрольным периодом (0–3 с). Заштрихованные области показывают стандартное отклонение изменений в разных испытаниях.Ниже также показана экспериментальная парадигма. b Частотный спектр сигнала ЭЭГ во время фиксации и воображения движения ( c ) топография распределения ERD / ERS в различных типах воображения движения

Топография ERD во время движения демонстрирует развивающуюся модель с течением времени [21 ]. ERD обычно начинается примерно за 2 секунды до фактического движения, концентрируясь на контрлатеральной сенсомоторной области, затем распространяется на ипсилатеральную сторону и становится двусторонне симметричной непосредственно перед началом движения.После прекращения движения происходит увеличение мощности бета-диапазона (т.е. ERS) вокруг контралатеральной сенсомоторной области [21–23], также известное как «бета-отскок». Возникновение бета-отскока совпадает со снижением кортикоспинальной возбудимости [24], предполагая, что отскок может быть связан с дезактивацией моторной коры после прекращения движения. Бета-отскок происходит как в реальных, так и в воображаемых движениях. Пример бета-отскока можно наблюдать на (рис. 2а).

Различные виды двигательных образов (MI) создают разные топографии ERD и, следовательно, полезны для декодирования двигательного намерения субъекта.Например, визуализация движения руки вызовет ERD рядом с областью моторной коры, которая находится в более латеральном положении. С другой стороны, визуализация движения стопы у некоторых испытуемых вызывает ERD вблизи области стопы, которая находится ближе к сагиттальной линии [25], что можно наблюдать на (Рис. 2c). Бета-отскок после инфаркта миокарда также обнаруживает сходный соматотопический паттерн [22]. У некоторых испытуемых также очевидны одновременные ERD и ERS в разных частях мозга. Например, у некоторых испытуемых обнаруживались ERD в области руки и ERS в области стопы во время произвольного движения руки, и наоборот, во время движения стопы [22].ERD может представлять активацию кортикальной области, контролирующей движение, в то время как ERS может представлять ингибирование других непреднамеренных движений. Как мы помним из нейрофизиологии моторного контроля, косвенный путь базальных ганглиев содержит механизмы для подавления таламической активации SMA, чтобы отфильтровать непреднамеренные движения. Существуют характерные паттерны ERD / ERS во время различных реальных и воображаемых движений, поэтому, изучая эти паттерны, мы можем обнаружить и различить двигательное намерение различных частей тела.

Наиболее реактивный частотный диапазон, в котором возникает ERD / ERS, может быть специфическим для каждого субъекта и даже для типа воображения движения, а его топография может незначительно отличаться в зависимости от подготовки к ЭЭГ. Поэтому для автоматической адаптации к характеристикам сигналов субъектов обычно используются методы обработки сигналов и машинного обучения.

Одним из наиболее важных этапов обработки сигналов при декодировании двигателя на основе SMR является оценка мощности сигнала в выбранном частотном диапазоне, обычно в альфа-диапазоне (8–12 Гц) и бета-диапазоне (12–30 Гц).Для этого есть много способов. Одним из самых простых и эффективных с вычислительной точки зрения методов является полосовая фильтрация [3, 26]. Сигнал ЭЭГ сначала проходит полосовую фильтрацию в интересующей полосе частот, затем сумма квадратов сигнала принимается как мощность сигнала в выбранной полосе частот. Сумма квадратов эквивалентна дисперсии сигнала, поэтому обычно вместо нее используется дисперсия сигнала. После определения дисперсии обычно используется логарифмическое преобразование.Лог-преобразование может служить двум целям. Во-первых, он преобразует искаженные данные, чтобы сделать их более соответствующими нормальному распределению [27], что может помочь улучшить производительность некоторых алгоритмов классификации. Во-вторых, логарифмическое преобразование подчеркивает относительное изменение сигнала, а не абсолютную разницу (например, l o g (110) — l o g (100) = l o g (1100) — l o g (1000)), поэтому он может выполнять неявную нормализацию сигнала и улучшать производительность классификатора.

Одним из основных недостатков простого подхода с полосовой фильтрацией является то, что может быть трудно выбрать лучшую полосу частот для работы фильтра, поскольку каждый пациент имеет свою собственную конкретную реактивную полосу. Чтобы преодолеть это ограничение, еще одним широко используемым методом является адаптивная авторегрессивная (AAR) модель [28–31]. Он моделирует сигнал в текущий момент времени как линейную комбинацию предыдущих точек p :

$$ Y_ {t} = a_ {1, t} Y_ {t-1} + a_ {2, t} Y_ {t-2} + \ dots + a_ {p, t} Y_ {tp} + X_ {t} $$

, где Y _t — сигнал, X _t — остаточный белый шум и a _{p , t} коэффициенты авторегрессии.Основное отличие от традиционной модели AR состоит в том, что в модели AAR коэффициенты a _{p , t} зависят от времени и рассчитываются для каждой временной точки сигнала с использованием рекурсивного метода наименьших квадратов [32]. Коэффициенты AAR от нескольких электродов затем объединяются вместе, чтобы сформировать вектор признаков, используемый системой классификации. Коэффициенты AAR можно рассматривать как импульсную характеристику системы, поэтому они содержат информацию о частотном спектре моделируемого сигнала.По сравнению с традиционной полосовой фильтрацией оценка спектра с использованием AAR может быть более устойчивой к шумам. Можно также указать количество пиков спектра на основе знания предметной области (для каждого пика требуется два коэффициента). Еще одно преимущество состоит в том, что нет необходимости заранее выбирать конкретную полосу частот, поскольку для классификации используются все коэффициенты модели. Другой способ автоматического выбора полосы частот для конкретного объекта — использование банка фильтров, состоящего из нескольких полосовых фильтров на разных частотах.После фильтрации наиболее информативная полоса частот и каналы выбираются с использованием некоторых показателей производительности, например приведет ли удаление этой функции к изменению классификационной метки [33, 34].

Из-за проблем с объемной проводимостью в голове человека один источник тока часто кажется «размазанным» по нескольким электродам ЭЭГ. Пространственная фильтрация обычно используется для улучшения пространственного разрешения сигнала ЭЭГ. Популярные пространственные фильтры включают в себя общий средний эталон (CAR) и поверхностный лапласиан [35].{LAP} = V_ {j} — \ frac {1} {n} \ sum_ {k \ in S_ {j}} V_ {k} $$

, где В, — напряжение сигнала, Н, — напряжение сигнала. общее количество электродов, n количество соседних электродов, а S — это набор соседних электродов в поверхностном лапласиане (LAP).

Эти фильтры усиливают фокусную активность, действуя как пространственный фильтр верхних частот. Предлагаются также другие более продвинутые пространственные фильтры. Например, популярный общий пространственный образец (CSP) [36, 37] работает, находя проекцию напряжения на электродах, так что различия в дисперсии между двумя классами максимизируются.Еще одним вариантом метода является добавление частотной информации путем фильтрации сигнала набором полос фильтра, затем вычисление CSP для каждой и, наконец, выбор наиболее информативной характеристики с помощью критерия взаимной информации [38].

Производительность моторного декодирования на основе ЭЭГ неуклонно улучшалась на протяжении многих лет. В то время как более ранние исследования могут различать только отдельные типы воображения движения [39], недавние исследования уже достигли 2D [40] и 3D контроля [41–43].Некоторые из последних исследований даже демонстрируют возможность декодирования различных движений одной и той же конечности [44, 45] или даже отдельных движений пальцев [46].

Помимо использования для замены утраченных функций, моторное декодирование на основе ЭЭГ также может использоваться в качестве инструмента для реабилитации. Например, его можно использовать для управления роботизированной рукой, чтобы помочь в активной тренировке руки в постинсультной реабилитации [4, 47, 48]. Применение моторного декодирования в качестве инструмента для обучения является очень многообещающей областью, поскольку потенциально может распространить его использование на более широкие слои населения.

Электрокортикограмма (ЭКоГ)

ЭКоГ — это измерение электрических сигналов от головного мозга на верхней части твердой мозговой оболочки, но под черепом. Измерение ЭКоГ обычно выполняется перед операцией по поводу эпилепсии, чтобы очертить эпилептогенную область и определить важные области коры, которых следует избегать во время резекции [49]. На сигнал ЭКоГ череп не влияет и, следовательно, он имеет более высокое временное и пространственное разрешение, чем ЭЭГ. Он также имеет большую полосу пропускания (от 0 до 500 Гц) [50, 51] и более высокую амплитуду (максимальная ∼500 мкм В [52]).Следовательно, обычно ЭКоГ имеет более высокое отношение сигнал / шум, чем ЭЭГ, хотя она также более инвазивна.

ЭКоГ и ЭЭГ, вероятно, возникают из одних и тех же основных нейронных механизмов, поэтому они имеют много общего друг с другом. Тем не менее, есть две основные особенности сигнала в моторном декодировании, которые уникальны для ЭКоГ и используются специально. Первый — это изменение мощности полосы сигнала в высоком гамма-диапазоне (≥75 Гц). Многие исследования предполагают, что высокий гамма-диапазон содержит более информативные функции для моторного декодирования по сравнению с альфа- и бета-диапазоном, которые обычно используются при декодировании ЭЭГ [53–57].Интересно, что высокий гамма-диапазон имеет тенденцию увеличиваться во время движения, в отличие от альфа- и бета-диапазона, которые обычно показывают десинхронизацию (то есть уменьшение мощности). Следовательно, высокая гамма-мощность может быть произведена другим нейронным механизмом, чем тот, который производит альфа- и бета-десинхронизацию.

Другой уникальной особенностью является низкочастотная амплитудная модуляция необработанного сигнала ЭКоГ, придуманная Шалком и соавт. Как локальный моторный потенциал (LMP). [30, 51]. Было обнаружено, что огибающая необработанной ЭКоГ показывает поразительную корреляцию с траекторией движения человеческой руки, измеренной с помощью джойстика.Амплитуда также показывает настройку косинуса или синуса по отношению к направлению движения, аналогично тому, что наблюдалось при внутрикортикальных записях. С момента этого открытия многие группы включили LMP в моторное декодирование ЭКоГ в дополнение к другим высокочастотным функциям (например, [53, 56, 58, 59]). LMP — это очень низкочастотный компонент (2-3 Гц) необработанного сигнала ЭКоГ. Обычно его извлекают с помощью фильтра нижних частот Гуасиана, скользящего среднего [30, 53, 59] или фильтра Савицкого-Голея [58, 60, 61].

Из-за устойчивости сигнала LMP обычно простой линейной регрессии достаточно для декодирования двигательного намерения во многих предыдущих исследованиях (например, [51, 62, 63]), хотя может потребоваться этап выбора функции или регулирования. чтобы сначала удалить неинформативные функции. Недавнее исследование с использованием глубокой нейронной сети также показало многообещающие [64], однако его улучшение по сравнению с классическими методами не всегда значимо.

Поскольку ЭКоГ имеет лучшее разрешение и более высокое отношение сигнал / шум, она имеет тенденцию давать лучшие и более точные результаты, чем ЭЭГ при декодировании двигателя.Помимо декодирования движения разных частей тела, как в ЭЭГ [65, 66], также можно различать разные жесты рук [56, 67]. Используя LMP в дополнение к частотным характеристикам, положение и скорость 2D движения руки также могут быть декодированы из сигналов ЭКоГ [30, 51, 58]. Последующие исследования даже демонстрируют, что непрерывные положения пальцев также могут быть декодированы [54, 59, 61, 63, 64, 68]. Коэффициент корреляции между прогнозируемым и реальным движением пальцев может достигать от 0,4 до 0,7 в некоторых недавних исследованиях [61, 64].

Подавляющее большинство исследований по моторной расшифровке ЭКоГ проводится на пациентах с эпилепсией без определенного двигательного расстройства или травмы конечностей. Однако одна из самых сильных причин для двигательного декодирования заключается в том, что оно может компенсировать потерю двигательной функции пациента. Учитывая, что мозг может реорганизоваться из-за болезни или травмы, жизненно важно, чтобы эксперименты по декодированию были повторены на этой популяции пациентов, чтобы увидеть, можно ли достичь аналогичной производительности декодирования. Существует всего несколько исследований, в которых пытались опробовать моторное декодирование ЭКоГ у пациентов с инсультом [57, 69] и парализованных лиц [70], но результаты обнадеживают.

Внутрикорковые записи

Проникновение в кортикальную ткань обеспечивает максимальную близость к нейронам и дает наиболее точный сигнал. С момента открытия свойства направленной настройки нейронов в моторной коре [71], многие исследования пытались расшифровать моторное намерение из интракортикальных записей, сначала у нечеловеческих приматов (NHP), а затем у людей в последнее время. годы. Наш обзор будет сосредоточен на внутрикортикальном декодировании у человека, поскольку оно представляет некоторые уникальные проблемы по сравнению с NHP, и это также то место, где в конечном итоге технология будет применяться.

Проникающие электроды для моторного декодирования обычно имплантируются в первичную моторную область мозга. В прецентральной извилине есть структура, напоминающая «ручку», в которой находится большинство нейронов, ответственных за двигательную функцию руки [72]. Эта «ручная моторная ручка» обычно используется в качестве мишени для имплантации электродов (например, в [73–77]). Еще одна потенциальная цель для имплантации — задняя теменная кора (PPC). Хотя долгое время считалось, что PPC играет важную роль в ассоциативных функциях, в последние годы появляется все больше данных, свидетельствующих о том, что он также кодирует моторные намерения высокого уровня [78].Недавнее исследование предполагает, что цель и траектория движения могут быть расшифрованы по нейронной активности в человеческом PPC [79].

Одним из важных свойств нейронов M1 является настройка направления. Некоторые нейроны настроены на определенное направление. Они разряжаются сильнее всего, когда движение происходит в их предпочтительном направлении, но они также разряжаются менее энергично, когда движение происходит в других направлениях. Их скорострельность представляет собой длину их предпочтительного вектора направления.Когда векторы этих нейронов суммируются, это указывает окончательное направление движения. Эта популяционная кодировка движения — поразительное свойство нервной системы. Аналогичный аналог популяционного кодирования также можно найти в суперколликулусе, представляющем направление движения глаз [80]. Пример, показывающий свойство настройки направления M1 у приматов, кроме человека, показан на (рис. 3).

Рис. 3

Примеры направленной настройки внутрикортикальных сигналов.Диаграммы, показывающие свойства направленной настройки нейронов у нечеловеческого приматы M1 из данных [215, 216]. — растровые графики Spike от одного из нейронов (Neuron 31). На каждом графике показано время всплеска нейрона, выровненного по моменту времени (t = 0), в котором скорость движения руки превышает заранее определенный порог. Каждая точка на графике представляет собой потенциал действия. Различные графики показывают нейронную активность, когда рука движется в разных направлениях. b Кривая настройки фон Мизеса некоторых репрезентативных нейронов. c Предпочтительное направление всех нейронов. Длина вектора представляет собой глубину модуляции нейрона, определяемую здесь как величину кривой настройки, деленную на угол между максимальной и минимальной точкой на кривой.

временные (<30 дней) внутрикортикальные записи - это система Neuroport (Blackrock Microsystem, Inc, США). В результате большая часть работы по внутрикортикальному декодированию человека выполняется на этой платформе.Существуют и другие интракортикальные электроды, но они предназначены в основном для острого интраоперационного мониторинга (например, глубинный электрод Спенсера, Ad-Tech; NeuroProbes, Alpha Omega Engineering Ltd.

Активность нейронов в месте имплантации представлена ​​их потенциалами действия, которые проявляются в виде всплесков во внеклеточных записях. Следовательно, обнаружение спайка часто является первым шагом в обработке интракортикального сигнала.{2}} $$

, где Thres представляет порог обнаружения, выше которого момент времени сигнала считается принадлежащим всплеску. Однако значение RMS может быть легко испорчено артефактами, поэтому другим способом является использование медианы для установки порога обнаружения [83]

$$ \ sigma = median \ left (\ frac {| x |} {0,6745} \ right) $$

Другой популярный метод — нелинейный оператор энергии [83]. Сначала он преобразует сигнал таким образом, что высокочастотная составляющая усиливается для улучшения отношения сигнал / шум.{N} \ psi [x (n)] $$

Другие более продвинутые методы, такие как непрерывное вейвлет-преобразование [84] и обнаружение всплесков EC-PC [82], могут предложить лучшую точность, но с более высокими вычислительными затратами. Хотя существует множество способов точного обнаружения всплесков в автономном режиме, не каждый из них достаточно быстр для использования в режиме реального времени. Поэтому при онлайн-декодировании выбор обычно ограничивается более простыми алгоритмами. Ручная установка порога оператором по-прежнему остается одним из наиболее часто используемых методов.Еще одним популярным методом онлайн-декодирования является метод RMS из-за его высокой эффективности.

Электрод может записывать сигналы от нескольких соседних нейронов. Выделение активности отдельного нейрона (то есть активности сигнальных единиц) от этой множественной активности обычно приводит к лучшим результатам в моторном декодировании. Этот процесс называется сортировкой по шипам. По сортировке шипов существует обширная литература, которую здесь невозможно исчерпать. Заинтересованным читателям предлагается ознакомиться с другими превосходными обзорами [85–87].На практике наиболее популярным способом онлайн-сортировки всплесков в реальном времени является сопоставление с шаблоном. Набор шаблонов всплесков собирается в течение периода начальной записи, а затем последующие всплески классифицируются, сравнивая их сходство с шаблонами. Однако может не быть действительно необходимым или даже ухудшить результат декодирования, выполнять онлайн-сортировку пиков. Кластеры спайков, полученные из записей, могут быть нестабильными в разных сеансах экспериментов. Общее количество отдельных единиц, отсортированных от записи, может меняться от сеанса к сеансу [79].Таким образом, декодер, обученный некоторым отсортированным пикам, может не работать в будущих сессиях. Сортировка пиков также может привести к дополнительной задержке при онлайн-декодировании, поскольку точная сортировка пиков — процесс, требующий больших вычислительных ресурсов. Фактически, многие недавние исследования декодирования вообще не используют сортировку спайков, например [79, 88–94].

Алгоритм декодирования восстанавливает моторную кинематику по нейронной активности. С момента открытия свойства направленной настройки моторных нейронов одним из первых алгоритмов декодирования интракортикального спайкового сигнала является алгоритм вектора популяции [95, 96].В своей простейшей форме частота срабатывания нейрона может быть связана с его предпочтительным направлением на

.

$$ f = f_ {0} + f_ {max} cos (\ theta- \ theta_ {p}) $$

, где f — частота срабатывания нейронов, f ₀ и f _max — константы регрессии, а θ и θ _p — текущее и предпочтительное направление соответственно. Однако для функции косинуса ширина модуляции фиксирована.Более гибкой функцией настройки, которая позволяет регулировать ширину модуляции, является функция настройки фон Мизеса [97]:

$$ f = b + k \; exp (\ kappa cos (\ theta- \ mu)) $$

, где b , k , κ , μ — константы регрессии, а θ — текущее направление движения. Когда μ = θ , функция будет максимальной, поэтому μ также можно интерпретировать как предпочтительное направление нейрона.{N} _ {i = 1} w_ {i} (M) C_ {i} $$

, где C _i — предпочтительное направление для i -го нейрона, а w _i ( M ) — весовая функция, объединяющая вклады каждого нейрона в направлении M в окончательный вектор популяции. Однако этот метод требует большого количества нейронов для точности и может привести к ошибке, если распределение предпочтительного направления не является равномерным [98].{T} \ mathbf {k} $$

, где R — матрица нейронных откликов (например, частота срабатывания), f — линейный фильтр (или константы регрессии), а k — кинематические значения двигателя ( например, углы сочленения или положения курсора). Было высказано предположение, что эта схема регрессии может обеспечить более точное предсказание по сравнению с суммированием предпочтительных векторов направления, особенно когда эти векторы не распределены равномерно [98].

В последние годы фильтр Калмана обычно используется вместо простой линейной регрессии (например,грамм. в [75–77, 99, 100]). Фильтр Калмана включает информацию как из внутренней модели процесса, так и из фактических измерений для оценки состояний системы [101]. Переменная Калмана используется для определения «веса смешивания» модели и измерений. Если модель более точная, то она будет больше доверять модели. То же самое и с измерением. Фильтр Калмана особенно полезен, если состояния не наблюдаются напрямую или если измерения очень зашумлены, что часто справедливо при декодировании двигателя.При моторном декодировании субъекты обычно теряли свою конечность или способность двигаться, поэтому внутреннее состояние (например, двигательное намерение) системы не поддается непосредственному наблюдению. Наблюдаемые переменные (например, нейронная активность) также очень шумны. Типичный фильтр Калмана для декодирования двигателя не предполагает никакой управляющей переменной, и систему можно сформулировать как два линейных уравнения [102, 103]):

$$ \ begin {array} {@ {} rcl @ {}} \ vec {x} _ {t} & = & A \ vec {x} _ {t-1} + \ vec {w} _ {t -1} \\ \ vec {y} _ {t} & = & C \ vec {x} _ {t} + \ vec {v} _ {t} \ end {array} $$

где x состояние системы, которую нужно декодировать, e.грамм. совместная кинематика или положение курсора. y — наблюдаемые переменные, например скорость нейронной активации. \ (\ vec {w} _ {t} \) и \ (\ vec {v} _ {t} \) — это шумы процесса и измерений, полученные от w _t ∼ N (0, Q ) и v _t ∼ N (0, R ) соответственно. A , C , Q и R — константы Калмана, которые необходимо определить в соответствии с моделью декодирования.{-} \) и \ (\ hat {x} \) — это априорных оценок состояния и апостериорных оценок состояния соответственно. u — управляющая переменная. Обычно при декодировании двигателя он устанавливается на 0, здесь мы включили его для полноты картины.

Одним из важнейших аспектов выполнения декодирования двигателя в режиме онлайн является обучение и повторная калибровка модели декодирования. Хотя нейронные функции для подобных движений относительно стабильны в течение нескольких дней [104], кривая нервной настройки может начать изменяться, когда субъект учится выполнять новую задачу [105].Также очень сложно отслеживать один и тот же нейрон в течение длительного периода времени [106, 107] из-за микродвижения электродов и флуктуаций других источников шума. Кроме того, обучающие данные часто собираются в режиме разомкнутого цикла, что означает, что во время обучения декодер не обеспечивает обратной связи. Однако в реальном сеансе декодирования обеспечивается обратная связь, и субъект может попытаться изменить свой образ движения, чтобы «изучить» декодер. Это может привести к изменениям основных нейронных функций [108].Поэтому повторная калибровка обученной модели часто бывает необходима, и будет идеально, если ее можно будет выполнить онлайн. Успешным методом повторной калибровки является алгоритм ReFIT-KF, предложенный Гиля и др. [109]. ReFIT-KF предполагает, что истинное намерение объекта состоит в том, чтобы двигаться к цели, поэтому он может автоматически генерировать псевдопочвенную истину из декодированного результата, даже если прогноз текущей модели может быть неверным. Затем он может откалибровать модель, используя основную оценку, чтобы адаптироваться к нестабильности нейронных сигналов.Он может дать лучшие результаты, чем один фильтр Калмана [92,93,109].

Благодаря более надежным сигналам, полученным при интракортикальных записях, он был успешно использован, чтобы помочь пациенту с тетраплегией управлять окружающей средой различными способами, включая управление 2D-курсором [73,76,94], виртуальные и настоящие протезы рук [77,79 , 92,110,111] и функциональную электростимуляцию собственных парализованных рук пациентов [90,91,93].

Периферийное декодирование движений конечностей

Сигналы от центральной нервной системы (ЦНС) в конечном итоге поступают в периферическую нервную систему (ПНС) и вызывают сокращение различных мышечных волокон.По сравнению с ЦНС сигналы в периферических структурах обычно более специфичны. Они содержат подробные инструкции по сокращению отдельных мышечных волокон, поэтому потенциально могут позволить ловкий протезный контроль. Операции на периферическом интерфейсе обычно менее сложны, чем на интракортикальных структурах. Поэтому многие исследования также посвящены моторному декодированию в периферических структурах.

Записи периферических нервов

Периферические нервы содержат нейронные сигналы низкого уровня, посылаемые для активации сокращения определенных мышц.Предыдущие исследования периферической нейронной регистрации в основном сосредоточены на афферентной сенсорной информации, потому что у анестезированных животных нелегко получить эфферентные сигналы [112]. Однако в последние годы появилось больше исследований, в которых пытались изучить возможность декодирования сигналов эфферентных периферических нервов для управления протезом. Поскольку периферические нервы содержат информацию низкого уровня, нацеленную на каждую мышцу, можно будет восстановить высокую ловкость и естественный контроль, используя эту богатую информацию.

Одной из основных проблем при регистрации периферических нервов является доступ к аксонам в нервах. Аксоны спинномозговых нервов сгруппированы в пучки, а несколько пучков сгруппированы вместе, образуя периферический нерв. Эти аксоны заключены в три оболочки соединительной ткани — эпиневрий, покрывающий весь нерв, и периневрий, который охватывает пучок, и эндоневрий, который удерживает нейроны и кровеносные сосуды вместе внутри пучка. Из-за этих множественных слоев ламинации вокруг аксона амплитуда сигнала периферического нерва обычно очень мала, может составлять около 5-20 мкм В [112].

Существует несколько конфигураций электродов, предназначенных для получения лучшего сигнала от периферических нервов [113]. Электрод-манжета [114], как следует из названия, работает как манжета, оборачивающая нерв. Его главное преимущество заключается в том, что он вызывает минимальное повреждение нервных тканей, так как не требует разреза на самом нерве. Однако, поскольку он измеряет только электрический потенциал на поверхности нерва, он может только получить общую сумму нервной активности в различных пучках.Другой вариант манжетного электрода — это плоский интерфейсный нервный электрод (FINE) [115]. Он работает как зажим, оказывая давление на нерв и придавая ему овальную форму, тем самым увеличивая площадь его поверхности и уменьшая расстояние от электрода до пучков. Есть и другие типы электродов, которые вживляют в нервы. Они предлагают более высокую селективность благодаря прямому контакту с пучками. Однако они также более инвазивны и могут вызвать большее повреждение нерва.Продольные внутрипучковые электроды (LIFE) представляют собой длинные тонкие проволоки, продольно имплантированные в пучки нервов [116]. С другой стороны, поперечные внутрипучковые многоканальные электроды (TIME) имплантируются поперек нервов, обеспечивая одновременный доступ к нескольким пучкам. Также существует матрица наклонных электродов штата Юта [117], которая состоит из набора электродов разной длины, так что, когда матрица вставляется в нерв, кончик электрода может контактировать с различными пучками.В последнее время также развивается регенеративный периферический нейронный интерфейс (RPNI) [118], который использует мышечный трансплантат для обертывания концов отрезанных пучков. Нервные окончания врастают в трансплантат и иннервируют вместе с ним, создавая новый интерфейс для получения нейронного сигнала. Из различных типов представленных электродов только электрод-манжета в настоящее время используется в коммерческих одобренных FDA системах для стимуляции блуждающего нерва (например, VNS Therapy, Cyberonics, США). Большинство других все еще находятся в стадии исследования или клинических испытаний [119].

Исследования по декодированию периферических сигналов человеком все еще очень ограничены, отчасти из-за проблемы получения нервных сигналов с достаточным SNR, а также из-за перекрестных помех между нейронными сигналами и ЭМГ, поскольку периферические нервы обычно расположены в непосредственной близости от мускулатуры конечностей. Большинство существующих исследований сосредоточено на декодировании верхней конечности, поскольку ампутация верхней конечности имеет тенденцию оказывать большее влияние на повседневную жизнь пациентов. Нервная запись выполняется на локтевом, медиальном и / или лучевом нерве.Используются разные типы электродов, но наиболее распространенными в человеческом декодировании являются грифельный электрод штата Юта (например, в [120,121]) и LIFE (например, [122 — 124]).

Анализ периферических сигналов обычно включает обнаружение потенциалов действия в нерве. Процедуры обнаружения аналогичны тем, которые используются во внутрикортикальных исследованиях, но этап кластеризации спайков обычно не выполняется. Из-за низкого отношения сигнал / шум периферийных сигналов иногда необходимо сначала избавиться от шумов (например,грамм. с помощью вейвлета [124]) до обнаружения. Затем скорость активации потенциала действия может быть введена в регрессор (например, в [103,120 — 122]) или классификатор (например, в [123,124]) для декодирования. Разница в использовании регрессора или классификатора заключается в том, декодируется ли дискретный жест или непрерывная совместная траектория.

Машина опорных векторов (SVM) является наиболее часто используемым классификатором для периферийного декодирования (например, в [123,124]). Для регрессора использовалась простая линейная регрессия или фильтр Калмана ([103,120 — 122]).Фильтр Калмана позволяет рекурсивно обновлять модель в режиме реального времени и особенно полезен, когда измерение целевой переменной зашумлено (как это часто бывает в случае моторного декодирования, поскольку невозможно измерить фактическое движение отсутствует конечность).

Вопрос получения достоверной информации для обучения декодера также очень важен. В то время как для классификации типа дискретного захвата может быть достаточно попросить субъекта представить, что он держит конкретный захват, для декодирования положения необходимо использовать более точный подход.Одно из распространенных решений — показать теневую руку на экране и попросить испытуемого попытаться проследить за движением руки либо посредством манипулянда, контролируемого зеркальным движением неповрежденной руки [121], либо только посредством воображаемых фантомных движений конечностей. .

В настоящее время качество декодирования периферических нервов человека все еще не очень удовлетворительное, отчасти из-за сложности получения четкого сигнала и перекрестных помех ЭМГ. В классификации с дискретным хватом задача классификации 4 классов с 3 захватами (силовой захват, захват, сгибание мизинца) и отдыхом достигла точности 85% [124], но современная поверхностная электромиограмма (ЭМГ) уже может различать 7 жестов [125].Декодирование на основе регрессии обеспечивает пропорциональное управление протезом руки и, следовательно, может быть более интуитивным. Декодирование, основанное на фильтре Калмана, способно классифицировать 13 различных движений в автономном режиме, но только 2 движения могут быть успешно декодированы онлайн из-за перекрестных помех между различными степенями свободы (DoF) [121].

Периферические нервы представляют собой многообещающую цель для моторного декодирования. Он расположен ниже по пути моторного контроля и содержит более конкретную информацию о мышечной активности.Это свойство потенциально может быть использовано для обеспечения контроля высокой ловкости. Доступ к периферическим нервам также относительно проще, чем к интракортикальным структурам. Однако периферические записи страдают из-за их низкого отношения сигнал / шум из-за множественных уровней ламинирования вокруг аксона. Это может быть улучшено за счет лучшей конструкции электродов и нейронных усилителей со сверхмалым шумом, которые могут разрешать малую амплитуду нервных сигналов (например, [126]).

Электромиограмма (ЭМГ)

Сигналы ЭМГ представляют собой сумму электрических активностей мышечных волокон, которые запускаются последовательностью импульсов, т.е.е. импульсы активации иннервирующих мотонейронов. Сигналы ЭМГ можно измерить двумя способами: либо на поверхности кожи над мышцей (поверхностная ЭМГ), либо непосредственно внутри мышечного волокна с помощью игольчатого электрода (внутримышечная ЭМГ). Пример данных ЭМГ в различных жестах руки показан на (рис. 4).

Рис. 4

Примеры сигнала ЭМГ при различных жестах руки. Диаграмма, показывающая сигналы ЭМГ от 12 поверхностных электродов в 3 различных жестах руки. Исходные данные взяты из [217]. a ЭМГ-сигналы как от здоровых людей, так и от лиц с ампутированными конечностями. В последней строке показаны жесты рук, выполненные для соответствующих сегментов ЭМГ. b Расположение 12 электродов ЭМГ

Миоэлектрические сигналы десятилетиями использовались в качестве источника управления в протезах, в которых мышечные сигналы записываются и преобразуются в управляющие команды, вызывающие движения протеза. Считается, что внутримышечные ЭМГ-сигналы имеют более высокое разрешение и менее подвержены перекрестным помехам по сравнению с поверхностной ЭМГ из-за более инвазивного развертывания электродов и прямого воздействия на определенные мышцы.

Несмотря на десятилетия исследований и разработок, инвалиды все еще не используют современные миоэлектрические протезы чаще, чем обычные крючки с питанием от тела [127], и, по оценкам, 40% людей с ампутированными конечностями на самом деле отвергают с помощью протеза [128]. Одним из основных ограничений клинически доступных протезов руки является количество одновременно и пропорционально контролируемых степеней свободы (DoFs), которое редко превышает 2 [129,130] и сосредоточено в основном на DoFs запястья без руки [131], хотя функции движение рук более важно в повседневной жизни.

Миоэлектрический контроль можно разделить на прямой контроль и контроль распознавания образов. Прямой контроль относится к типу методов, которые используют амплитуду двух входных сигналов поверхностной ЭМГ от антагонистической пары мышц для управления двумя направлениями (ВКЛ и ВЫКЛ) на протезной глубине резкости. Из-за неадекватной остающейся мускулатуры, загрязнения перекрестных помех и ослабления сигналов глубоких мышц на уровне кожи количество независимых миозитов в остаточном предплечье обычно ограничивается двумя, что позволяет контролировать только одну глубину резкости за раз.В результате этого ограничения пациентам необходимо переключаться между режимами, используя быстрое совместное сокращение миозитов для последовательного управления несколькими степенями свободы. Управление распознаванием образов основано на алгоритмах машинного обучения для обучения отдельного классификатора для каждой степени свободы. Было предложено и оценено множество классификаторов, в том числе квадратичный дискриминантный анализ [132], машина опорных векторов [133], искусственная нейронная сеть [134], скрытые модели Маркова [135], модели смеси Гаусса [136] и другие. Однако, поскольку обучение вычислительных моделей включает в себя движение только 1-DoF, обученные классификаторы не поддерживают одновременное управление несколькими DoF.Более многообещающий подход, основанный на машинном обучении, — это принятие схемы управления на основе регрессии (вместо классификации), которая по своей сути способствует непрерывному управлению (в отличие от ВКЛ и ВЫКЛ), в которой линейное или нелинейное отображение характеристик сигнала ЭМГ на изменения протез DoFs изучен. Обычно используемые методы для этой цели включают искусственные нейронные сети [137], опорную векторную машину [138] и регрессию гребня ядра [131]. Основным недостатком управления на основе регрессии является потребность в большом количестве обучающих данных, которые включают исчерпывающую комбинацию движений всех степеней свободы протеза, что непрактично для клинической реализации.

Одной из фундаментальных проблем при управлении протезом на основе ЭМГ является нехватка независимых сигналов для управления степенями свободы протеза. ЭМГ-сигналы по своей природе сильно коррелированы и им не хватает разрешения и информационной емкости, необходимых для одновременного и пропорционального управления несколькими степенями свободы. Возможное решение этой проблемы — записывать двигательные команды непосредственно от периферических нервов, таких как локтевые и срединные нервы, которые напрямую иннервируют все пять пальцев. Однако это происходит за счет инвазивной хирургической имплантации электродов и рисков инфицирования тканей и повреждения нервов.

Были проведены работы по извлечению более инвариантной и независимой информации из сигналов ЭМГ без инвазивных записей. Одна из основных групп усилий сосредоточена на извлечении особенностей мышечной синергии из записей ЭМГ, то есть сложных паттернов мышечной активации, которые выполняются пользователями в качестве управляющих сигналов высокого уровня независимо от какого-либо неврологического происхождения [139]. Считается, что мышечная синергия способна описывать сложные модели силы и движения в уменьшенных размерах и может использоваться в качестве надежного представления для декодирования выходных данных в соответствии с намерениями пользователя.Неотрицательная матричная факторизация (NMF) [140] обычно используется для извлечения синергии мышц из многоканальных сигналов ЭМГ для одновременного и пропорционального управления множеством степеней свободы [137,141 — 143]. Другая группа работ посвящена непосредственному извлечению нейронных кодов активности двигательных нейронов, которые управляют движениями мышц по нервным путям. Обычно для этого требуются расширенные настройки записи, такие как ЭМГ высокой плотности с достаточным количеством близко расположенных участков записи.Был предложен ряд алгоритмов для извлечения основной нейронной информации [144,145]. Среди них компенсация ядра свертки (CKC) наиболее широко использовалась как тип многоканального метода разделения слепых источников [146 — 149]. Несмотря на обещание извлечения нейронного содержимого из сигналов ЭМГ высокой плотности, демонстрация использования такой схемы в онлайн-экспериментах остается сложной задачей. Требуются более глубокие исследования и значительные усилия для создания нейронного интерфейса и достижения прямого нейронного управления на основе этой структуры.

Расшифровка речевой двигательной активности

Хотя этот обзор в основном посвящен декодированию движений в конечностях, в последнее время появилось еще одно направление исследований по декодированию речевой двигательной активности [150, 151]. Производство речи — сложный процесс, в котором задействованы несколько областей мозга и десятки мышечных волокон. Мышечная деятельность должна быть хорошо скоординирована, чтобы воспроизводить различные звуки речи (то есть фонемы), которые соединяются вместе, образуя понятные слова и предложения.

Множественные области мозга связаны с языковым производством [152], но есть две основные области, которым при декодировании речи уделяется больше внимания. Предполагается, что левая вентральная премоторная кора представляет собой фонемы высокого уровня в речи [153,154], в то время как вентральная сенсомоторная кора содержит богатую репрезентацию различных речевых артикуляторов (например, губ, языка, гортани и т.д.) [155,156]. Поэтому большая часть усилий по декодированию сосредоточена на этих двух областях мозга.

Исторически для декодирования речи использовались различные нейронные сигналы.ЭЭГ неинвазивна, но ее низкое отношение сигнал / шум и загрязнение ЭМГ лицевыми мышцами очень затрудняют ее использование для декодирования речи [151]. Был достигнут некоторый успех в использовании многоэлектродной матрицы для декодирования явлений из многоэлементной активности [157]. Однако кортикальные представления речевых артикуляторов покрывают большую область, которая может не подходить для очень локализованной области записи многоэлектродной матрицы [156, 158]. Кроме того, декодирование речи часто требует, чтобы в качестве основной истины использовалась открытая речь, а это требует, чтобы испытуемые были способны говорить четко.Трудно оправдать установку проникающих электродов в здоровую красноречивую кору головного мозга для проведения экспериментов. В настоящее время ECoG достигает большего успеха в декодировании речи из-за высокого качества сигнала и менее инвазивной природы. Запись ЭКоГ также часто используется во время резекции головного мозга, чтобы избежать повреждения красноречивой коры, поэтому она хорошо интегрирована в существующие хирургические процедуры. Исследования с использованием ЭКоГ для декодирования речи в основном сосредоточены на высоком гамма-диапазоне (70–170 Гц), поскольку было показано, что высокая гамма-активность сильно коррелирует с частотой срабатывания ансамбля [159].

Ранее усилия по декодированию речи были сосредоточены на прямом декодировании простых слов или фонем [150 , 157 , 158 , 160 — 162], но их производительность не очень удовлетворительна. Декодирование из ограниченного словаря или набора фонем может дать более высокую точность (например,> 80% для 10 слов [160] или 9 фонем [157]), но оно может охватывать только очень узкий диапазон человеческих устных выражений. Исследования, пытающиеся расшифровать полный диапазон английских фонем, приводят к более низкой точности классификации (10-50% [150,155 , 162]).Низкая точность классификации может быть частично уменьшена путем включения словаря произношения и языковой модели (например, в [150]), которые могут ограничить вывод декодера более вероятными словами.

С другой стороны, в последнее время внимание переключилось на декодирование промежуточного представления речи (например, движения артикулятора), а не на прямое декодирование фонем. Частично этот сдвиг может быть мотивирован растущим количеством доказательств, предполагающих, что речевая моторная кора способна генерировать паттерны дифференциальной активации, кодирующие кинематику речевых артикуляторов [156,163 — 165].Достижения в области глубокого обучения сделали предсказание траекторий артикулятора на основе акустического сигнала (то есть акустико-артикуляционной инверсии) достаточно точным, чтобы действовать в качестве основы для декодирования, поскольку традиционные способы имплантации катушек или магнитов во рту с помощью артикулографии являются инвазивными и несовместимо с нейронными записями [166]. В одном недавнем исследовании [167] глубокая нейронная сеть используется для декодирования характеристик ЭКоГ в траектории артикулятора. Затем траектории декодируются другой нейронной сетью в акустические характеристики (например,грамм. высота тона, мелкочастотные кепстральные коэффициенты и т. д.), которые затем преобразуются в слышимый голос с помощью синтезатора голоса. Даже мимизированная речь может быть декодирована, хотя и с меньшей точностью. В другом исследовании [168] особенности ЭКоГ декодируются в спектрограммы в мел-масштабном масштабе непосредственно с помощью нейронной сети, затем вокодер нейронной сети используется для преобразования спектрограммы в звуковые сигналы. Эти недавние результаты показывают большие перспективы в декодировании человеческой речи по сигналам ЭКоГ. Сводка различных методов моторного декодирования приведена в таблице 1.

Таблица 1 Сравнение различных методов декодирования моторики

Проблемы и направления на будущее

Несмотря на то, что были достигнуты большие успехи в расшифровке моторного намерения человека, все еще остаются некоторые серьезные проблемы, которые предстоит решить. Одной из самых больших проблем, препятствующих внедрению моторного декодирования за пределами лаборатории, является ограниченная долговечность модели декодирования. Как правило, требуется некоторый сеанс калибровки для сбора данных для обучения модели декодирования, затем модель тестируется в последующих сеансах в тот же или следующие несколько дней.Хотя это приемлемо в научном исследовании из-за ограниченного времени и доступных клинических ресурсов, при повседневном использовании обученная модель должна поддерживать свою производительность в течение длительного периода времени.

Ограниченный срок службы может быть вызван несколькими причинами. Во-первых, нестабильность границ раздела электродов. Микроперемещение электродов может вызвать смещение пространства элементов. Если декодер недостаточно устойчив, этот сдвиг может привести к ухудшению производительности декодирования.Другая причина — различные шумы окружающей среды, которые вводятся в полученные сигналы. Нейронные сигналы, используемые для декодирования, обычно имеют очень маленькую амплитуду и поэтому чувствительны к помехам окружающей среды. Сотовый телефон, люминесцентная лампа или другие электроприборы вносят различные типы шума в полученный сигнал. Поскольку испытуемые выполняют различные задачи в повседневной жизни, они могут попадать под влияние различных источников шума, не охваченных обученным набором данных, что приводит к снижению производительности.Третья причина — медленное нарастание иммунного ответа на поверхности раздела электродов. Глиальные рубцы могут покрывать электрод и увеличивать его импеданс [174]. Нейродегенерация в результате иммунного ответа также приведет к более слабому сигналу [175]. Проблема долговечности модели многогранна и требует тщательного решения. Во-первых, лучшая конструкция электродов может помочь закрепить электрод на его анкерной конструкции и уменьшить их относительное перемещение. Имплантируемое решение также будет обеспечивать более стабильную работу, чем решение, требующее повторного демонтажа и повторной установки каждый раз (например,грамм. ЭЭГ и ЭМГ). Во-вторых, модель следует обучить более надежным функциям и протестировать в среде, типичной для ее повседневного использования. Экранированная камера может помочь получить очень чистые сигналы, которые подходят для демонстрации прототипа. Однако маловероятно, что такое же качество сигналов можно будет получить в повседневной среде. Таким образом, также важно учитывать, как тестируется декодер, а не просто смотреть автономные числовые показатели. В-третьих, усовершенствование электродных материалов или специальных органических покрытий потенциально может снизить иммунный ответ [176].Гибкий электрод вместо жесткого также может вызывать меньшее повреждение нейронов и воспаление [177, 178].

Вторая проблема заключается в том, как учесть разницу в характеристиках при обучении без обратной связи и при управлении с обратной связью. Набор обучающих данных обычно получается в режиме разомкнутого цикла, что означает, что испытуемым дается указание выполнять определенные двигательные образы без какой-либо обратной связи. Однако при фактическом использовании система будет обеспечивать обратную связь с субъектом на основе выходных данных декодера.Когда выходной сигнал декодера неправильный, субъект может попытаться исправить это намеренно, и это может привести к несоответствию в работе офлайн и онлайн [179]. Одним из решений является введение небольшого сеанса калибровки с обратной связью в начале сеанса тестирования, как во многих исследованиях моторного декодирования на основе ЭЭГ. Исходная модель обучается с использованием парадигмы разомкнутого цикла, затем модель дополнительно настраивается с обратной связью в сеансе калибровки. Однако это возможно только в том случае, если доступна неопровержимая истина.В случае, когда достоверная информация недоступна, например В случае пациента с тетраплегией, когда очень трудно узнать истинное намерение субъекта, алгоритм ReFIT является другим подходом к решению этой проблемы [109]. Основная идея алгоритма ReFIT состоит в том, что он пытается построить псевдопочвенную истину, предполагая, что субъект постоянно пытается исправить неправильный вывод декодера. Таким образом, предполагается, что направленный вектор двигательного намерения всегда указывает на цель из текущей позиции курсора.Используя этот метод, можно обучить декодер с нуля всего за 3 минуты данных [94]. Онлайн-калибровка с обратной связью может предложить более реалистичное предсказание того, как декодер может работать в реальной жизни. Этот подход также может позволить декодеру быстро адаптироваться к любому сдвигу в пространстве признаков из-за изменения интерфейса электродов или шумов окружающей среды. Однако онлайн-калибровка требует быстрого обновления модели, что накладывает ограничение на сложность модели декодирования.Необходимы дополнительные исследования, чтобы изучить, как эффективно обновлять декодер в реальном времени.

Помимо усовершенствования алгоритмов декодирования, разработка новых электродов и нейронных усилителей также играет очень важную роль в продвижении декодирования двигателей. Последние тенденции в разработке электродов в основном сосредоточены на улучшении четырех областей конструкции электродов: плотности, гибкости, биосовместимости и возможности подключения. Более плотный электрод может улучшить пространственное разрешение нейронных записей. Электрод высокой плотности был создан из кремниевой пластины и моноволокна из углеродного волокна [180, 181].Материал электрода с гибкостью, близкой к гибкости тканей мозга, может уменьшить нервное повреждение и воспалительную реакцию. Многие гибкие полимеры использовались для изготовления нервных электродов, в том числе полиимид [182,183], парилен [184], PDMS [185] и т. Д. Биосовместимость всегда является важной проблемой при разработке электродов, поскольку воспалительная реакция и инкапсуляция ухудшают качество сигнала с течением времени и подрывают качество хронических нейронных записей. Стратегии улучшения биосовместимости, включая использование инертных металлов, таких как золото или платина, использование гибких материалов для уменьшения повреждения тканей или покрытие электрода биосовместимыми материалами, такими как проводящий полимер [186] и углеродные нанотрубки [187].Соединение для считывания с электродов также быстро станет проблемой, когда плотность и количество электродов будут продолжать расти. Включение транзисторов в электроды напрямую для обеспечения мультиплексирования соединений — один из способов решения этой проблемы [188,189]. Читателям, интересующимся дизайном нейронных электродов, рекомендуется ознакомиться с другими более подробными обзорами в этой области [119, 172, 176, 177, 190].

Разработка нейронных усилителей также играет очень важную роль в развитии науки о моторном декодировании, поскольку нам сначала нужно получить четкий нейронный сигнал, прежде чем можно будет выполнить какую-либо обработку и декодирование.Существует несколько направлений исследований, направленных на улучшение различных аспектов конструкции усилителя. Во-первых, энергопотребление усилителя может быть уменьшено за счет разделения ресурсов (например, один усилитель с несколькими электродами [191] или несколько усилителей с одним аналого-цифровым преобразователем [192]), планирования мощности (например, отключение неиспользуемых компонентов [193] ], динамически регулируя параметры усилителя [194]), или снижая напряжение питания [195]. Во-вторых, количество каналов может быть увеличено путем мультиплексирования или интеграции усилителей непосредственно с электродами [191, 196].В-третьих, шум схемы может быть уменьшен за счет подстройки [197], прерывания [198,199], автоматического обнуления [200] или формирования частоты [201] и т. Д. В-четвертых, беспроводная передача энергии или данных может быть достигнута с помощью индуктивной связи [193,202,203], сбор энергии на короткие расстояния [193,204] или даже ультразвук [205]. Наконец, функциональность усилителя также может быть расширена за счет интеграции большего количества процессоров сигналов на кристалле, например обнаружение всплесков [203], сортировка всплесков [206, 207] и сжатие данных [208, 209]. Заинтересованным читателям предлагается ознакомиться с другими более специализированными обзорами в этой области [210 — 213].

Темы и тенденции в области искусственного интеллекта при исследованиях человеческого мозга

Образец цитирования: Chen X, Chen J, Cheng G, Gong T (2020) Темы и тенденции в области искусственного интеллекта при содействии исследованиям человеческого мозга. PLoS ONE 15 (4): e0231192. https://doi.org/10.1371/journal.pone.0231192

Редактор: Чжаоцин Пан, Нанкинский университет информационных наук и технологий, КИТАЙ

Поступило: 11 февраля 2020 г .; Одобрена: 18 марта 2020 г .; Опубликовано: 6 апреля 2020 г.

Авторские права: © 2020 Chen et al.Это статья в открытом доступе, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника.

Доступность данных: Все соответствующие данные находятся в документе и его файлах с вспомогательной информацией.

Финансирование: Это исследование было поддержано Единовременным специальным фондом Центрального и факультетского фонда в поддержку исследований с 2019/20 по 2021/22 (MIT02 / 19-20) Университета образования Гонконга, Национального Фонд естественных наук Китая (гранты №31800908 и 31970981) и Фонд естественных наук провинции Гуандун (грант № 2018A0303130235). Финансирующие организации не играли никакой роли в дизайне исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи.

Конкурирующие интересы: Авторы заявили, что конкурирующих интересов не существует.

Введение

Исследование человеческого мозга направлено на достижение полного понимания структур и функций человеческого мозга. Искусственный интеллект (ИИ) революционизирует современные исследования человеческого мозга благодаря огромному арсеналу технологий и накопленных открытий, одновременно решая проблемы человеческого мозга.В то время математик Алан Тьюринг поднял вопрос: «Могут ли машины думать?» [1] единственными признанными системами для проведения сложных вычислений были биологические нервные системы. Поэтому ученые, занимающиеся искусственным интеллектом, обычно использовали мозговые цепи в качестве источников руководства [2]. Разнообразные области исследований человеческого мозга предоставляют широкие возможности для проверки существующих методов искусственного интеллекта и разработки новых [3], тем самым обогащая репертуар искусственного интеллекта и повышая его эффективность в исследованиях человеческого мозга. Использование технологий искусственного интеллекта в исследованиях человеческого мозга продвинуло вперед исследования как искусственного интеллекта, так и человеческого мозга, и, таким образом, сделало исследования человеческого мозга с помощью искусственного интеллекта быстрорастущей междисциплинарной областью.

Было проведено несколько обзоров, основанных на метаанализе, по искусственному интеллекту, вдохновленному нейробиологией, и его соответствующим темам, как это кратко изложено в Таблице 1 . В семидесятые и восьмидесятые годы Арбиб [4] синтезировал исследования ИИ и теории мозга и предложил общие принципы для обеих областей. Ульман [5] подвел итог исследованиям ИИ функций мозга, связанных с зрительным восприятием. Недавно Ли и его коллеги [6] рассказали о технических принципах, клиническом применении и будущих перспективах технологий искусственного интеллекта в визуализации инсульта.Хассабис и его коллеги [3] пересмотрели исторические взаимодействия между ИИ и нейробиологией, сделав акцент на общих темах, потенциально способствующих развитию обеих областей ИИ. Большинство существующих соответствующих обзоров было проведено с использованием систематических методов. Эти основанные на содержании обзоры имеют два основных ограничения. Во-первых, эффективность использования ручных усилий при контент-анализе ограничивается растущим объемом публикаций, который становится более явным из-за распространения «больших данных».Во-вторых, разработка исследовательских протоколов для проведения анализа кодирования зависит от предопределения концептуальных категорий. Однако такие категории обычно неочевидны и могут периодически меняться. В-третьих, количество рецензируемых статей было относительно ограниченным (от 19 до 350). Кроме того, существующие обзоры сосредоточены на узких и конкретных темах, например, подходах к глубокому обучению для визуализации глиомы [7], машинному обучению при остром ишемическом инсульте [8] и ИИ при визуализации инсульта [6], не давая общего обзора. сообщества исследователей человеческого мозга с использованием искусственного интеллекта.Кроме того, эти качественные обзоры по конкретным темам или библиометрический анализ, основанный в основном на метаданных научных публикаций (например, год публикации или индекс цитирования), не могут вместить широкие и быстрорастущие области исследований и приложений современных исследований человеческого мозга с помощью ИИ.

Это исследование основано на исследовании Chen et al. (2019) [15], в котором основное внимание уделялось анализу распределения ежегодного количества статей и цитирований, распределения предметов исследования, продуктивных журналов и учреждений, научного сотрудничества, а также часто используемых ключевых слов.Хотя они используют тот же набор данных, что и это исследование, фокусы исследования и используемые методы исследования совершенно разные. В частности, это исследование сосредоточено на выявлении исследовательских тем, охватываемых статьями об исследованиях человеческого мозга с помощью ИИ, в частности, с использованием инновационного метода интеллектуального анализа текста, а именно структурного тематического моделирования (STM). Ввиду растущего разнообразия исследовательских тем и технологий в этой области существует необходимость в количественных исследованиях, которые помогут лучше понять следующие вопросы:

1. Каковы основные темы исследований в этой междисциплинарной области ?
2. Как эти темы исследований развиваются с течением времени ?
3. Каково распределение этих тем по различным типам исследовательских единиц ?

Ответы на эти вопросы могут дать исчерпывающее описание и современное понимание исследований человеческого мозга с помощью искусственного интеллекта, а также полезные предложения для его будущего развития.

Чтобы решить эти проблемы, это исследование объединило STM с библиометрическим анализом для проведения количественного исследования научных публикаций исследований человеческого мозга с помощью ИИ за последнее десятилетие. Сначала мы создали набор данных для анализа, извлекая исследовательские работы из баз данных Science Citation Index Extended (SCIE) и Social Science Citation Index (SSCI), предоставленных ISI Web of Science, с использованием модифицированных запросов, разработанных экспертами (см. методы построения этих запросов, а также таблицы S1 и S2 для полных списков ключевых слов в исследованиях искусственного интеллекта и человеческого мозга, используемых для поиска данных).После фильтрации данных в соответствии с разработанными критериями (см. , таблица 2, ), мы применили STM для выявления важных тем из оставшихся статей в наборе данных и тест тенденции Манна-Кендалла (MK), чтобы зафиксировать временные сдвиги в распространенности тематики по сравнению с последнее десятилетие. Кроме того, мы провели корреляционный и кластерный анализ, чтобы визуализировать отношения между выявленными темами. Кроме того, мы сравнили тематические распределения среди 20 наиболее влиятельных стран / регионов и институтов, чтобы выявить вклад различных исследовательских подразделений.Основываясь на сетях сотрудничества этих стран / регионов и типичных показателях центральности, мы обсудили важность и модели сотрудничества разных стран / регионов. Эти результаты могут привести к информативным выводам, которые помогут исследователям и исследователям проектов в этой области.

Хотя результаты данной статьи ограничиваются исследованием человеческого мозга с помощью ИИ, комбинаторный подход и предлагаемая аналитическая структура не зависят от предметной области и имеют несколько значений.С одной стороны, сочетание СТМ с библиометрическим анализом дает много преимуществ. Например, он позволяет адаптировать библиометрический анализ к крупномасштабным текстовым данным, выходящим за рамки научных публикаций. Кроме того, он может отражать практические вопросы на протяжении всего жизненного цикла разработки исследований, поскольку данные получены с использованием научных методов [16]. Интеграция передовых подходов к интеллектуальному анализу текста с проверенным временем библиометрическим подходом формирует надежную эмпирическую основу, которая помещает мелкозернистые дискурсивные результаты в большие источники текстовых данных.

С другой стороны, систематический анализ тенденций развития, корреляций и кластеров важных тем, а также взаимодействия между этими темами может дать точный ответ на более простые вопросы, например, что происходит в области исследования и что произойдет в будущем. , помогая тем самым формировать приоритеты исследований. Знание того, как постепенно возникают приоритеты исследований, важно, когда дело доходит до понимания роли, которую наука играет в обществе. Кроме того, выявление существенных тем, их пропорций и тенденций, а также новых областей исследований вокруг этих тем, особенно путем длительного и устойчивого мониторинга, может эффективно охватить суть области исследований, отслеживать ее текущее и будущее развитие и решать проблемы. о (пере) распределении ресурсов между различными дисциплинами и областями исследований.Они поддерживают и приносят пользу научным исследованиям, управлению технологиями и инновациями и предпринимательству в целом.

Материал и методы

Библиометрическая аналитическая структура на основе STM, предложенная в этом исследовании, показана на Рис. 1 . Он состоит из подготовки и предварительной обработки данных, а также актуальных интерпретаций, популярности, динамики, корреляций, кластеров и распределений по странам или институтам.

Подготовка данных

Данные для анализа были получены из баз данных SCIE и SSCI на Web of Science (www.webofknowledge.com). Как строго отобранные академические базы данных, SCIE и SSCI являются хорошо известными инструментами индексации академической литературы с документами, опубликованными в рецензируемых и высококачественных журналах [17], и широко используются в библиометрических или наукометрических исследованиях.

Важнейшей процедурой при извлечении данных было составление запросов по ключевым словам для исследования искусственного интеллекта и человеческого мозга, соответственно, а затем использование таких запросов для извлечения литературы из баз данных библиографии. Задача заключалась в том, чтобы максимально идентифицировать исследования, касающиеся искусственного интеллекта и человеческого мозга.Например, в статьях, посвященных ИИ, могут не упоминаться такие термины, как «искусственный интеллект», поэтому запрос на получение всех статей по исследованиям ИИ должен содержать термины, относящиеся к конкретной области, такие как «машинный интеллект».

В соответствии с [18], мы предприняли следующие шаги для получения запросов по ключевым словам. Что касается запроса по ключевым словам для ИИ, эксперты в предметной области сначала предоставили список исходных ключевых слов, касающихся ИИ. Некоторыми примерами таких ключевых слов были «машинное обучение», «обработка естественного языка» или «распознавание изображений».Затем мы использовали этот запрос исходных ключевых слов для получения статей, содержащих такие ключевые слова в заголовках, рефератах или ключевых словах, определенных автором. После этого мы собрали все ключевые слова, определенные автором, из наиболее цитируемых статей (согласно Essential Science Indicators, которые на январь / февраль 2019 года были процитированы достаточно, чтобы быть помещенными в один процент лучших в их академических областях). Собранные ключевые слова снова были представлены экспертам в предметной области, которые могли исключить некоторые не относящиеся к делу слова.Затем оставшиеся релевантные ключевые слова были добавлены, чтобы сформировать окончательный запрос ключевых слов для ИИ.

Аналогичным образом был получен запрос по ключевым словам для исследования человеческого мозга. Здесь были рассмотрены два вида ключевых слов, связанных с исследованиями человеческого мозга. К первому типу относятся ключевые слова, определенно связанные с исследованиями человеческого мозга, такие как «мозговой нетом», «картирование мозга», «электроэнцефалограмма» и «функциональная магнитно-резонансная томография». Ко второму типу относятся ключевые слова, которые могут сочетаться с некоторыми квалификаторами «мозг» (например,g., «функциональная магнитно-резонансная томография» или «мозг»), например «эмоция» и «память».

Используя последние запросы по ключевым словам, 27 марта 2019 г. мы обратились к базам данных SCI и SSCI, чтобы собрать целевые статьи. Было три критерия поиска:

1. Статьи должны быть написаны на английском языке и опубликованы в течение 2009–2018 гг .;
2. Тип статей должен быть «статьи», поскольку они обычно предоставляют более оригинальные результаты исследований и содержат явную информацию об авторах и их институтах [19];
3. Термины в названии, аннотации или ключевых словах каждого доклада должны соответствовать по крайней мере одному из ключевых слов в окончательных запросах.

На основании этих критериев мы получили 30 316 статей с полной библиографической информацией о ежегодных цитированиях. Ключевые элементы каждой статьи, такие как название и адрес (а) автора (ов), были извлечены с помощью собственной программы на Python. Дублированные данные были удалены в соответствии с информацией о названии, журнале, году публикации и авторе.

Фильтрация данных была проведена, чтобы гарантировать не только точное соответствие данных цели исследования, но также эффективность и надежность анализа.Учитывая, что в аннотации статьи обычно указывается ее объект исследования, ключевые проблемы и результаты, следуя [20], мы включили аннотации собранных статей в качестве первичных материалов для интеллектуального анализа текста. Таким образом, работы без рефератов (обычно главы книг или короткие отчеты) были исключены. Затем эксперты предметной области отдельно выполнили фильтрацию [21] на основе критериев, представленных в Таблица 2 . Например, с точки зрения искусственного интеллекта, один эксперт в предметной области рассмотрел все документы в соответствии с критериями.Другой эксперт в предметной области выполнил процесс обзора на основе тех же критериев, но только для 1000 случайно выбранных статей из всего полученного набора данных. Степень согласованности между двумя экспертами составила около 95%, что указывает на надежность и приемлемость результатов фильтрации. Аналогичный процесс был применен к обзору работ по человеческому мозгу двумя другими экспертами в соответствующей области (уровень согласованности был выше 90%).

Всего было отобрано 6317 статей, чтобы сформировать окончательный набор данных для анализа.Библиографическая информация каждой статьи была подтверждена и записана в соответствии с оригинальными статьями. Имена авторов, институтов и стран / регионов были дополнительно извлечены из адресной информации, подтверждены и проверены вручную для обеспечения согласованности выражений. Бумаги из Гонконга, Макао и Тайваня рассчитывались отдельно, а документы из Англии, Шотландии, Северной Ирландии и Уэльса были объединены, как и из Великобритании.

Структурное тематическое моделирование

Тематические модели — это методы интеллектуального анализа текста для извлечения скрытых тематических структур в крупномасштабных документах [22].Различные типы тематических моделей были предложены и приняты в различных областях (например, [23–26]). Структурное тематическое моделирование (STM) [27, 28] — это недавно разработанная тематическая модель для оценки существенных текстовых данных и извлечения семантической информации с использованием статистических алгоритмов. В этом исследовании мы использовали СТМ, чтобы раскрыть скрытые темы в статьях об исследованиях человеческого мозга с помощью ИИ. В STM каждая статья рассматривается как смесь нескольких взаимосвязанных тем, каждая из которых имеет характерные термины и свое собственное предварительное распределение.Оценка скрытых тем проводится таким образом, что каждая статья рассматривается как смесь коррелированных тем, и между тем включает внешние ковариаты на уровне статьи в предварительные распределения тем статьи или тематических слов [29].

Процесс моделирования проводился с использованием пакета R stm [27]. Чтобы гарантировать высокую эффективность анализа, была необходима предварительная обработка единиц анализа, то есть заголовка, аннотации, ключевых слов, определенных автором, а также данных KeyWords Plus (индексные термины, автоматически генерируемые из названий цитируемых статей, предоставленные Web of Science). перед лепкой.Сначала все собранные термины были переведены в нижний регистр. Во-вторых, числа, знаки препинания и общие термины остановки, такие как «an», «a» и «in», а также термины с широким значением, такие как «бумага», «метод» и «анализировать», были удалены, поскольку они появляются почти в каждой газете. В-третьих, как указано в [30], важность разных частей статьи различается, равно как и термины из этих частей. Соответственно, мы присвоили веса терминам из ключевых слов, заголовков и аннотаций как 0,4, 0,4 и 0,2 по отдельности.

Поскольку STM является неконтролируемым методом, необходимо решить, сколько тем оценивается. Мы следовали процессу принятия решений, предложенному в [31], который требует значительной качественной проницательности со стороны экспертов в предметной области, имеющих глубокое понимание набора данных. В этом исследовании мы подобрали модели кандидатов по 10, 20, 25, 30, 35 и 50 темам. Эксперты предметной области рекурсивно оценивали интерпретируемость и относительную эффективность каждой модели в соответствии со своим опытом, а также существенным знанием рассматриваемой проблемы.Таким образом, мы выбрали модель из 30 тем, имеющую наивысшую внешнюю валидность и наиболее семантически согласованный вывод отдельных тем, не препятствуя интерпретируемости тем.

Тест тренда Манна-Кендалла

После моделирования мы посчитали долю каждой темы как представление об их популярности в области исследования, как в уравнении (1), где P _k обозначает долю k _th тема, θ _{d , k} была доля темы k _th в d _th paper и D была 6317.

(1)

Затем мы подсчитали долю темы k _th в году t , используя уравнение (2) для анализа временных тенденций. Здесь py _d представляет год публикации статьи d _th , а D _t — количество статей в году t .

(2)

Мы использовали непараметрический тест Манна-Кендалла [32], чтобы изучить годовые тенденции по выявленным 30 темам.

Библиометрия и указатели

В связи с быстрым развитием компьютеров, библиометрическому анализу в последнее время уделяется все больше внимания, и он все чаще становится важным инструментом использования объективных критериев для измерения академического качества и продуктивности в конкретной области исследований [33]. Это не только увеличивает ретроспективы исторических исследований, но также помогает объективно исследовать горячие точки и границы исследований в конкретных дисциплинах как с макро, так и с микро точек зрения, тем самым служа полезным дополнением к взглядам специалистов в данной области [34].Библиометрический анализ использовался в различных дисциплинах для описания моделей распределения литературы по определенной области [35–43].

Анализ эффективности — один из основных методов библиометрии. Благодаря простоте вычислений и способности уравновешивать количество и качество, h -индекс и его варианты сыграли важную роль в академических кругах [44]. Индекс h объединяет количество статей и их влияние, что упрощает характеристику научных результатов исследователя [45].Он был расширен для измерения научного воздействия страны / региона, института и журнала.

Помимо h -индекса, мы также рассмотрели два других популярных библиометрических индекса, а именно, количество статей и цитирований, которые измеряют соответственно продуктивность и влияние. Общее количество статей стран / регионов, институтов, а также журналов посвящено различным типам научных субъектов. Количество цитирований исследовательской работы отражает ее научное сообщество [46].Подсчет цитирования также использовался для оценки научного воздействия стран / регионов, институтов и журналов.

Результаты

Обозначение темы

Набор данных для анализа состоит из 6317 статей об исследованиях человеческого мозга с помощью искусственного интеллекта, которые содержат 532 373 отдельных слова (5 418 800 символов). Среди этих слов наиболее частыми являются: «ЭЭГ» («Электроэнцефалограммы») (встречается в 1934 статьях), «изображение» (1768), «обнаружение» (1141), «сегментация» (981), «фМРТ» ( «функциональная магнитно-резонансная томография») (952), «интерфейс» (909) и «возможность подключения» (898).Мы также приняли стратегию триангуляции для проверки выбора и меток модели из 30 тем, используя три других метода моделирования тем, то есть латентное распределение Дирихле (LDA) с использованием максимизации вариационного ожидания (VEM) и выборки Гиббса, а также скрытой семантики анализ (LSA). Для всех четырех методов модель из 30 тем была признана лучшей, обеспечивая выбор модели STM с 30 темами. Кроме того, интерпретация 30 тем для четырех моделей была аналогичной, что обеспечивало маркировку модели. Таблица 3 показывает примеры результатов тематического моделирования для четырех моделей. Например, в отношении Brain Image Processing в четырех моделях появилось несколько терминов, таких как «MR», «MRI», «image» и «segmentation». Что касается Интерфейс мозг-компьютер , все четыре модели содержали такие термины, как «интерфейс», «BCI», «мозг-компьютер» и «компьютер». Для Болезнь головного мозга соответствующие термины, такие как «AD», «MCI», «легкая», «нарушение» и «ASD», обычно встречались в четырех моделях.Для Tumor все четыре модели содержали такие термины, как «глиома», «глиобластома», «степень», «опухоль» и «мозг». Для Психическое расстройство в четырех моделях появилось несколько терминов, таких как «РАС», «СДВГ», «расстройство», «аутизм», «депрессия» и «аутизм».

Таблица 4 показывает результаты STM по 30 темам, которые включают доли во всем наборе данных и тенденции развития 30 тем, а также наиболее различающие термины, то есть частые и эксклюзивные термины с высокой частотой исключительности. (FREX) значение [47] для каждой темы Эти важные темы разделены на три пропорциональных интервала (> = 4%, 3% -4% и <3%), которые в основном представляют собой квартили и медианные значения (округленные в меньшую сторону). до ближайших целых чисел и объединение двух нижних четвертей).

Таблица 4. Результаты 30-STM с различающими терминами, тематическими пропорциями во всем наборе данных, предлагаемыми названиями тем и актуальными тенденциями развития.

Строки, отмеченные темно-серым цветом, — это темы, доля которых превышает 4%, светло-серые строки — это темы с долей от 3% до 4%, а строки, отмеченные белым, — это темы с долей менее 3%.

https://doi.org/10.1371/journal.pone.0231192.t004

Из 30 важных тем 25 относятся к конкретным темам, связанным с исследованиями человеческого мозга, а именно: Развитие мозга , Фонологическое познание , Нервная система , Структура мозга , Семантическое познание , Обработка изображений мозга , Принятие решений , Эпилепсия , Анализ сигналов ЭЭГ , Молекула , Интерфейс мозг-компьютер () Motor & Robot , Brain Disease , Functional Connectivity ( FC ), Tumor , Brain Imaging , Vision , Emotion , Infant & Child & Вирус и патология , Attention & Vision , Gene , Психическое расстройство , Усталое вождение и Спектроскопия в ближнем инфракрасном диапазоне .Эти темы составляют 81,13% от всего набора данных. Еще четыре темы, а именно: Компьютерная диагностика , Классификационные алгоритмы , Статистическое моделирование и Оптимизационные алгоритмы , касаются общих технологий, алгоритмов или методов. На их долю приходится 18,87% от всего набора данных. Оставшаяся тема, Сеть , связана с методами или структурой мозга. Это составляет 4,16% от всего набора данных.

Пять основных тем с наибольшей долей в наборе данных: Алгоритмы классификации , Анализ сигналов ЭЭГ , Обработка изображений мозга , Интерфейсы мозг-компьютер и Болезнь мозга .Тенденции их развития, корреляции и распределения между странами / регионами и научно-исследовательскими институтами исследуются в следующих разделах.

Актуальные тенденции

Таблица 4 также показывает результаты теста MK по 30 темам. Семь тем, а именно алгоритмов классификации , компьютерной диагностики , анализа сигналов ЭЭГ , Network , Emotion , Mental Disorder и Fatigue Driving , демонстрируют статистически значимые тенденции к увеличению.Еще семь тем, а именно Semantic Cognition , Decision-Making , Molecule , Vision , Virus & Pathology , Attention & Vision и Gene , демонстрируют статистически значимые тенденции к снижению. Остальные 16 тем не имеют статистически значимых тенденций.

Рис. 2 визуализирует эти тенденции, показывая различную распространенность каждой из 30 тем за последнее десятилетие во всем наборе данных.На каждом из 30 графиков черная линия — это фактическое распределение темы, с черными точками, обозначающими годовые пропорции темы в наборе данных, а синяя линия — это кубическая (или Эрмита) сплайн-интерполяция годовых пропорций темы, в которой использованный сплайн взят от Форсайта, Малькольма и Молера [48]. Значение p на каждой панели получено из теста тренда Манна-Кендалла.

Актуальные корреляции

На рис. 3 показаны тематические корреляции на основе полупараметрической гауссовской процедуры, реализованной с использованием пакета R huge [49].На рисунке каждая тема представлена ​​кружком, размер которого пропорционален доле темы во всем наборе данных. Темы, соединенные пунктирной линией, указывают на то, что они с большей вероятностью обсуждаются в рамках статьи, то есть эти две темы положительно (> 0) коррелированы. Корреляция рассчитывается с использованием непаранормального преобразования пропорций темы с принятием полупараметрических гауссовых связок. Более короткая связь между двумя темами означает более высокую корреляцию между ними.Темы с отрицательной (≤0) корреляцией не связаны. Цветные эллипсы добавлены, чтобы указать читателям на шесть возникающих и отчетливых кластеров (отмеченных от G1 до G6).

В кластере G1 три темы: Gene , Virus & Pathology и Molecule . G2 включает восемь тем, в основном связанных с мозгом, таких как Опухоль головного мозга , Структура мозга , Визуализация мозга , Обработка изображений мозга , Развитие мозга и Болезнь мозга .G3 фокусируется на методах или алгоритмах, включая алгоритмов классификации , статистического моделирования , алгоритмов оптимизации и сети . G4 относится к темам, связанным с познанием, таким как Phonological Cognition , Semantic Cognition , Attention & Vision , Vision и Emotion . G5 включает Интерфейс мозг-компьютер , Fatigue Driving и Near-Infrared Spectroscopy .Кластер G6 в верхней части рисунка состоит из двух тем: Анализ сигналов ЭЭГ и Эпилепсия . Эти обширные кластеры обеспечивают всесторонний профиль акцентов в исследованиях человеческого мозга с помощью искусственного интеллекта с 2009 по 2018 год.

Распределение тем по ведущим странам / регионам и институтам, а также распределение тем по годам

Влиятельные страны / регионы и исследовательские институты в исследованиях человеческого мозга с помощью искусственного интеллекта были определены с точки зрения количества соответствующих статей, цитирования этих статей и актуальных преимуществ. Рис. 4 иллюстрирует тематическое распределение среди исследовательских единиц, ранжированных по индексу х на основе их тематических показателей соотношения. Основываясь на метрике актуальной пропорции изобилующих стран / регионов (или институтов) в формате json, мы использовали графический инструмент Cluster Purity Visualizer, чтобы получить базовый график распределения. Все распределения демонстрируют большое разнообразие. S1 Рис. и S4 Таблица содержит подробные данные о количестве публикаций и цитирований этих стран / регионов и институтов.

Что касается стран / регионов (см. Верхнюю панель Рис. 4 ), Китай, Испания и Южная Корея более продуктивны в алгоритмах классификации , а Франция особенно продуктивна в Обработка изображений мозга . Кроме того, стоит отметить энтузиазм исследований Brain Disease со стороны Италии и Brain-Computer-Interface со стороны Южной Кореи, поскольку доли (9,96% и 9,27% соответственно) этих тем в эти страны являются самыми высокими среди всех перечисленных стран / регионов.

Что касается институтов (см. Нижнюю панель рис. 4 ), Королевский колледж Лондона, Колумбийский университет, Индийские технологические институты и Университет Северной Каролины в Чапел-Хилл более продуктивны в Психическое расстройство , Компьютерная диагностика. , Анализ сигналов ЭЭГ и Обработка изображений мозга соответственно. Амстердамский университет Фрие и Университет Северной Каролины в Чапел-Хилл более продуктивны в исследовании Brain Disease .

Рис. 5 визуализирует ежегодное распределение пропорций тем в публикациях, посвященных человеческому мозгу с использованием искусственного интеллекта. В целом в период 2009–2018 гг. Сообщество уделяло сбалансированное внимание большинству тем исследований. Результаты четко отображают доминирующие темы за каждый год. Например, алгоритмов обработки изображений мозга и были наиболее обсуждаемыми темами на протяжении большей части лет, особенно в предыдущие несколько лет для обработки изображений мозга и в последние несколько лет для алгоритмов классификации .Некоторые темы уменьшились в исследованиях. Например, Attention & Vision привлекло больше внимания в 2009 и 2010 годах по сравнению с последующими годами. Видение было больше изучено в период 2009–2012 гг. По сравнению с последующими годами. Принятие решений в основном изучалась в период 2009–2014 гг. Некоторые темы расширились в исследованиях. Например, Психическое расстройство привлекло больше внимания авторов в последние годы, особенно в период 2013–2018 годов, по сравнению с предыдущими несколькими годами. Сеть была больше сфокусирована в период 2015–2018 годов по сравнению с предыдущими несколькими годами.

Тематические различия в финансировании и международном сотрудничестве

Мы сравнили академические проблемы исследования человеческого мозга с помощью ИИ на основе подмножеств, связанных с финансированием и международным сотрудничеством, как показано на рис. , рис. 6, . Значения на рисунке были рассчитаны с использованием линейной регрессии, где доля каждой темы в статье использовалась в качестве зависимой переменной, в то время как объясняющая переменная была бинарной, указывая, была ли статья финансирована и международное сотрудничество.Влияние финансирования на пропорции тем показано в Рис. 6 (A) , где темы слева обсуждаются больше в финансируемых документах. Двенадцать тем, а именно: Развитие мозга , Структура мозга , Семантическое познание , Принятие решений , Статистическое моделирование , Моторы и роботы , Болезни мозга , Functional Connectivity Vision , Functional Connectivity Vision , Attention & Vision , Gene и Mental Disorder значительно проявились ( p <0.05) больше в финансируемых статьях, в то время как пять тем, а именно алгоритмов классификации , обработки изображений мозга , алгоритмов оптимизации , компьютерной диагностики и анализа сигналов ЭЭГ , значительно чаще появляются в нефинансируемых исследованиях. Что касается 13 других тем, то существенных различий между финансируемыми и нефинансируемыми не наблюдается. Аналогичным образом, различия в распространенности тем между статьями с международным сотрудничеством и без него показаны в Рис. 6 (B) .Международное сотрудничество имеет более нейтральный эффект. Только две темы, Brain Disease и Mental Disorder , чаще встречаются в статьях с международным сотрудничеством, в то время как Brain-Computer-Interface , Brain Tumor и Infant , Fatal & Child больше. часто обсуждается в статьях без международного сотрудничества.

Рис. 6. Влияние финансирования и международного сотрудничества на пропорции темы.

Различия между статьями с финансированием и без (а), а также между статьями с международным сотрудничеством и без (б).

https://doi.org/10.1371/journal.pone.0231192.g006

Обсуждения

Наиболее репрезентативное исследование по каждой теме

Здесь мы предлагаем самые профилактические статьи по каждой теме. Для Brain Development , Hoekzema et al. [50] стремились выяснить, есть ли признаки атипичного развития мозга при гендерной дисфории.Сначала они количественно определили региональные объемы нейронного серого вещества у 55 подростков, мужчин и женщин, 44 мальчиков и 52 девочек без гендерной дисфории. Затем они применили одномерный и многомерный подходы к анализу данных. Для Phonological Cognition , оценивая понимание устной речи у не говорящих детей с тяжелым церебральным параличом, Geytenbeek et al. [51] исследовали взаимосвязь между двигательным типом и инвалидностью, используя метод множественной линейной регрессии. Для алгоритмов классификации Сиули и Ли [52] представили инновационный подход к классификации многоклассовых сигналов ЭЭГ, который включал принятие оптимального алгоритма распределения для выбора репрезентативных выборок.Для Нервная система , Ян и др. [53] провели эксперименты и моделирование, приняв мемристоры второго порядка, чтобы выделить правило обучения пластичности, зависящее от триплет-спайков. Для Структура мозга , Lancione et al. [54] оценили, как структурная ориентация ткани влияет на надежность количественного картирования восприимчивости, и представили принципы определения вокселов, где на показатели магнитной восприимчивости (хи) в основном влияют эффекты пространственной ориентации.Для семантического познания , Zhou et al. [55] исследовали временную нейронную динамику процессов семантической интеграции на различных уровнях синтаксической иерархии при чтении китайских предложений. Для Обработка изображений мозга , Ян и др. [56] представили инновационный подход к сегментации ткани мозга на магнитно-резонансных изображениях с использованием пространственной информации о соседстве в качестве основы с комбинацией классической нечеткой кластеризации C-средних и подходов марковского случайного поля. Для Decision-Making , Park et al.[57] исследовали, коррелирует ли высвобождение норэпинефрина и дофамина в вентральном и дорсолатеральном ядре ложа терминальной полоски с обучением вознаграждению во время внутричерепной самостимуляции. Для статистического моделирования Soch and Allefeld [58] представили инновационный набор инструментов статистического параметрического картирования для оценки, сравнения и выбора общих линейных моделей для анализа данных фМРТ. Для алгоритмов оптимизации , Parsopoulos et al. [59] исследовали потенциал оптимизации роя частиц (PSO) и унифицированного PSO для решения проблем магнитоэнцефалографии (MEG).Для Epilepsy , Jeong et al. [60] стремились разработать новый подход к кластеризации источников интерктальных спайков МЭГ и определить его потенциальную ценность у взрослых пациентов с эпилепсией с корковой дисплазией. Для Computer-Aided Diagnosis , Kathirvel и Batri [61] предложили инновационный полностью автоматизированный компьютерный подход к обнаружению опухоли головного мозга с использованием коактивного адаптивного классификатора нейро-нечеткого логического вывода. Для анализа сигналов ЭЭГ , Li et al. [62] предложили инновационный гибридный автоматизированный метод оценки стадий сна, названный HyCLASSS, на основе одноканальной ЭЭГ.Для Molecule , чтобы можно было напрямую сравнивать результаты гематоэнцефалического барьера (BBB) ​​пептидов, Stalmans et al. [63] предложили инновационный подход к классификации и унифицированный ответ на перенос пептидов через ГЭБ. Для Интерфейс мозг-компьютер , Schettini et al. [64] предложили и оценили новый подход к автоматической калибровке параметров классификатора. Для Motor & Robot Краус и др. [65] исследовали изменения кортикоспинальной возбудимости при транскраниальной магнитной стимуляции у 13 здоровых правшей.Для болезни мозга Yu et al. [66] направлена ​​на определение идеальной комбинации МРТ, позитронно-эмиссионной томографии [F-18] -фтордезоксиглюкозы и биомаркеров спинномозговой жидкости для прогнозирования трансформации амнестических легких когнитивных нарушений в слабоумие при болезни Альцгеймера. Для сети Ван и др. [67] исследовали различия в динамической сети мозга во время состояния покоя и визуальной стимуляции в подсети положительной задачи, подсети отрицательной задачи и сети всего мозга.Для Functional Connectivity , Deen et al. [68] использовали ФК МРТ в состоянии покоя для разделения островковой доли человека на основе кластеризации ФК паттернов. Для опухоли головного мозга , Blüml et al. [69] исследовали, существуют ли различия в концентрациях метаболитов, измеренных с помощью магнитно-резонансной спектроскопии, между молекулярными подгруппами медуллобластомы. Для Brain Imaging , Mourik et al. [70] были направлены на проверку in vivo точности коррекции частичного объема, основанной на реконструкции, с учетом функции рассеяния точек систем визуализации.Для Vision , направленного на изучение извлечения форм с использованием временного объединения последовательных частичных видов форм, Орлов и Зохари [71] показали участникам искусственные формы, движущиеся за узкой вертикальной или горизонтальной щелью. Для Emotion Петрантонакис и Хаджилеонтиадис [72] стремились предложить инновационный подход к оценке процессов выявления эмоций в системе распознавания эмоций на основе ЭЭГ. Для Infant , Fatal & Child , Goto et al.[73] предложили простой в использовании и универсальный прикроватный прибор для прогнозирования исходов у детей после остановки сердца. Для Virus & Pathology , Hiar et al. [74] оценивали эпидемиологические, клинические и лабораторные особенности энтеровирусных инфекций центральной нервной системы у детей младше 15 лет. Для Attention & Vision с использованием МЭГ человека Bartsch et al. [75] исследовали, сохранились ли эффекты глобального внимания, основанного на особенностях, путем манипулирования силой и постоянством пространственной фокусировки на цель.Для гена с использованием неконтролируемой иерархической кластеризации Perez-Magan [76] идентифицировал профили экспрессии генов и маркеры-кандидаты, относящиеся к исходным и рецидивирующим менингиомам. Для Психическое расстройство , Guo et al. [77] использовали дробную амплитуду низкочастотных колебаний для изучения региональных изменений сети режима по умолчанию у здоровых братьев и сестер больных шизофренией во время отдыха. Что касается вождения с усталостью, Ли и Чанг [78] предложили инновационную контекстно-зависимую систему интерфейса мозг-машина для обнаружения сонливости водителя на ранней стадии.Для спектроскопии в ближнем инфракрасном диапазоне , Эрнандес-Меза и др. [79] исследовали потенциал функциональной ближней инфракрасной спектроскопии для мониторинга анестезирующего воздействия на префронтальную кору.

Актуальные пропорции и тенденции

Тематические интервалы в , таблица 4, и тенденции развития в , рис. 2, проясняют различные группы тем с разной степенью значимости. Во-первых, в наборе данных восемь часто обсуждаемых тем, доля каждой из которых превышает 4%, а на долю приходится 42.Всего 21%. Четыре из них, а именно: Classification Algorithms , EEG Signals Analysis , Network и Mental Disorder , демонстрируют тенденции к значительному увеличению. Это указывает на то, что этим четырем темам не только уделялось много внимания (21,93%) за последнее десятилетие, но и, вероятно, они останутся в центре внимания исследований в ближайшем будущем. Напротив, другие четыре темы, а именно: Обработка изображений мозга , Интерфейс мозг-компьютер , Болезнь мозга и Статистическое моделирование , не имеют существенных тенденций.Это говорит о том, что, хотя эти темы вызвали большой интерес в последнее десятилетие (в общей сложности на них приходится 20,29% всего набора данных), особенно в предыдущие несколько лет, трудно сказать, сохранятся ли темпы их развития в ближайшем будущем.

Во-вторых, есть восемь тем с пропорциями от 3% до 4%, которые вместе составляют 28,10% от всего набора данных. Только два из них, Computer-Aided Diagnosis и Emotion , демонстрируют тенденции к значительному росту.Эти две темы постоянно были в центре внимания исследований в течение последнего десятилетия, и вполне возможно, что они останутся «горячими» проблемами в ближайшем будущем. Напротив, исследовательские интересы к другим шести темам, особенно к Decision-Making и Vision , снизились за последнее десятилетие; вполне вероятно, что в ближайшем будущем будет проводиться все меньше и меньше исследований по этим темам.

В-третьих, остальные 14 тем имеют низкую долю (каждая ниже 3% и составляет 29.68% всего). Среди них только Fatigue Driving демонстрирует тенденцию к значительному росту. Эта тема находится на стадии разработки, демонстрирует большой исследовательский потенциал и, вероятно, в ближайшем будущем вызовет больший интерес и внимание. Пять тем, а именно Attention & Vision , Semantic Cognition , Gene , Virus & Pathology и Molecule , демонстрируют тенденции к значительному снижению. Это говорит о том, что они не только мало привлекали к себе внимания в последнее десятилетие, но и, вероятно, в ближайшем будущем станут менее популярными в исследованиях человеческого мозга с помощью искусственного интеллекта.

Подробное изучение тенденций развития различных тем в Рис. 2 также выявляет разную степень интереса и внимания к этим темам. Во-первых, на протяжении всего исследуемого периода повышенное внимание уделялось нескольким темам, например, Classification Algorithms , Mental Disorder , Fatigue Driving и Computer-Aided Diagnosis . Неуклонный рост числа классификационных алгоритмов указывает на доминирующую популярность применения таких алгоритмов, основного метода искусственного интеллекта, в исследованиях человеческого мозга на протяжении последних лет.Классификация данных нейровизуализации для диагностики заболеваний головного мозга или психических заболеваний является основной целью нейробиологических исследований и клинического лечения. Накапливающиеся данные показывают, что применение алгоритмов классификации к показателям нейровизуализации полезно для разработки диагностических и прогностических инструментов прогнозирования в психиатрии. Считающийся одной из основных причин дорожно-транспортных происшествий во всем мире, Fatigue Driving был привлекательной темой в последние десятилетия, и эффективное обнаружение усталости водителя имеет большое значение для здоровья и безопасности населения.Ожидается, что эти темы будут и будут оставаться важными в будущих исследованиях.

Во-вторых, определенные темы начинают демонстрировать возрастающие тенденции после определенного года в течение последнего десятилетия. Например, сеть Network начала привлекать все большее внимание примерно в 2014 году, и ее скорость роста (отраженная наклоном кривой) является самой высокой среди тем, демонстрирующих значительно возрастающие тенденции. Сетевые методы, такие как искусственные нейронные сети, превосходно подходят для анализа сложных наборов данных и служат исключительными инструментами для поддержки принятия решений при клиническом лечении.Сложные сети также служат повторяющейся проблемой при анализе данных нейровизуализации [80].

В-третьих, некоторые темы демонстрируют тенденцию к снижению в определенное время за последнее десятилетие. Например, Attention & Vision начал демонстрировать тенденцию к снижению после 2010 года, а Virus & Pathology стал получать меньше внимания после 2011 года. Такие темы, как Обработка изображений мозга , Интерфейс мозга и компьютера , Nervous Система , Motor & Robot и Decision-Making начала демонстрировать тенденцию к снижению после 2014 года.Тенденция к снижению стала более явной для Functional Connectivity после 2016 года. Две другие темы, а именно Vision и Semantic Cognition , демонстрируют постоянно снижающиеся тенденции на протяжении всего десятилетия.

Наконец, что касается других тем, не показывающих статистически значимых тенденций, некоторые темы, такие как Обработка изображений мозга или Интерфейс мозг-компьютер , оставались популярными на протяжении всего десятилетия, тогда как другие темы, такие как Фонологическое познание , Спектроскопия в ближнем инфракрасном диапазоне , или Опухоль головного мозга , в течение всего десятилетия было меньше.

Актуальные корреляции

Актуальные корреляции в Рис. 3 демонстрируют тесное и взаимное влияние между ИИ и исследованиями человеческого мозга. С одной стороны, применение технологий искусственного интеллекта в исследованиях человеческого мозга повсеместно, необходимо и важно. Технологии искусственного интеллекта составляют основу вычислительной нейробиологии, и они могут вдохновлять и стимулировать исследования мозга. Как и в , рис. 3, , кластер, связанный с методами, занимает центральное место, имея наибольшее количество связей с другими темами.В частности, алгоритмы классификации — это популярная технология, широко используемая во многих исследовательских темах, включая Интерфейс мозг-компьютер , Психическое расстройство , Болезнь мозга , Компьютерная диагностика и Анализ сигналов ЭЭГ . Классификация умственных задач и связанных с ними сигналов ЭЭГ — одна из ключевых проблем и задач ИМК на основе ЭЭГ [81]. Технологии классификации применялись для диагностики и выявления психических расстройств, таких как депрессия [82].Классификационный анализ изображений головного мозга помогает распознать аномальные действия в функциональности мозга [83]. Классификация сигналов ЭЭГ также важна для диагностики и лечения заболеваний головного мозга [84]. Кроме того, классификация эмоций широко используется учеными не только в области биомедицины, но и в исследованиях в области социальных наук (например, [85–88]).

Кроме того, тесная тематическая корреляция между Network и Mental Disorder , Near-Infrared Spectroscopy , Epilepsy и Functional Connectivity указывает, где сетевые технологии применяются и улучшаются.Например, в качестве упрощенного представления структурных и функциональных взаимодействий сети мозговой связи были приняты для диагностики и классификации нейродегенеративных заболеваний [89]. Во многих исследованиях делается попытка разработать подробные наборы инструментов для улучшения инновационного и всестороннего анализа взаимосвязи мозга. Многие интерактивные онлайн-платформы стали доступны для анализа мозговой сети, например, База данных мультимодальных подключений UCLA [90]. Несколько исследований также демонстрируют диагностическую ценность сетевого анализа психических расстройств.

В дополнение к этим сетевым приложениям сетевая теория служит интуитивно привлекательной структурой для исследования отношений между взаимосвязанными областями мозга (структурная связь) и механизмами (функциональная связь), а также их значимости для поведения. Сетевые модели, используемые в нейробиологии, расширили эту область «от представлений данных до теории первых принципов, от биофизического реализма до функциональной феноменологии и от базовых описаний до грубых приближений» (стр.1) [91]. Эти расширения позволили лучше понять структуру, функции и развитие человеческого мозга.

С другой стороны, нейробиология предлагает богатые источники вдохновения для новых технологий искусственного интеллекта, которые не зависят от математических и логических подходов, а также доминируют идеи в традиционных подходах искусственного интеллекта и дополняют их. Например, искусственные нейронные сети изначально были вдохновлены архитектурой нейронов в мозгу, и нейробиология предоставила начальные рекомендации в отношении архитектурных и алгоритмических ограничений, которые способствовали успеху применения нейронных сетей в ИИ.С момента возникновения искусственных нейронных сетей многие связанные технологии были вдохновлены, разработаны и подпитываются постоянным развитием исследований мозга. ИИ произвел революцию благодаря значительному прогрессу в подходах, связанных с нейронными сетями, за последние несколько лет. Например, сверточные нейронные сети объединяют ряд канонических признаков нейронных вычислений [92], которые были прямым источником одноклеточных записей зрительной коры головного мозга млекопитающих [93].

Кроме того, различные технологии нейронных сетей были модифицированы в сочетании с другими технологиями, такими как классификация, для удовлетворения конкретных исследовательских потребностей.Например, для диагностики эпилепсии был представлен подход многослойной классификации персептронов, основанный на нейронных сетях [94]. Была предложена система различения «анестезия» — «осведомленность», основанная на нейросетевом классификаторе и признаках причинности Грейнджера [95].

Тематические рассылки в исследовательских подразделениях и коллаборациях стран / регионов

Рис. 4 показывает, какие страны / регионы и институты имеют наибольшее влияние на исследования человеческого мозга с помощью искусственного интеллекта в целом или на отдельные темы за последнее десятилетие.Например, тематические распределения США, Великобритании и Канады похожи; по сравнению с другими странами / регионами они более сбалансированы почти по всем аспектам исследований человеческого мозга с помощью искусственного интеллекта. Распределение тематики в Китае, Испании и Южной Корее схоже, все они имеют больший акцент на темах, имеющих относительно более высокие пропорции. В частности, Китай можно рассматривать как влиятельную страну в исследованиях человеческого мозга с помощью искусственного интеллекта благодаря сравнительно более широкому охвату алгоритмов классификации , анализа сигналов ЭЭГ , обработки изображений мозга , интерфейса мозг-компьютер , Сеть и Психическое расстройство .Китай также имеет самые высокие доли почти по всем семи темам, демонстрируя значительный рост тенденций, за ним следуют Испания и Южная Корея. Это свидетельствует о том, что эти три страны, хотя и имеют меньше результатов исследований, чем США, способствуют развитию этих семи тем. Кроме того, этот количественный анализ также показывает исследовательский потенциал каждой страны по одной или нескольким темам. Например, Южная Корея имеет большое влияние на исследование Интерфейс мозг-компьютер .

Аналогичные выводы можно сделать из тематических распределений в исследовательских институтах. Стоит отметить, что сильные стороны некоторых институтов чрезвычайно важны. Например, Индийский технологический институт имеет большее влияние на исследование EEG Signals Analysis , а Королевский колледж Лондона — на исследование Mental Disorder .

Разнообразие дисциплин и тем в странах / регионах и институтах указывает на то, что более эффективное исследование человеческого мозга с помощью ИИ зависит от межрегионального, межведомственного и междисциплинарного сотрудничества.Такое сотрудничество может включать сильные стороны различных исследовательских подразделений или дисциплин для преодоления трудностей и развития всей области.

Сетевое исследование сотрудничества в исследованиях человеческого мозга с помощью искусственного интеллекта показало, что страны или институты со схожими направлениями исследований склонны к большему сотрудничеству (см. S2 рис. ). Чтобы лучше понять важность разных стран / регионов в этом сотрудничестве, мы применили подход сетевого анализа и рассчитали четыре типичных показателя центральности (т.е., степень, близость, промежуточность и собственная центрированность) 20 наиболее влиятельных стран / регионов, участвующих в сети (см. S5, таблица ). Централизация на основе степени [96] отражает относительное доминирование узлов в сети. Близость измеряет центральность узлов с точки зрения передачи информации [97]. Между узлами — еще один показатель, измеряющий важность узла в управлении передачей информации в сети [98]. Собственная центрированность отражает влияние узла на всю сеть; если на узел указывают многие узлы, которые также имеют высокие оценки собственной центрированности, узел также имеет высокую оценку собственной центрированности [99].

Как и в S5 Table , США доминируют по всем четырем параметрам, что указывает на их общую важность и центральное место в сети сотрудничества. Великобритания занимает второе место по трем показателям, за исключением собственной центрированности, по которой Италия занимает второе место. В тесном сотрудничестве с Италией находятся: США (участвовавшие в 53 работах), Великобритания (51), Германия (36) и Франция (23), и все они показали хорошие результаты по четырем критериям центральности. Также стоит отметить эффективность Китая с точки зрения степени (третье место), близости (первое), промежуточности (третье) и собственной центрированности (четвертое).В число близких сотрудников Китая входят: США (участвовавшие в 297 статьях), Великобритания (56), Австралия (45), Южная Корея (36), Канада (31) и Япония (28).

Эти сетевые открытия и результаты тематического распространения могут способствовать дальнейшим совместным исследованиям в области исследований человеческого мозга с помощью ИИ.

Темы, которым недостаточно внимания

Несмотря на эти выводы, есть важные темы, которые заслуживают большего внимания в исследованиях человеческого мозга с помощью искусственного интеллекта.Например, признано, что ИИ внес много теоретических вкладов в междисциплинарную область когнитивной науки [100], однако в качестве фундаментальной функции мозга, широко изучаемой в когнитивной науке, нейробиологии и психологии [101], охват сознания связанных терминов в нашем наборе данных мало; например, «осведомленность» и «сознание» появляются только в 55 и 45 статьях соответственно. Язык как сложная высокоуровневая функция мозга — еще одна «горячая» тема в исследованиях человеческого мозга, психологии и лингвистике, однако родственные термины охватываются скудно; «Язык» встречается только в 24 статьях.ИИ уже добился больших успехов в областях, связанных с языком, таких как обработка естественного языка, но исследования человеческого мозга с помощью ИИ, похоже, не уделяют достаточного внимания этим функциям мозга.

Сети внутренней связности, особенно сети режима по умолчанию [102], и отношения между этими сетями были интенсивно исследованы в когнитивной нейробиологии. На основе этих структур мозга и сигналов ЭЭГ технологии искусственного интеллекта, такие как алгоритм сетевого анализа и классификации, могут помочь идентифицировать сознательный или бессознательный мозг и диагностировать связанные с ним заболевания.При наличии подробных наборов данных, связанных с подключением человеческого мозга, ИИ может также генерировать полезные подсказки о том, как фундаментальные (например, сознание) и расширенные (например, язык) функции мозга возможны посредством активации и соединения различных частей мозга, тем самым внося свой вклад в общие обсуждение того, как возникает интеллект.

Кроме того, хотя алгоритмы классификации в настоящее время являются основными технологиями искусственного интеллекта, применяемыми в исследованиях человеческого мозга с помощью искусственного интеллекта, другие полезные технологии искусственного интеллекта остаются ограниченными в приложениях исследования человеческого мозга.Например, искусственный интеллект доказал свою ценность в прогнозировании состояния здоровья, однако существует несколько исследований, в которых предпринимаются попытки использовать структурные или функциональные связи человеческого мозга для временного прогнозирования степени высокоуровневых функций мозга, таких как чтение [103]. Хотя продольное прогнозирование на основе ИИ способствовало развитию смежных областей, таких как психология или психиатрия [104], существует нехватка исследований, применяющих технологии ИИ к данным продольной визуализации мозга для прогнозирования изменений психологического или неврологического статуса человека, например.g., дегенерация функций мозга или прогрессирование заболеваний головного мозга.

Последние тенденции в исследованиях человеческого мозга с помощью искусственного интеллекта

Здесь представлены последние тенденции в исследованиях человеческого мозга с использованием искусственного интеллекта, чтобы лучше понять, что происходит в этой области. Следует выделить последние тенденции в применении методов глубокого обучения в исследованиях человеческого мозга с использованием искусственного интеллекта, которые рассматриваются в теме Network . Например, O’Shea et al. [105] предложили инновационный классификатор с глубоким обучением для обнаружения приступов путем обнаружения приступов по необработанным сигналам ЭЭГ.Основываясь на глубоких нейронных сетях и скрытых марковских моделях случайных полей, Fan et al. [106] предложили неконтролируемый метод цереброваскулярной сегментации изображений времяпролетной магнитно-резонансной ангиографии. Kumarasinghe et al. [107] представили управляемую мозгом структуру нейронной сети для обучения и выявления глубоких пространственно-временных функциональных и структурных паттернов в пространственно-временных данных.

Во-вторых, некоторые последние исследования по обнаружению интернализующих расстройств путем выявления нейробиологически обоснованных подтипов на основе данных визуализации мозга.В настоящее время общепринятые методы классификации, основанной на симптомах, не соответствуют основополагающей нейробиологии. Таким образом, ученые ищут альтернативные методы для облегчения выявления нарушений. Например, Качкуркин и др. [108] применили инновационный подход к машинному обучению с полу-контролируемым обучением для описания моделей нейробиологической неоднородности в подростковом возрасте с интернализующими симптомами. Chen et al. [109] использовали новый метод машинного обучения для определения стабильной и обобщаемой факторизации шкалы позитивных и негативных синдромов и дальнейшего определения психопатологических подтипов и нейробиологических различий.

В-третьих, есть несколько последних исследований, посвященных возможности целевой FC в индивидуальном прогнозе когнитивных черт вне сканирования. Покой и управляемая задачами ФК широко используются для характеристики человеческого мозга и когнитивных способностей. В последнее время ученые стремятся расширить свой потенциал в исследованиях мозга. Например, на основе крупномасштабного набора данных фМРТ Jiang et al. [110] использовали методы машинного обучения для прогнозирования двух когнитивных показателей, касающихся понимания прочитанного.

В-четвертых, последние достижения в области нейровизуализации и машинного моделирования значительно облегчили исследование когнитивных процессов.