Долгая краткосрочная память - Юрген Шмидхубер
содержание видео
Дата: 2022-05-15
Похожие видео
Комментарии и отзывы: 5
Georgy
Если кратко то, нейросетевая архитектура за авторством Шмидхубера носит название -Долгая краткосрочная память- (или -Long short-term memory-) и является разновидностью рекуррентных нейросетей. Особенностью рекуррентных сетей является способности пробрасывать скрытые состояния в ширину -- с предыдущего шага (закодированные репрезентации входа предыдущего шага) на следующий шаг, тем самым кодируя входную последовательность, а также передавать скрытые состояния в глубину -- с предыдущих слоев на вход последующим. LSTM же вдобавок имеет более модифицированное рекуррентное устройство на каждом шаге сети называемое LSTM Cell, которое имеет возможность дополнять, перезаписывать и удалять переданные скрытые состояния. Однако такой механизм памяти, хоть его и возможно реализовывать на произвольно длинных последовательностях, способен хранить лишь информацию с ближайших шагов -- этим и объясняется название -Долгая краткосрочная память-.
ответить
Если кратко то, нейросетевая архитектура за авторством Шмидхубера носит название -Долгая краткосрочная память- (или -Long short-term memory-) и является разновидностью рекуррентных нейросетей. Особенностью рекуррентных сетей является способности пробрасывать скрытые состояния в ширину -- с предыдущего шага (закодированные репрезентации входа предыдущего шага) на следующий шаг, тем самым кодируя входную последовательность, а также передавать скрытые состояния в глубину -- с предыдущих слоев на вход последующим. LSTM же вдобавок имеет более модифицированное рекуррентное устройство на каждом шаге сети называемое LSTM Cell, которое имеет возможность дополнять, перезаписывать и удалять переданные скрытые состояния. Однако такой механизм памяти, хоть его и возможно реализовывать на произвольно длинных последовательностях, способен хранить лишь информацию с ближайших шагов -- этим и объясняется название -Долгая краткосрочная память-.
ответить
Has
Ахаха, я думал это про нервную деятельность человеческого организма. Представьте насколько уникально устройство человека, если сегодня мы используем опыт его изучения для программирования в передовых областях
ответить
Ахаха, я думал это про нервную деятельность человеческого организма. Представьте насколько уникально устройство человека, если сегодня мы используем опыт его изучения для программирования в передовых областях
ответить
Владимир
Мир - сумасшедший дом, мы сумасшедшие. Он бьет себя по лицу и падает на землю. Грязный, ржавый, больной, я умираю. В морозную погоду тумана не бывает.
ответить
Мир - сумасшедший дом, мы сумасшедшие. Он бьет себя по лицу и падает на землю. Грязный, ржавый, больной, я умираю. В морозную погоду тумана не бывает.
ответить
НАУКА
Как работает компьютер на низком уровне хорошо рассказано в книге -КОД Тайный язык информатики- Чарльза Петцольда.
ответить
Как работает компьютер на низком уровне хорошо рассказано в книге -КОД Тайный язык информатики- Чарльза Петцольда.
ответить
Андр
Терминология сложная приходится читать, удовольствие от просмотра стремится к нулю. Лучше озвучивать субтитры
ответить
Терминология сложная приходится читать, удовольствие от просмотра стремится к нулю. Лучше озвучивать субтитры
ответить
Добавить отзыв, комментарий
Другие видео канала
