Tengo problemas para comprender la documentación del módulo LSTM de PyTorch (y también RNN y GRU, que son similares). En cuanto a los resultados, dice:

Salidas: salida, (h_n, c_n)

  • output (seq_len, batch, hidden_size * num_directions): tensor que contiene las características de salida (h_t) de la última capa del RNN, para cada t. Si se ha dado una antorcha.nn.utils.rnn.PackedSequence como entrada, la salida también será una secuencia empaquetada.
  • h_n (num_layers * num_directions, batch, hidden_size): tensor que contiene el estado oculto para t = seq_len
  • c_n (num_layers * num_directions, batch, hidden_size): tensor que contiene el estado de la celda para t = seq_len

Parece que las variables output y h_n dan los valores del estado oculto. ¿h_n solo proporciona redundantemente el último paso de tiempo que ya está incluido en output, o hay algo más que eso?

deep-learning pytorch lstm recurrent-neural-network tensor
55
Nathaniel 17 ene. 2018 a las 16:54

3 respuestas

La mejor respuesta

Hice un diagrama. Los nombres siguen los documentos PyTorch, aunque cambié el nombre de {{X0 }} a w.

output comprende todos los estados ocultos en la última capa ("última" en cuanto a profundidad, no en cuanto al tiempo). (h_n, c_n) comprende los estados ocultos después del último paso de tiempo, t = n , por lo que podría introducirlos en otro LSTM.

LSTM diagram

La dimensión del lote no está incluida.

111
nnnmmm 24 ene. 2018 a las 11:29

Realmente depende del modelo que use y de cómo interpretará el modelo. La salida puede ser:

  • un solo estado oculto de celda LSTM
  • varios estados ocultos de celdas LSTM
  • todas las salidas de estados ocultos

Salida, casi nunca se interpreta directamente. Si la entrada está codificada, debe haber una capa softmax para decodificar los resultados.

Nota: En el modelado de idiomas, los estados ocultos se utilizan para definir la probabilidad de la siguiente palabra, p (w t + 1 | w 1 , ..., w t ) = softmax (Wh t + b).

3
prosti 11 feb. 2019 a las 12:12

El estado de salida es el tensor de todo el estado oculto de cada paso de tiempo en el RNN (LSTM), y el estado oculto devuelto por el RNN (LSTM) es el último estado oculto del último paso de tiempo de la secuencia de entrada. Puede verificar esto recopilando todos los estados ocultos de cada paso y comparándolos con el estado de salida (siempre que no esté usando pack_padded_sequence).

0
Jibin Mathew 7 feb. 2019 a las 06:51
48302810

Preguntas relacionadas

3 Entendiendo Keras LSTMs
2 ¿Es posible implementar un LSTM multicapa con módulos LSTMCells en PyTorch?

Preguntas vinculadas

2 Tomando el último estado de BiLSTM (BiGRU) en PyTorch

Nuevas preguntas

2 ¿Cómo predecir un modelo entrenado con una imagen?
2 usando class_weight para desequilibrar data-.fit_generator ()
2 ¿Existe un "Split" equivalente a torch.nn.Sequential?
2 Cómo usar k canales en CNN para k FC Layers
2 ¿Cómo agregar la clase "OTRO" en la red neuronal?
2 Convertir imagen de matriz 3D en matriz 2D
2 ¿Por qué a veces los modelos de CNN predicen solo una clase de todas las demás?
2 La secuencia Keras super simple no funciona cuando se sirven datos de matriz simples
2 ValueError: la entrada 0 de la capa secuencial es incompatible con la capa
2 Uso de PyTorch permute en RCNN
Nuevas preguntas con la etiqueta deep-learning >

deep-learning

El aprendizaje profundo es un área de aprendizaje automático cuyo objetivo es aprender funciones complejas utilizando arquitecturas de redes neuronales especiales que son "profundas" (constan de muchas capas). Esta etiqueta debe usarse para preguntas sobre la implementación de arquitecturas de aprendizaje profundo. Las preguntas generales de aprendizaje automático deben etiquetarse como "aprendizaje automático". Es útil incluir una etiqueta para la biblioteca de software relevante (por ejemplo, "keras", "tensorflow", "pytorch", "fast.ai", etc.).

Más sobre deep-learning...