NLP

NLP任务

评价指标

NLP 评价指标 BLEU 和 ROUGE

RNN

$h_t=tangh(W_x{x}_t+W_h{h}_{t-1}+b)$ • $x_t$​：当前时刻的输入。 • $h_{t-1}$​：上一时刻的隐藏状态。 • $W_x,W_h$​：权重参数矩阵。 • b：偏置项。 • tanh：激活函数，用于引入非线性并控制数值范围。

分词技术、词向量（Word2Vec）以及传统循环神经网络（RNN）

Transformer架构及其核心注意力机制

微调实战