Transformer - Tokenizers

语境化嵌入

每个输入标记一个嵌入，但处理时考虑所有其他标记。

输出可以是语境化嵌入，也可以由模型用来创建输出。

对于生成模型，此输出可以是标记。

标记化级别

• 注意符号用多个字节表。

• 大多数语言模型使用SubWord标记。