在自然语言生成任务(NLG)中，采样方法是指从生成模型中获取文本输出的一种技术。本文将介绍常用的5中方法并用Pytorch进行实现。
1、Greedy Decoding
Greedy Decoding在每个时间步选择当前条件概率最高的词语作为输出，直到生成结束。在贪婪解码中，生成模型根据输入序列，逐个时间步地预测输出序列中的每个词语。在每个时间步，模型根据当前的隐藏状态和已生成的部分序列计算每个词语的条件概率分布，模型选择具有最高条件概率的词语作为当前时间步的输出。这个词语成为下一个时间步的输入，生成过程持续直到满足某种终止条件，比如生成了指定长度的序列或者生成了特殊的结束标记。
这种方法简单高效，每个时间步只需计算当前条件概率最高的词语，因此计算速度较快。但是由于每个时间步只考虑当前条件概率最高的词语，贪婪解码可能会陷入局部最优解，而无法获得全局最优解。这可能导致生成的文本缺乏多样性或不准确。
尽管贪婪解码存在一些局限性，但它仍然是许多序列生成任务中常用的一种方法，特别是在对速度要求较高或者任务较为简单的情况下。
def greedy_decoding(input_ids, max_tokens=300):
with torch.inference_mode():
for _ in range(max_tokens):
outputs = model(input_ids)
next_token_logits = outputs.logits[:, -1, :]
next_token = torch.argmax(next_token_logits, dim=-1)
if next_token == tokenizer.eos_token_id:
break
input_ids = torch.cat([input_ids, rearrange(next_token, 'c -> 1 c')], dim=-1)
generated_text = tokenizer.decode(input_ids[0])
return generated_text分享说明：转发分享请注明出处。
