token搜论文_token sciences

MLM随机mask掉一些输入文本中的token，然后根据剩下的上下文预测masked的token除了MaskLanguageModel，作者还提出了NextSequencePredict任务，来联合训练文本对表示论文中BERT的改进如下预训练前的一般语言表征有着。1第