Idea

CMG

考虑使用更符合代码变更的预训练任务

1. MLM（Mask language modeling）。为了理解代码的语义和结构，对代码变更中的标识符进行解混淆。

有没有一种办法能够让基于代码的预训练模型优于基于代码变更的预训练模型。