Roberta

在XLNet全面超越Bert后没多久，Facebook提出了RoBERTa（a Robustly Optimized BERT Pretraining Approach）。再度在多个任务上达到SOTA。那么它到底改进了什么？它在模型层面没有改变Google的Bert，改变的只是预训练的方法。

https://www.jianshu.com/p/eddf04ba8545

https://blog.csdn.net/ljp1919/article/details/100666563

brightmart的参数：https://github.com/brightmart/roberta_zh