Preface 译者 注

关于这片论文的中文翻译在这里：https://chendq-thesis-zh.readthedocs.io/en/latest/

我一直觉得阅读一本优秀的博士毕业论文是最快了解一个领域的方式。论文中会介绍它的研究的前因后果以及最近和未来的发展趋势，并且，这里面会引用大量的参考文献，这都是宝贵的经过整理的学习资料。

其次，我们可以从行文思路中学习到作者的思维方式，从其发表文章的先后顺序和年代，看到作者的成长，可以借此学习到作者的思维和学习方式。我没有翻译作者的Acknowledgment，但是我强烈建议大家去读一下，了解一下作者的学习心态。

坦白说，中西方的思维方式【我觉得会反应在语系上】会略有不同，在读硕士研究生的期间，在最初的时候和导师以及一些拉丁语系母语同学的沟通的时候，我会比较难跟上。但是和中国人或者不是英语native speaker的人沟通的时候会比较容易一些，按照乔姆斯基的理论来说，我们都在作为“外人”努力学习英语的generative rules，然后使用英文沟通学习。所以能找到一篇优秀的“中国造”英文博士论文也是很幸运的。希望我们都可以从中学习到很多有意义的东西，欢迎一起讨论一起进步。

同时我强烈推荐phD Grind这篇文章，也是讲述了斯坦福大学的博士生的学习心路历程。推荐理由引用其中的一段话：有些人可以通过博士的学习生涯学习到一种思维方式，有的人没有通过博士的学习生涯，但是通过别的方式同样达到了这样的高度。

NLP领域逐渐进入人们的视野，从word2vec到BERT再到后来提出的一些模型，都是在dig预训练这个环节。

在未来，有时间的情况话，我会对文中提到的一些有代表性的论文进行解读。部分论文会进行复现。

才疏学浅，有不足之处，还望指出。谢谢。可以直接提出issue或者通过邮件联系：4ljy@163.com。

本文翻译已经咨询过原作者。

本文仅供学习交流所用，一切权利由原作者及单位保留，译者不承担法律责任。

原文地址：

https://www.cs.princeton.edu/~danqic/papers/thesis.pdf

陈丹琦博士个人主页：

https://www.cs.princeton.edu/~danqic/

Duke Lee

2019年