第235章 板上钉钉的收购(中) (第2/3页)

学者也是因为同样的境遇才放弃了对训练数据共性的寻找。

    至少在伊芙·卡莉这是因为这个原因。

    纵然是现在知道了林灰在模型训练中引入了预训练方式。

    伊芙·卡莉现在也不知道林灰究竟是如何做的。

    按照林灰在论文中补充内容进行的阐述。

    传统的训练机制下，文本摘要模型的产生思路是：

    语料训练→模型

    而按照林灰的思路引入预训练机制后。

    文本摘要模型的产生思路是：

    语料预训练→预训练模型→微调→模型

    这個思路的本身是没问题的。

    但伊芙·卡莉面对着这个全新的模型产生思路却满脑子全是问题。

    具体应用的时候究竟引入何种的预训练方式才能够起到事半功倍的训练效率？

    什么样的预训练模型才是预训练的目标？

    对于预训练模型的“微调”究竟应该如何理解呢？

    前两个问题是就林灰鼓捣的理论而产生的疑问。

    第三个问题是因为语言方面的阐述而产生的一些疑问。

    尽管伊芙·卡莉最近在向米娜·卡莉努力地学习汉语了。

    但汉语显然并不是短时期内能够速成的。

    对于预训练模型林灰所谓的“微调”的“微”究竟应该如何理解呢？

    只是一点点小小的调整么？

    还是说所谓的“微”只是因为林灰本人对这一事情难度的蔑视。

    伊芙·卡莉觉得应该是后者。

    不太可能是微小的调整。

    毕竟涉及到文本摘要方面的模型往往都是极其复杂的。

    一个正式模型所涉及到的参数都是极其繁多的。

    更何况是预训练产生的预训练模型呢？

    这种先于正式模型产生的粗模型可能参数要更加复杂。

    当然，这只是伊芙·卡莉的一点猜测。

    涉及到这些问题只有林灰本人才可能有真正的答案。

    自从来到林灰的身边之后。

    原本伊芙·卡莉以为自己的问题会逐渐变少。

    但实际却是问题愈发变得多了起来。

    至少刚才的那几个问题在美國的时候伊芙·卡莉就从来没疑惑过。

    但对此伊芙·卡莉并没有灰心丧气。

    科研方面从来都是提出问题比解决问题更重要。

    伊芙·卡莉很清楚，虽然此时她的疑惑比在美國时候的疑惑还要多。

    但这无关紧要，至少她现在提出的问题相比于以往那些问题现在才更接近技术的本质了。

    而这就是学术上的成长。

    伊芙·卡莉也不是一无所获。

    原本她一向是比较好奇林灰这个此前几乎在文本摘要方面岌岌无名的人究竟是怎样在短时间做到弯道超车的。

    毕竟涉及到语言模型的构建往往需要大量的时间。

    但现在知道林灰搞的这个预处理之后。

    伊芙·卡莉则感觉这个问题似乎不是太大问题。

    按照林灰在论文补充内容提出的预训练机制的这个思路进行操作。

    虽然引入预训练机制后仍然需要进行训练。

    甚至看起来步骤要更繁琐了一些。

    但伊芙·卡莉估计同等规模语料库下的训练

    引入预训练机制的训练要比常规的至少能够节省50%的时间。

    模型的训练引入预训练的处理方式会带来效率的提升。

    这里面的道理通过学习方面的例子做类比很容易明白。

    通

请记住本站永久域名

地址1→wodesimi.com
地址2→simishuwu.com
地址3→simishuwu.github.io
邮箱地址→simishuwu.com@gmail.com