丁宁：大模型的关键突破是“预训练”，效果超出想象
2023/09/06丁宁坦言，“大模型让人印象非常深刻”。在其看来，大模型的关键突破是“预训练的步骤”。
他解释说，以前机器学习是就问题本身学习相关数据，而“预训练”是先不学某个具体的问题，而是所有知识都要了解——构建一种世界的常识体系，把人的认知体系，包括物理和逻辑关系都搞清楚了，再来说解决具体问题，“它的效果一下子超出人的想象”。
“这是大模型里面的一个比较关键的问题，通过预训练方法把常识体系构建起来”。
分享至：
其他文章
-
“中超”赚钱还是赚吆喝
2017/08/03 -
一带一路与中国企业国际化
2017/04/26 -
人工智能在中国
2017/04/26 -
陈启宇：复星的未来医疗之路
2017/04/26 -
曹远征：去杠杆核心是去“僵尸”
2017/04/26