从 NLP 困境到 BERT 的诞生
自然语言处理(NLP)作为人工智能领域的重要分支,旨在让计算机理解、生成和翻译人类语言。从早期简单的规则匹配到后来的机器学习算法应用,NLP 一直在不断发展。然而,传统的 NLP 方法,如基于规则的系统和早期的机器学习模型,在面对语言的复杂性时逐渐显得力不从心。
语言具有语义多义性、上下文依赖和长距离依赖等特点。同一个词在不同语境下可能有完全不同的含义,比如 “苹果” 既可以指水果,也可能是指某家科技公司;一个句子的含义往往依赖于其上下文,脱离上下文单独理解一个句子可能会产生歧义;而在长文本中,相距较远的词汇之间也可能存在重要的语义关联 ,像在一篇...