Avature AI 深度解析：技能语义模型

可能很多小伙伴们在回答这个问题的时候有疑惑，您可能在思考，“食品与饮料 (Food & Beverage)”和“食品科学 (Food Science)”领域究竟有多少技能是重合的。接下来，这篇“硬核”文章将由浅入深地引导大家了解技能语义学的世界。我们将探讨：什么是技能语义学，技能间的相互关系，以及技能在 AI 中的应用。同时，您将在阅读过程中寻找到针对上面这道问题的详尽解答。欢迎小伙伴们继续往下阅读哟📖～ 

技能作为衡量获取特定成果所需知识或专长的指标，要评估候选人是否适合一个职位，就需要理解候选人的技能含义及职位所需技能的含义。这种评估不可避免地牵涉到“含义”这一概念的理解，可能导致我们不得不涉猎哲学话题。

通常来说，一个词的含义可以被视为它所指代的实际世界中所有对象或概念的总和。比如，"椅子"这个词包含了所有形式的椅子，无论是实体的还是理念上的。这种语义上的定义在语言学中称为指称语义学。分布式语义学则提出了不同的视角，认为一个词汇的含义可以通过其在文本中的分布来确定，换言之，就是依据它出现的各种上下文环境来决定。这种假设被称作“分布假设”。

约翰·鲁珀特·弗思 (John Rupert Firth)

语言学家

对于技能语义学来说，这种定义非常有价值，因为我们所需要做的是能够比较技能，并确定一个技能与另一个技能的相关性。此时，仅仅匹配技能的确切名字是远远不够的，因为同一技能可能有不同的名称（如“编程”与“软件开发”可能是指同样的能力）。此外，某一技能的表述可能暗示了其他技能的存在。例如，如果你看重编程技能，那么拥有 Java、C++ 或 Python 经验的候选人很明显具备编程能力，哪怕他们的简历上没有直接提到“编程”这一技能。

在人力资源管理领域，挖掘和应用技能之间的相互关系是一个核心任务。换句话说，构建一个精准的技能语义框架是必要的。但是，传统的手动构建方法不仅对跨领域知识要求高，且难以适应技能不断发展的动态性。此外，手动方法可能因缺乏灵活性而很快过时。鉴于技能概念及其相互关系的持续演化，我们需要一个能够自动掌握技能语义的解决方案。

人工智能在这里扮演了一个不可或缺的角色。借助机器学习模型，我们能自动从实际数据中挖掘技能的深层含义。这种自动化的方法不仅可以轻松适应新技能的引入和数据更新，而且克服了对行业广泛知识的依赖。

利用人工智能，我们能够训练模型来识别和解读技能数据，揭示技能之间的深层联系，以及预见不同技能组合可能带来的价值。AI 系统能够随着时间的推移对其技能知识库进行持续升级，从而跟上市场和技术的步伐。这种方法为人才管理提供了一个灵活、自适应和持续进化的分析工具，能够更好地适应职业发展和人才策略的变化。

Avature 怎样通过分布语义理论来学习技能的含义呢？我们采用了自然语言处理中广为流行的一种技术——词向量嵌入。这种技术通常被称为 word2vec，它将每一个单词映射为一个多维空间（如100维）中的向量。

这一映射算法基于一个核心前提，即前面提到的分布假设，也就是在相同上下文中出现的词彼此之间具有相似的含义。具体来说，就是训练一个神经网络模型，使其能够根据单词的上下文来预测该单词在向量空间中的位置。

我们采用了类似的方法来表征技能，即使是由多个单词组成的技能（例如“特定应用集成电路 / application-specific integrated circuits”），在向量空间中也是单一的点。换句话说，每个向量点代表的是一个概念而不仅是一个单词。我们通过在技能数据上训练深度神经网络（DNN）模型，来估算类似于 word2vec 的技能向量嵌入（skill2vec）。

首先，我们会从匿名简历及工作描述中汇总相关的技能集合。例如，我们可能会从某个模拟设计工程师的职位描述中提取以下技能：

• 职位名称：模拟设计工程师 （Analog Design Engineer）

• 技能清单：设计、测试、电路设计、Verilog、锁相环等。

接下来，我们训练神经网络模型，通过隐藏某个技能（如“电路设计”），然后让模型尝试仅从其它提供的“上下文”技能（如“设计”、“测试”、“Verilog”、“锁相环”等）中预测出被隐藏的技能。

在训练初期，DNN 模型可能无法做出准确预测，但随着训练过程的进行，我们利用反向传播算法对模型的参数进行调整，以减少预测误差。这个过程会在大量数据样本上重复进行多次迭代（典型的数据集大小约为 4500 万工作记录），直至模型参数收敛，预测误差明显降低。

技能嵌入培训示例。

经过训练的 DNN 模型能够将每一个技能定位到嵌入空间中的一个特定点。这种映射具有一个显著特点：上下文相似、含义接近的技能在嵌入空间中会相互靠近。这一特性极为关键，因为它允许我们通过计算 skill2vec 空间中的嵌入向量之间的距离，来量化技能含义的相似度。例如，在我们的嵌入模型中，我们计算得到 SIMILARITY (软件开发, Java)为0.7136，而 SIMILARITY (软件开发, 木工)为0.0706，相差近十倍。

最后，让我们以两个技能“食品与饮料”和“食品科学”为例，进一步阐释技能嵌入的性质。当我们寻找与“食品与饮料”嵌入向量邻近的技能时，我们发现了如“餐厅管理”、“烹饪”、“餐饮服务”和“菜单开发”等。而对于“食品科学”，其邻近技能则包括“微生物学”、“分析化学”、“聚合酶链反应”和“感官评估”。

这表明，尽管“食品与饮料”和“食品科学”这两个技能都包含“食品”这个词汇，它们却因关联不同行业（分别是食品服务业和食品开发制造业）而各自连接到一系列迥异的技能。这不仅证明了技能嵌入能够捕获技能的语义深度，而且还说明了它能够超越关键词，准确地反映技能之间的实质联系。

如果您对我们的 AI 技术有更深入的兴趣，请不要错过我们即将在今天下午 2 点举行的网络研讨会 — “深入浅出 Avature 的 AI 战略与实践”，Avature 客户专享。我们的 Avature 产品专家将详细讨论 AI 如何革新技能管理，提升招聘流程体验，以及推进人才的职业发展。请扫描👇下方图片中的二维码👇进行注册。