对齐，语义，与大语言模型

​

对齐，语义，与大语言模型

1

大语言模型，通过统计词语的排列和组合以及更细微的关系，从语用，逼近语义。

这个过程，它通过词语统计出的关系中的相似性，对立，等关系，直接理解一部分词的语义，间接理解一部分词的语义。用语用逼近另一些词语的语义。

从目前的一些使用者的研究和体会中，反映出了它具有一定的语义的理解能力。但不确切。也能观察到很多幻觉和错误，幻觉源于它的生成机制，和一些语义的不理解。

从大模型对词语进行统计计算生成的词语向量的属性和参数上我们可以判断，它具有一定的语义能力和掌握一些词性的可能性。

它对于语言的理解，我们也可以理解为，从语用到语义的对齐。

2

sora，视频多模态大模型，进行文本和视频双重语料训练。其中，视频是包含三维空间信息，时间参数，对象的运动，事件等信息的。

这种训练，将视频中的运动空间时间等信息，与相应文字关联。使得大模型具有了理解空间时间和运动以及现象和事件的可能。并在实例中部分的证实了这种语言能力。

这是一次视频中的物理世界的信息与文本的对齐。

3

这种对齐，意思是，指代关系的确立，相关性的确立，彼此的可翻译可替代。

在文本大模型中，可能理解部分语义。不理解的部分，也用语用进行计算和拟合。

视频多模态大模型中，可能理解物理世界的现象。这种物理世界的现象，是文本语言的根基和锚。

在两个基础上，大模型，经过巧妙的训练，理论上具备很大的可能掌握很多词语和概念的语义。但是高级的语义和联想推理思维，需要更复杂的语言结构和语义计算。多模态大模型理论上可以掌握，但需要精妙的设定和训练。

在GPT➕sora之后，大模型具备了成为通用人工智能AGI的技术基础和条件。

我们也可以更广义的看待，大模型的训练，也是文本和视频语言与计算机的代码与基础算法的翻译与对齐。

英语和法语与中文的翻译，实际上也是几种符号的对齐。通过相同的语义。