(资料图片仅供参考)

【ITBEAR科技资讯】7月31日消息，用户所使用的语言对于大型语言模型(LLM)的费用有着重要的影响，可能在英语使用者和其它语言使用者之间造成人工智能鸿沟。一项最新研究显示，由于OpenAI等服务所采用的服务器成本衡量和计费方式，英语输入和输出的费用远低于其他语言。例如，简体中文的费用约为英语的两倍，西班牙语为英语的1.5倍，而缅甸的掸语则高达英语的15倍。

该研究还揭示，让一个LLM处理一句缅甸语句子需要198个词元(tokens)，然而，相同的句子用英语写只需要17个词元。词元代表了通过API(如OpenAI的ChatGPT或Anthropic的Claude 2)访问LLM所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出11倍。

据ITBEAR科技资讯了解，这种巨大的费用差异主要源于词元化模型，即人工智能公司将用户输入转换为计算成本的方式。不同语言的结构复杂程度不同，例如中文的语法和字符数量较多，导致它们需要更高的词元化率。举例来说，同样表示"你的爱意(your affection)"的文本，在英语中只需要两个词元，而在简体中文中需要八个词元。尽管简体中文文本只有4个字符，而英文有14个字符。

这样的费用差异可能会对人工智能技术在不同语言社区中的普及和发展产生影响。由于成本较高，可能导致一些语言受限于获取高质量的自然语言处理技术。因此，引起了关于语言平等和包容性的担忧，以及人工智能在全球范围内的普及问题。未来需要加强研究，寻求解决这种语言费用差异的办法，推动人工智能技术更好地服务于全球各地的用户。