Blog

公平与效率并重：深度解析多语言大模型分词器（Tokenizer）的革新之路

最新研究探讨了多语言大语言模型在分词阶段存在的语言偏见，特别针对东南亚语言揭示了分词效率与公平性之间的复杂关系，并为构建更包容的AI模型提供了实证指导。