近日,云从科技正式发布从容大模型1.5版本。该版本包含十亿级、百亿级、千亿级多种模型规格。为了解决大模型落地的难题,从容1.5版本的重点是参数量为130亿(13B)的行业大模型,该模型从千亿大模型中蒸馏产生。

据介绍,此次1.5版本模型上下文长度(Context length)实现了32K Tokens,同时,从容大模型对中文编码器进行了深度优化,一个中文汉字平均仅占0.7 Tokens,这使得从容大模型1.5版本支持的上下文长度超过4.5万字。