阶跃Step 5开源600B权重:92层深架构,百万Token索引开销降至

币界网消息,阶跃星辰发布了Step 5预览模型权重,包含6000亿参数的92层深架构,支持100万token上下文。新技术博客披露,该模型通过引入sparse gqa,将相邻8个token合并索引,使索引和top-k筛选开销降至逐token索引方案的1/8。模型采用自定义的stepfun model license 1.0,允许一般商业使用,但手机、汽车等硬件厂商若将模型能力集成进商业产品,必须另外签署许可协议。

分享到