《科创板日报》23日讯(记者 李明明) 新年伊始,AI赛道持续火热。
近日,国内AI Infra创业企业北京清程极智科技有限公司(下称“清程极智”)发生工商变更,新增北京市人工智能产业投资基金(有限合伙)、北京中科创星硬科技中小企业创业投资合伙企业(有限合伙)、北京考拉鲲鹏科技成长基金合伙企业(有限合伙)等,注册资本由约115.4万元增至约138.4万元。
《科创板日报》记者注意到,作为天使轮投资方,智谱近期退出了清程极智,退出前持股比例2.16%。对此,《科创板日报》记者联系了智谱,但公司未作回应。
清程极智联合创始人汤雄超为字节系创业者,他于2022年加入字节跳动任高级研发工程师。
聚焦AI Infra赛道
清程极智成立于2023年12月,法定代表人为汤雄超,是一家智能算力系统软件服务商。经营范围含人工智能理论与算法软件开发、人工智能基础资源与技术平台、人工智能基础软件开发等,现由北京清程万象科技中心(有限合伙)、北京清程纵横科技中心(有限合伙)等及上述新增股东共同持股。
主要产品方面,清程极智此前推出自研高性能推理引擎 “赤兔(Chitu)”。该引擎集低延迟、高吞吐、低显存占用、系统运行稳定等技术优势于一身。目前,“赤兔”推理引擎已支持文本、图片和视频等多种模态,并且适配及多款国产芯片。
另外,清程极智的旗舰系统“八卦炉”在某国产芯片集群训练 Llama2-70B 场景下,加速效果接近2倍。“八卦炉”系统具有较强的通用性,能针对不同硬件架构和目标模型提供针对性的性能优化方案,可以兼顾预训练和个性化微调等多样化业务需求。
清程极智所在的AI Infra赛道,指的是在大模型的生态系统中,除算力外,为支持大模型训练和部署流程构建的各种底层软件技术设施。其能帮开发者简单方便地设计模型或使用模型,而无需操心底层算力资源的调配。
随着ChatGPT的火热,大模型和其相关应用不断涌现。AI Infra作为连接算力和应用的AI中间层基础设施,其技术和商业发展前景被重点关注。
一位投资国内AI Infra早期创企的头部投资人向《科创板日报》记者表示,由于目前大模型的发展处于早期阶段,快速构建和训练调优模型更受重视。而基础设施构建虽并非绝对优先级,但是在行业成熟后,应用层发展起来后,基础设施的支撑将会越来越重要,因此,其个人非常看好AI Infra的前景。
“国内AI Infra创企若想发展的好,还需要思考是面向国内市场还是海外市场、相比现有解决方案或开源软件的独特优势在哪、商业模式是否可以标准化等问题。”
随着 AI 应用日益广泛,未来 AI 算力需求呈现推理需求持续攀升的态势。据相关数据预测,到2026年,大模型推理在算力使用中的占比有望达到60%以上。
《科创板日报》记者注意到,国内AI Infra创企还包括无问芯穹、硅基流动等,二者均为清华系公司,此前清程极智的投资方智谱也入资了这两家企业。
无问芯穹的项目发起人是清华大学电子工程系主任汪玉,创始人是其学生夏立雪;硅基流动的创始人袁进辉也出身于清华,师从中国人工智能的开拓者、中国科学院院士张钹。
而该赛道的国外企业包括英伟达、亚马逊、Lepton AI、OctoAI等,以及伯克利大学开发的 vLLM。
创始人系字节跳动前高级工程师
清程极智核心团队都来自清华,其联合创始人汤雄超2019年于清华计算机系博士毕业,毕业后加入深信服,在2022年加入字节跳动任高级研发工程师,负责计算密集型产品的架构;2023年12月成立清程极智。
团队首席科学家为清华大学计算机系教授翟季冬,研究方向包括高性能计算、编程语言和编译优化、性能评测等。
此前,训推一体机是业内较为流行的产品形态。但在汤雄超看来,训推一体机是很难满足未来的 AI 业务全部需求的。
他认为,训练和推理两种业务对算力系统的需求区别较大,很难想象出有一个比较小的一体机能够承载训练的业务,现在大模型的预训练可能都是万卡以上的规模。所以,清程极智选择为推理业务量身定制相应的软硬一体化算力系统。
商业化方面,汤雄超此前表示,清程极智已经陆续和多家芯片厂商、算力中心、AI 应用开发商以及基础模型预训练厂商达成了商业合作,包括沐曦、燧原、天数、摩尔线程等。
成立至今,清程极智已经完成了两轮融资,本轮投资方之一北京市人工智能产业投资基金表示,当前我国各地智算中心在GPU大集群上的建设和运营经验尚显不足,清程极智是国内有充足潜力的AI Infra企业,核心团队国内稀缺,具备编译和并行系统双重背景,能提供完整并行系统而非单一框架,具备百万亿级参数模型训练经验,且具备异构算力集群训推优化经验。
北京市人工智能产业投资基金,于2023年底成立,截至目前,其共有公开投资事件约20起,涉及面壁智能、智谱、深势科技等多个人工智能领域的知名项目。
另一投资方中科创星表示,清程极智核心团队在大模型出圈之前,就具备大模型在国产卡上的训练优化能力。是国内少有的完全掌握从底层编译器到上层并行加速全栈研发能力的团队,在国内市场尤为空缺的编译器和并行训练推理系统等核心技术软件方面,具备完整的自主研发能力。