2024-09-03 11:00:59 西盟科技资讯
近日,由天翼云与华为联合打造的魔乐(Modelers)开发者社区,在天翼云中国行·贵州站活动现场上线发布。依托全场景开源模型资源、易用的模型开发套件,以及强大的共建共享生态系统等优势,社区将使能开发者高效进行AI应用创新,促进国产AI生态繁荣!目前,社区已面向广大开发者正式开放注册。
随着人工智能技术的飞速发展,中文AI应用的创新已成为推动行业发展的关键力量。在此背景下,魔乐开发者社区(modelers.cn)应运而生。魔乐社区致力于聚合优质中文AI资源,使能AI应用创新,加速伙伴商业闭环,通过提供极致易用的工具链,端到端支持AI应用开发的全流程。同时,结合国产化算力的使能,社区将助力孵化国产原生模型,为开发者打造一个开放、共享的人工智能生态社区。
魔乐社区集成了开发工具链、模型库、数据集和体验空间等核心组件,覆盖自然语言处理、视觉、音频等领域,提供原生模型、易用开发工具、丰富的生态资源,帮助每一位开发者获取领先的人工智能技术,打造出更有竞争力和差异化的模型及应用。
魔乐社区有什么优势?
1. 资源丰富
a. 海量优质中文AI资源
五大专区,1000+优质大模型,涵盖TeleChat等主流大模型,构成了魔乐社区的丰富资源库。开发者在这里不仅可以体验前沿的AI技术,还可以轻松下载所需的模型,应用到自己的项目中。
b. 千款大模型一键式离线复现,使能开发者快速搭建开发环境,构建AI应用
魔乐社区致力于简化AI模型开发流程,让创新触手可及。通过一键式离线复现功能,开发者可以迅速搭建自己的开发环境,并开始构建AI应用。通过将最佳适配全栈打包、分层解耦,社区可提供开放的容器镜像,消除传统开发中复杂的环境搭建流程。无论是资深开发者还是新手,都能够在魔乐社区找到适合自己的工具和资源,轻松实现AI梦想,共同推动技术进步。
c. 7000+高质量数据集资源,让模型构建全流程更高效
魔乐社区已与OpenDataLab合作,将逐步接入超7000个数据集,涵盖计算机视觉、自然语言处理、多模态、通用机器学习、音频识别等AI热门领域。这些数据集经过精心整理与标注,可为用户提供可靠的数据支撑,助力构建更加精准、可靠的AI模型。
2. 工具齐全
a. 提供高易用性的API,仅需几行代码即可实现微调、推理等任务,快速实现开发者与研究人员的创意
魔乐社区提供的开发套件,支持从模型训练到部署的全流程,原生兼容PyTorch 和 MindSpore等主流框架,通过几行代码即可实现模型微调、推理等任务。
以“星辰TeleChat_12B对话”为例,开发者可以在该模型主页获取详尽的“模型介绍”,包括其架构、参数和性能指标。页面上可一键访问数据集,无缝切换至体验空间,利用魔乐社区提供的工具和容器镜像,实现离线复现和应用开发,让创新触手可及。
b. 支持 Accelerate、MindSpeed等主流加速库,让模型训练更轻松
魔乐社区支持 Accelerate、MindSpeed等主流加速库。这些加速库通过优化并行算法、通信协议和显存资源管理,显著提升了计算效率,缩短了训练时间,让大模型的训练变得更加轻松和快速。
c. 支持昇腾NPU等多种处理器,无需修改代码即可灵活切换计算资源
借助魔乐社区提供的工具链,开发者可通过简单的参数配置,轻松匹配业务诉求,实现在多种算力间的灵活选择。这一设计不仅减少了开发过程中的复杂性,也极大提升了资源的利用效率。无论是处理大规模数据集还是进行复杂的计算任务,魔乐社区都能提供强大的后端支持,确保开发者能够专注于创新和优化算法本身。
3. 算力资源充沛
魔乐社区依托天翼云等企业的算力资源支持,为用户提供了高性能的计算环境。无论是模型训练还是推理部署,用户都能享受到流畅的计算体验。
作为国内领先的云计算服务提供商,天翼云在构建AI开发者社区方面展现出了独特的优势:
a.提供免费的国产化算力资源,支持体验空间在线推理
b. 算力资源充沛,为社区提供稳定、高效的智算资源
天翼云拥有覆盖全国的智算算力布局,围绕AI产业集聚区规划建设北京、上海、广东、浙江、安徽人工智能公共算力中心,智算总规模已达到21EFLOPS。天翼云在上海、北京打造的万卡池,是全国最早建成并真正投产运行的两个国产化、全液冷、单集群万卡公共智算中心。依托自身智能算力布局,天翼云能够为魔乐开发者社区提供稳定、高效的智算资源。
c.提供先进的技术平台:
天翼云息壤一体化智算服务平台面向行业大模型训推场景,提供模型开发、训练、调优的全链路服务。通过自研训练框架,打造核心加速算子集合,支持多维度混合全自动并行,提供万卡级超大规模异构模型训练能力,自动兼容国产芯片,实现与头部训推框架的无缝对接,覆盖行业主流开源大模型,将训练效率提升了50%;通过自研推理框架,构建推理加速算子集合、量化压缩模型轻量化技术,提供异构硬件的推理能力,使推理速度提升28%。平台基于软硬件协同设计,打造了全链路故障感知和恢复、全链路日志监控和断点续训&续推等核心技术,大幅提升有效训练时间和推理可用性,保障大模型训推场景稳定高效运行。
携手开发者,共筑AI新生态
魔乐社区诚挚地邀请每一位开发者加入这个大家庭,共同探索AI无限潜力。在这里,您可以与全球的AI爱好者交流心得、分享经验;可以快速利用大量的模型资源以及高质量的数据集资源,快速构建并分享自己的AI应用;也可以借助充沛的算力资源与齐全的开发工具链,将创意与想法转化为现实。让我们携手并进,在AI的征途中不断前行,共筑AI新生态。