2024-09-30 15:08:28 互联网
9月27-29日,2024中国算力大会在郑州举行。会上,浪潮信息重磅发布元脑企智EPAI一体机,通过软硬件高度协同的一体化设计,为客户提供多元多模、简单易用、本地部署、安全可靠的大模型开发平台,显著提高企业大模型以及AI原生应用的开发效率,加速大模型产业化落地。
大模型落地挑战巨大
随着大模型和生成式技术的飞跃式发展,基于大模型的应用创新正在成为新的主题,如何以大模型赋能现有的技术、业务,已成为企业在新一轮技术周期中保持竞争力的要素之一。但企业在应用大模型的过程中往往面临着诸多挑战,如生态离散导致的多元多模适配难,模型训练和部署复杂、数据治理难、模型“幻觉”问题以及对专业技术人才的依赖等,导致大模型与行业场景的融合进展缓慢。
首先,多元多模适配难度大、周期长、成本高。不同场景、不同业务对模型能力的多样需求,业务生产环境往往是多模并存的状态,而由于芯片生态离散、特定应用加速等原因,所使用的算力资源也是多元并用的。因此,大模型应用开发需考虑与多元算力、多样大模型的选择、适配、组合调度等问题,难度大,周期长,成本高。
其次,巨大参数量级的通用大模型,很难直接用于复杂、离散的行业场景,各行业知识专业化程度高,可迁移性低,通用大模型本身难以覆盖,所以经常出现大模型“幻觉”或是“胡言乱语”的问题,因此必须结合行业和企业专业数据进行再学习。
最后,要实现大模型与行业场景的深度结合,实现高效、高可靠、高质量的模型应用效果,涉及数据、微调、RAG、部署、上线和运维等极为复杂的流程,特别是数据治理和模型微调,需要具有丰富经验的实施团队才能胜任,技术门槛高。
元脑企智EPAI一体机,让大模型开发快到飞起
对于大多数企业而言,大模型应用开发的系统性、复杂性,往往让企业对大模型开发望而却步。因此,实现大模型的深入行业应用与广泛落地,关键在于如何有效提高AI应用创新的质量和效率,卓越的大模型及应用开发工具成为释放智能生产力的关键。
浪潮信息元脑企智EPAI一体机基于专为大模型应用场景设计的元脑服务器,搭载了元脑企智EPAI企业大模型开发平台,支持多元算力、多模管理、全链工具以及本地部署,可一站式解决数据处理、模型微调、RAG搭建、模型部署、应用上线和系统运维等环节开发难题,为客户提供多元多模、简单易用、本地部署、安全可靠的大模型应用开发平台,满足企业人工智能应用从开发到实施的全栈需求。
多元多模:元脑企智EPAI一体机具备多元算力和多模管理能力,通过大模型计算框架TensorGlue实现异构算力调度,通过算子基础化技术实现上层模型算法和下层基础设施的逻辑解耦,从而高效的屏蔽模型和芯片差异,降低企业跨算力平台迁移、多元模型部署适配的试错成本。目前,元脑企智EPAI一体机可以支持10+业界主流大模型计算框架,内置7个主流基础大模型,预设了20+微调参数,用户可以针对知识问答、智能编码、文档理解、智能助手等不同应用场景和任务需求,选择最佳产品型号和模型算法,快速开发模型应用。
简单易用:元脑企智EPAI一体机提供从数据准备、大模型微调、知识库构建、大模型部署上线运维的全流程支持工具链。其中,针对数据准备,预先内置了上亿条基础知识数据以及自动化数据处理工具,支持10种以上企业常见的数据格式,并且以超过95%的抽取准确率,把这些数据转化为知识库以及可供模型进行微调的数据;针对大模型微调,采用低代码可视化界面来进行微调,并且内置了Lora、SFT等多种微调框架以及20多种优化参数,用户可依据具体业务需求和数据特性,选择最为合适的框架与技术,快速且低成本地构建起企业专属大模型能力。
本地部署、安全可靠:由于大模型应用开发需要结合企业私有数据,要求企业数据不出域。本地部署可以确保用户数据不被上传至云端,避免数据泄露和滥用的风险,这在处理敏感信息或符合严格数据保护法规的行业中尤为重要。元脑企智EPAI一体机的本地化部署模式提供全链路的企业数据防护能力,设置多级过滤和审核体系,让数据的流转更安全,让生成结果更可靠,构建起一个既能充分利用数据价值,又能保护用户隐私、符合法规要求的安全数据处理环境,做到“数据可用不可见”。
元脑企智EPAI一体机能显著提升大模型应用的开发效率,并极大节省人力成本。据悉,浪潮信息先行先试,采用1台元脑企智EPAI一体机标准版,低代码完成企业知识库构建、模型微调、应用开发等工作,1人1月即简单高效、低门槛地打造出智能售前助手“元小智”,赋能日常售前业务,实现智慧化变革,团队工作效率提升3-5倍。
浪潮信息产品方案开发部总经理魏健表示,本次发布了基础版、标准版、高级版、创新版和集群版五个版本,主要面向制造、金融等行业客户、传统ISV和SI三类用户提供一站式大模型生产及应用全流程开发工具链,同时支持接入更多元脑伙伴的算法和模型能力,共同打造AI原生应用开发的“超级工作台”,加速AI应用创新和落地。