

【一种基于分片式自动学习的AI模型训练系统和方法】的权利说明书内容是......
【一种基于分片式自动学习的AI模型训练系统和方法】技术领域本发明属于大数
据处理技术领域,尤其涉及一种基于分片式自动学习的AI模型训练系统和方法。
技术背景人工智能(AI)技术是掀起下一轮互联网变革浪潮的新引擎。当前,经
过了移动互联网高速发展的阶段,当下信息技术领域正遭遇着创新乏力、竞争逐步
激烈等困境,基于技术发展的商业模式创新红利在消失,产业发展正遭遇天花板,
亟需新一轮技术变革驱动商业模式的全面升级。人工智能作为万物互联时代最前沿
的基础技术,将能够渗透至各行各业,并助力传统行业实现跨越式升级,实现全行
业的重塑,成为掀起互联网颠覆性浪潮的新引擎。电信运营商经过多年的高速发展,
目前已经积累了大量的数据,其中包括行业综合数据、用户使用交互信息、用户消
费数据、设备日志记录等结构化数据,以及文本、音视频、图片等非结构化数据。
电信行业已无法从人口红利模式中继续获取高速发展,转而逐渐重视流量红利和数
据红利。对外,AI的使用能够有效提升电信运营商的客户服务水平与市场营销效
果,同时能够拓宽电信运营商的服务类型和业务范围;对内,AI能够帮助电信运
营商推进网路虚拟化和云技术,达到提高自动化水平,降低资本和运营支出的效果。
尽管AI能力的应用可以帮助电信运营商降本增效,但由于缺乏一套高效、便捷、
易用的AI模型训练方法和系统,因此在实际应用的过程中会遇到以下的问题:1)
训练资源利用率低。训练模型时,模型训练人员只能根据已有的CPU、GPU、内
存等物理硬件资源进行训练操作,无法根据模型训练时的资源使用状况进行动态扩
展,导致模型训练效率低下;不训练模型时,已经分配给模型训练人员的资源只能
闲置,不能做到充分利用。2)训练算法使用不灵活。模型训练人员在开展训练前,
需要安装不同的机器学习框架,训练过程中需要依靠经验来调整参数,训练完成之
后再手动打包发布,无法实现机器学习框架的自由选择,以及自动完成模型的调参、
选优、评价、发布等操作。3)训练过程管理不友好。需要在训练服务器通过命令行
的方式完成模型训练脚本的编写、模型训练任务的启动和停止、模型训练过程日志
的监控、模型训练输出参数的查阅,对于模型训练人员有较高的使用门槛。发明内
容针对以上技术问题,本发明公开了一种基于分片式自动学习的AI模型训练系统
和方法,提供AI模型训练的多场景、可扩展、可视化、可管控、自动化和监控的方
法和系统,有效降低AI模型训练的门槛,提升模型训练的易用性和便捷性,为AI