当下,人工智能正在深刻改变着全球格局和人们生活,引发颠覆性的科技革命,生成式AI的“智能涌现”更助推人工智能产业的加速成长。据IDC预测,2026年全球AI市场规模有望达3082.8亿美元,2023-2026年CAGR约26.7%。2026年,我国AI市场规模有望达264.4亿美元,2023-2026年CAGR约21.5%。
技术投入、核心人才和应用场景构成核心壁垒。中信证券认为,大模型是一个重资源禀赋、高进入门槛的赛道,其对算法模型的有效性、高质量的数据、算力的支撑能力均有极高要求,模型的优化迭代亦有赖于资金和人才的持续投入。此外,大模型的实际落地和行业应用能力也是市场检验的重要标准。
其中,高质量的数据,能够为模型自身的学习、迭代,以及对推理能力的训练带来正向影响。按照当前LLM的技术范式,数据集主要应用于预训练和模型调优阶段。预训练阶段需要大规模、多类别、高质量的训练数据,在模型调优阶段,垂类小数据集、提示词工程同样重要。
近年来全球数据量呈现爆发式增长,据IDC统计,2019年全球产生的数据量为41ZB,过去十年的CAGR接近50%,IDC预计到2025年全球数据量或高达175ZB,2019-2025年仍将维持近30%的复合增速,其中超过80%的数据都将是处理难度较大的文本、图像、音视频等非结构化数据。从Bert开始到GPT-3再到谷歌的PALM,网络中的公开语言数据源已经在被尽可能地利用(论坛、新闻、维基百科等),但模型优化仍需更多数据,这要求模型开发商有能力接触到优质私有数据来源,从而才能在模型的数据底层取得差异性优势。
为助力企业应对大模型在数据方面的挑战,解决数据不足、数据质量无法保证、数据管理难等痛点,基于多年积累的行业经验和对产业发展前瞻性判断,云测数据在去年推出面向AI工程化应用的数据解决方案,有效解决了工程化应用中算法迭代、数据流转等难题。在此基础上,云测数据进一步针对大模型的特点和应用需求,正式推出面向垂直行业大模型的AI数据解决方案,以提供覆盖数据全生命周期的服务。
云测数据垂直行业大模型AI数据解决方案可以帮助企业快速获取多样化训练数据、高效完成数据标注、建立统一规范的数据管理体系、输出标准化可直接用于模型训练的数据集、提供端到端全流程的数据服务等,从而满足大模型持续迭代的需求,加速模型在实际场景中的落地应用。
具体来说,云测数据凭借自身在数据采集方面的专业能力和丰富数据资源,可以高效获取不同场景(如图像、视频、文本等)所需的大规模多样化高价值数据,为企业大模型的训练提供可靠的场景数据源。同时在面对微调任务会根据大模型落地场景特点,提供包含QA-instruct、prompt等文本类任务项目和多模态大模型的相关能力支持。在完成微调后,云测数据通过垂直领域的人员和专家积累+评测体系和服务,帮助企业对各个垂直应用落地领域进行评估。并通过以集成数据底座为核心的数据标注平台,将难例数据回流完成清洗标注,为更有效率的模型调优做准备,并实现标注精准度最高可达99.99%的高质量交付,助力企业在数据层面提升大模型应用的效能,获得核心竞争力。
在新一轮科技革命和产业变革中,大模型作为重要的技术方向,也面临训练数据不足、应用场景有限等难题亟待解决。云测数据此次推出的面向垂直行业大模型数据解决方案,可为行业大模型的应用提供关键支撑。相信在云测数据以及业内更多企业的共同努力下,我国大模型训练效果与商业化水平都将得到大幅提升,真正实现从概念到落地的产业化飞跃。
