从事AI研究的人都十分清楚，数据在AI开展中扮演着至关重要的角色。 传统观点以为，很多数据支撑起了顶级AI的开展，大数据也一直被奉为打造成功机器学习项目的要害之匙。作为深度学习的引擎，大数据与大模型已经成功运行了15年。 现在，预练习大模型已成为各家打造AI基础设施的利器，业界出现了各种由大数据构建出的大模型，例如：

• Switch Transformer

谷歌于2021 年1月11日提出，声称参数量从GPT-3的1750亿提高到1.6万亿。Switch Transformer根据稀少激活的专家模型(Mixture of Experts)，论文中说到在核算资源相同的情况下，练习速度能够到达T5 (Text-To-Text Transfer Transformer)模型的4-7倍。

• MT-NLG

2021年年底，英伟达与微软联合发布了MT-NLG，该模型含参数5300亿个，宣称是目前最大的且最强的语言生成预练习模型。

• 悟道2.0

2021年6月，北京智源研究院发布悟道2.0，参数规划到达1.75万亿，是GPT-3的10倍，超过了谷歌Switch Transformer的1.6万亿参数记载。

• “封神榜”

2021年11月，在深圳IDEA大会上，粤港澳大湾区数字经济研究院(简称“IDEA”)理事长沈向洋正式宣告，敞开“封神榜”大模型开源计划，包括五个系列的亿级自然语言预练习大模型，其间包括了最大的开源中文BERT大模型“二郎神”系列。 但值得留意的是，在某些场景下，大数据并不适用，“小数据”才是更好的处理方案。

1.未来AI从大数据转向小数据

虽然业界在大数据和大模型取得了飞跃性的成果，但是这种规划化办法，并不适用于数据集不够巨大的新式职业或传统职业。

在传统职业，根据公开数据的预练习的大模型简直派不上用场。

“巨大的搜索数据、经济数据关于检测零部件缺点毫无用处，关于医疗记载也没有太大的帮助。”吴恩达教授表示。

更困难的是，与可获取海量用户数据的互联网公司不同，传统企业没有办法搜集海量的特定数据来支撑AI练习。

例如，在轿车制造业中，因为精益6-sigma管理技能的广泛运用，大多数零件制造商和一级供应商都尽量保证每百万批次的产品中最多出现4个不合格产品。于是，制造商们就短少了不合格产品的样本数据，然后很难练习出功能良好的用于产品质检的视觉检测模型。

最近一次的MAPI调查显现：58%的研究对象以为，布置AI处理方案最主要的困难是数据源的短少。

正如吴恩达教授所言：“过去十年，AI最大的转变是深度学习，而接下来的十年，我以为会转向以数据为中心。跟着神经网络架构的老练，关于许多实践运用来说，瓶颈将会存在于“如何获取、开发所需求的数据”。

跟着各国数据和隐私安全法规纷纷落位，对AI技能监管收紧，AI的大数据盈利期已经一去不复返。

根据Gartner的陈述，到2025年，70%的安排将被迫将要点从大数据搬运到小数据和泛数据，为剖析供给更多上下文——并削减AI对数据的需求。

但这并不意味着AI的开展会受阻。相反，在小数据年代，AI相同大有可为。

吴恩达教授以为，根据融合式学习、增强式学习、常识搬运等办法，小数据也能够发挥大的作用，未来AI的趋势之一是将从大数据向小数据过渡。

2.小数据如何驱动AI?

需求留意的是，小数据的“小”并不只是代表数据量小，也要求质量高的数据，这一点尤为重要。小数据是指运用契合需求的数据类型构建模型，然后生成商业洞悉和完结主动化决议计划。

咱们常常会看到有人对AI希望过高，只是搜集几张图片数据，就希望取得一个高质量的模型。在实践布置时，是要找出最适合用于模型构建的那部分数据，用于输出正确内容。

对此，吴恩达教授举例道：一个经过练习的机器学习体系在大部分数据集上的体现还不错，却只在数据的一个子集上产生了误差。这时分，假如要为了提高该子集的功能，而改变整个神经网络架构，这是适当困难的。但是，假如能仅对数据的一个子集进行设计，那么就能够更有针对性的处理这个问题。

例如，当背景中有轿车噪音时，有一个语音辨认体系的体现会很差。了解了这一点，就能够在轿车噪音的背景下搜集更多的数据，而不是一切的作业都要搜集更多的数据，那样处理起来会十分贵重且费时。

再比方，智能手机上有许多不同类型的缺点，或许会是划痕、凹痕、坑痕、材料变色或许其它类型的瑕疵。假如练习过的模型在检测缺点时总体体现很好，但在坑痕上体现得很差，那么组成数据的生成就能够更有针对性地处理这个问题，只为坑痕类别生成更多的数据。

事实上，小数据并不是一个全新的课题，在机器学习范畴，小数据的处理办法已经越来越多。

• 少样本学习

经过少样本学习技能，为机器学习模型供给少数练习数据，适合在模型处于完全监督学习状态而练习数据缺乏时运用。

少样本学习技能常常运用于核算机视觉范畴。在核算机视觉中，模型或许不需求很多示例来辨认某一对象。例如，具有用于解锁智能手机的面部辨认算法，无需数千张自己的照片便可敞开手机。

• 常识图谱

常识图谱归于二级数据集，因为常识图谱是经过筛选原始的大数据而构成的。常识图谱由一组具有定义意义并描述特定域的数据点或标签组成。

例如，一个常识图谱或许由一系列闻名女演员姓名的数据点组成，共事过的女演员之间以线(或称之为边)连接起来。常识图谱是一种十分有用的东西，以一种高度可解释和可重复运用的办法安排常识。

• 迁移学习

当一个机器学习模型作为另一模型的练习起点，以帮助此模型完结相关使命时，就需求用到迁移学习技能。

从本质上讲，是将一个模型的常识迁移到另一个模型。以原始模型为起点，再运用额定数据来进一步练习模型，然后培育模型处理新使命的才能。假如新使命不需求原始模型的某些构成部分，也能够将其删除。

在自然语言处理和核算机视觉等需求很多核算才能和数据的范畴，迁移学习技能尤为有效。运用迁移学习技能能够削减使命的作业量和所需时刻。

• 自监督学习

自监督学习的原理是，让模型从现有的数据中搜集监督信号。模型运用现有数据来猜测未观测到的或躲藏的数据。

例如，在自然语言处理中，数据科学家或许会在模型中输入一个短少单词的句子，然后让这个模型猜测所短少的单词。从未躲藏的单词中取得满足的背景线索后，模型便学会辨认句中躲藏的单词。

• 组成数据

当给定数据集存在缺失，而现有数据无法填补时，就能够运用组成数据。

比较普遍的示例是面部辨认模型。面部辨认模型需求包括人类全部肤色的面部图像数据，但问题是，深色人脸的照片比浅色人脸的照片数据要少。数据科学家能够人工创立深色人脸数据，以完结其代表的平等性，而不是创立一个难以辨认深色人脸的模型。

但机器学习专家必须在实际世界中更彻底地测验这些模型，并在核算机生成的数据集缺乏时，增加额定的练习数据。

3.小数据的大潜力

现在，小数据的潜力正在被业界所注重。

2021年9月，美国网络安全和新式技能局(简称CSET)发布的《小数据人工智能的巨大潜力》陈述指出，长期被忽略的小数据(Small Data)人工智能潜力不行估量!

一是，缩短巨细实体间AI才能距离。

因为不同机构搜集、存储和处理数据的才能差异较大，AI的“有钱人”(如大型科技公司)和“贫民”之间正在拉开距离。运用小数据构建AI体系，能够大幅下降中小型企业进入AI的壁垒，削减传统企业项目的研制时刻和成本，将成为数以万计的商业项目的重要突破口。

二是，促进数据匮乏范畴的开展。

关于许多亟待处理的问题如：为没有电子健康记载的人构建猜测疾病危险的算法，或许猜测活火山忽然喷射的或许性，可用数据很少或许底子不存在。

小数据办法以供给原则性的办法来处理数据缺失或匮乏。它能够运用符号数据和未符号数据，从相关问题迁移常识。小数据也能够用少数数据点创立更多数据点，凭借关联范畴的先验常识，或经过构建模拟或编码结构假设去开始新范畴的冒险。

三是，防止脏数据问题。

小数据办法能让对“脏数据”烦不堪烦的大型机构受益。不行计数的“脏数据”需求消耗很多人力物力进行数据整理、符号和整理才能够“净化”，而小数据办法中数据符号法能够经过主动生成标签更轻松地处理很多未符号的数据。迁移学习、贝叶斯办法或人工数据办法能够经过削减需求整理的数据量，分别根据相关数据集、结构化模型和组成数据来明显下降脏数据问题的规划。

四是，削减个人数据的搜集。

全球各国都陆续出台了针对个人数据保护的政策法规，用小数据办法能够很大程度上削减搜集个人数据的行为，经过人工组成数据或运用模拟练习算法，让运用机器学习变得更简单，然后让人们对大规划搜集、运用或发表顾客数据不再担忧。

4.结语

AI依赖巨量数据、数据是必不行少的战略资源，但也绝不能低估小数据的潜力，尤其是在AI走向运用落地的下一个十年中，是时分从大数据转向小数据、优质数据了。