众所周知，人工智能的测试具有相当大的难度，不论是以前在互联网就经常看到的内容推荐系统，还是金融领域常用的信息分类系统。测试介入的都不多。那么如何测试人工智能相关的产品。
我们最常做的测试其实就是直接看模型效果，效果不好就慢慢调。 为了改变这种现状，我们希望测试人员也能做一些事情，参与到人工智能服务的质量保证当中来。在日常工作中总结了一些经验跟大家讨论一下。
什么是人工智能
简而言之，现阶段的人工智能就是：人工智能=大数据+机器学习。
现阶段的人工智能是使用机器学习算法在大量的历史数据下进行训练，从历史数据中找到一定的规律并对未来做出的预测行为。举例说明，就好比银行做过的反欺诈项目。
在银行里有一群专家，他们的工作就是根据经验向系统中输入一些规则。例如某一张卡在一个城市有了一笔交易，之后1小时内在另一个城市又有了一笔交易。这些专家根据以前的经验判断这种情况是有盗刷的风险的。
他们在系统中输入了几千条这样的规则，组成了一个专家系统。 这个专家系统是建立在人类对过往的数据所总结出的经验下建立的。 后来我们引入了机器学习算法，对过往所有的历史数据进行训练，最后在25亿个特征中抽取出8000万条有效特征。
我们把这些特征就暂且当成是专家系统中的规则。8000万对不到1万，效果是可以预想的。当时对第一版模型上线后的数据做统计，反欺诈效果提升了7倍， 这就是二分类算法典型的业务场景。
为什么叫机器学习呢，因为它给人一种感觉，机器能像人类一样从过去的数据中学习到经验，只不过机器的能力更强。 如果想再稍微深究一下机器学习训练出来的模型到底是什么，那大家可以暂且理解为一个二分类的模型主要是就是一个key，value的数据库。
key就是在数据中抽取出来的特征，value就是这个特征的权重。 当我们想要预测一个用户的行为的时候，就会从用户的数据中提取特征并在模型中查找对应的权重。 最后根据这些特征的权重算出一个分，也可以说是一个概率。 如果大家看过最强大脑这个节目的话。
应该记得第一次人机大战项目是人脸识别，第三回合的时候机器给出了两个答案。因为当时做人脸识别项目的志愿者中有一对双胞胎。所以机器计算出的这两个人的概率只差了0.1%，最后为了谨慎起见机器输出两个答案出来。以至于吴恩达先生也很纠结到底该选哪一个答案。
再之后的人机对战项目里我们也能看到虽然小度一路高歌，毫无败绩。但是其中是有选错过几次的。所以大家可以看到我们得到的答案其实是一个概率，是一个根据以往的数据进行总结并作出预测的一个行为。并不是100%准确的。即便是阿尔法狗当初也是输过一局的。所以其实我们测试的痛点也就来了，你怎么测试一个概率呢。
这个图就是一个人工智能服务的略缩图。 在历史数据上训练出模型，并发布一个预测服务，这个预测服务可能就是一个http的接口。 然后新的数据过来以后，根据模型算出一个预测值。经过刚才的说明，我们看到数据是人工智能的根本。拥有的数据越多，越丰富，越真实，那么训练出的模型效果越好。
测试思路
·数据测试
·分层测试
·训练集与测试集对比
数据测试
根据我们之前对人工智能的定义，我们发现数据是人工智能的根据。 保证数据的正确定是非常必要的。 而且几乎所有的机器学习算法对数据的容错能力都很强，即便数据稍有偏差，它们也能通过一次一次的迭代和对比来减少误差。 所以即便我们的数据有一点问题最后得出的模型效果可能还不差， 但是这个时候我们不能认为模型就没问题了。 因为很可能在某些特定场景下就会出现雪崩效应。
