第1271章 F(x)=H(x)-x
赘婿出山小说推荐阅读：Apop之我在首尔当外教、赘婿出山、泥泞、股神传奇、乡村中医李茂阳、开局账号被盗，反手充值一百万、极品全能学生、推拿、最强狂兵、带着超市重返年代、都市：我的器官能自己强化、不装了，我有五个天仙姐姐！、国宝神鉴
说完，成文飞重新看向白板。
白板左侧写着“语音识别”，右侧则是何恺明刚刚画出的网络结构。
十几层卷积模块一层层往上叠，训练曲线却在十五层以后开始下滑。
成文飞指着曲线：“我的模型加深到十五层以后，训练集准确率不升反降。ReLU、BN、DrOpOUt都用上了，还是解决不了。”
“深度网络不是越深越好。”何恺明说。
“这话已经听过很多次了。”
“但是问题不一定出在深度本身。”
何恺明拿起笔，在白板上写下一个H。
“传统网络每一组卷积层，都在学习完整变换H(X)。输入是X，输出目标是H(X)。如果网络继续加深，后面的层就必须重新学习一套完整特征。”
成文飞看着公式，没有打断。
何恺明又在旁边写下：
F(X)=H(X)-X
“那我们换一个目标，不让这几层直接学习H(X)，只学习残差F(X)，最后输出F(X)+X。”
“加一条捷径。”成文飞说。
“对。”何恺明在图上画了一条从输入绕到输出的线，“原始输入X不再被迫经过所有卷积层，而是直接跨过去，和卷积模块的输出相加。”
成文飞盯着那条线：“这会破坏特征提取链路。”
“成教授，我们做个思想实验。”何恺明转过身，“一个二十层网络已经能工作，我在后面再加三十六层。如果这三十六层什么都不做，只把输入原样传下去，那么五十六层网络至少不应该比二十层更差。”
“但是直接堆叠以后，它反而会变差。”
“这说明网络很难学会恒等映射。残差结构把最简单的答案直接留给它。如果新增层没有价值，就把F(X)学成零，原始信号直接通过。新增层有价值，就只补充需要修正的特征。”
成文飞看着白板，许久没有说话。
他过去的认知很明确，神经网络每一层都应当完成一次特征提取，信息必须经过连续变换才能逐层抽象。
让输入跨过中间层，在他看来像是给网络偷懒。
“这在前向传播上说得通。”成文飞拿起笔，“但反向传播呢？梯度经过加法结构，会不会出现新的不稳定？”
“我也在算这个。”
何恺明把白板擦出一块空白，写下损失函数和输出表达式。
“假设y=F(X)+X，反向传播时，损失对X的梯度不只经过F这一条路径，还会多一条直接传递的路径。只要加法结构没有被破坏，梯度就能沿着捷径回到浅层。”
成文飞接过笔，在公式旁边补了一行。
两个人很快投入推导。
实验室里只剩下笔尖划过白板的声音，旁边的研究员也围了过来。
成文飞不断提出问题，何恺明不断修改表达式。
一个小时后，成文飞放下笔。
“成教授，先别判断它是不是普适，跑一次数据会回答。”
成文飞看着白板上的结构图，“那好，准备实验。”
“现在？”
“现在。”
“语料还没完全标注。”
“先用现有数据做对照。普通堆叠网络和残差结构各训练一版，层数从十层开始，逐步加到二十六层。”
“行。”
成文飞转身看向服务器区，“如果这个结构能把深度网络的问题解决，语音识别的进度会快很多。”
何恺明没有接话，他知道，成文飞真正关心的不是一篇论文，也不是谁先提出一个结构，倒是自己，这个想法完全可以整理出一篇论文来。
如果这条路能让深层模型继续训练，神经网络的上限就会被重新打开。
倒是马乐离开人工智能实验室后，直奔杜文的系统工程部门办公区，在他看来陈总最关注的项目有三个，一个是半导体，一个是汽车，还有一个就是人工智能。
如果更准确一点的说，那连汽车都不能算。
只有半导体和人工智能才是最重要的东西。
没和成文飞他们接触之前，在马乐的设想中人工智能就像电影里的那样，但真正和这些专家大牛接触以后，特别是从陈总口中听到一星半点的话语之后，马乐知道，人工智能绝对不是电影里那样。
至于真正的AI是什么，马乐也不知道，或许只有陈总见过？
走到系统工程部门，马乐一进来就大喊，“杜文，杜文，杜总。”
办公室里传来回应：“谁在喊我？”
“你马哥。”
杜文从办公室走出来，看到马乐，笑着迎上去，“哟，这不是马乐吗？你怎么跑到我这里来了？”
这俩人可以说是红星的元老一点都不为过，红星电子的时候就在一块工作，属于是熟悉的不能再熟悉了。
只不过杜文做系统一般在幕后，不像马乐一样经常抛头露面的。
有时候杜文也在感慨，自己当年因为家里的事情没有去校招的公司，看红星电子给的工资高就加入了红星电子，怎么一不小心红星就发展成这样了呢？
自己也一不小心就搞了一个字研操作系统，更一不小心成了红星的一个副总裁。
啧啧，命运呐，谁说得准，要是当年自己毕业直接去工作，没去华强北，估计还在某公司当小职员呢。
“杜文，有点事情。”马乐进到杜文的办公室里拉开椅子坐下，掏出手机调出一份文档，“成教授那边需要大量语音标注和采集，我和成教授商量过了，想在系统里加个任务中心，让用户帮咱们做。”
马乐把成文飞提出的需求从头到尾讲了一遍。
通用口语、环境噪声、不同年龄的发音、家庭场景里的对话，都可以拆成普通用户能看懂的小任务。
完成多少条，准确率达到标准，就发红星音乐会员、红星云服务会员、现金红包，或者兑换实体奖品。
杜文接过手机看了看：“让用户做标注？这思路可以啊。”
“就是需要你们系统端配合。”马乐说，“任务分发、质量审核、奖励发放，这些都得从系统层面打通。”
杜文点点头，拿起笔在纸上写着什么：“技术上没问题，就是佣金这块得注意一下，不能直接说佣金，要用现金红包、代金券、虚拟会员或者实体奖品来替代，避免法律风险。”
“对对对，杜文你想得周到。”马乐竖起大拇指，“另外，我觉得可以在系统里单独做个入口，叫‘任务中心’或者‘红星众包’之类的，用户点进去就能看到所有任务。”
杜文在纸上画了个简单的流程图：“用户接任务→完成标注或采集→提交审核→对比不同样本→外部审查核准→发放奖励，流程大概就是这么个流程，哦，反作弊也得加上。”
“反作弊也得做？”
“必须做。”
杜文看了他一眼，“有人会重复提交，甚至用软件批量点选。还有人为了拿会员，随便乱标。”
“设置账号等级，同一设备每天有上限。答案质量低于标准，暂停任务资格。”
“我这边等下直接去和成教授他们对接，你这边最好去找一下扬总和王经理沟通一下，产品奖励、运营预算和发布会口径，不能只靠系统部门决定。”
马乐看了看时间，四月份有闪耀的发布会，到时候让王藤那小子，在发布会上简单说一嘴，应该问题不大。
说着对杜文撂下一句：“你先想着，我去找王藤和扬拓。”
http://www.zhuixuchushan.com/yt127284/51399035.html
请记住本书首发域名：www.zhuixuchushan.com。赘婿出山手机版阅读网址：www.zhuixuchushan.com
白板左侧写着“语音识别”，右侧则是何恺明刚刚画出的网络结构。
十几层卷积模块一层层往上叠，训练曲线却在十五层以后开始下滑。
成文飞指着曲线：“我的模型加深到十五层以后，训练集准确率不升反降。ReLU、BN、DrOpOUt都用上了，还是解决不了。”
“深度网络不是越深越好。”何恺明说。
“这话已经听过很多次了。”
“但是问题不一定出在深度本身。”
何恺明拿起笔，在白板上写下一个H。
“传统网络每一组卷积层，都在学习完整变换H(X)。输入是X，输出目标是H(X)。如果网络继续加深，后面的层就必须重新学习一套完整特征。”
成文飞看着公式，没有打断。
何恺明又在旁边写下：
F(X)=H(X)-X
“那我们换一个目标，不让这几层直接学习H(X)，只学习残差F(X)，最后输出F(X)+X。”
“加一条捷径。”成文飞说。
“对。”何恺明在图上画了一条从输入绕到输出的线，“原始输入X不再被迫经过所有卷积层，而是直接跨过去，和卷积模块的输出相加。”
成文飞盯着那条线：“这会破坏特征提取链路。”
“成教授，我们做个思想实验。”何恺明转过身，“一个二十层网络已经能工作，我在后面再加三十六层。如果这三十六层什么都不做，只把输入原样传下去，那么五十六层网络至少不应该比二十层更差。”
“但是直接堆叠以后，它反而会变差。”
“这说明网络很难学会恒等映射。残差结构把最简单的答案直接留给它。如果新增层没有价值，就把F(X)学成零，原始信号直接通过。新增层有价值，就只补充需要修正的特征。”
成文飞看着白板，许久没有说话。
他过去的认知很明确，神经网络每一层都应当完成一次特征提取，信息必须经过连续变换才能逐层抽象。
让输入跨过中间层，在他看来像是给网络偷懒。
“这在前向传播上说得通。”成文飞拿起笔，“但反向传播呢？梯度经过加法结构，会不会出现新的不稳定？”
“我也在算这个。”
何恺明把白板擦出一块空白，写下损失函数和输出表达式。
“假设y=F(X)+X，反向传播时，损失对X的梯度不只经过F这一条路径，还会多一条直接传递的路径。只要加法结构没有被破坏，梯度就能沿着捷径回到浅层。”
成文飞接过笔，在公式旁边补了一行。
两个人很快投入推导。
实验室里只剩下笔尖划过白板的声音，旁边的研究员也围了过来。
成文飞不断提出问题，何恺明不断修改表达式。
一个小时后，成文飞放下笔。
“成教授，先别判断它是不是普适，跑一次数据会回答。”
成文飞看着白板上的结构图，“那好，准备实验。”
“现在？”
“现在。”
“语料还没完全标注。”
“先用现有数据做对照。普通堆叠网络和残差结构各训练一版，层数从十层开始，逐步加到二十六层。”
“行。”
成文飞转身看向服务器区，“如果这个结构能把深度网络的问题解决，语音识别的进度会快很多。”
何恺明没有接话，他知道，成文飞真正关心的不是一篇论文，也不是谁先提出一个结构，倒是自己，这个想法完全可以整理出一篇论文来。
如果这条路能让深层模型继续训练，神经网络的上限就会被重新打开。
倒是马乐离开人工智能实验室后，直奔杜文的系统工程部门办公区，在他看来陈总最关注的项目有三个，一个是半导体，一个是汽车，还有一个就是人工智能。
如果更准确一点的说，那连汽车都不能算。
只有半导体和人工智能才是最重要的东西。
没和成文飞他们接触之前，在马乐的设想中人工智能就像电影里的那样，但真正和这些专家大牛接触以后，特别是从陈总口中听到一星半点的话语之后，马乐知道，人工智能绝对不是电影里那样。
至于真正的AI是什么，马乐也不知道，或许只有陈总见过？
走到系统工程部门，马乐一进来就大喊，“杜文，杜文，杜总。”
办公室里传来回应：“谁在喊我？”
“你马哥。”
杜文从办公室走出来，看到马乐，笑着迎上去，“哟，这不是马乐吗？你怎么跑到我这里来了？”
这俩人可以说是红星的元老一点都不为过，红星电子的时候就在一块工作，属于是熟悉的不能再熟悉了。
只不过杜文做系统一般在幕后，不像马乐一样经常抛头露面的。
有时候杜文也在感慨，自己当年因为家里的事情没有去校招的公司，看红星电子给的工资高就加入了红星电子，怎么一不小心红星就发展成这样了呢？
自己也一不小心就搞了一个字研操作系统，更一不小心成了红星的一个副总裁。
啧啧，命运呐，谁说得准，要是当年自己毕业直接去工作，没去华强北，估计还在某公司当小职员呢。
“杜文，有点事情。”马乐进到杜文的办公室里拉开椅子坐下，掏出手机调出一份文档，“成教授那边需要大量语音标注和采集，我和成教授商量过了，想在系统里加个任务中心，让用户帮咱们做。”
马乐把成文飞提出的需求从头到尾讲了一遍。
通用口语、环境噪声、不同年龄的发音、家庭场景里的对话，都可以拆成普通用户能看懂的小任务。
完成多少条，准确率达到标准，就发红星音乐会员、红星云服务会员、现金红包，或者兑换实体奖品。
杜文接过手机看了看：“让用户做标注？这思路可以啊。”
“就是需要你们系统端配合。”马乐说，“任务分发、质量审核、奖励发放，这些都得从系统层面打通。”
杜文点点头，拿起笔在纸上写着什么：“技术上没问题，就是佣金这块得注意一下，不能直接说佣金，要用现金红包、代金券、虚拟会员或者实体奖品来替代，避免法律风险。”
“对对对，杜文你想得周到。”马乐竖起大拇指，“另外，我觉得可以在系统里单独做个入口，叫‘任务中心’或者‘红星众包’之类的，用户点进去就能看到所有任务。”
杜文在纸上画了个简单的流程图：“用户接任务→完成标注或采集→提交审核→对比不同样本→外部审查核准→发放奖励，流程大概就是这么个流程，哦，反作弊也得加上。”
“反作弊也得做？”
“必须做。”
杜文看了他一眼，“有人会重复提交，甚至用软件批量点选。还有人为了拿会员，随便乱标。”
“设置账号等级，同一设备每天有上限。答案质量低于标准，暂停任务资格。”
“我这边等下直接去和成教授他们对接，你这边最好去找一下扬总和王经理沟通一下，产品奖励、运营预算和发布会口径，不能只靠系统部门决定。”
马乐看了看时间，四月份有闪耀的发布会，到时候让王藤那小子，在发布会上简单说一嘴，应该问题不大。
说着对杜文撂下一句：“你先想着，我去找王藤和扬拓。”
http://www.zhuixuchushan.com/yt127284/51399035.html
请记住本书首发域名：www.zhuixuchushan.com。赘婿出山手机版阅读网址：www.zhuixuchushan.com