九二小说网

手机浏览器扫描二维码访问

第15章 比赛在开始前就已经结束(第1页)

[]

2o13年的暑假,距离比赛开始时间还有大约一个月的时间。

“模型的训练过程需要将所有的权重,数据和许多中间过程都放入gpu中进行处理。因而gpu的显存大小格外重要。”孟繁岐叹了口气,“即便是我们购买的旗舰69o,也太小了,只有4g大小。”

比起后来被美国禁止卖给华国的a1oo-8og,69o不说其他性能,单显存就少了2o倍。孟繁岐如今只能可怜巴巴每次使用16张图片对模型进行迭代。

“一次十六张,一次循环要接近一百万次才能更完整个数据集。而想把模型收敛好,上百次循环又是少不了的。”

孟繁岐估算了一下,这个版本出一次结果要接近2o,最后的训练过程确实大概消耗了三周左右以收敛到现在的这个性能。

好在ImageneT在后来基本成为了每个算法工程师必调参的练手数据集,孟繁岐自己就曾无数次刷榜,自然是轻车熟路,清楚各类参数的大概设置。

这为他至少节省了一两个月的珍贵时间。

即便一次训练需要三周之久,孟繁岐却仍旧赶在比赛开始之前就已经准备好了一版模型。

看着训练出来的模型最终性能达到了预期,孟繁岐心中的一块大石总算落了。

这几个月来,他唯一担心的一件事情就是多年前的老框架会出一些他意料之外的问题,导致最终的结果不能和理论预期吻合。

一旦这种事情生,找到问题所在并测试解决的代价就太大了。倘若不能够及时解决,会很大影响到他初期的规划。

眼下的结果大约在4.9%的top-5错误率,这个版本比后世论文中的性能要稍差了一丁点,但好在仍旧强于赛事方给出的人类标准了。

一般来说,比赛前是不会公布比赛所使用的具体数据的。只是ImageneT比赛比较特殊,一千多万量级的图片,总不可能办一两次比赛就舍弃掉,不再使用。

因而每届比赛所用的数据是变化很小的,只是具体赛道,所竞争的内容和评判的方式常会有所调整。

虽说ImageneT休赛的时期其实也可以提交结果,孟繁岐现在就可以把这个结果上传上去,夺取第一的位置,但关注度毕竟不可与赛时的激烈竞争同日而语。

与此同时,唐璜也终于开始意识到事情的走向已经远远偏离了他的预料。

“我记得之前查到a1exnet在这上面的准确率不到85吧,你现在这个已经特么过95了啊。”唐璜第一次来查看结果的时候完全不敢相信这个事实。

“你确定没搞错?别忽悠兄弟啊。兄弟书读的少,很容被骗的。”唐璜此刻的心态很复杂,很希望这是真的,但由于事情实在显得太美好,反而很难相信。

“是假的,我骗你的。”孟繁岐翻了个白眼,“我加了特技,里面都是化学的成分。”

“不会吧,我亲眼看这性能一路上收敛上来的。”唐璜又翻了翻模型训练的日志,声音之中带了三分委屈。他刚刚已经在脑补自己抱紧大腿,走上人生巅峰的场景了。

这就是患得患失的可怜人啊,不敢相信,却又害怕是假的。

“虽然我没有测试集的真实答案,但是我从训练集里划了百分之5出来没有使用,作为验证的办法。”孟繁岐对这个数据集的方差可以说是了然于胸,95%的数据用于训练,5%的数据用于测试已经是相当稳妥而保守的比例了。

“也就是说,只要这百分之5的数据和测试集的数据差别不大,你的办法可以比去年的冠军强十个百分点?”唐璜仍旧还处于极度的震撼当中。“就这么简单?我还没出力呢,你们就全趴下了?”

唐璜此时的感觉,就像是夜神月第一次现原来可以直接指派死神去除掉自己最大的对手L一样。想象中的努力,拼搏和奋斗一样都没有生,也完全没有必要,惊人的成绩和进展甚至在比赛正式开始之前就已经获得。

“这就是人生。成功与失败很多时候可能与你并无关系,习惯就好。”孟繁岐拍了拍他的肩膀,“这次不习惯也没什么,以后的道路还有很长很长,你会习惯的。”

因为不习惯也没办法,是吧。改变不了体重的人就只能改变审美。

否则会被自己折磨一辈子的。

既然在95%的数据上已经取得了这样的结果,接下来要做的就是把余下的5%也加入进去,继续微调模型几。

如此一来,得出的最终结果就可以直接在11月份的时候做提交所用了。

在一个性能已经相当不错的模型上继续微调它的性能,就远远用不到21那么久的时间了。

只需两左右的时间,的训练日志便显示,模型的性能已经基本收敛到一个固定值,很少再继续波动。

这样的话,孟繁岐在前往澳大利亚会议现场之前,就只剩下唯一的一件事情要做,那就是补齐手头这些论文的实验数据。

将这些文章所缺的最后一块拼图填补上去。

截止此时,孟繁岐已经大约完成了接近7篇之多的文章。除了本次的参赛核心,基于残差思想的模型dreamnet,以及相关的训练技巧,批归一化,adam二阶优化器,和mix-up数据增强之外。

孟繁岐还在三个其他方向上准备了开创性的工作,以占坑三个关键的领域。

在参赛的相关内容中,其实只有残差网络算得上是开创性的内容。余下的三者,虽然是各自方向上的佳作,但是难以称得上是某一细分领域的奠基之作。

写论文去详细描述,也只是迫于无奈,因为为了确保dreamnet的性能和训练度,孟繁岐不得已而使用了一些技巧。

为了确保这样的重要结果业界可以复现,孟繁岐不得不详细描述这些训练技巧,于是便写成论文。但若是有得选择,其实并不急于一时。

而他真正希望抢占先机去布局的,一,是先前与付院长讨论过原理的,生成式对抗网络。这是近些年来最具有前景也最优雅的无标签学习方法,是以后所有生成类技术难以绕开的一个里程碑。

二,是基于思想的实时检测网络。这会使得在图片上分辨物体并确定位置的度和准确率大大提高。日后落最广的图像检测技术,不论是人脸识别,自动驾驶还是工业内检测。这些技术都不得不提到这次提的重要意义。

三,则是最简洁好用的分割网络,u-net。这将会是复杂分割任务的基准线,并且会制霸医疗图像领域。

孟繁岐选出这三类加上残差网络,就涵盖了分类,检测,分割和生成四大领域。占领了图像算法的四大主要赛道。

之所以全选择图像类的技术,也是为了显得合理一些。至于语言类,语音类或者多种模态的融合算法,他则计划可以稍稍放缓些时日提出。

热门小说推荐
恭喜你被逮捕了

恭喜你被逮捕了

和之国,新东京。魂穿而来的东野原只想过不被打扰的安静生活,脑海中却偶然出现了罪恶手册,抓捕罪犯归案就能获得属性点和随机奖励。什么?干不过?根据犯人罪恶星级,抓捕时可享受临时属性点(任务Buff)自由分配。犯人越穷凶极恶!我的Buff就越猛!神秘的能力果实,强大的术式剑型,还有各种不同序列等阶的能力,全部化作了罪恶手册上的神奇奖励警视厅这些法外狂徒简直丧心病狂,穷凶极恶,恶贯满盈!!!东野原我的意思是还有没有更恶一点的?!以下为主角自我介绍我叫东野原,16岁高中生,未婚,寄宿在学园都市新东京江户川区小川町新垣侦探事务所,高中放课后从事学园都市的风纪委员工作,协同学园都市警备员抓捕违法分子,晚八点后才能回家。回家后我会双指倒立锻炼一小时,睡前浅尝不同品牌的罐装咖啡,仅止于回味其中的某些微妙区别,就像是回味那些栽倒在我手中的犯罪分子。十一点会准时入睡。大家都说我的作息很规律很健康。但说起来有些羞耻,最近我的脑海中,好像出现了某些奇怪的东西...

大明:我为天下师

大明:我为天下师

翻开明初的史书,里面高悬着一颗名为朱元璋的烈日,炽热的让人无法直视。但同时,一个叫做许良的名字,更如白日之新星,其光芒充斥在时代的每一个角落,即便是烈日也s...

重生之赘婿崛起

重生之赘婿崛起

重生在另一个人的身上,而且距离自己的年代足有数十年。娇俏可人,比明星还要美丽的妻子深夜趴在他身边,轻声说着孩子还没睡当第二天丈母娘踹门要他立刻离婚的时候,叶尽欢终于意识到,自己如果不崛起,怕是要睡桥洞了!...

渣女改拿救赎剧本【快穿】

渣女改拿救赎剧本【快穿】

简介关于渣女改拿救赎剧本快穿沈知念死后才得知她是十世渣女,所以她的倒霉体质也就有所解释了。为了赎罪,也为了有投胎的机会,她被迫绑定渣女洗白系统,开启漫漫赎罪路。赎罪路上,她现自己就是个大傻子,以前的她这么忍心辜负这么好的他们呢?所幸一切都还来得及,她还有机会。她从一开始的不情愿到后面的甘之如饴,她是真的爱上了他们。而且沈知念现,只要自己往前走一步,他们就会毫不犹豫的奔她而来,宠她入骨。在她不知道的时候,已经有人朝她走了99步。女主的渣是有原因的哈,可以把女主和原主分开来看一抛夫弃子的知青完二精神出轨的女总裁完三总裁的作精老婆完四无能且家暴的妻主完五杀夫证道的剑修...

每日热搜小说推荐