【解密】谷歌内部机器学习系统Vizier曝光:用迁移学习自动优化超参数

08-15 12:26 首页 新智元

新智元编译  

 来源:wired.co.uk

编译:文强


【新智元导读】全自动机器学习是开发人员的梦想,谷歌已经实现了第一步——自动调参。日前,谷歌发布论文,介绍了他们内部的机器学习系统 Google Vizier,利用迁移学习等技术,Vizier 能自动优化其他机器学习系统的超参数,目前已在 Alpahbet 全面投入使用,帮助研究并且显著提升产品的用户体验。


谷歌最近开发了一个 AI,专门用于优化其他 AI。这套机器学习系统名叫 Google Vizier,能够优化整个 Alphabet 公司的算法。


值得一提,研究人员在测试这套系统时选择了一个有趣的方法——制作饼干。


现代机器学习系统的算法堪比 F1 赛车,拥有巨大的潜力,但却无比敏感,要让系统高效运作,只能不断调参——手动调参,再加上机器学习系统是“黑箱”,无法确定内部过程究竟如何,因此调参耗时耗力,还很难出结果。


一个常见的解决方法被称为“博士生下降”(grad student descent),简单说,就是找个博士生,让他一直调参,直到算法工作为止。


Google Vizier 能够自动优化机器学习系统的超参数。使用之前研究中用过的数据,Vizier 算法能够给出一个算法最优的超参数设置建议。Vizier 使用的方法之一是迁移学习,因此,当相关数据多的时候,给出的建议质量也越高。


谷歌研究人员表示,该系统已经在谷歌内部全面使用。他们在本周公布的一篇论文中写道:“我们的部署已经得到扩展,用于服务整个 Alphabet 内部的超参数调节 workload,这个工作量是非常庞大的。”


研究人员使用 Vizier 自动调参的研究项目,“包含了几百万次 trial……如果没有这种高效的黑箱优化,这个研究项目根本无法实现”。


除了研究,Vizier 也投入了实际应用。作者在论文中写道,该系统“显著改进了许多谷歌产品的生产模型,为 10 亿多人带来了明显更好的用户体验”。这些改进包括对谷歌网站功能的自动 A/B 测试,优化字体、颜色和搜索结果的格式。例如,在谷歌地图上,系统正在优化特定搜索的相关性与该用户距离之间的trade-off,无疑,这是瞄准了提高用户的粘性和参与度。


自动调参:饼干食谱测试


不仅如此,Vizier 系统还能用于现实世界中纷繁杂乱的黑盒优化问题。这也是饼干上场的地方。


为了测试他们的系统,研究人员给谷歌食堂制作布丁的承包商提供了饼干食谱。他们对结果进行了口味测试,并追踪了厨师为提高口味所做的改变。


食谱也是一种算法,并且具有类似的黑盒的性质,因为你无法确切知道中间什么地方出错了。这项测试让研究人员测试迁移学习的方法:


他们在论文中写道:“在开始批量生产前,我们以较小的规模试验性地制作了一些食谱……这提供了有用的数据,作为我们大规模烘焙迁移学习的基础。”


虽然中间偶有插曲——例如,当面团被放置更长时间后,“意外地,颇为戏剧性地增加了实验中含有辣椒的曲奇饼的主观辣味”。不过,研究人员表示,经过几轮之后,饼干口味显着提升,


“之后几轮这些曲奇的得分极高,在本文作者看来,好吃。”


论文:黑箱优化服务 Google Vizier



摘要


任何足够复杂的系统,当实验比理解更容易的时候,都会成为黑箱。因此,随着系统变得越来越复杂,黑箱优化变得越来越重要。本文中,我们介绍了 Google Vizier,这是一款谷歌内部用于黑箱优化的服务,已经成为谷歌在调整引擎时默认使用的服务。除了优化许多机器学习模型,Google Vizier 还为其他系统提供核心功能,比如谷歌云机器学习 HyperTune 子系统。我们讨论了我们的要求,基础设施,底层算法,以及这项服务的高级功能,比如迁移学习和自动 early stopping。


Google Vizier 服务的架构如下:


论文地址:https://research.google.com/pubs/pub46180.html


编译来源:

http://www.wired.co.uk/article/google-vizier-black-box-optimisation-machine-learning-cookies



【号外】新智元正在进行新一轮招聘,飞往智能宇宙的最美飞船,还有N个座位

点击阅读原文可查看职位详情,期待你的加入~




首页 - 新智元 的更多文章: