vivo互联网机器学习平台的建设与实践( 二 ) _生活百科

特征工程，即通过算法工程师的知识来挖掘出数据更多的特征，将数据进行相应的转换后，作为模型的输入。
试验，即尝试各种算法、网络结构及超参，来找到能够解决当前问题的最好的模型。
模型训练，主要是平台的计算过程，平台能够有效利用计算资源，提高生产力并节省成本。

3.模型部署，是将模型部署到生产环境中进行推理应用，真正发挥模型的价值。
通过不断迭代演进，解决遇到的各种新问题，从而保持在较高的服务水平。
4. 对平台的通用要求，如扩展能力，运维支持，易用性，安全性等方面。
由于机器学习从研究到生产应用处于快速发展变化的阶段，所以框架、硬件、业务上灵活的扩展能力显得非常重要。任何团队都需要或多或少的运维工作，出色的运维能力能帮助团队有效的管理服务质量，提升生产效率。
易用性对于小团队上手、大团队中新人学习都非常有价值，良好的用户界面也有利于深入理解数据的意义。
安全性则是任何软件产品的重中之重，需要在开发过程中尽可能规避。
3.2 模型训练相关模型训练包括了两个主要部分，一是算法工程师进行试验，找到对应场景的最佳模型及参数，称之为“模型试验” ，二是计算机训练模型的过程，主要侧重平台支持的能力，称之为“训练模型” 。
建模是算法工程师的核心工作之一。建模过程涉及到很多数据工作，称为特征工程，主要是调整、转换数据。主要任务是要让数据发挥出最大的价值，满足业务诉求。
3.2.1 模型试验特征工作和超参调整是建模过程中的核心工作。特征工作主要对数据进行预处理，便于这部分输入模型的数据更好的表达信息，从而提升模型输出结果的质量。
数据和特征工程决定模型质量的上限，而算法和超参是无限逼近这个上限。
超参调整包括选择算法、确认网络结构、初始参数，这些依赖于算法工程师丰富的经验，同时需要平台支持试验来测试效果。
特征工程和超参调整是相辅相成的过程。加工完特征后，需要通过超参的组合来验证效果。效果不理想时，需要从特征工程、超参两个方面进行思索、改进，反复迭代后，才能达到理想的效果。

文章插图
3.2.2 训练模型可通过标准化数据接口来提高快速试验的速度，也能进行试验效果的比较。底层支持docker操作系统级的虚拟化方案，部署速度快，同时能将模型直接部署上线。用户无需对训练模型进行更多定制化的操作，批量提交任务能节约使用者的时间，平台可以将一组参数组合的试验进行比较，提供更友好的使用界面。
其次，由于训练的方向较多，需要算力管理自动规划任务和节点的分配，甚至可以根据负载情况，合理利用空闲资源。
四、vivo机器学习平台实践前面我们介绍了机器学习平台的背景和发展方向，现在我们来介绍下，平台在解决用户问题部分的困扰和解决思路。