Databricks 开源 MLflow 平台，处理机器学习开发四大难点

2024-12-27 17:40:20

导读雷锋网 AI 研习社按：机器学习开发有着远超传统软件开发的复杂性和应战性，如今，Databricks 开源 MLflow 平台无望处理其中的四大痛点。据雷锋网 AI 研习社理解，尝试过机器学习开发的同窗们都晓得，它的复杂性远超软件开发，且随同着多种全新的应战。在 Databricks，我们与上百家用到机器学习的公司同事，重复听到如下顾忌：五花八门的工具。在机器学习生命周期的每个阶段，从数据预备到模

雷锋网 AI 研习社按 ：机器学习开发有着远超传统软件开发的复杂性和应战性，如今，Databricks 开源 MLflow 平台无望处理其中的四大痛点。

据雷锋网 AI 研习社理解，尝试过机器学习开发的同窗们都晓得，它的复杂性远超软件开发，且随同着多种全新的应战。在 Databricks，我们与上百家用到机器学习的公司同事，重复听到如下顾忌：

五花八门的工具 。在机器学习生命周期的每个阶段，从数据预备到模型训练，都有成百上千的开源工具。但是，不同于传统的软件开发（每个阶段选择一种工具），在机器学习开发中，你通常想要尝试每种可用的工具（如算法），看能否能提升实验后果。这样一来，需求运用和产品化许多库。
实验难以追踪 。机器学习算法中有许多可配置参数，不论你是独立开发者还是处于团队中，都难以追踪每个实验中用于生成模型的参数、代码和数据。
实验后果难以复现 。由于缺乏精密的追踪才能，团队在运用相反代码再次实验时往往会堕入窘境。不论是数据迷信家将训练代码交给工程师用于消费，还是你计划前往到之前的研讨对成绩停止调试，重现机器学习任务流程都很重要。
机器学习难以部署 。将模型转化为产品极具应战，由于部署工具和模型运转环境（如 REST serving、批推理、挪动端使用）太多了。由于没有将模型从库转移到工具中的规范办法，招致每一次新的部署都随同全新风险。

鉴于上述应战，毫无疑问，为了使机器学习开发像传统软件开发一样，具有鲁棒性、可预测性以及普遍传达，它必需失掉大幅退化。为此，许多组织都开端打造外部机器学习平台来管理机器学习生命周期。例如，Facebook，Google 和 Uber 曾经打造 FBLearner Flow，TFX 和 Michelangelo 来管理数据预备、模型训练和部署。但是，即便是这些外部机器学习平台，也存在限制：只支持大批内置算法或许单个 ML 库，并且绑定的是自家公司的根底架构。用户不能轻松应用新的 ML 库，也很难将本人的研讨分享到更广的社群。

在 Databricks，我们置信有更好的方式来管理机器学习生命周期，基于此我们推出全新的开源机器学习平台 MLflow。目前，alpha 版本已发布。Github 链接： https://github.com/databricks/mlflow

呼吁行业者在政府部门出台相关政策标准的之前，从业者一定要规范自己的行为准则健康有序的快速发展。MLflow：全新的开源机器学习平台

MLflow 从现有 ML 平台中失掉灵感，在设计上拥有以下两项开放理念：

开放的交互界面 ：MLflow 被设计成支持一切 ML 库、算法、部署工具和言语，它围绕 REST API 和可以从多种工具中使用的复杂数据格式（如将模型看作 lambda 函数）树立，而不是仅支持大批内建功用。这带来一个立竿见影的益处：可以随便将 MLflow 参加现有代码中，同时，在组内分享可执行的运用恣意 ML 库的代码也变得复杂。
开源：MLflow 是一个开源项目，用户和工具库开发者能对其停止扩展。另外，假如你希望开源本人的代码，得益于 MLflow 的开放格式，在组织间共享任务流步骤和模型非常复杂。

MLflow 如今仍为 alpha 版，但是我们以为该版本在处置 ML 代码上已十分有用，我们也乐意收到大家的反应。接上去是对 MLflow 以及相关组件的详细引见。