Create ML App 简介

Create ML App介绍

今年我们Create ML发布了 新模型和全新工作流

每个工作流始于输入 我们支持 使用和喜爱的设备 都含有大量 来自不同传感器的信息 比如摄像头 麦克风 键盘 加速计甚至陀螺仪 所以这些类型的输入 都可以用于训练 机器学习模型 让你的app更加个性化 更加智能

去年我们支持了其中 3种类型的输入 图像、文本和表格数据 今年我们将从3个领域增加至5个 现在介绍活动和声音 我们也在这些领域扩展了 可用模型的广度

所以这些都加入了新媒介 我们叫它 Create ML app 从定义你的领域开始

当你用输入进行筛选 你可以看到所有可以 创建的模型类型

然后Create ML将创建 机器学习模型任务分解成 3个简单阶段 输入、训练和输出

这个新环境改变了你在系统中 与机器学习的交互方式

然后app会在训练时 显示数据的概览 和丰富的分析结果 你可以轻松通过图形视图 将你的模型创建过程变得可视化 该视图显示你的模型 在不同迭代中的准确度

你也可以看见精度 和召回值的变化过程 在训练你模型的每个类别时 这些表格是可交互的 所以你可以按类别 或按百分比筛选 来更好地理解模型性能

测试过程十分简单 拖放新数据即可 你可以训练和重新测试 点击“测试”按钮即可

Create ML真正独特之处 在于你可以在输出标签页 轻松预览已训练的模型 这个新特性让你看见 模型是如何预测的 而不用将模型集成到app里 这意味着无需部署 就可以直接 在Create ML里做到 节约你完善模型的时间

预览也是针对不同模板定制的 保证了每个任务端到端的完整体验

有什么比实时呈现更好的方式吗？

我们一起看看

我在Xcode里做了一个 花朵分类app来帮我 识别不同种类的花 我用了一个从 Model Gallery下载的模型 叫做Resnet50 这是一个著名的图像分类模型 它被训练来识别 一千种不同的类型

这个模型占用了 我app大约100MB 我们可以看到 当我使用不同图像时

它知道木槿是一种花 但不知道具体的类型 所以它并不满足我的需求

现在我可以在Xcode里

打开开发者工具 启动Create ML

提示我创建新文档

我们可以看到我启动了模板视图 在这里可以看到所有 可以创建的模型

因为我正在处理图像 我就按图像进行筛选并选择 图像分类器

我们可以给它命名

然后选择保存到一个地方 以便之后可以找到

然后进入新app视图 你可以看到首先提示 我要拖进输入作为训练数据 如果我要处理其他标签页 它们还未开放 因为我还没有按流程处理完

让我们一步步来

在我的桌面 我将不同种类花的图像放一边 你可以看到 我有一些木槿

一些西番莲

甚至还有些玫瑰

大丽花和雏菊

我可以将其拖进这个文件夹 立即可以看到里面 有65张不同的图片 属于5个不同的类型

因为我们已经有了输入数据 现在可以点击运行按钮了 模型自动开始训练 首先它会从图像中提取特征 训练开始后 我们可以看到其进度

我可以看到模型如何 使用数据的过程 但是我想做的是 观察模型如何处理 未曾输入的新数据 我将浏览测试标签页

我要拖进新的之前放一边的花

点击测试

现在我想在输出标签页 看看训练好的模型 可以看到我有一个 66KB的花朵分类器

为了预览 我拍了另外一些照片 有可能之前Resnet不能 识别出这些槿木

现在可以看到这个模型 可以准确预测这是什么 我可以看到该模型做出的其他预测 和相应的置信值

我还可以取出一整个文件夹 并将它们拖进该文件夹

调试任意用于模型预测的图片

当我满意后 可以将这个模型拖拽出去

然后重新集成到我的app中

另外你也可以提升 Create ML中的 连续互通相机 在这里我可以做的是 从我的手机导入 附加的照片 我可以给台上的花

拍张照 我们可以看看效果

做得不错

现在如果你对性能不满意 或者你想做更多试验 这里还有个添加按钮 你可以选择更多训练数据 你可以切换如何选择验证数据 测试数据也一样

这次我可能想调整 一些增强效果 然后我点击运行进行训练

这是Create ML里的 新工作流界面 回到幻灯片

你已经看到了Create ML 提供了在Mac上全新的 训练定制化机器学习模型的方式 界面美观 体验超棒 此外 像指标可视化 实时进度 以及交互式预览 Create ML app成了 优质模型训练体验的标准

在这个演示里我们仅介绍了一个 可用Create ML创建的模型 然而在这个发布里 我们引入了9个模型 我们一起高级别浏览一下 你可以创建的所有模型 以及一些示例和样本app

从图像开始 我们有图像分类器和目标探测器

图像分类器可以基于内容 进行图像分类 例如 艺术分格识别器使用 定制的图像分类器来决定 一个作品最有可能的运动 然后单独提供知名艺术家的概述 以完善app的体验

Create ML中图像分类器 提升了Apple的核心技术 凭借基于OS系统中的 视觉特性打印模型 进行迁移学习 这带给你的好处是 快速训练和app中 缩小模型大小

此外你还有带增强选项的训练 使你的模型 更有能力应对新输入数据

如果你想从图像中 识别出多个物体 而非单个物体 你或许想创建一个目标探测器

目标探测器可以用于定位和识别 图像中的物体 例如 可以训练识别 多种类型的物体 比如特定的纸牌或其上具体的花样

目标探测器是一种深度学习模型 进行数据增强让它更好 这一切都在你的 Mac GPU上完成

下一个是声音

在声音中 我们有一种新模型 叫声音分类器

这种模型可以供你识别 在音频流中的 大多数声音

由于音频是基于时序的 你可以区分不同声音的 起始和结束 如吉他独奏结束时 人群开始狂欢

这个模型提升了迁移学习 所以你也能体验到 快速训练 我们也深知优化复杂app的性能 是一个挑战 正因如此我们要强调 这些模型是轻量的 且运行于神经网络引擎 使他们成为任何设备上 实时app的理想选择

我们的第三个领域是活动 现在活动里 我们首次有了 活动分类器

这种模型也作用于时序数据

活动分类器可以训练分类 来自众多传感器的运动数据 比如加速计和陀螺仪

这些模型是基于深度学习 在GPU上训练的 而且它们输出的模型很小 在任何设备上部署 也很理想

我们倒数第二种输入是文本 文本中有两种类型的模型： 文本分类器和文字标记器

文本分类用来基于内容 标注句子 段落 甚至是整篇文章 你可以训练用于特定领域的识别 或分类任务

Create ML有了多种 不同的算法供你尝试 今年甚至还有迁移学习选项

文字标记器更加细化了 给感兴趣的符号或文字打标签的方法 通用方法是标注语音的不同 部分或识别命名实体 你可以定制奶酪的标签 用奶酪标签 你可以通过奶酪描述 识别不同口味标签

我们的最后一个领域是 5个中最通用的表格数据 这里我们有3种类型的模型： 表格分类器 表回归器和推荐

分类器用于基于 感兴趣特征的样本分类 特征可以是多种不同类型 比如整型 浮点型 字符串 只要你的目标是离散值

这可以让你判断一个座位是否舒服 基于一定的人物身高和体重 和特定的座位属性 比如腿部空间

表格分类器的独特在于 它将底层算法提取出来 和在众多分类器中选出 最适用于你的数据的

如果你需要模型来 预测一个数值 比如说概率或分数 你也许想要 表回归器

这种模型基于定义的特征 量化样本 你可以训练一个去评估房价 基于地址 房间 洗手间和停车位的数量

和分类器一样 回归器为你的数据自动检测多 个回归器中最好的那个 尽管如此 你还是可以 选择特定的提升树 决策树 随机森林 或线性回归器 如果你喜欢

我们最后一个模型是推荐 供你推荐内容 基于用户行为

推荐可以基于 用户与物品的交互进行训练 无论有无评分 它都可以部署到设备上 免去了配置服务器的麻烦

如我们所见 Create ML具有很棒的特性 来帮助你配置你的机器学习体验 你有原生的数据可视化 各种指标和性能的 支持 你可以轻松保存训练的 机器学习模型并且 分享给你的团队成员

当然 这一切提升了 你在Mac上训练模型的效率

这个新特性增强了 你用其他方式 去创建机器学习模型 比如Swift Playground Swift Scripts或Swift Frepple Xcode Playground 让你不用写一行代码 就可以做到 我们相信这可以将 机器学习带给每个人

总结一下 今年Create ML 带给你新的模型、九个模板 以及全新的工作流