市北GMIS 2019:杨强用联邦学习打破数据孤岛,吴恩达谈企业转型

  • 日期:07-27
  • 点击:(1479)


7月20日,“ShibeiGMIS”在第二天更加精彩。杨强,吴恩达,于凯等重要嘉宾继续发表12篇关于联邦学习,认知智能和图形表示神经网络的主题演讲。比如尖端技术,而AI应用方面的探索也是丰富多彩的。

在前沿技术方面,杨强教授分享了如何利用联邦学习来打破数据鸿沟。吴恩达谈到了小数据和无监督学习对人工智能未来发展的重要性。于凯还抛出了认知智能的技术演化路径。

在人工智能应用方面,华为从工程角度提出了审视人工智能的新思路。阿里巴巴和美团集团展示了人工智能在大规模现场数据中的应用,周涛教授介绍了人工智能社会治理和监督的新研究。

杨强:用联邦学习打破“数据岛”

作为今天会议的第一位嘉宾,魏中银行首席人工智能官,国际人工智能学会主席,香港科技大学教授杨强带来了最新的发展和应用。联邦学习。

12387463.jpg

今天人工智能的发展面临着巨大的挑战,尤其是数据挑战。数据孤岛,小数据和用户隐私保护导致数据碎片化,使AI技术难以实现价值。为了解决这个问题,杨强教授提出了“联邦学习”的研究方向。

所谓的联合学习是在多个数据方之间形成联盟并参与全局建模的构建。在保护数据隐私和模型参数的基础上,仅共享模型加密参数并共享共享模型。取得更好的成果。

杨强说,联邦学习可以分为横向联邦和纵向联合。水平联合是指企业方的相同数据维度和不同ID维度,更多存在于消费者应用程序中; vertical federation是指企业中各方的数据ID。尺寸相同(样本重叠),数据尺寸不同,B端应用程序中存在更多。

在具体使用场景中,杨强专注于联邦学习在金融业中的应用。例如,对于保险业的个性化保险定价问题,互联网公司和保险公司进行数据合作。该协作数据的ID具有较大的一致性,并且数据特征维度大大增加,从而显着提高了模型的个性化定价效果。保险公司的覆盖率增加了8倍,保证金增加了1.5倍。

在小型和微型企业信用管理的另一个案例中,在使用联邦学习之后,公司将风险控制区?痔岣吡?12%,使贷款不良率低于千分之五。

即使双方没有共同的ID并且数据特征不同,迁移学习也可以与联合学习相结合以进行通用建模。

杨强强调,联邦学习必须是多方合作才能形成联盟,而生态建设非常重要。它的最大优点是确保数据不会离开家庭,通过生态选择不同行业的合作伙伴,并通过群体智能不断提高模型效果。

在未来,安全合规性,防御攻击,算法效率和联盟机制需要进一步研究。例如,联邦学习合作的基础之一是加密技术。加密算法的效率尤为重要,要改进算法还有很长的路要走。

吴恩达:利用AI带来的动能

深度学习的先驱Andrew Ng是一个众所周知的名字,他的演讲得到了最热烈的掌声。今天,吴恩达在GMIS会议上讨论了企业人工智能的转型。

“四年前,我提出了一个概念:人工智能是新的力量。现在我不得不说人工智能带来的动能正在显现出来。“吴恩达说。 “看看近年来与人工智能相关的工作要求数量,年增长率为35%。深度学习的发展正在使人工智能领域繁荣发展。麦肯锡最近的预测是,到2030年,全球经济将会增长。 13万亿美元来自人工智能技术的贡献。“

2461867414.jpg

“以机器学习中的论文数量为例,谷歌的杰夫迪恩在两年前就展示了这一点:arXiv每天有超过100篇关于机器学习的论文,”吴恩达说。 “今天,我们还有很多机器学习工具,包括神经网络框架TensorFlow,PyTorch,MXNet和百度飞桨。这些工具让人们使用机器学习变得越来越低。“

吴恩达说,几个月前他在加利福尼亚遇到了一个商业挑战:来自印度的一个团队展示了一种自动拍摄农田照片的机器人应用方法。有趣的是,开发应用程序的人只有12岁。他使用开源工具和算法来完成这项任务。目前的人工智能业务已经可以由任何人完成。

凭借足够的数据和计算能力,灵活的工具和创新的想法,我们可以构建自己的AI项目。许多公司的CEO都担心如何将AI技术融入他们的企业工作流程中。这种转变过程有时会持续1-2年或更长时间。他们担心选择错误的项目并设定不切实际的目标。如果转型失败,公司将遭受巨大损失。

“看看今天的世界,人工智能有越来越多的应用。但是企业中人工智能的转变并不像开发APP那么简单。“吴恩达说。

去年年底,吴恩达发布了《AI 转型指南》,希望将“All in AI”的经验传递给许多公司经理作为教育工作者。作为人工智能领域的先驱,吴恩达收集了Google Brain和百度AI团队的发展经验,该团队在Google和百度AI的转型中发挥了重要作用。通过本指南,任何企业都可以成为强大的AI公司。

为了找到正确的方向,我们需要从一个简单的地方开始,自动完成任务而不是工作,并将人工智能与人类专业知识相结合,以更好地帮助公司选择合适的AI项目。 “我们发现该公司的许多首批人工智能项目都不是最有前景的项目。我给很多公司的建议是集思广益,至少看到六个不同的项目,“吴恩达说。 “然后需要几周时间进行研究,以确保这个项目很有价值。”

吴恩达对企业AI的转型给出了以下建议,并在《AI 转型指南》中进行了解释:

1.实施试点项目以获得动力

2.建立一个内部AI团队

3.提供广泛的AI培训

4.制定正确的人工智能战略

5.建立内部和外部沟通

在我们期待人工智能给公司带来的红利之前,我们需要避免一些陷阱:不要指望人工智能立即工作,而是多次尝试为人工智能开发的回归曲线制定合理的预算;不要用传统的过程来评估劳动力。智能项目应为AI项目团队设定适当的KPI和目标;在建立团队时,我们不能仅仅依靠明星工程师,而是建立一个完整的团队。

“当我们看到AI的兴起时,我们需要有正确的概念。首先,AI是一个系统工程。我们需要关注很多人来完成一项具体任务。“吴恩达说。

对于人工智能的未来发展,吴恩达认为我们应该期待可以使用小数据的新算法:“我们只能使用人眼来检测手机屏幕上的划痕。如果有的话很多照片,人工智能可以做得很好,但是没有。任何工厂都有数百万种不同的划痕手机。此时我们需要新的方法,如假冒射击学习和无监督学习,我们可以从一些学习正确的概念实例“。

可以在虚拟环境中训练强化学习和自学习,以避免在现实世界的应用程序中遇到困难。这些模拟可以并行化,同时进行大量实验,并且可以快速学习解决方案。

人工智能正在走向终点,区域计算中心也负责一些计算。吴恩达对5G抱有很高的期望:“5G是一项非常重要的技术。这项技术在中国已经超过了美国。它可以将网络从4G的20毫秒延迟到1毫秒,支持更多的设备.5G可以支持更广泛的各种应用,帮助AI开发更多新情况。“

认识到人工智能的局限性

在过去的十年中,我们看到了人工智能方面的一些真正突破。 20年前仅存在于科幻小说中的机器翻译已经成为全世界数百万人每天都在使用的技术。与此同时,我们看到了许多令人兴奋的进步,例如人脸识别技术。 2012年,吴恩达等人在谷歌研究领域取得了重大突破。

牛津大学计算机系主任迈克尔伍德里奇说:“现在计算机在识别人脸方面做得比人类做得好。所有这些都让我们相信我们似乎有一个人工智能魔法的配方,这是一种深度学习。” “看起来像这样,但经过进一步探索,我们将看到当前机器学习技术的终结。人们在问边界是什么,我们现在已经看到了一些界限。“

Michael Wooldridge向我们介绍了当前人工智能的优势和局限性。

3980339943.jpg

当计算机于1940年发明时,它被用来处理一些数学问题。它比人类更好,可以一天24小时工作,这是人类无法做到的。

但人类每天使用的一些简单功能,机器学习无法做到。计算机无法做出长期推理,无法定义问题,很难形成对周围环境的认识,而且难以完成可靠的判断。

“你吸烟吗?如果你每天吸20支烟,患肺癌的几率会大大提高。这是一个简单的推论,但很难理解计算机,”Wooldridge说。

今天,人工智能最重要的问题是认知能力,以了解周围的情况。 “这项技术是关于无人驾驶的可行性,我们可能会在未来5年,10年或30年内实现这一目标,”Wooldridge说。 “自动驾驶最终是让汽车知道周围发生了什么。深度学习在这方面取得了重大突破,但并未完全解决认知问题。“

从历史上看,为了进行人工智能推理和证明认知能力,人们发现了两个想法:

自上而下的方法:基于专业知识的AI。例如,人类教AI来理解规则,以便学习如何驾驶。但是,在规则太多的情况下,我们仍然无法实现可靠的认知。深度学习的效果非常好。

自下而上的方法是机器学习。通过输入数据和输出判断,通过大量标记样本学习,不断更新模型的权重,最后让计算机学习概念然后有能力判断。神经网络和深度学习是目前流行的方法。

由于功率限制等客观原因,深度学习方法长期不实用,今天,深度学习可以学到很多能力。 Wooldridge引用了DeepMind的AI玩Atari游戏的例子:经过600次迭代,强化学习算法通过自我训练学习了最有效的评分方法,而无需人工教学。

但数据驱动的方法也有其局限性。在法国诗歌翻译的情况下,人类专家的成果可能很漂亮,但谷歌翻译的机械结果显然并不完美。机器无法理解语言背后的含义,也无法理解法国文化。如果您需要一个好的翻译,计算机需要了解文本背后的深层内容。截至目前,无论将多少英法文本输入神经网络,我们都无法像人类一样理解。

Wooldridge给出了一个更有趣的例子,机器学习无法理解这样的词:

-Bob:“我要离开你了。”

-Ann:“她是谁?”

如果我们将这六个单词输入Google翻译并将其翻译成任何语言,我们就可以获得良好的翻译结果,但机器无法理解我们在做什么。 “人类学习方法和机器是不同的过程。如果机器必须理解语言,他们必须了解世界的一些常识知识。深度学习是一个重大突破,但这不是一个真正的人工智能。为了实现真正的智慧,我们还需要更多,“伍德里奇说。

周涛:街景照片引发的城市安全分析

作为国内大数据行业的启蒙教师之一,电子科技大学教授周涛介绍了人工智能和大数据在企业外的社会治理和监督中的实际应用。他提出了一个独特的观点:“未来社会治理和监督将发生四个变化,自动化+规模+量化+客观化,人工智能,大数据将发挥越来越重要的作用。”

围绕这一观点,他介绍了人工智能和大数据在城市治理,金融监管和环境治理中的实际应用。

3201703018.jpg

很难想象城市街景照片可以与社会治理相关联。周涛教授在北美一个城市的学生通过谷歌从数十万张照片中选取了2000张街景照片,然后通过志愿者在互联网上做了一个简单的实验。图片回答您是否认为这个地方是否安全。在60天内收集了超过500,000个数据。然后对2000个图像进行排序,看哪些是安全的,哪些是不安全的。将排序映射到0-1的空间。然后通过计算机进行特征学习,对图片的分数进行评分。结果表明,计算机得分与人体得分之间的相关性可达0.87,这意味着相关性较强。

最坏的情况是一样的。

此外,通过观察一个城市5年和10年的城市发展照片,计算机还可以显示城市环境是否从数据变得更好,以及人们的幸福感是否变得更强。这可以显着改变城市对城市的看法,从而指导政府的城市治理。大数据和机器学习技术将人类判断和机器判断联系起来。

此外,周涛团队根据中小企业的行为数据为政府提供了金融监管平台,并通过卫星遥感数据对四川省的水污染进行了实时监测。

机器学习的工程视角

在下午的“数据思考与工程实践”部分,华为IT标准专利部总工程师黄志鹏分享了人工智能的工程视角。

“我们提到了机器学习,经常想到大数据应用,但这次我想从工程角度介绍机器学习(GAIA原理),”黄志鹏说。 “华为希望通过多种技术解决问题。在抽象过程中,我们希望有一个统一的界面。我们希望所有的工作都能非常有效和可解释:在其他任务中编写一次代码。两者都可以应用。此外,机器学习的最终目标是自动化。“

2965024635.jpg

在开源世界中,华为一直在推动全栈的发展。真正的AI需要通过整个堆栈并实现端到端的人工智能工作流程。开发人员不仅应该知道如何使用框架来完成任务,还应该知道模型在不同的环境中运行。在这里,如何轻松转换。

黄志鹏强调了华为近年来对开源社区ONNX的贡献。基于前一推理方面的模型转换,机器学习社区正在深入探讨模型训练的新方向。华为在这方面的贡献包括边缘设备的一般方法以及Model Zoo的算法贡献和方法改进。

华为今年开始尝试推广开放式异构计算框架(OHCF),以实现端到端的开源全栈概念。对于制造商而言,新框架是一个基准,它可以用作开发的参考。通过OHCF,我们可以为专用硬件实施元数据管理。

“开源正在吃软件,但它也在吃硬件。对我们来说,最重要的是将这些信息放在管理平台上,形成更好的映射,更好地调用机器学习任务。”黄志鹏说。

随后,阿里巴巴高级技术专家,阿里妈妈大数据和机器学习平台负责人张迪介绍了超大规模应用深度学习和图形表示神经网络在淘宝上的广告推荐。

他说:“在过去五年中,以深度学习为代表的人工智能技术在简历领域取得了巨大成功,但对于许多大型互联网公司来说,占公司内部计算能力80%以上的应用程序是搜索,推荐和广告。它们是最安静的应用程序。“

淘宝上的用户行为非常复杂,包括浏览,收集,购买等。电子商务广告面临的挑战是如何深入了解用户的兴趣习惯并推荐个性化产品。随着深度学习的引入,网络变得越来越复杂。新的挑战是广告推荐场景的特征是特征。一方面,高维稀疏特征导致模型非常大,经常达到数百G甚至T尺度;另一方面,与CV场景相比,广告推荐场景在参数大小和样本大小方面大一或两个数量级。参数通常达到1000亿规模,样本通常达到1000亿到1万亿的规模,因此有必要进行全局化设计确保计算芯片的高效运行。

Ali为高维稀疏场景构建了深度学习框架,并为分布式模型存储等提供了大量的训练模式,以优化推荐模型。例如,在推荐场景中使用的结构化训练范例可以将训练表现提高4~5。时报。

张迪还表示,淘宝上的商品,商店和类别本身就是超大画面。用户的购买行为构成了大图片之间的联系,因此电子商家院子所匹配的场景非常适合用于大规模地图表示的学习。表征。

它可以更动态地描绘图中更深层次的关系,并且比仅使用深度学习具有更好的可解释性。以CTR点击率估计为例,采用分布式图形表示学习后,可以更深入地进行表征,整个系统更简单。

他总结说,图形表示学习和深度学习的结合有两个优点。第一个是大大减少输入样本,另一个是在表征整个历史用户行为时动态执行表示学习。

美国代表团和公众评论每天将有60万名乘客向消费者提供货物。梅公众对智能搜索团队负责人张功的评论介绍了搜索智能登陆和相应的系统建设:“与一般搜索和电子商务搜索不同,美国服务生活服务评论将面临不同的挑战。对于日本烹饪时,我们建议他做一个特写业务,或者更远一点,但更高端?“

搜索不仅是满足用户需求的服务,也是自然的大数据系统。 Meituan评论构建了支持海量离线数据的能力,并使用在线学习方法实时感知用户需求的变化。 “通过开发大数据处理框架,我们构建的搜索系统架构支持异构数据并支持复杂模型。智能数据的处理非常重要。”张功介绍。

4238862302.jpg

目前,美国代表团拥有4亿用户,1000万个POI,1.4亿个商店,以及总共40亿个真实评论。这些数据可用于构建知识地图并从海量数据中学习。张博说:“我们建立了美团脑,这是一个知识提炼的框架。我们在建设过程中发现,这与人类社会的科学进化史非常相似:通过大数据(原材料),我们可以提取知识(金属),然后建立模型(工具和组件),最后创建高科技产品飞机,火车等。“

这样的框架可以帮助美团不断产生各种丰富的显性和隐性知识。美国集团最终希望创建一站式全方案搜索要求,并建立一个以消费者为导向的助手,以帮助消费者更好地吃,更好地玩耍。

很长,不确定,导致交易的复杂性。车辆集团的高级算法专家王文斌表示,许多车辆已经围绕“人,货,领域”探索了不同的智能应用,如车辆状况的智能评估和智能定价。今天,他强调了公司在对话机器人领域的探索。

对话机器人可以连接企业和用户。一方面,它降低了人力和培训成本,使服务质量可控,并提高了效率。另一方面,它引导用户通过推荐系统和多轮对话来改善用户肖像并实现精确营销。

对话机器人的核心是两个方面,了解用户的意图,然后给出答案。基于潜在的NLP技术并结合汽车领域的数据,该车开发了意图识别,智能购物指南,对话协助等,以支持相关业务的发展。

王文斌认为,多轮对话是一个工程问题,需要从空缺,场景管理和可配置性方面进行优化。此外,他还表示,在具体的业务场景中,产品和算法的平衡,业务和技术的平衡是对话机器人面临的挑战。

工业重生和变革

在上一节“智能应用与工业生态学”中,如何定制会话语音助手,人工智能已成为零售和教育的焦点。

该公司的联合创始人兼首席科学家于凯表示,“对技术提供商的通用技术和高度灵活的个性化应用的需求往往是主要的矛盾。”

2261437045.jpg

为此,Spirit提供了一个可定制的交互式人工智能平台。他称这样一个平台,必须得到工程,(模型)资源,(个性化)算法的支持。

在工程支持方面,语音助手必须专注于对话,实现高可用性定制,并自定义规模。此外,它必须集成软件和硬件以提供智能信息服务。

在资源支持,语音识别,理解,表示,综合等方面,有必要采用自动化技术实现定制识别,扩展相应的语义理解。

在算法支持方面,个性化自适应算法必须解决三个难题。首先,它必须能够智能地检测和发现目标;通过小数据迁移学习,通过语义槽分享,并迁移到不同的应用场景;适应试错学习,基于反复试验的强化学习,解决对话互动策略。

于凯还指出,对话层面的认知智能技术路线,从深度学习进化到迁移学习,从数据驱动到数据和知识混合驱动,从需要预先收集数据到开放式学习的开环学习 - 循环学习。

Coderon Technology的联合创始人兼首席技术官Matt Scott向我们介绍了最近零售业人工智能技术的发展:“我们现在正处于零售业的转世阶段,而不是零售业的世界末日阶段。零售公司不会全部改变。成为一家电子商务公司,但在演变过程中会有转变,这是我们需要使用AI零售的地方。“

关于新零售的主题,我们看到了太多的公关内容,真正的零售AI是什么? Scott认为我们首先讨论数据,然后是算法,我们需要无监督学习/弱监督学习来处理大量数据。

对于零售商而言,他们需要的是一种可扩展,经济高效的解决方案。现实世界中的零售总会遇到各种各样的问题,AI必须解决这些问题,否则就无法部署。另一方面,零售业的利润率非常低,而在成本效益方面,新方法必须取得良好的效益。

“对于高科技我们负担不起,我们不能放太多相机,设备要求太多,而且这不能延长,”斯科特说。 “例如,自动购物体验,它还有很长的路要走,很难在大商店模式中实现,目前仅适用于小商店。”

关于超市自动称重的问题,我们现在可能需要在产品列表中翻几页以选择正确的类型来计算钱。如果我们在系统中添加摄像头并使用AI自动识别产品,则可以快速解决问题。根据斯科特的说法,使用Coderon技术的技术,即使在袋中的水果之后,相机背后的算法也可以快速识别,准确度超过99%。

这背后的算法也非常重要,Codelong Technology基于领先的技术研究。 “大多数人都关注AI的架构和数据,Coderon Technology专注于损失函数和学习策略,我们发现这可以大大提高算法的识别率,”Scott说。

Coderon Technology CurriculumNet引入的弱监督学习算法在某些任务中取得了业界最佳成绩。该论文已被纳入ECCV 2018会议。在GPW框架研究中,Code Long能够比较所有损失函数的优缺点,并且CVPR 2019已经接受了新的研究。

1555669675.jpg

黑暗物体智能深度培养的场景是人工智能+教育。研发总监梁晓丹表示,对象智能已经构建了一个五层AI认知架构。第一层是执行层,第二层是感知和行为层,第三层是任务和调度层。层是思维和动机的层次,第五层是价值和规范层。

它具有多模式功能,如语音交互,计算机视觉和逻辑处理,并开发了一个桌面伴侣机器人。

Dark Object Intelligence还通过学习教育机构的视频来培训AI老师,自动生成其背后的教学逻辑。在智能教室场景中,它分析教师和学生之间的对话,以确定教师是否向学生讲授了某个知识点,以及学生掌握了哪个知识点,然后进行个性化的AI咨询。

3898761048.jpg

最后,Wonder Technologies的首席数据科学家黄志鹏,于凯,马特斯科特,梁晓丹和Christopher Dossman围绕人工智能应用创新和挑战进行了圆桌对话。

“可以在未来十年解释的人工智能是最重要的方式,只有值得信赖的人工智能可以推广到各个领域,”于凯说。

马特斯科特认为,我们仍然处于人工智能技术发展的开端:“今天的人工智能研究中存在一些尚未克服的基本问题。机器学习无法学习人类学习经验的方法。我认为结合多种感官输入。多模式算法将成为未来AI的重要发展方向。“