中国福建网

当前位置:中国福建网 > 科技 > 正文

香港科技大学屈华民教授十条干货:可视化是大数据最后一公里

作者: 编辑 来源:互联网 发布时间:2020-08-01

┊文章阅读:

“相隔一年,世界已经巨变,技术变革提前并且加速,与其担忧,不如担当。”马云在2020世界人工智能大会上讲到。

疫情之下,对于愿意思考未来的企业家来说,机会才刚刚开始。新科技将改变未来商业世界版图。

港科大EMBA中英双语课程以云课堂,参观实验室,专题报告,知识转移四部曲的方式开展了「走进科大实验室」系列活动,邀请到首屈一指的科研教授,与大家一起分享一级的科研成果,一起感受科技的力量,以及其蕴含的巨大商机。

早于18世纪的英国,已采用地图显示流行病者的分布;时至今日,美国总统选举、世界疫情的走势,将可视化大数据的应用显露无遗。根据期刊的论文发表量,香港科技大学VisLab是世界最大的可视化数据研究所之一,位列全球前五名之内,研发成果为顶尖企业Microsoft、IBM、华为、腾讯、博世采用,其领军人屈华民教授,深入浅出地阐述可视化技术的发展,以及应用实例,带大家走进香港科大实验室。

一、什么是数据可视化?

我们从网络、城市、财务、物流、农业、传感器等来源收集大量数据,然后进行提取和整合,筛选出合用的数据,再进行大数据计算与数据挖掘,而可视化就是数据分析的最后一公里路程,用图像形式把有用的数据送到终端用户手里,应用范围包括财务与风险管理、基因农业、智慧城市、网上购物、健康管理等各个领域。而数据有四大特性:数量大;动态高;变化多、形态丰富,如文字、视频、音档等形态;价值悬殊,部分极有具参考价值,部分是完全无用的数据。

二、为什么要将数据可视化?

正因为以上四大特性,而可视化是数据分析最后一公里路程,以图表、图像方式展示,让人们可从复杂海量的数据中,获得新见解、洞察趋势,可见其关键的作用。根据Harvard Business Review的研究,指出全球最大日用品生产商宝洁,已肯定可视化数据有助决策,从根本上升级数据的使用,并规范成为管理的工具之一,提升决策和执行的效益。

美国在2016年公布的「美国人工智能研发战略规划」中,当中战略二是:「开发人工智能与人类协作的有效方法 」,肯定了人工智能和人类的结合,然而人工智能是根据原始的数据进行演算,过程中要让人类读懂数据,可视化数据担当关键的桥梁作用;在技术上,可视化和用户界面需要进一步开发改良,以帮助人们理解大量现代数据集和各种来源的信息。

在2019年六月,全球领先的CRM厂商Salesforce斥资157亿美元收购全球最大的分析平台Tableau。Tableau正是一家交互式数据可视化软件公司,成立于2003年一月,一直专注于商用智能技术的开发和应用,其收购价反映数据可视化的价值 。

三、读图力之开发

既然有视像化之数据,人们也需要掌握一定的读图力,从中理解事情的趋势,甚至藉此作出判断。以新冠肺炎各国发病的走势图为例,整理者将美国、英国、中国及比利时的病例数量按时间线表达,各国的高峰期、平稳期、下降期的走势曲线,比较下发现走势相若,有阅读者领会的到中国控制疫情的能力,也有人从自然发展的曲线作出判断,相信各国的信息都是真实的,反映不同阅读者从中得到的领悟,层次也有高低分别,这跟他们的读图能力有直接的关系。而刚才提及的「美国人工智能研发战略规划」,其中一项战略就是要求大学生掌握可视化数据的读图力,藉以解决问题,同时训练左右脑思维。

最初级的读图能力,适用于普罗大众。现在许多媒体已采用图像来说故事、展示数据,例如 《纽约时报》中文网于2020年中发表的一篇文章:「美国人工智能领域的秘密武器:中国人才」,数字显示,有54中国学生于美国取得研究院学位,而现在留在美国人工智能领域工作的中国研究院毕业生,刚巧是54,光是看数字,会令人误会,所有于美国取得研究院学位的中国学生,全数留美工作;但是,因着图像的补充,显示54于美国工作的中国研究院毕业生中,有若干百分比是来自中国及其他国家的研究院,简单的一张图像,清晰地显示了两者的不同。

至于中级的读图能力,需经过一定培训方可掌握。例如 《彭博新闻》以地图形式整合国内用于土地上的经费,金融新闻会按地区描画出家庭的消费习惯等,内含复杂多元化的数据,要求读者有一定读图力去理解。

高级的读图力,响应由形态众多,如文字、视频、音档等整合分析而成的可视化数据,主要是研究人员处理信息系统,以及向科技企业报告时采用,阅读者有如开车时要手脚并用,相互协调,才能洞悉出事情的脉络发展。

四、数据可视化应用实例──智慧校园

智慧校园是可视化技术的应用实例,发挥向公众展示数据的成效。数年前,港科大工学院入口处装置了大型展示屏,主要通过校园逾四千个Wifi网络热点,按Wifi接入手机、计算机的信息去收集各点的人流数据,藉以估算实时的数字;建基于互联网络,我们已可取得意想不到的应用。例如统计大学图书馆、餐厅饭堂等公共设施的人流,甚至实时按楼层、班房归纳使用量的分布,再透过公众数字展示版显示,师生可按图索骥,决定使用时机,解决尖峰时期的人满之患;数据收集后成为历史数据,我们可配合实时的数据,推测公共车的等候时间,等车人数等,方便师生们计划出行时机。此外,可收集宿生出入宿舍的频率,追踪久未离开房间者的去向,预防意外发生,而当中涉及私隐的问题,须清楚研究。校园展至可视化数据的大型显示屏,可应用至大型商场、产业园区,有助尖峰时期导引人流。

五、数据可视化应用实例──智慧教育

智慧教育是科技产业中,其中一个面对重大变革的范畴。网上有大量的数学习题,小孩子并不享受做练习的过程,可能因为挫折感太大。网上习题的好处是可以不停重复尝试,缺点是反复尝试依然是错误带来的失落感,孩子被惩罚的感觉强烈。过程没有老师指导,在错误的习题时被卡住,非常无助。系统可以善用数据,分析整合用户常犯错误的地方,当孩子进入常犯的一个瓶颈位置时,荧幕可以发出提示,像不少棋手利用围棋人工智能程序AlphaGo学习,每一步棋由AlphaGo发出提示,显示不同步法的成功概率,棋手作出最具胜算的一步;数学习题的提示,根据相同道理,以数据可视化告诉小孩子,不同计算方法的成功率,从而启发孩子作出判断,找到对的答案。历史数据更可统计出孩子运算的轨迹,哪一步骤最多人出错,哪一类提示最受欢迎等,从而减少孩子在计算过程中的挫败感,提升学习兴趣。

另外,系统分析数据后,更可作出个人化的推荐方案,例如喜欢挑战难度的孩子,可选择只有20成功率的习题,一般或需要鼓励的孩子,可选50至90成功率的习题,小孩子可按进度选择不同难度的习题,配合个人的能力表现,发挥才能,正是大数据对教育的威力。

《纽约时报》将2012年称为「MOOC元年」MOOC-Open Online Course,大规模开放在线课程),是学术界巨变的开始。然而,MOOC的最大缺憾,是难以收集学生的反馈。教学视频浏览量的多寡,并不足够给教学者提供改善的建议,智慧教育透过数据分析,了解浏览者在视频的那一个时间点停顿、快进或回放,按时间轴将数据可视化,教学者便一目了然,知道学生在哪一部分需要更多时间去理解,哪一张简报需要改善,哪些部分可缩短讲学,优化整体教学流程。

六、虚拟现实+可视化的实现

智慧校园和智慧教育分别解释了数据可视化的展示,以及给师生建议洞识的优点;在科大工学院外有一幅历史墙,则把可视化及虚拟现实结合起来。历史墙以传统墙报板的形式,展示出工学院的各个里程碑,由成立至2016年25周年院庆为止,至于2016年后的发展,游人可以用手机扫描墙上的QR-Code,最新的里程发展就会显现在手机或平板计算机上,时间轴不会因此中断,并把真实与虚拟结合起来。

七、数据可视化应用实例──智慧企业

对于传统的生产及物流产业,透明化的数据,对智慧企业大派用场。我们的研究团队,曾跟华为诺亚方舟实验室企业智能团队联合进行研究,成果《PlanningVis: A Visual Analytics Approach to Production Planning in Smart Factories》发表在IEEE VIS 2019上。研究基于企业智能团队研发的智慧排产引擎,通过交互式可视分析的方式,帮助决策者模拟在生产环境发生变化,包括工厂停产、原材料供应延期等情况,分析变化对生产制造产生的影响,从而迅速地对生产计划做出调整。

在2018年9月,台风山竹登陆深圳,分析师通过关闭相应工厂两天来模拟山竹可能造成的影响。对比山竹造成工厂停产的影响,可以看到该工厂停产会导致订单的延迟率上升。通过在其他时间段增加工厂的产能,可以降低订单的延迟率,但由于未能在最优的日期生产;此外,生产成本有所增加,分析师再以图像展示出某些产品受台风山竹影响后的生产情况,在调整生产计划后的生产情况,或在不同计划间的变化。可以看出,原本在生产周期前段停产的部分,通过在其他日期增加生产的方式得到了弥补。因此,通过PlanningVis的what-if分析功能,分析师就可以提前判断出哪些工厂需要提前增加产能来应对山竹的影响,以及这些调整可能会带来的成本变化。

智慧排产引擎,让执行者看到完整的局面,按照模拟的数据分析,根据不同制约条件,如低成本、高稳定性或保证供应量等,人跟机器合作,重新编配恶劣天气下的生产安排,选择最优化的排产方案,减少天灾等事故引致的损失。宏观审视工业4.0,其特点是在整个价值链中,不论是人、设备,还是系统,全都紧密地联接一起;而所有相关信息都实时可用,供应商、制造商和客户之间的讯息透明化;管理人可以根据不同的标准,如成本、资源、客户需求等,不断优化价值链中的组成部件。从历史维度看工业革命,是从织布机发展到信息物理系统,是翻天覆地的变化。

八、数据可视化应用实例──智慧金融

以数据分析不同投资组合的优劣,行之有效,而数据可视化则可配合Barra因子模型MSCI再下一城。分析模型根据十个风格因子,包括贝塔、动量、收益率、残差波动率、增长、账面/股价比、杠杆、流动性、非线性规模去演算,而十个因子相互独立,互不关联;因应投资的各个因子,独立显示各投资组合的表现,又或以短期买卖跟长期持有相同的股票,演算经历相同时间后的表现,比对分析,让投资者更清晰地作出选择。

九、可解释人工智能有何重要性?

以人工智能分析大数据,大大增强了大数据的应用性;而可解释人工智能XAI是下一个焦点课题。所谓可解释,是其行为或预测可以被人类理解,知道人工智能为何能做出特定决定。曾经有厂商反映,利用人工智能推测产品销情,推荐的方案,根本不知道推算的理由,最终或成功或失败,都无法追究原因,因而没有信心依推荐执行。

人工智能通过深度学习作出判断,例如根据八百万张猫图片为基础,进行分析本整合,最终学懂判别出一只猫;然而,研究者以对抗攻击挑战人工智能的辨别能力,例如在图片加上不同小圆点、颜色等小改动,人类仍可认出是猫,但人工智能就无法判别了。在实际应用上,当人工智能演算出最佳的结果,却无法解释背后的理据,直接影响抉择的公平和安全性,假如人工智能学习了一些带偏见的数据,有机会加强偏见度,作出错误决策;当应用在医诊时,为病人断症得出癌症,却无法提供解释原因,结果能否可信?这些都是人工智能需要解释的原因。

欧盟已定立人工智能相关法例,规定销售任何通过人工智能作决策的产品时,例如贷款、信用卡等,如批核与否由人工智能演算决定,终端用户如要求背后理据,销售一方必须提供合理解释,法例建立透明度权利框架,客户有要求解释的权利,以及对完全自动化决定的质疑权。

善用人工智能,人和机器协同创新,也有好的新创见,曾有研究案例显示,研究人员使用失败实验,在机器学习的辅助下再进行研究,最终发现新材料,人与机器合作始终是最佳的模式。

十、香港科大实验室研发技术已被著名企业采用

过去数年,科大大数据可视分析实验室一直致力研究数据可视化、人机交互、人工智能、大数据、移动增强现实等项目。在可视化领域期刊发表量,是世界排名前二的可视化团队,有 62篇TVCG论文;也是亚洲最大的可视化团队,世界上最大的可视化团队之一,当中包括36名成员,其中包括17名博士,曾三次担任IEEE VIS论文联合主席。实验室参与多个重大项目,包括由香港ITF项目,资助金额一千六百万港币的「一个针对电子学习的学习设计,数据分析和可视化的开放性框架」,国家973项目「网络信息空间大数据计算理论」,资助金额达三千万人民币等。

在2019年,我们跟MIT(麻省理工学院),以及浙江大学的研究人员,共同开发了一种交互式工具,首次实现让用户对自动化机器学习(AutoML)系统的工作方式和流程进行查看和控制,提高系统定制化程度,向打开机器学习「黑盒子」的目标迈进了一大步。现时,实验室开发的技术已被Microsoft、IBM、华为、腾讯等著名科技企业采用。

展望将来,可视化技术的商机无限,包括普适的数据可视分析系统,垂直领域的可视分析系统,如智能制造、Fintech之应用;大屏展示系统;媒体及宣传推广采用的数据动画;另配合5G时代来临,VR和VIS(虚拟现实及虚拟现实模拟)需求将大增;最后是电子教育,经过多年耕耘,我相信其真正价值已逐步显现。

关于香港科大EMBA|中英双语课程

香港科技大学自1991年创校以来,在短短二十几年时间里,已跻身世界顶尖大学之列。香港科大商学院是拥有国际地位的著名商学院,研究实力及多项课程在世界排名中均位列前茅,金融时报评选中凯洛格-香港科大EMBA课程连续9次位列全球第一,全球MBA课程连续3年排名全球二十强,泰晤士报全球年轻大学排名中香港科大连续3次位列亚洲第一。

香港科大EMBA中英双语课程为亚洲及大中华地区行政人员、企业家而设,致力于全面提升学员的综合领导管理能力,培养具有创新精神和全球视野的国际化人才。自2002年开办以来,香港科大EMBA中英双语课程将世界最前沿的管理知识和中国管理实践相结合,并融合香港中西合璧的独特文化和管理经验,为亚洲及大中华地区的企业家及高管提供了一个跨越地域和文化界限的终身学习平台。课程将在16个月内,通过9个核心模块、3个进阶提升、4个大洲环球游学模块、3个层面提升领导力等,为学员展现一张完整清晰的学习蓝图。

十余年来,课程吸引亚洲最杰出以及最具影响力的商业领袖和管理精英,EMBA校友网络遍布全球。

  • 分类目录
  • 软文发布平台
  • 劳务外包公司
  • 帆布水池
  • 运维开发网
  • 小程序开发
  • 淘宝优惠券
  • IT新闻
  • 淘宝erp
  • 植物提取物网
  • 站长网
  • 源码论坛
  • 激光打标机
  • 丹泊仪器
  • 矿山生态修复
  • 青岛月子会所
  • 知识付费
  • 办公家具
  • 呱呱赞小程序
  • 淄博java培训
  • 小程序开发
  • seo外包公司
  • 盈江新财网
  • 工程拍照软件
  • 速卖通论坛
  • 极客网
  • 甘州文化网
  • 优鞋论坛
  • 宁波小程序开发
  • 域名论坛
  • 微软crm
  • andon系统
  • 郑州网站建设
  • seo学习网
  • 奢侈品回收
  • 一对一辅导
  • 黑客视野新闻