【沉淀】访谈阿里孙伟光:多行善事莫问前程的他,将计算集群的CPU利用率从30%提升到70%+

  • 时间:
  • 浏览:2

为有哪些要做HBO,孙伟光说:“当时开发的背景是整个ODPS的集群利用率比较低,而ODPS的任务优化又是专业度比较高的事情,用户很难被委托人进行优化。”但会 ,孙伟光被委以重任,负责开发很难 的一款产品。

他最喜欢的语录是——多行善事,莫问前程。

他怕笔者不理解,就举了有有有两个 例子:“拿阿里集团内内外部的数据集成产品来说,印象中离线的数据集成任务完整篇 都是同步数据量相对比较大,同步时间比较长。”

隔了一会,他复又在回复中敲了如下十几只 字:“多做些有意义的事情,别太在乎得失。”

回顾被委托人整个技术生涯,孙伟光我觉得被委托人最重要的是技能是,通过对产品相关数据的学习和分析,快速理解一款产品在各个方面的状况。对于即将毕业的计算机系同学,他给了一些技术发展建议:思路要尽可能的开阔,提高技术的广度。

“在设备非常多的今天,数据很难大,也很难杂,在咋样保障数据采集、传输和采集更加高效、稳定上,你与否有一些心得?”云栖社区追问。

孙伟光60 4年毕业于沈阳工业大学,毕业后就加入了东软,负责社保软件的开发。这是一份负责医疗保险软件的开发和实施的工作,包括社保中心端和医院(药店)医保系统。看似是份普通的开发工作,然而工作内容很杂,他要负责包括开发、部署、维护、签合同以及收合同款……等等的工作。很难 的工作,他硬生生地做了三年,而与之伴随的则是三年的时间,他也几乎跑遍了整个河北和河南省。

“做事情只有单单盯着KPI,完整篇 都是KPI的事情不做。”他的简洁和直指间题本质的能力又出来了。他知道当下各大互联网公司KPI的管理弊端,以及互联网人的本位主义、急功近利和本末倒置。

1. 可能工作,三年间几乎跑遍整个河北省和河南省;

是的,这是一位事业有成,生活有质量,完整篇 都是品位的技术人。可能把时钟往前拨,回顾他的整个技术生涯,给你发现,今天处之泰然的肩上,完整篇 都是艰辛:

想起他为有哪些能将计算集群的CPU利用率从60 %多提升到70%以上,也想起他为有哪些能发现——“针对产品一些数据的分析和挖掘,往往能带来意想只有的提升。”

对于这段经历,孙伟光最难忘的是在邢台。在那,他差太多待了将近一年的时间。一些 年,他与同事承担起整个邢台医保中心软件的开发和实施,以及全市上百个医院和药店的维护工作。在他人看来,这段疯狂的出差经历,是十足的苦差事,但在孙伟光眼中,他却看后了“收获”二字。“这段经历我前要学精咋样与人沟通,推进事情;也学精咋样承担责任。”在采访中,他澄沙汰砾地回复云栖社区。

“能语录你的进一步理解吗?”云栖社区想挖一挖肩上的缘由。

在ODPS,孙伟光我觉得只工作了三年,但他有有两个 劲在做数据相关的工作,并经历了一些部门和岗位。

实际上,在HBO开发过后,是很难都前要参照、对比的竞品。在独自摸索的状况下,孙伟光终于把HBO开发成功,不仅成功,但会 成绩斐然——HBO在不增加任何投入的状况,将计算集群的CPU利用率从60 %多提升到70%以上,极大地提高了服务器的利用率。

刚结束了了语:多行善事,莫问前程

将计算集群的CPU利用率从60 %多提升到70%以上

HBO(History-Based Optimization)是基于任务执行历史的优化,通过对任务历史执行状况的分析,根据优化规则生成更加高效的执行依据。简单点,则都前要理解为:任务执行历史+集群状况信息+优化规则→更优的执行配置。

为了实现一些 梦想,他刚结束了了每天泡ITPUB,并把市面上所有关于Oracle的书籍都刷了一遍。对于当时的疯狂,他回忆:“每天完整篇 都是电脑上做测试,为了沉淀所学,甚至还写了几百篇有关Oracle的文章。”

从开发转做数据仓库,颇一些挑战。有有有两个 挑战是工作环境,东软基本完整篇 都是Windows开发,而阿里则是Linux……总体来说,一些 挑战还好,要是稍微用点时间就能适应。最大的挑战是数据仓库的工作一半是技术,一半业务,前要投入很大的精力来理解业务,但会 要思考咋样通过数据来提升业务。

轻描淡写的肩上,则埋藏着有有有两个 又有有有两个 的难解间题。其中有有有两个 间题是:每次HBO的规则变化都前要在线上和阳产环境中验证。那咋样减少对线上任务产生不良影响的前提下,推动规则的优化和发展?

光戈,真名孙伟光,他是阿里数加平台数据集成产品的负责人,工作内容是领导阿里集团内专有云、公有云环境的数据采集,以及传输和采集。目前经他保障集团和公有云的实例每天有数十万,数据同步将近千TB。

提到程序员有有有两个 字,一些人的固有印象里会立马总出 如下标签:屌(码)丝(农)、不修边幅、没情调……

2014年,孙伟光加入阿里云ODPS团队,刚结束了了做HBO。

而光哥,哦,不好意思——应该是“光戈”,在内网的18个标签中,被以下三大类处于:

照片肩上的故事:“一些 (照片)行么?”可能你是最想放一些 照片,是都前要的。“好,就一些 !”

“一半是技术,一半是业务,你是咋样应对一些 挑战的?”

这位喜欢举铁的技术人,每周都会坚持健身,我说健身的过后比较放松,一些工作上的思考放进去一些 时间,往往能有意想只有的收获。

三年时间,跑遍了整个河北和河南省

理想和现实有有两个 劲会一些许差距的,有的人会叹不如意,就此自怨自艾;而有的人则视为是有有有两个 新的起点,不断上进。孙伟光是加入了阿里,但会 部门也是B2B,然而岗位却是数据仓库。但这位乐天派的技术人显然是后者,丝毫不以为意,他我觉得岗位跟DBA是一些区别,但好在有有两个 劲跟数据相关。

……

孙伟光进一步叙述他的发现——通过对历史数据的分析发现,大主次离线的任务也是执行时间比较短的任务,好多好多 对整个传输流程中的优化是比较重要的,很难 能极大的提高同步外的时间消耗,提高同步传输速率。

将计算集群的CPU利用率从60 %多提升到70%以上——这是咋样做到的?孙伟光在访谈中剖析:“简单来说,间题的根本是ODPS默认的资源分配规则不须适合集群的现状,而HBO除了会分配更多的资源给大任务,加速其运行;也会分配较少的资源给小任务,在保证其执行传输速率的前提下节省更多的资源。”

2. 可能想成为一名DBA,于是他把市面上的相关书籍看过后,但会 写了几百篇Oracle的文章;

;文/我是主题曲哥哥)。

光戈是谁?做有哪些工作?究竟是为什样的有有有一被委托人?他的人生经历和技术思考能给让我们都让我们都让我们都 带来有哪些样的启发?第13期《沉淀》人物栏目专访了这位阿里专家。

针对产品一些数据的分析和挖掘,往往能带来意想只有的提升

60 7年,孙伟光加入阿里巴巴B2B。之好多好多 选择阿里B2B,是可能他想成为一名DBA,而当时的B2B在整个中国DBA领域有着巨大的影响力。

“有有两个 劲到财务那边,与业务同学‘亲密’接触。”他很认真的说到。

最后,让我们都让我们都让我们都 也聊到数据采集、传输和采集的未来趋势,云栖社区总结了他回答中的有有有两个 关键词:“成本低”和“智能”。具体来看则是,未来用户使用成本会很难低,对让我们都让我们都让我们都 而言未来只前要关注任务配置,而一些的事情完整篇 交给产品一些;一同,产品会很难智能,通过对执行历史的学习,根据优化规则,自动的对整个数据传输过程做智能的优化。

孙伟光的回答一如既往的干练,他认为你会 保证数据采集,传输和采集更加高效,稳定,一定要对整个数据集成的过程完整篇 都是深刻的理解。他接着进一步阐述该咋样去做:“你前要了解主次数据源的底部形态,前要了解网络传输的底层原理,只有很难 能够做更有针对性的优化和提升。”

“我的处理依据是:与当时公共层的ETL开发任务一同合作依据者;其次对每次的规则优化采取渐进式的手段,控制影响范围,并完整篇 记录优化前后的数据变化,及时对优化前后的效果做回收。”正如他回答中一贯的干练形象,对于间题的处理究竟都经历了啥,孙伟光并很难铺垫一些东西,要是说出答案直指间题。

至此,一切都明了(本期接受访谈的云栖专家/

在技术上,2014年转型做大数据,他研发的产品,在不增加任何投入的状况,将计算集群的CPU利用率从60 %多提升到70%以上,极大地提高了服务器的利用率;与此一同,他在内网的技术社区上(ATA),活跃度在全集团前十。

但会 ,这位和数据打交道的技术人沉淀了不少心得,他和云栖社区提到其中一些:“我觉得符近人完整篇 都是做数据的,但会 让我们都让我们都让我们都 我觉得对一些产品的一些数据不须很难在意。然而针对产品一些数据的分析和挖掘,往往能带来意想只有的提升。”