摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将从模型角度入手带领大家来再次深入Alink。 阅读全文
posted @ 2020-05-23 08:19 罗西的思考 阅读(62) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中通讯模型AllReduce的实现。AllReduce在Alink中应用较多,比如KMeans,LDA,Word2Vec,GD,lbfgs,Newton method,owlqn,SGD,Gbdt, random forest都用到了这个通讯模型。 阅读全文
posted @ 2020-05-16 09:17 罗西的思考 阅读(83) 评论(0) 推荐(1) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文是漫谈系列的第二篇,将从源码入手,带领大家具体剖析Alink是如何设计的,其架构如何。 阅读全文
posted @ 2020-05-10 09:10 罗西的思考 阅读(86) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家从多重角度出发来分析推测Alink的设计思路。 阅读全文
posted @ 2020-05-05 16:28 罗西的思考 阅读(166) 评论(1) 推荐(1) 编辑
摘要:"Flink SQL UDF不应有状态" 这个技术细节可能有些朋友已经知道了。但是为什么不应该有状态呢?这个恐怕大家就不甚清楚了。本文就带你一起从这个问题点入手,看看Flink SQL究竟是怎么处理UDF,怎么生成对应的SQL代码。 阅读全文
posted @ 2020-04-29 23:01 罗西的思考 阅读(114) 评论(0) 推荐(0) 编辑
摘要:"Flink SQL UDF不应有状态" 这个技术细节可能有些朋友已经知道了。但是为什么不应该有状态呢?这个恐怕大家就不甚清楚了。本文就带你一起从这个问题点入手,看看Flink SQL究竟是怎么处理UDF,怎么生成对应的SQL代码。 阅读全文
posted @ 2020-04-26 21:59 罗西的思考 阅读(58) 评论(0) 推荐(0) 编辑
摘要:本文将简述Flink SQL / Table API的内部实现,为大家把 "从SQL语句到具体执行" 这个流程串起来。并且尽量多提供调用栈,这样大家在遇到问题时就知道应该从什么地方设置断点,对整体架构理解也能更加深入。 阅读全文
posted @ 2020-04-25 10:08 罗西的思考 阅读(173) 评论(0) 推荐(0) 编辑
摘要:本文将尽量使用通俗易懂的方式,尽可能不涉及数学公式,而是从整体的思路上来看,运用感性直觉的思考来解释 集成学习。并且用水浒传为例学习。并且从名著中延伸了具体应用场景来帮助大家深入这个概念。 阅读全文
posted @ 2020-04-06 11:42 罗西的思考 阅读(158) 评论(0) 推荐(1) 编辑
摘要:本文将从FlatMap概念和如何使用开始入手,深入到Flink是如何实现FlatMap。希望能让大家对这个概念有更深入的理解。 阅读全文
posted @ 2020-03-30 21:15 罗西的思考 阅读(361) 评论(0) 推荐(0) 编辑
摘要:本文将通过源码分析和实例讲解,带领大家熟悉Flink的广播变量机制。 阅读全文
posted @ 2020-03-29 19:57 罗西的思考 阅读(143) 评论(0) 推荐(1) 编辑