Keynote: Lessons in Internet scale stream processing @LinkedIn
Location:
- TBD
Day of the Week:
- 星期三
We live in an age where we want to know relevant things happening around the world as soon as they happen; an age where digital content is updated instantly based on our likes and dislikes; an age where credit card fraud, security breaches, device malfunctions and site outages need to be detected and remedied as soon as they happen. It is an age where events are captured at scale and processed in real time. At LinkedIn we run one of the largest Apache Kafka installations ingesting ~ 1.3 Trillion msgs/day. Another big source of events are our NoSql and SQL databases. Brooklin(previously Databus) captures events from these data sources and makes them available to downstream applications via Kafka. To process and analyze this deluge of events LinkedIn uses Apache Samza as our Stream processing framework.
In this talk, we will discuss some of the architectural patterns that allows us to do large scale stream processing using Apache Kafka, Apache Samza, Brooklin, Databus and several other data systems. We will discuss some of the key design choices which allows us to process millions of events/sec as efficiently as possible. We will explore some patterns which allow for applications to perform both nearline and offline event processing with minimal changes to their application code.
演讲专题
Covering innovative topics
12月02日,星期五
-
架构演进 — 从0到1再到100
随着业务飞速发展,系统的各种问题也随之而来,这时就需要考虑进行系统架构升级,以满足在稳定性、扩展性、性能和成本方面的要求。像这样的系统架构升级会一直不停发生,只要业务继续在发展,所以架构是一条从0到1,从1到100的进化之路。在这样的进化过程会涌现出一系列的架构升级经验也会大量的新技术探索。这里让我们通过这一系列的专题演讲,来了解:大规模互联网系统的架构设计和实现案例,可用性、可扩展性等,还有架构演进过程中的实践经验和教训,另外当前有哪些最新的探索实践等等。
-
微服务与容器实践
历史总是在不断的演化中前行, ”江山代有人才出“, 当今正到了容器化和微服务化的风骚之年,说是docker等容器生态的发展为微服务化铺平了道路也好, 还是微服务化的趋势为容器化提供了广袤的需求实施场景也罢, 二者可谓是珠联璧合,相互成就。 本专题将本着务实,生动,贴近实践的原则,甄选多家靓厂的容器化和微服务化案例, 以期百家争鸣, 让大家一睹各家“新瓶装新酒”的各异风采, 精彩不断,不容错过~
-
FinTech
Financial Technology(金融科技)并不是只在国内火热的概念,在国外面向Fin-Tech而生的金融科技公司隐隐有挑战传统金融代表——华尔街的意味,披着互联网外衣的FinTech公司如何利用一系列创新手段使得金融服务变得更有效率,如何引领瓦解传统且不够科技化大型金融企业和体系的趋势,本专题将邀请一线技术大咖为我们一一解答。
-
高可用架构之道
系统高可用是互联网企业系统架构的基础要求之一,以支付宝为例,其官方在2015年大促后提供的数据,其每秒可以支撑超过8万笔支付,一分钟故障就可能会影响近500万笔交易,可见系统可用性的重要性。 现代互联网企业对系统可用性负责的往往就是系统研发团队,无论故障的深层次原因在哪里,问题总是先从应用本身暴露出来。所以系统架构设计阶段就要考虑可用性问题,包括如果通过架构升级来预防问题发生,如何及时发现问题甚至预见问题,在问题发生后如何快速自动地处理问题等。系统架构设计的质量直接决定了可用性的高低。 所有好的架构设计首要的原则并不是追求先进,而是合理性,要与企业的业务规模和发展趋势相匹配,任何一个企业,哪怕是现在看来规模非常大的企业,在一开始,其系统架构也应简单和清晰的,但随着业务范围不断扩充,业务规模不断扩大,系统渐进复杂和庞大,让所有系统都要高可用,面临成本上的问题,因此,架构分类分级治理成为必然,业务架构、应用架构、数据架构、基础架构都需要梳理和治理,既保障核心业务可用,又能控制住建设成本,解决好持续发展的问题。 系统可用,离不开可靠的基础设施。越来越多的互联网企业在建设自己的数据中心,其网络和硬件架构和布局十分关键,任何瓶颈都可能会在相当长时间内制约对业务的支撑能力,其可用性问题对业务影响范围通常也比较广,基础设施的设计和升级经验可以帮助后来的人们少踩坑。 本专题从应用系统架构设计,到基础设施架构设计,再到架构治理,紧紧围绕高可用主题。每一位讲师都是从一线摸爬滚打成长起来的,挖过坑也填过坑,准备的分享内容都是实战总结,篇篇用心设计,句句精心雕琢,期望能给大家带来帮助,也欢迎和讲师们交流出火花和创意。
-
应用性能管理最佳实践
全新云时代,商业、技术、社会各层面都在深刻变革。互联网产品越来越多样性、复杂化,全球化、移动化、多终端,海量用户数据和实时性等新特点为改善用户体验带来了更大的挑战,甚至可以毫不夸张的说今天的互联网时代是比历史上任何时期都面临更为严峻的挑战。几乎参与产品的人、事务和资源都会产生性能问题,例如移动、前端、后端、网络、系统、应用、硬件、产品逻辑等,而往往这些不同维度的性能问题会叠加并不断放大。在互联网已经进入到用户体验至上的时代,如何对应用性能进行有效管理和优化,正是本专题讲师为大家分享的内容。
-
运维创造价值的时代
运维创造价值的时代已经来临,在云计算趋势的大潮推动下,无论是互联网企业还是传统企业,都已经开始投入更多的精力和资源在工程效率提升,用户体验的极致优化以及稳定安全的保障上,这样的转变给运维带来了极大的挑战,但更多的带来了机遇。毫不夸张的说,运维具备先天的优势,能够站在全局和端到端的角度来审视和把握这些方向,从而驱动和保障着一个产品能够更加健康和高速的发展。 本专题将会邀请一线运维专家,分享他们的实践和思考,看看专家们是如何从业务的角度出发,从运维的视角为业务提供的支持和价值。
-
机器学习实战
机器学习是人工智能的一个重要分支,近些年发展尤为迅速,特别是伴随着AlphaGo利用机器学习战胜围棋超一流高手李世石,大家对机器学习的热情空前高涨,机器学习也被认为人工智能的未来,各种算法不断革陈出新,各行业应用也层出不穷。但是,机器学习理论本身的复杂度,让很多人望而却步,因此,本专题特邀请了知名企业的一线专家,对各自领域的机器学习最佳实践进行深入浅出解读,让大家对机器学习理论和具体应用能够深入了解,对未来工作起到指导作用。
-
大数据处理及系统架构
在互联网世界中,用户的每一次点击、停留等操作都将化作数据流进企业网络架构,如何捕捉、存储、处理、利用这海量的数据已经成为互联网学院和企业研究的大课题,大数据分支上已经有成熟的搜索、海量数据管理等成熟实用的技术,也有视觉仿真、人工智能等新兴的研究方向,本专题邀请了各路技术专家一起探讨优秀的大数据处理架构实践案例。
-
技术人,你真的准备好创业了吗?
在中国目前似乎仍是创业的最好时代,一方面政策仍鼓励万众创业,另一方面更发达的云计算等技术使创业门槛大大降低。但考虑到中国的人口数量,知识产权保护的状况,以及投资机构习惯性的扎堆作风,稍微看起来有机会的方向上很快就会人满为患。那么2016年在血海环境中创业存活的公司具备怎样的特征?2017年仍会坚守的创业者们应该如何奋斗?希望本专题下的各位技术创业精英们能够解决你的困惑。
-
实时处理架构设计(厂商共建专题)
实时处理要求系统有很高的可靠性,低延迟、高时效,信息的任何错误或丢失都可能造成严重的损失。挑战常在,怎么应战?本专题将邀请来自不同公司技术团队的专家和领导,分享他们在实时处理系统架构设计与演进过程中的经验与心得,包括IM云服务架构设计与实践、大型赛事直播广告系统架构设计与演进、CDN直播的技术原理和架构,并探讨其中面临的问题以及解决方案,希望能给大家带来新的启发。
-
微服务架构实践(厂商共建专题)
「微服务」是一个听上去很美,可以快速拥抱变化的概念。可以说,微服务架构是业界在不断优化 IT 架构过程中的实践总结。然而在构建微服务的过程中,企业会面临比以往更加复杂的环境,如何让看上去很美的微服务架构落地并提高团队交付能力,并通过不断演化架构来应对遇到的各种难题,成为很多企业急待解决的问题。 本专题将会邀请具有实战经验的一线技术专家,为大家带来对微服务架构落地具有指导意义的分享,了解在实践微服务化过程中遇到的诸多坑,以及解决这些问题的模式或经验总结,还将探索复杂业务背景下微服务化的是与非,希望能给大家带来一些新的思考。
-
云平台架构设计与容器落地实践(厂商共建专题)
容器的应用场景之一就是构建企业私有云平台,在云平台中使用容器技术有哪些优势,云平台在选型、架构设计和落地过程中又踩过哪些坑呢?本专题将邀请多位具有实战经验的一线技术专家,共同探讨云平台架构设计与容器落地实践过程中的挑战与应对之策,包括企业容器私有云架构分享、云管理平台的架构与功能设计解析,并从微观到宏观探讨与容器有关的三个基本性争论,希望能给大家带来一些新的思考。
-
58集团架构与大数据应用创新专场(厂商共建专题)
经过业务整合之后,58集团在数据存储、架构设计,以及微服务架构在转转平台的落地都有很大的调整和创新。通过AI技术和广告平台的结合,在架构上不断演进,为58在流量获取、预估转化、机制调控等方面提升了核心动力。
12月03日,星期六
-
电商专题:系统架构如何应对业务爆发式增长
电子商务、互联网+飞速发展,但电商系统架构没有标准模式模板,各大电商公司都是在发展的过程中逐步摸索和踩坑适合自己业务高速发展的技术和业务架构。 这个过程中遇到的痛点、架构演进的宝贵历程值得参考和学习,成功不可复制、但失败或可避免。让我们听一听主流电商公司系统架构演进过程中的宝贵经验。
-
社交网络与视频直播
2016中国互联网进入了直播元年,社交网络时代迎接了新的玩法,然而直播技术面临着设备差异以及复杂网络环境若干场景带来的技术考验,在底层中考虑如何解决采集、编码、传输、解码、播放显示等技术难题,在业务上层还须思考如何给用户带来流畅高清自然的体验,如何在“千播大战”中活下来,相信底层积累的技术和沉淀的用户体验设计是在直播战场上直接关系谁胜谁败的重要因素。
-
云服务架构探索
云服务的概念已经发展了多年,从云的性质上看无论是公有云还是私有云均已得到广泛运用,从业务上电商、游戏、视频、金融、医疗等市场上也各自迎来了各大巨头对它们的云布局。然而无论是何种云都代表着IT管理方式发生着巨大的变化。云服务一切都在兴起,真正带领人们走向一个新的未来,我们应该如何更好地迎接云的变化,如何探索怎么更好的拥抱云,本专题将邀请各路技术专家一起来探索云服务架构。
-
新闻资讯与广告
在这个内容为王的时代,新闻资讯是用户了解时事的强需求,广告则可以理解为资讯的一种特别形式。在这类应用架构中,企业如何给用户提供稳定可靠的推送能力,如何做到精准的人群定向选择,面对热点如何做到快速敏感反应和发布等等,这些都是优秀的内容提供商需要考虑的问题,然而在广告投放中,企业在考虑上述难题的同时还需研究如何优化广告引擎与算法,如何兼顾用户体验和利润最大化的多维度数据模型设计等等,在本专题上在此领域深耕多年的技术专家将为您揭开层层神秘面纱。
-
资源共享新模式带来的技术变革
什么可以共享?是吃喝还是住行?想必都可以,更深层次地也许是我们可以所了解的一切可用资源皆可分享,我们熟知的Airbnb、Uber则是我们共享经济的拓荒者,然而我们还可以考虑知识、物流、家政、社交、保养等方面的资源共享,那么这些应用背后各自又有什么值得探讨的技术难题呢?
-
日新月异的移动架构
移动化在可触的2017年依旧潜力非凡,移动互联网日益深入生活且即将作为未来的互联网主要入口,当下移动端架构如何权衡Web和Native,如何满足用户苛刻的流畅度、稳定度、电耗网耗需求,高并发大流量下移动架构如何设计,如何前瞻判断未来的系统扩展要求,面对竞争者的虎视眈眈快速响应新技术还是不是最优选择,这些经久不衰的考验在不久的将来仍是火热的实践方向,如果你略有困惑和犹豫,相信你在这个专题里能在各位技术专家分享下得到解答。
-
研发体系构建管理
技术管理者是让技术Group变成技术Team的核心,除了挑选合适的技术人之外,优秀的技术管理者还应能冷静客观地分析团队各个人的技术能力使之不至于懒惰或超负荷,掌握团队的整体技术水平使队伍能够按时按质完成项目,同时做出合理的决策使公司摆脱技术困难甚至技术崩溃的局面,在本专题中我们邀请了一线优秀技术管理者,他们将带来组建团队过程中招聘、培养、激励等方面各维度的经验谈。
-
架构师成长之路以及对架构的认知
架构师是互联网行业的一个关键群体。从某种程度上来说,架构师的成长促进了互联网行业的发展。本专题中我们聚焦于架构师的成长,从体会工程师到架构师的点滴足迹,到感触架构师对架构变迁的认识及未来架构的思考,从另一个方面我们一起感受技术人的魅力。本专题我们将邀请一线架构师,大家促膝夜谈,一起探讨架构的道与术。
-
阿里双11技术架构突破
阿里双11购物狂欢节已是第8年,其高速发展成为有广泛影响力的世界级购物节日,带动了整体电商行业及相关产业的发展。逐年迅速上涨的交易量,及不断创新的业务、运营模式,为技术的支撑带来持续的挑战。技术如何驱动业务发展,更是一直以来创新的着眼点。 背后究竟是怎样的技术架构成就了如此快速、规模化的增长,在发展的过程中又有哪些经验值得参考和学习。本专场将走进“双11”技术,深入为大家分享阿里“双11”的交易、商家、物流、供应链架构。
-
云应用管理与运维(厂商共建专题)
随着云平台被越来越多的企业认可和使用,越来越多的用户开始在云平台上部署自己的应用,如何在云平台上对这些应用进行管理、调度、优化和自动化运维,实现应用的快速部署、快速更新与实时监控,成为越来越多的企业所关注的难题。本专题将邀请多位具有实战经验的一线技术专家,共同探讨云应用管理与运维过程中的挑战与应对之策,在IT环境变得越来越复杂的当下,希望能给大家带来一些新的思考和启发。
-
大数据分析与应用(厂商共建专题)
随着大数据相关技术在各行业中应用得愈加广泛,大数据早已成为现代企业 IT 部门不可忽视的一个关键部分并直接影响着企业的业务发展。本专题将邀请多位工程师及技术专家,围绕大数据主题,在深度学习、用户画像、个性化应用分发等方面展开更为细致的探讨,分享大数据在日常生活中的创新实践,探讨如何有效分析和应用数据,让其发挥更大价值。
报名流程
银行转账方式 大会报名 提交订单收到报名成功后“银行转账订单” 确认付费(银行转账&企业转账) 联系主办方获取电子门票 持打印的电子门票现场签到(或凭彩信/短信) 领取大会证件(胸卡)、餐券、大会资料等
在线支付方式 大会报名 在线支付(支付宝) 获取电子门票报名成功 持打印的电子门票现场签到(或凭彩信/短信) 领取大会证件(胸卡)、餐券、大会资料等
付款方式
|
|
注:
(1)汇款时在备注中请注明购票者的姓名及购票的公司名称,以便我们尽快为您核实信息。
(2)请汇款成功之后保留汇款凭证,将汇款凭证邮件(qcon@cn.infoq.com )或致电(010-64738142)通知我们,并告知购票人的姓名及汇款金额
1、注册报名
请根据大会网站的注册表单认真填写在线报名注册信息(请准确填写姓名、手机、常用邮件等带有“*”号键信息,用于接收电子门票及其他相关资料信息)。
2、付款
请根据自己所选择的票类,通过在线支付或银行转账的方式支付相关票款。
3、获取大会电子门票
1)选择在线支付(支付宝)方式汇款的个人或企业,在付款成功后,可直接获取电子门票邮件一封(在您的注册邮箱里),请下载附件的电子门票文件,并保存到你的电脑或手机里。如未在1小时之内获取邮件信息,请及时联系QCon会务组,电话(010-64738142)、邮件(qcon@cn.infoq.com);
2)选择通过银行转账方式汇款的个人或是企业,请汇款之后保留汇款凭证,电话(010-64738142)、邮件(qcon@cn.infoq.com)通知组委会购票人的姓名及汇款金额,收到款项后会发送电子门票至参会者邮箱。
4、凭电子门票参会
现场参会签到时,凭电子门票(或短信/彩信)签到即可换取大会证件(胸卡)、餐券、大会资料等。
※团队报名(5人以上,含5人)流程※
1、电话或邮件联系组委会申请团队优惠价
2、成员信息填写在线注册报名(有负责人统一填写报名信息),报名成功后致电(010-64738142)或邮件(qcon@cn.infoq.com )通知QCon会务组
3、按照团购价格付款
4、联系主办方获取大会电子门票
5、凭电子门票(或彩信/短信)签到参会
注:
(1)报名费用:在规定时间前成功将参会费用汇入组委会指定票务组银行账号,享受相应折扣,否则优惠期将自动延后。
(2)网上的注册日期在限时优惠的截止日期之内,以收到参会者的票款日期为准。
(3)以上票价不包括住宿费
特别说明
门票一旦购买,恕不退票。
如因故不能参会,可将门票转让他人。转让门票请联系本次活动的会务组进行票务信息更改,会议开始前10个工作日不能转让门票。如果门票遗失,请您及时与票务组联系。