专题: 阿里双11技术架构突破
Day of week:
- 星期六
阿里双11购物狂欢节已是第8年,其高速发展成为有广泛影响力的世界级购物节日,带动了整体电商行业及相关产业的发展。逐年迅速上涨的交易量,及不断创新的业务、运营模式,为技术的支撑带来持续的挑战。技术如何驱动业务发展,更是一直以来创新的着眼点。
背后究竟是怎样的技术架构成就了如此快速、规模化的增长,在发展的过程中又有哪些经验值得参考和学习。本专场将走进“双11”技术,深入为大家分享阿里“双11”的交易、商家、物流、供应链架构。
阿里巴巴集团天猫事业部,资深技术专家,手机天猫技术负责人。
2009年加入阿里巴巴,负责中间件的开发,Dubbo开源分布式服务框架作者,HTTL开源模板引擎作者。 2012年加入天猫,负责手机天猫APP的技术团队,见证了天猫双11无线化全过程。
热衷参与开源社区建设,传播服务化,SOA,框架设计,移动应用等架构设计理念。
by 顾风胜
阿里巴巴高级技术专家
传统的开放平台,一般是开放API给外部系统进行数据同步,在数据量规模不大(单个商家每天新增数据在万级,数据总量在千万级),数据架构简单(有分库分表,主从备份)的情况下,通过API分页轮询的方式同步数据一般不会有什么问题。
但,天猫淘宝有千万级的商家,双十一当天,单个商家在数据库里面有数百万数据,平台新增数据量达到数亿级别,通过API同步数据往往面临,数据库热点导致获取超时、分页查询越来越慢,主备同步延迟导致数据漏单,数万的外部系统同时争抢平台的数据库资源,数据库不堪重负,为了不影响双十一核心交易链路的稳定性,平台不得不对外采取限流措施。
针对这些问题,淘宝开放平台推出了数据同步服务,一种基于高性能异步化API和高可靠实时消息系统来设计、面向公网的异构数据库之间的数据同步服务。使用这个服务,可以把商家在天猫淘宝产生的数据实时可靠的推送到自身的RDS数据库里面,开发者直接通过访问本地RDS就能拿到所有的数据,没有资源争抢,就近访问,数据实时同步。2015年天猫双十一头两个小时,数据同步服务达到20万/秒的同步速度,数据同步到接近一万个外部RDS数据库,...
by 戚赟炜(云韦)
阿里巴巴算法专家
依托于天猫自营和类自营业务,天猫智能供应链在过去两年完成了从0到1的跨越。 在执行链路,通过基于大数据的预测和运筹学优化算法, 更精准的自动完成从销售预测到仓储,调拨,采购的供应链计划。 在商品端,用大数据结合深度学习,有效整合商品信息, 为业务的选品定价,商品生命周期管理提供决策支持。今年双十一, 我们在降低商家供货成本的同时, 智能优化商品的库存分布,提升区域商品在架率。 通过一套整体的商品智能供应链决策支持,提升天猫平台的服务品质,为消费者带来更优质的购物体验。
演讲提纲:
1. 数据驱动的供应链;
2. 销量预测;
3. 补货与调拨;
4. 智能商品识别;
听众受益:
1. 了解天猫供应链的架构;
2. 了解天猫商品识别技术。
by 许俊(兰博)
菜鸟网络架构师
每年的双十一,海量的包裹都给整个物流行业造成了巨大的冲击,近年来,随着电商的纵深发展,跨境物流、农村物流、仓配一体等模式接踵而出,对于当日达、预约配送等服务品质也提出了越来越高的要求。
首先,如何安全稳定的跟成千上万的物流服务商建立数据互联,并且在订单峰值冲击过来时,灵活的做到泄洪保护合作伙伴的系统;同时,如何将物流商的原始能力,组织成标准服务提供给商家和消费者,并且在订单履行过程中,智能化的调度协同各家物流公司;此外,由于物流业务链路的复杂性、多样化,如何做好架构治理、快速定位分析问题。等等,这些都是菜鸟技术需要面对的问题,本次将主要分享在这些方面菜鸟的一些实践和思考。
面对十亿级包裹的体量,菜鸟在双11备战过程中也遇到了非常多的技术挑战,最后也将简单分享一下备战过程中的一些经验和教训。
by 余刚(若海)
阿里资深技术专家
双十一是全球消费者的狂欢节,每年的玩法都在不断创新,业务范围也越来越广。随之而来的是业务需求数量大大增加,参与双十一需求开发的团队也原来越多。各业务所处的发展阶段、规模等都不完全一样,有些新的小业务迭代非常频繁,可能随时需要修改发布,而上规模的业务需要尽可能确保稳定,少动线上为妙。由于这些大大小小的业务都运行在一起,业务规则互相叠加和影响,在开发的过程中需求之间互相影响,开发效率和系统的稳定性上都存在很大的挑战。
为了改善这些问题,去年开始,我们开始对交易平台做架构的升级,此次升级以让各业务团队能在平台上自助的研发为目标,系统层面做到业务和平台分离,业务之间隔离,从而提升整体的研发效率,降低研发成本。在此过程中,我们完成了对交易流程的抽象,领域的划分和收敛,系统能力的自动透出等,从上线后实际运行的结果看,效果符合我们的预期。
该主题将介绍我们架构升级的过程和其中的思考。
演讲大纲:
1. 双十一业务需求的变化(数量和参与团队的增加);
2. 交易平台简介;
...
演讲专题
Covering innovative topics
12月02日,星期五
-
架构演进 — 从0到1再到100
随着业务飞速发展,系统的各种问题也随之而来,这时就需要考虑进行系统架构升级,以满足在稳定性、扩展性、性能和成本方面的要求。像这样的系统架构升级会一直不停发生,只要业务继续在发展,所以架构是一条从0到1,从1到100的进化之路。在这样的进化过程会涌现出一系列的架构升级经验也会大量的新技术探索。这里让我们通过这一系列的专题演讲,来了解:大规模互联网系统的架构设计和实现案例,可用性、可扩展性等,还有架构演进过程中的实践经验和教训,另外当前有哪些最新的探索实践等等。
-
微服务与容器实践
历史总是在不断的演化中前行, ”江山代有人才出“, 当今正到了容器化和微服务化的风骚之年,说是docker等容器生态的发展为微服务化铺平了道路也好, 还是微服务化的趋势为容器化提供了广袤的需求实施场景也罢, 二者可谓是珠联璧合,相互成就。 本专题将本着务实,生动,贴近实践的原则,甄选多家靓厂的容器化和微服务化案例, 以期百家争鸣, 让大家一睹各家“新瓶装新酒”的各异风采, 精彩不断,不容错过~
-
FinTech
Financial Technology(金融科技)并不是只在国内火热的概念,在国外面向Fin-Tech而生的金融科技公司隐隐有挑战传统金融代表——华尔街的意味,披着互联网外衣的FinTech公司如何利用一系列创新手段使得金融服务变得更有效率,如何引领瓦解传统且不够科技化大型金融企业和体系的趋势,本专题将邀请一线技术大咖为我们一一解答。
-
高可用架构之道
系统高可用是互联网企业系统架构的基础要求之一,以支付宝为例,其官方在2015年大促后提供的数据,其每秒可以支撑超过8万笔支付,一分钟故障就可能会影响近500万笔交易,可见系统可用性的重要性。 现代互联网企业对系统可用性负责的往往就是系统研发团队,无论故障的深层次原因在哪里,问题总是先从应用本身暴露出来。所以系统架构设计阶段就要考虑可用性问题,包括如果通过架构升级来预防问题发生,如何及时发现问题甚至预见问题,在问题发生后如何快速自动地处理问题等。系统架构设计的质量直接决定了可用性的高低。 所有好的架构设计首要的原则并不是追求先进,而是合理性,要与企业的业务规模和发展趋势相匹配,任何一个企业,哪怕是现在看来规模非常大的企业,在一开始,其系统架构也应简单和清晰的,但随着业务范围不断扩充,业务规模不断扩大,系统渐进复杂和庞大,让所有系统都要高可用,面临成本上的问题,因此,架构分类分级治理成为必然,业务架构、应用架构、数据架构、基础架构都需要梳理和治理,既保障核心业务可用,又能控制住建设成本,解决好持续发展的问题。 系统可用,离不开可靠的基础设施。越来越多的互联网企业在建设自己的数据中心,其网络和硬件架构和布局十分关键,任何瓶颈都可能会在相当长时间内制约对业务的支撑能力,其可用性问题对业务影响范围通常也比较广,基础设施的设计和升级经验可以帮助后来的人们少踩坑。 本专题从应用系统架构设计,到基础设施架构设计,再到架构治理,紧紧围绕高可用主题。每一位讲师都是从一线摸爬滚打成长起来的,挖过坑也填过坑,准备的分享内容都是实战总结,篇篇用心设计,句句精心雕琢,期望能给大家带来帮助,也欢迎和讲师们交流出火花和创意。
-
应用性能管理最佳实践
全新云时代,商业、技术、社会各层面都在深刻变革。互联网产品越来越多样性、复杂化,全球化、移动化、多终端,海量用户数据和实时性等新特点为改善用户体验带来了更大的挑战,甚至可以毫不夸张的说今天的互联网时代是比历史上任何时期都面临更为严峻的挑战。几乎参与产品的人、事务和资源都会产生性能问题,例如移动、前端、后端、网络、系统、应用、硬件、产品逻辑等,而往往这些不同维度的性能问题会叠加并不断放大。在互联网已经进入到用户体验至上的时代,如何对应用性能进行有效管理和优化,正是本专题讲师为大家分享的内容。
-
运维创造价值的时代
运维创造价值的时代已经来临,在云计算趋势的大潮推动下,无论是互联网企业还是传统企业,都已经开始投入更多的精力和资源在工程效率提升,用户体验的极致优化以及稳定安全的保障上,这样的转变给运维带来了极大的挑战,但更多的带来了机遇。毫不夸张的说,运维具备先天的优势,能够站在全局和端到端的角度来审视和把握这些方向,从而驱动和保障着一个产品能够更加健康和高速的发展。 本专题将会邀请一线运维专家,分享他们的实践和思考,看看专家们是如何从业务的角度出发,从运维的视角为业务提供的支持和价值。
-
机器学习实战
机器学习是人工智能的一个重要分支,近些年发展尤为迅速,特别是伴随着AlphaGo利用机器学习战胜围棋超一流高手李世石,大家对机器学习的热情空前高涨,机器学习也被认为人工智能的未来,各种算法不断革陈出新,各行业应用也层出不穷。但是,机器学习理论本身的复杂度,让很多人望而却步,因此,本专题特邀请了知名企业的一线专家,对各自领域的机器学习最佳实践进行深入浅出解读,让大家对机器学习理论和具体应用能够深入了解,对未来工作起到指导作用。
-
大数据处理及系统架构
在互联网世界中,用户的每一次点击、停留等操作都将化作数据流进企业网络架构,如何捕捉、存储、处理、利用这海量的数据已经成为互联网学院和企业研究的大课题,大数据分支上已经有成熟的搜索、海量数据管理等成熟实用的技术,也有视觉仿真、人工智能等新兴的研究方向,本专题邀请了各路技术专家一起探讨优秀的大数据处理架构实践案例。
-
技术人,你真的准备好创业了吗?
在中国目前似乎仍是创业的最好时代,一方面政策仍鼓励万众创业,另一方面更发达的云计算等技术使创业门槛大大降低。但考虑到中国的人口数量,知识产权保护的状况,以及投资机构习惯性的扎堆作风,稍微看起来有机会的方向上很快就会人满为患。那么2016年在血海环境中创业存活的公司具备怎样的特征?2017年仍会坚守的创业者们应该如何奋斗?希望本专题下的各位技术创业精英们能够解决你的困惑。
-
实时处理架构设计(厂商共建专题)
实时处理要求系统有很高的可靠性,低延迟、高时效,信息的任何错误或丢失都可能造成严重的损失。挑战常在,怎么应战?本专题将邀请来自不同公司技术团队的专家和领导,分享他们在实时处理系统架构设计与演进过程中的经验与心得,包括IM云服务架构设计与实践、大型赛事直播广告系统架构设计与演进、CDN直播的技术原理和架构,并探讨其中面临的问题以及解决方案,希望能给大家带来新的启发。
-
微服务架构实践(厂商共建专题)
「微服务」是一个听上去很美,可以快速拥抱变化的概念。可以说,微服务架构是业界在不断优化 IT 架构过程中的实践总结。然而在构建微服务的过程中,企业会面临比以往更加复杂的环境,如何让看上去很美的微服务架构落地并提高团队交付能力,并通过不断演化架构来应对遇到的各种难题,成为很多企业急待解决的问题。 本专题将会邀请具有实战经验的一线技术专家,为大家带来对微服务架构落地具有指导意义的分享,了解在实践微服务化过程中遇到的诸多坑,以及解决这些问题的模式或经验总结,还将探索复杂业务背景下微服务化的是与非,希望能给大家带来一些新的思考。
-
云平台架构设计与容器落地实践(厂商共建专题)
容器的应用场景之一就是构建企业私有云平台,在云平台中使用容器技术有哪些优势,云平台在选型、架构设计和落地过程中又踩过哪些坑呢?本专题将邀请多位具有实战经验的一线技术专家,共同探讨云平台架构设计与容器落地实践过程中的挑战与应对之策,包括企业容器私有云架构分享、云管理平台的架构与功能设计解析,并从微观到宏观探讨与容器有关的三个基本性争论,希望能给大家带来一些新的思考。
-
58集团架构与大数据应用创新专场(厂商共建专题)
经过业务整合之后,58集团在数据存储、架构设计,以及微服务架构在转转平台的落地都有很大的调整和创新。通过AI技术和广告平台的结合,在架构上不断演进,为58在流量获取、预估转化、机制调控等方面提升了核心动力。
12月03日,星期六
-
电商专题:系统架构如何应对业务爆发式增长
电子商务、互联网+飞速发展,但电商系统架构没有标准模式模板,各大电商公司都是在发展的过程中逐步摸索和踩坑适合自己业务高速发展的技术和业务架构。 这个过程中遇到的痛点、架构演进的宝贵历程值得参考和学习,成功不可复制、但失败或可避免。让我们听一听主流电商公司系统架构演进过程中的宝贵经验。
-
社交网络与视频直播
2016中国互联网进入了直播元年,社交网络时代迎接了新的玩法,然而直播技术面临着设备差异以及复杂网络环境若干场景带来的技术考验,在底层中考虑如何解决采集、编码、传输、解码、播放显示等技术难题,在业务上层还须思考如何给用户带来流畅高清自然的体验,如何在“千播大战”中活下来,相信底层积累的技术和沉淀的用户体验设计是在直播战场上直接关系谁胜谁败的重要因素。
-
云服务架构探索
云服务的概念已经发展了多年,从云的性质上看无论是公有云还是私有云均已得到广泛运用,从业务上电商、游戏、视频、金融、医疗等市场上也各自迎来了各大巨头对它们的云布局。然而无论是何种云都代表着IT管理方式发生着巨大的变化。云服务一切都在兴起,真正带领人们走向一个新的未来,我们应该如何更好地迎接云的变化,如何探索怎么更好的拥抱云,本专题将邀请各路技术专家一起来探索云服务架构。
-
新闻资讯与广告
在这个内容为王的时代,新闻资讯是用户了解时事的强需求,广告则可以理解为资讯的一种特别形式。在这类应用架构中,企业如何给用户提供稳定可靠的推送能力,如何做到精准的人群定向选择,面对热点如何做到快速敏感反应和发布等等,这些都是优秀的内容提供商需要考虑的问题,然而在广告投放中,企业在考虑上述难题的同时还需研究如何优化广告引擎与算法,如何兼顾用户体验和利润最大化的多维度数据模型设计等等,在本专题上在此领域深耕多年的技术专家将为您揭开层层神秘面纱。
-
资源共享新模式带来的技术变革
什么可以共享?是吃喝还是住行?想必都可以,更深层次地也许是我们可以所了解的一切可用资源皆可分享,我们熟知的Airbnb、Uber则是我们共享经济的拓荒者,然而我们还可以考虑知识、物流、家政、社交、保养等方面的资源共享,那么这些应用背后各自又有什么值得探讨的技术难题呢?
-
日新月异的移动架构
移动化在可触的2017年依旧潜力非凡,移动互联网日益深入生活且即将作为未来的互联网主要入口,当下移动端架构如何权衡Web和Native,如何满足用户苛刻的流畅度、稳定度、电耗网耗需求,高并发大流量下移动架构如何设计,如何前瞻判断未来的系统扩展要求,面对竞争者的虎视眈眈快速响应新技术还是不是最优选择,这些经久不衰的考验在不久的将来仍是火热的实践方向,如果你略有困惑和犹豫,相信你在这个专题里能在各位技术专家分享下得到解答。
-
研发体系构建管理
技术管理者是让技术Group变成技术Team的核心,除了挑选合适的技术人之外,优秀的技术管理者还应能冷静客观地分析团队各个人的技术能力使之不至于懒惰或超负荷,掌握团队的整体技术水平使队伍能够按时按质完成项目,同时做出合理的决策使公司摆脱技术困难甚至技术崩溃的局面,在本专题中我们邀请了一线优秀技术管理者,他们将带来组建团队过程中招聘、培养、激励等方面各维度的经验谈。
-
架构师成长之路以及对架构的认知
架构师是互联网行业的一个关键群体。从某种程度上来说,架构师的成长促进了互联网行业的发展。本专题中我们聚焦于架构师的成长,从体会工程师到架构师的点滴足迹,到感触架构师对架构变迁的认识及未来架构的思考,从另一个方面我们一起感受技术人的魅力。本专题我们将邀请一线架构师,大家促膝夜谈,一起探讨架构的道与术。
-
阿里双11技术架构突破
阿里双11购物狂欢节已是第8年,其高速发展成为有广泛影响力的世界级购物节日,带动了整体电商行业及相关产业的发展。逐年迅速上涨的交易量,及不断创新的业务、运营模式,为技术的支撑带来持续的挑战。技术如何驱动业务发展,更是一直以来创新的着眼点。 背后究竟是怎样的技术架构成就了如此快速、规模化的增长,在发展的过程中又有哪些经验值得参考和学习。本专场将走进“双11”技术,深入为大家分享阿里“双11”的交易、商家、物流、供应链架构。
-
云应用管理与运维(厂商共建专题)
随着云平台被越来越多的企业认可和使用,越来越多的用户开始在云平台上部署自己的应用,如何在云平台上对这些应用进行管理、调度、优化和自动化运维,实现应用的快速部署、快速更新与实时监控,成为越来越多的企业所关注的难题。本专题将邀请多位具有实战经验的一线技术专家,共同探讨云应用管理与运维过程中的挑战与应对之策,在IT环境变得越来越复杂的当下,希望能给大家带来一些新的思考和启发。
-
大数据分析与应用(厂商共建专题)
随着大数据相关技术在各行业中应用得愈加广泛,大数据早已成为现代企业 IT 部门不可忽视的一个关键部分并直接影响着企业的业务发展。本专题将邀请多位工程师及技术专家,围绕大数据主题,在深度学习、用户画像、个性化应用分发等方面展开更为细致的探讨,分享大数据在日常生活中的创新实践,探讨如何有效分析和应用数据,让其发挥更大价值。