时间: 2016年12月02日~03日
地点:北京·国际会议中心
购票电话:010-89880682/18515221946

专题: 大数据处理及系统架构

Day of week:

在互联网世界中,用户的每一次点击、停留等操作都将化作数据流进企业网络架构,如何捕捉、存储、处理、利用这海量的数据已经成为互联网学院和企业研究的大课题,大数据分支上已经有成熟的搜索、海量数据管理等成熟实用的技术,也有视觉仿真、人工智能等新兴的研究方向,本专题邀请了各路技术专家一起探讨优秀的大数据处理架构实践案例。

专题出品人:
王刚
小米大数据平台总监

毕业于香港科技大学计算机科学系博士,长期从事数据挖掘和机器学习方向的研究。2007年加入微软亚洲研究院,在搜索和计算广告领域从事用户行为数据的研究和分析,2010年加入腾讯,负责排序质量的相关工作,2013年加入小米后,担任数据平台的负责人,建设了小米大数据管理系统,研发了一系列数据产品,如用户画像、内容池、安全防护等,并开发了内容推荐引擎和智能问答引擎,为多个业务产品的快速迭代提供核心技术的支撑。


by 颜世光
百度搜索基础架构团队技术负责人

Spider系统是百度搜索引擎的主要数据来源,每天处理着数万亿次的链接分析,和数百亿次的互联网资源采集。在过去,这其中多数工作由MapReduce系统完成,处理延时达到天级。从2014年开始,我们对Spider系统进行了大规模重构,以搜索结果更新延迟从周级缩短到分钟级为目标,设计实现了海量实时数据库Tera。以此为基础,构建了每天实时处理几万亿链接与网页更新的百度第三代Spider系统。区别于上一代系统,新系统的核心流程全部实时化,从互联网上出现一篇新网页,到基于历史分析与机器学习快速发现链接,到基于链接价值的抓取调度,再到对网页进行分类、筛选每个步骤都在几秒钟内完整,以保证新网页能在分钟级更新到搜索结果中。

演讲提纲:

  1. 百度第三代Spider系统面临的挑战与产生背景

  2. 万亿量级数据库Tera的实现

  3. 实时数据处理系统架构

  4. 系统构建中的经验与教训

听众受益:

  1. 分布式系统设计

...

by 陈国强Jerry
Software Engineer @Facebook

Abstract:Realtime data processing powers many use cases at Facebook, including realtime reporting of the aggregated, anonymized voice of Facebook users, analytics for mobile applications, and insights for Facebook page administrators. We have a realtime data processing ecosystem at Facebook that handles hundreds of Gigabytes per second across hundreds of data pipelines. Many decisions must be made while designing a realtime stream processing system. In this talk, we identify five important...


by 农益辉
腾讯数据中心总监

分享腾讯游戏大数据如何实现数据应用落地,帮助游戏实现精细化运营,包括用户画像的应用,游戏内场景数据应用以及通过数据丰富游戏内容和玩法等介绍。

听众受益:

  1、了解腾讯大数据如何实现精细化运营;

  2、游戏分析数据产品的设计思路;

  3、数据分析、营销的方法论等。


by 胡时伟
第四范式联合创始人&首席架构师

随着企业对数据驱动以及人工智能技术的理解与接受,机器学习作为实现大数据价值、促进业务发展的新利器受到越来越多的关注,也与企业IT架构与业务架构间有了更加紧密的结合。从一个个独立的建模过程到IT整体架构的核心组成部分,机器学习的平台化产品应当具备哪些特性?本次分享将结合第四范式在金融行业、互联网行业的企业服务实践经验,以及第四范式·先知全流程AI开发平台的产品化历程,在设计思路、算法架构、线上服务、部署运维等多个方面进行解析。

演讲提纲:

  1.机器学习平台的架构与关键技术;

  2.大规模机器学习的工程优化;

  3.如何降低企业应用机器学习技术的成本;

  4.行业机器学习平台应用案例分享;

听众受益:

  1.大规模机器学习平台如何设计;

  2.机器学习平台在行业的实践经验。


by 赵勇
格灵深瞳联合创始人 & CTO

随着平安城市和智慧城市的建设进入智能阶段,公安、交通等部门对于视图大数据的分析应用产生了强烈需求,他们希望借助大数据分析的能力,进行更快速地案件侦破和更高效的交通管理。格灵深瞳瞄准视图大数据的应用需求,利用海量的数据、先进的深度学习、高性能计算及大数据技术,在产品化的视觉计算处理和数据架构方面进行了相关探索。这次分享将会逐一介绍我们在视图大数据方面所做的一些工作。

演讲提纲:

  1. 计算机视觉背后的大数据(分析实际业务逻辑,主要特点是“大、快、准”);

  2. 近年来的技术突破(视频结构化、人眼摄像机);

  3. 产品化的视觉计算引擎和数据处理架构(实现大快准的一些技术考量)。

听众受益:

  1. 了解视图大数据行业的发展动向;

  2. 实战的案例分析。

演讲专题

Covering innovative topics

12月02日,星期五

  • 架构演进 — 从0到1再到100

    随着业务飞速发展,系统的各种问题也随之而来,这时就需要考虑进行系统架构升级,以满足在稳定性、扩展性、性能和成本方面的要求。像这样的系统架构升级会一直不停发生,只要业务继续在发展,所以架构是一条从0到1,从1到100的进化之路。在这样的进化过程会涌现出一系列的架构升级经验也会大量的新技术探索。这里让我们通过这一系列的专题演讲,来了解:大规模互联网系统的架构设计和实现案例,可用性、可扩展性等,还有架构演进过程中的实践经验和教训,另外当前有哪些最新的探索实践等等。

  • 微服务与容器实践

    历史总是在不断的演化中前行, ”江山代有人才出“, 当今正到了容器化和微服务化的风骚之年,说是docker等容器生态的发展为微服务化铺平了道路也好, 还是微服务化的趋势为容器化提供了广袤的需求实施场景也罢, 二者可谓是珠联璧合,相互成就。 本专题将本着务实,生动,贴近实践的原则,甄选多家靓厂的容器化和微服务化案例, 以期百家争鸣, 让大家一睹各家“新瓶装新酒”的各异风采, 精彩不断,不容错过~

  • FinTech

    Financial Technology(金融科技)并不是只在国内火热的概念,在国外面向Fin-Tech而生的金融科技公司隐隐有挑战传统金融代表——华尔街的意味,披着互联网外衣的FinTech公司如何利用一系列创新手段使得金融服务变得更有效率,如何引领瓦解传统且不够科技化大型金融企业和体系的趋势,本专题将邀请一线技术大咖为我们一一解答。

  • 高可用架构之道

    系统高可用是互联网企业系统架构的基础要求之一,以支付宝为例,其官方在2015年大促后提供的数据,其每秒可以支撑超过8万笔支付,一分钟故障就可能会影响近500万笔交易,可见系统可用性的重要性。 现代互联网企业对系统可用性负责的往往就是系统研发团队,无论故障的深层次原因在哪里,问题总是先从应用本身暴露出来。所以系统架构设计阶段就要考虑可用性问题,包括如果通过架构升级来预防问题发生,如何及时发现问题甚至预见问题,在问题发生后如何快速自动地处理问题等。系统架构设计的质量直接决定了可用性的高低。 所有好的架构设计首要的原则并不是追求先进,而是合理性,要与企业的业务规模和发展趋势相匹配,任何一个企业,哪怕是现在看来规模非常大的企业,在一开始,其系统架构也应简单和清晰的,但随着业务范围不断扩充,业务规模不断扩大,系统渐进复杂和庞大,让所有系统都要高可用,面临成本上的问题,因此,架构分类分级治理成为必然,业务架构、应用架构、数据架构、基础架构都需要梳理和治理,既保障核心业务可用,又能控制住建设成本,解决好持续发展的问题。 系统可用,离不开可靠的基础设施。越来越多的互联网企业在建设自己的数据中心,其网络和硬件架构和布局十分关键,任何瓶颈都可能会在相当长时间内制约对业务的支撑能力,其可用性问题对业务影响范围通常也比较广,基础设施的设计和升级经验可以帮助后来的人们少踩坑。 本专题从应用系统架构设计,到基础设施架构设计,再到架构治理,紧紧围绕高可用主题。每一位讲师都是从一线摸爬滚打成长起来的,挖过坑也填过坑,准备的分享内容都是实战总结,篇篇用心设计,句句精心雕琢,期望能给大家带来帮助,也欢迎和讲师们交流出火花和创意。

  • 应用性能管理最佳实践

    全新云时代,商业、技术、社会各层面都在深刻变革。互联网产品越来越多样性、复杂化,全球化、移动化、多终端,海量用户数据和实时性等新特点为改善用户体验带来了更大的挑战,甚至可以毫不夸张的说今天的互联网时代是比历史上任何时期都面临更为严峻的挑战。几乎参与产品的人、事务和资源都会产生性能问题,例如移动、前端、后端、网络、系统、应用、硬件、产品逻辑等,而往往这些不同维度的性能问题会叠加并不断放大。在互联网已经进入到用户体验至上的时代,如何对应用性能进行有效管理和优化,正是本专题讲师为大家分享的内容。

  • 运维创造价值的时代

    运维创造价值的时代已经来临,在云计算趋势的大潮推动下,无论是互联网企业还是传统企业,都已经开始投入更多的精力和资源在工程效率提升,用户体验的极致优化以及稳定安全的保障上,这样的转变给运维带来了极大的挑战,但更多的带来了机遇。毫不夸张的说,运维具备先天的优势,能够站在全局和端到端的角度来审视和把握这些方向,从而驱动和保障着一个产品能够更加健康和高速的发展。 本专题将会邀请一线运维专家,分享他们的实践和思考,看看专家们是如何从业务的角度出发,从运维的视角为业务提供的支持和价值。

  • 机器学习实战

    机器学习是人工智能的一个重要分支,近些年发展尤为迅速,特别是伴随着AlphaGo利用机器学习战胜围棋超一流高手李世石,大家对机器学习的热情空前高涨,机器学习也被认为人工智能的未来,各种算法不断革陈出新,各行业应用也层出不穷。但是,机器学习理论本身的复杂度,让很多人望而却步,因此,本专题特邀请了知名企业的一线专家,对各自领域的机器学习最佳实践进行深入浅出解读,让大家对机器学习理论和具体应用能够深入了解,对未来工作起到指导作用。

  • 大数据处理及系统架构

    在互联网世界中,用户的每一次点击、停留等操作都将化作数据流进企业网络架构,如何捕捉、存储、处理、利用这海量的数据已经成为互联网学院和企业研究的大课题,大数据分支上已经有成熟的搜索、海量数据管理等成熟实用的技术,也有视觉仿真、人工智能等新兴的研究方向,本专题邀请了各路技术专家一起探讨优秀的大数据处理架构实践案例。

  • 技术人,你真的准备好创业了吗?

    在中国目前似乎仍是创业的最好时代,一方面政策仍鼓励万众创业,另一方面更发达的云计算等技术使创业门槛大大降低。但考虑到中国的人口数量,知识产权保护的状况,以及投资机构习惯性的扎堆作风,稍微看起来有机会的方向上很快就会人满为患。那么2016年在血海环境中创业存活的公司具备怎样的特征?2017年仍会坚守的创业者们应该如何奋斗?希望本专题下的各位技术创业精英们能够解决你的困惑。

  • 实时处理架构设计(厂商共建专题)

    实时处理要求系统有很高的可靠性,低延迟、高时效,信息的任何错误或丢失都可能造成严重的损失。挑战常在,怎么应战?本专题将邀请来自不同公司技术团队的专家和领导,分享他们在实时处理系统架构设计与演进过程中的经验与心得,包括IM云服务架构设计与实践、大型赛事直播广告系统架构设计与演进、CDN直播的技术原理和架构,并探讨其中面临的问题以及解决方案,希望能给大家带来新的启发。

  • 微服务架构实践(厂商共建专题)

    「微服务」是一个听上去很美,可以快速拥抱变化的概念。可以说,微服务架构是业界在不断优化 IT 架构过程中的实践总结。然而在构建微服务的过程中,企业会面临比以往更加复杂的环境,如何让看上去很美的微服务架构落地并提高团队交付能力,并通过不断演化架构来应对遇到的各种难题,成为很多企业急待解决的问题。 本专题将会邀请具有实战经验的一线技术专家,为大家带来对微服务架构落地具有指导意义的分享,了解在实践微服务化过程中遇到的诸多坑,以及解决这些问题的模式或经验总结,还将探索复杂业务背景下微服务化的是与非,希望能给大家带来一些新的思考。

  • 云平台架构设计与容器落地实践(厂商共建专题)

    容器的应用场景之一就是构建企业私有云平台,在云平台中使用容器技术有哪些优势,云平台在选型、架构设计和落地过程中又踩过哪些坑呢?本专题将邀请多位具有实战经验的一线技术专家,共同探讨云平台架构设计与容器落地实践过程中的挑战与应对之策,包括企业容器私有云架构分享、云管理平台的架构与功能设计解析,并从微观到宏观探讨与容器有关的三个基本性争论,希望能给大家带来一些新的思考。

  • 58集团架构与大数据应用创新专场(厂商共建专题)

    经过业务整合之后,58集团在数据存储、架构设计,以及微服务架构在转转平台的落地都有很大的调整和创新。通过AI技术和广告平台的结合,在架构上不断演进,为58在流量获取、预估转化、机制调控等方面提升了核心动力。

12月03日,星期六

  • 电商专题:系统架构如何应对业务爆发式增长

    电子商务、互联网+飞速发展,但电商系统架构没有标准模式模板,各大电商公司都是在发展的过程中逐步摸索和踩坑适合自己业务高速发展的技术和业务架构。 这个过程中遇到的痛点、架构演进的宝贵历程值得参考和学习,成功不可复制、但失败或可避免。让我们听一听主流电商公司系统架构演进过程中的宝贵经验。

  • 社交网络与视频直播

    2016中国互联网进入了直播元年,社交网络时代迎接了新的玩法,然而直播技术面临着设备差异以及复杂网络环境若干场景带来的技术考验,在底层中考虑如何解决采集、编码、传输、解码、播放显示等技术难题,在业务上层还须思考如何给用户带来流畅高清自然的体验,如何在“千播大战”中活下来,相信底层积累的技术和沉淀的用户体验设计是在直播战场上直接关系谁胜谁败的重要因素。

  • 云服务架构探索

    云服务的概念已经发展了多年,从云的性质上看无论是公有云还是私有云均已得到广泛运用,从业务上电商、游戏、视频、金融、医疗等市场上也各自迎来了各大巨头对它们的云布局。然而无论是何种云都代表着IT管理方式发生着巨大的变化。云服务一切都在兴起,真正带领人们走向一个新的未来,我们应该如何更好地迎接云的变化,如何探索怎么更好的拥抱云,本专题将邀请各路技术专家一起来探索云服务架构。

  • 新闻资讯与广告

    在这个内容为王的时代,新闻资讯是用户了解时事的强需求,广告则可以理解为资讯的一种特别形式。在这类应用架构中,企业如何给用户提供稳定可靠的推送能力,如何做到精准的人群定向选择,面对热点如何做到快速敏感反应和发布等等,这些都是优秀的内容提供商需要考虑的问题,然而在广告投放中,企业在考虑上述难题的同时还需研究如何优化广告引擎与算法,如何兼顾用户体验和利润最大化的多维度数据模型设计等等,在本专题上在此领域深耕多年的技术专家将为您揭开层层神秘面纱。

  • 资源共享新模式带来的技术变革

    什么可以共享?是吃喝还是住行?想必都可以,更深层次地也许是我们可以所了解的一切可用资源皆可分享,我们熟知的Airbnb、Uber则是我们共享经济的拓荒者,然而我们还可以考虑知识、物流、家政、社交、保养等方面的资源共享,那么这些应用背后各自又有什么值得探讨的技术难题呢?

  • 日新月异的移动架构

    移动化在可触的2017年依旧潜力非凡,移动互联网日益深入生活且即将作为未来的互联网主要入口,当下移动端架构如何权衡Web和Native,如何满足用户苛刻的流畅度、稳定度、电耗网耗需求,高并发大流量下移动架构如何设计,如何前瞻判断未来的系统扩展要求,面对竞争者的虎视眈眈快速响应新技术还是不是最优选择,这些经久不衰的考验在不久的将来仍是火热的实践方向,如果你略有困惑和犹豫,相信你在这个专题里能在各位技术专家分享下得到解答。

  • 研发体系构建管理

    技术管理者是让技术Group变成技术Team的核心,除了挑选合适的技术人之外,优秀的技术管理者还应能冷静客观地分析团队各个人的技术能力使之不至于懒惰或超负荷,掌握团队的整体技术水平使队伍能够按时按质完成项目,同时做出合理的决策使公司摆脱技术困难甚至技术崩溃的局面,在本专题中我们邀请了一线优秀技术管理者,他们将带来组建团队过程中招聘、培养、激励等方面各维度的经验谈。

  • 架构师成长之路以及对架构的认知

    架构师是互联网行业的一个关键群体。从某种程度上来说,架构师的成长促进了互联网行业的发展。本专题中我们聚焦于架构师的成长,从体会工程师到架构师的点滴足迹,到感触架构师对架构变迁的认识及未来架构的思考,从另一个方面我们一起感受技术人的魅力。本专题我们将邀请一线架构师,大家促膝夜谈,一起探讨架构的道与术。

  • 阿里双11技术架构突破

    阿里双11购物狂欢节已是第8年,其高速发展成为有广泛影响力的世界级购物节日,带动了整体电商行业及相关产业的发展。逐年迅速上涨的交易量,及不断创新的业务、运营模式,为技术的支撑带来持续的挑战。技术如何驱动业务发展,更是一直以来创新的着眼点。 背后究竟是怎样的技术架构成就了如此快速、规模化的增长,在发展的过程中又有哪些经验值得参考和学习。本专场将走进“双11”技术,深入为大家分享阿里“双11”的交易、商家、物流、供应链架构。

  • 云应用管理与运维(厂商共建专题)

    随着云平台被越来越多的企业认可和使用,越来越多的用户开始在云平台上部署自己的应用,如何在云平台上对这些应用进行管理、调度、优化和自动化运维,实现应用的快速部署、快速更新与实时监控,成为越来越多的企业所关注的难题。本专题将邀请多位具有实战经验的一线技术专家,共同探讨云应用管理与运维过程中的挑战与应对之策,在IT环境变得越来越复杂的当下,希望能给大家带来一些新的思考和启发。

  • 大数据分析与应用(厂商共建专题)

    随着大数据相关技术在各行业中应用得愈加广泛,大数据早已成为现代企业 IT 部门不可忽视的一个关键部分并直接影响着企业的业务发展。本专题将邀请多位工程师及技术专家,围绕大数据主题,在深度学习、用户画像、个性化应用分发等方面展开更为细致的探讨,分享大数据在日常生活中的创新实践,探讨如何有效分析和应用数据,让其发挥更大价值。