【SDCC 2016現場】數據庫/大數據技術實戰專場實錄(下)

【SDCC現場報道】2016年4月22日-23日,由CSDN重磅打造的SDCC2016數據庫&架構技術峯會在深圳隆重舉行。這兩場峯會大牛講師來自百度、騰訊、阿里、京東、唯品會、滴滴出行、攜程等知名互聯網公司,共同探討高可用/高併發/高穩定/高流量的系統架構設計、秒殺系統架構、搜索架構、中小企業架構之道、數據平臺系統演進歷程和技術剖析、傳統數據庫與分佈式數據庫選型/備份/恢復原理及優化實踐、大數據應用實戰等領域的熱點話題與技術。

下午13:30,數據庫/大數據技術實戰專場在阿里巴巴分佈式和數據庫專家楊成虎(葉翔)的主持下繼續進行,來自上騰訊、阿里巴巴、滴滴出行、華爲、AdMaster分享了各自在數據庫領域中的實戰經驗。

騰訊高級軟件工程師雷海林:MySQL備份原理與在TDSQL中的實踐

騰訊高級軟件工程師雷海林帶來了《MySQL備份原理與在TDSQL中的實踐》的主題分享。主要從備份的意義和基本原理、mysqldump分析、FTWRL鎖的分析、邏輯複製的性能優化、xtrabackup原理分析、方案對比和選型建議、TDSQL目前採用的備份方案七大方面進行深入分析。

圖片描述

騰訊高級軟件工程師 雷海林

重點對mysqldump、mydumper、mysqlpump、xtrabackup備份原理進行深度解析,並分享它們在使用過程中的一些經驗總結。最後他對騰訊金融數據庫TDSQL目前採用的方案和一些優化措施的進行了案例分享。

圖片描述

AdMaster架構師劉喆: Kafka實戰 開源消息隊列的坑與對策

AdMaster架構師劉喆主要負責數據處理的全流程技術支持,高性能和高可用的分佈式架構設計,DSL語言抽象,Hadoop/HBase/Storm/Spark等大數據平臺優化。他今天帶來的主題是《Kafka實戰:開源消息隊列的坑與對策》,主要是從系統、JVM、業務層面,以及同類軟件對比等幾個方面,結合實際案例,對Kafka應用實例進行深度剖析。

圖片描述

AdMaster架構師 劉喆

滴滴出行商業數據團隊技術專家胡亞新:滴滴快的大數據架構演進

來自滴滴出行商業數據團隊技術專家胡亞新帶來《滴滴快的大數據架構演進》主題分享,在本此次演講中胡亞新列出了在滴滴快的在業務飛速發展中使用過一些大數據技術,踩過的一些坑,回顧滴滴快在大數據演進歷程。

圖片描述

滴滴出行商業數據團隊技術專家 胡亞新

詳細的分析了滴滴在地平線項目的架構組成部分,他認爲沒有最好的架構,只有最合適的架構,只要滿足當時所要的需求即可。

圖片描述

阿里巴巴分佈式和數據庫專家楊成虎(葉翔):MongoDB高可用性原理與實踐

阿里巴巴分佈式和數據庫專家楊成虎帶來《MongoDB高可用性原理與實踐》主題分享,主要分享MongoDB的高可用性原理,並且結合阿里巴巴應用的實際案例,從根本上說明MongoDB高可用性正確部署方式。他表明:「希望通過這次演講可以讓大家對MongoDB有更加深入的瞭解,真正的用好MongoDB。」

圖片描述

阿里巴巴分佈式和數據庫專家 楊成虎(葉翔)

他詳細分析了MongoDB在阿里雲中的應用,並對如何定義宕機與聽衆進行深入的討論。MongoDB雖然非常靈活,但很多人不能真正的用好它。因此,葉翔在演講中詳細的介紹瞭如何正確的使用MongoDB的方法。

圖片描述

華爲Universe大數據產品部高級架構師 葉琪:用戶通信行爲實時感知的技術實現

華爲Universe大數據產品部高級架構師葉琪帶來《用戶通信行爲實時感知的技術實現》的主題分享。首先他將介紹通信領域有哪些業務、會產生什麼樣的數據、這些數據將被怎樣存儲和計算、當下的技術趨勢和難點。

圖片描述

華爲Universe大數據產品部高級架構師 葉琪

其次將圍繞實時應用展開,介紹使用到哪些Hadoop組件、平臺架構如何搭建、數據如何在各部件間流轉、用戶駐留行爲的算法邏輯和如何使用sparkstreaming及最新的MapWithState API實現該算法。

在最後,簡要的介紹使用flume和kafka的一些經驗心得。讓大家更加深入的瞭解在通信網絡行業大數據應用的一些場景。


大會圖文直播地址:http://special.csdncms.csdn.net/SDCC2016/shenzhen