導語：古有水泊梁山英雄108將叱咤江湖，今有“中國大數據技術先鋒108將”高端人物訪談攪動風云 。2017年 ， 由DT學院、中國城市報大數據中心、清華大數據產業聯合會、山西省大數據產業協會聯合舉辦，面向大數據產業的技術精英、專家學者以及大數據產業鏈領域公司CTO的“中國大數據技術先鋒108將”高端人物訪談活動正式啟動 ， 圍繞大數據技術的多個層面進行分享，旨在搭建大數據技術傳播分享的高端平臺，促進大數據技術的業內交流 。
盧億雷，大數據資深專家，精碩科技(AdMaster)技術副總裁兼總架構師，CCF（中國計算學會）大數據專委委員，北京航空航天大學特聘教授，新智元智庫專家 。關注數據采集、清洗、存儲、挖掘整個數據流過程，關注高可靠、高可用、高擴展、高性能系統服務、Hadoop/HBase/Storm/Spark/ElasticSearch/Druid等離線、流式及實時分布式計算服務 。有超過10年云計算、云存儲、大數據經驗 。曾在聯想、百度、Carbonite工作，并擁有多篇大數據相關的專利和論文 。
盧億雷：2006年碩士畢業后就加入聯想研究院，印象最深的就是跟我們一位同事一塊折騰過約50萬行 C代碼)，使自己的代碼能力得到顯著提高 。
【情感和感情是什么意思】后來加入百度系統部核心 Hadoop 組，之后又合并到基礎架部，使我對 Hadoop 有了更深的理解與體會 。另外就是離開百度加入 Carbonite China 是一次創業的選擇,當時在 中國的時候連 Office 都沒有就開始一起做事了,這使我熟悉了整個創業過程, 使自己在技術、產品、管理方面都有了非常大的提升；2013年加入AdMaster，我作為技術副總裁兼總架構師，負責公司的完整數據流過程服務（包括采集，清理 ， 存儲，挖掘等） 。Hadoop/HBase/Storm/Spark/ElasticSearch/Druid等離線、流式及實時分布式計算服務等多方面均有深入研究與應用 。
大數據不僅僅是指海量的數據，而是指和大數據相關的整個流程 。數據流之所以稱之為數據流，是因為只有當數據流動起來，才能發揮其真正的意義 。如果只是海量的數據擺在那里，無異于一潭死水，毫無生機 。整個流程中的每一個環節，無論是最初的采集，之后的清理，存儲 ， 后期的分析，都至關重要 ， 并且每一部分都有其相對應的技術來進行處理 。大數據目前進入一個平穩期，其更偏向于實際的應用如人工智能、深度學習、區塊鏈等 。大數據最終目的必定是為人類帶來多方面收益和便利 。
盧億雷：大數據存儲，HDFS，HBase，ElasticSearch，MongoDB ， GlusterFS，FastDFS，Swift等這些技術已經成為開源界事實上的標準，從剛出現時的種種穩定性BUG，到現在堅不可催 ， 并且出現了越來越多的新功能 。
大數據計算，從最開始的MapReduce一統江湖，到后來 Yarn、Storm、Tez，再到現在 Spark、Flink、Apex 等更高效更易用的計劃框架百花齊放，可做的選擇越來越多，并且可以在大數據基礎上做機器學習、人工智能等多種應用 。
實時分布式查詢 ， 隨著 Druid、Kylin、vertica 等開源和商用OLAP 系統的成長，大數據層面的秒級查詢，也漸漸走近我們 。Alluxio 這一存儲中間層的出現，讓計算向著更快更廉價的方向又給出了一個新的方案 。
HDFSMapReduceHBase 的標準 3架馬車，伴隨著我們的一些業務一直運行到現在，但是對于一些實時性要求較高的業務開始顯示出它們的不足 。
Spark、Flink 在對“快”有著最高要求的業務里，扮演著重要角色，廣告業務的實時監控，基礎報告的 Lambda 架構，都是由這兩個框架來支持，這兩種技術在 Yarn 上的穩定性，還有進一步提高的空間 。
Vertica 和 ElasticSearch 則在對于數據分析和 OLAP 的業務上發光發熱，比如廣告業務的數據呈現 ， 社交數據的實時處理 。這兩個技術，在超大規模數據集場景下 ， 還有待進一步提高 。
盧億雷：這里可以給大家分享一下 AdMaster 用于支持精準營銷的 DMP 標簽平臺 。大家知道，要做到精準營銷 ， 關鍵點在于發現這個人對什么感興趣，即對于每個人給出他感興趣的標簽 。
這涉及到幾個小問題 ， 網民在查找手機相關的內容，他應該是對于手機感興趣，那怎么在他下一個訪問的頁面，就給他看到手機的廣告？也就是從發現數據到數據生效 ， 要快 。為了解決這個問題，AdMaster 使用了改進版的 Flume 來進行實時傳輸數據，接入 Kafka，使用 Spark 和 Flink實時處理數據入庫，從一個數據的產生到入庫，時間可以控制在 10 秒以內 。
10 秒可能大家覺得已經太久了，但是我們每天處理的數據量在 100 億以上 ， 還要累積最近 45 天內的所有數據，為了達到快的要求 ， AdMaster 使用了 AeroSpike 集群做為數據存儲，可以達到400萬的 QPS 。
為了分析出每個頁面代表的內容，AdMaster 研究院獨立研發了自己的內容分析系統 ， 以保證準確分析出頁面內容 。AdMaster 與新浪微博達成了戰略合作關系，保證數據的及時性和穩定性 。
盧億雷：社交數據情感分析是商業用戶的一個訴求，各大商業公司在做廣告的同時，還會在自己的微博和微信等社交平臺上發布一些信息，就是所謂的官方微信、官方微博 。同時 ， 也會有人在這些賬號上作評論，或者是在個人的社交賬號上發一些言論 。企業用戶比較關心的是“是不是有人說我壞話了？” 、“是不是競爭對手又搞什么動作了？”。前一個問題 ， 就是現在社交數據情感分析的一個主要訴求 。簡單說就是，企業用戶想盡快知道是不是有人說他壞話了 。
社交數據情感分析應用有：用戶畫像與精準營銷、產品比較與推薦、個人與機構聲譽分析、電視節目滿意度分析、用戶反饋分析、互聯網輿情分析危機公關情感和感情是什么意思、未來的預測、KOL分析等 。
目前社交數據情感分析已經不是簡單的情感分析了 ， 在朝著人工智能、深度學習、智能客服等方向發展了 。
客戶一般要求速度要快，行業內有基于規則匹配的方法，對短句（20 個詞以內）有效， 但是長句一般都會標錯
客戶一般要求模糊查找，近義詞同義詞或相關詞語查找情感和感情是什么意思，但是真正使用時往往用的又不是事先約定的關鍵詞 ， 所以不能提前標注 。又要求速度快，挑戰比較大情感和感情是什么意思 。
盧億雷：Apex 可以算是目前國際上大數據領域創新方向的一個代表 ， 計算原子化，易組合，數據盡可能內存計算 ， 同時支持批處理和流式計算，可以對接多種大數據生態 。
近幾年隨著互聯網開源運動的發展，國內的大數據技術已經在漸漸融入國際社會 ， 百度、阿里、華為等互聯網企業已經開始在開源界展露頭角，在2015年Spark Summit大會上，Spark最大的集群來自于騰訊有8000個節點 ， 單個Job最大分別是阿里巴巴和Databricks為1PB，非常震撼人心 。比如阿里對 Storm 貢獻的 Jstorm，百度對 Hadoop 貢獻的 HCE ， 華為對大數據存儲貢獻的CarbonData 等等，可以說，我國的大數據技術，已經完全融入國際環境，有世界上最多的網民支持 ， 已經開始在某些領域引領大數據的發展方向（比如雙 11 造就的“瞬間大流量處理”） 。
盧億雷：毫無疑問的是，大數據技術有著光明且長遠的未來 。盡管大數據相關的技術已經發展了十余年的時間，但是我們面對的仍是渺無邊際的技術藍海 。
舉一個例子 ， 在過去的十年中，我們可獲取的數據量在飛速的提升 。我們不再滿足獲取局限于互聯網上已有的數據，而隨著物聯網技術的進步，我們生活中的每一個事物都先后被安上傳感器，接入互聯網，納入了大數據的范疇 。面對激增的數據量，我們應該如何應對？在增加硬件設施的同時，是否也在技術算法上做出了相應改進？面對種類更加繁雜的數據，現有的分析模型是否已經不能滿足需求？挑戰千變萬化 ， 我們需要打好技術基?。?方能解決這些難題 。
隨著大數據技術的發展，使得企業日生產量在逐漸增加 ， 盡管近60%的企業日生產量不到1T，但是由于此處統計的是裸數據增長，所以企業實際占的存儲可能會大于3T（大數據企業一般會將數據存儲3份）；有部分的企業選擇“自主研發”情感和感情是什么意思，這里主要是包括了基于大數據平臺開發應用、二次開發等，而不是企業自己開發一個類似于Hadoop這樣的大數據系統；HDFS依然是企業構建大數據分布式存儲的首選架構；在分布式計算領域 ， MapReduce仍然是最通用的計算框架，Spark也是來勢兇猛，不過實際生產線上MapReduce的占比可能還要更高一些，但是隨著實時計算的快速發展 ， 像類似于Spark、Flink都會快速成長；由于ElasticSearch的迅速發展 ， 使得日志數據可視化工具ELK（ElasticSearch Logstash Kibana）得到較高的使用，而像用于大數據實時查詢和分析的分布式系統如Druid、Pinot等發展也越來越快；最后企業對于大數據人才的需求越來越多，要求也越來越高 ， 不光是技術要好，業務也需要了解 。
盧億雷：對于大數據技術學習者，最基本一定要掌握大數據技術處理的流程，包括有數據采集、清洗、存儲、分析與挖掘、數據可視化，理解大數據分為離線、在線、流式、實時系統；了解大數據OLTP與OLAP分布式實時查詢系統的區別等 。總之，不管大數據技術如何發展，對分布式系統理論一定要有深入理解，萬變不離其宗 。最后實踐是檢驗真理的唯一標準，多動手實踐 ， 多與業務結合一起實踐，有條件的去類似于大數據汽車、快消品、金融、地產、廣告等公司實踐 。
入門級聽眾，對大數據僅僅是聽說過，或做過一些類似 helloworld 之類的小實驗，可以系統地安排講解大數據發展史，知其然知其所以然，并盡可能全面地介紹大數據的發展方向，最關鍵的是各方向形成的原因，應用的場景，可以解決哪些問題，簡要介紹一些案例 。
高級聽眾，使用過或正在使用大數據技術情感和感情是什么意思 ， 更關心的應該是應用場景，以及使用中各種總是的解決方案 。對于這類聽眾，應更多地結合實際案例，講解各種常見故障及解決方案，切實解決工作中的問題 。
2017年，由DT學院、清華大數據產業聯合會、山西省大數據產業協會聯合舉辦 ， 面向大數據產業的技術精英、專家學者以及大數據產業鏈領域公司CTO的“中國大數據技術先鋒108將”高端人物訪談活動正式啟動，圍繞大數據技術的多個層面進行分享，旨在搭建大數據技術傳播分享的高端平臺 ， 促進大數據技術的業內交流 。首期專訪人物為中國頂尖數據科學家董飛 。

猜你喜歡

• 情感有哪些
• 有爭議的情感話題情感缺失障礙
• 情感體驗作文胡鄧 情感心理學
• 婚紗百科為什么會出現情感剝離
• 情感的基本分類可可情感電臺官網
• 人類情感有哪些
• 情感與婚姻經典語句
• 治愈情感文案長篇情感剝離現象
• 情感生活故事治愈情感文案長篇
• 婚姻情感導師在線咨詢