根據(ju)集團信息化規劃，遵循(xun)“互聯網+”的理(li)念(nian)，建設集團大數(shu)據(ju)平臺，實現(xian)集團數(shu)據(ju)資(zi)源的集中及整(zheng)合，構建集團統一的數(shu)據(ju)模(mo)型，提高(gao)企(qi)(qi)業(ye)數(shu)據(ju)的處(chu)理(li)效率與共享程度。實現(xian)對集團企(qi)(qi)業(ye)內部(bu)(bu)數(shu)據(ju)和外(wai)(wai)部(bu)(bu)數(shu)據(ju)的分(fen)析挖掘，對內對外(wai)(wai)提供(gong)(gong)數(shu)據(ju)服(fu)(fu)務(wu)。為全網提供(gong)(gong)決策(ce)支持、產品創新、交叉(cha)營銷、服(fu)(fu)務(wu)支撐、風險管(guan)控(kong)以(yi)及流程優(you)化等支撐服(fu)(fu)務(wu)。
集團(tuan)(tuan)(tuan)大(da)數(shu)據(ju)平(ping)(ping)臺(tai)將在Hadoop和(he)云計(ji)(ji)(ji)算等(deng)(deng)技術的(de)(de)基(ji)礎上，對(dui)金融大(da)數(shu)據(ju)平(ping)(ping)臺(tai)、量(liang)收(shou)系統(tong)(tong)、生(sheng)產(chan)系統(tong)(tong)、CRM系統(tong)(tong)、電商(shang)平(ping)(ping)臺(tai)、數(shu)據(ju)分析綜合服務平(ping)(ping)臺(tai)的(de)(de)歷(li)史(shi)(shi)數(shu)據(ju)、數(shu)據(ju)模型、報表應(ying)用等(deng)(deng)進(jin)行(xing)(xing)移植(zhi)，全面(mian)(mian)整合集團(tuan)(tuan)(tuan)業(ye)務數(shu)據(ju)。數(shu)據(ju)來源涵(han)蓋集團(tuan)(tuan)(tuan)所有的(de)(de)生(sheng)產(chan)和(he)管(guan)理系統(tong)(tong)，并可接入(ru)同業(ye)及相關市場甚至(zhi)互聯網信息(xi)，建立(li)從業(ye)務層到(dao)管(guan)理層到(dao)決策層的(de)(de)智能分析體系，模擬(ni)量(liang)化風險(xian)和(he)收(shou)益，實(shi)現對(dui)集團(tuan)(tuan)(tuan)各種(zhong)業(ye)務數(shu)據(ju)進(jin)行(xing)(xing)分類、管(guan)理、統(tong)(tong)計(ji)(ji)(ji)和(he)分析等(deng)(deng)功能，給各級管(guan)理人員(yuan)提(ti)供各類準確的(de)(de)統(tong)(tong)計(ji)(ji)(ji)分析預測數(shu)據(ju)，使其(qi)(qi)能夠(gou)及時掌握全面(mian)(mian)的(de)(de)經(jing)營狀況(kuang)，為宏觀決策提(ti)供支持(chi)；為基(ji)層業(ye)務人員(yuan)提(ti)供詳盡的(de)(de)數(shu)據(ju)，供其(qi)(qi)對(dui)各自的(de)(de)工作目(mu)標(biao)、當前和(he)歷(li)史(shi)(shi)狀況(kuang)進(jin)行(xing)(xing)準確的(de)(de)把(ba)握，對(dui)業(ye)務活動進(jin)行(xing)(xing)有效支撐；滿(man)足集團(tuan)(tuan)(tuan)經(jing)營管(guan)理及決策支持(chi)，建設國內一流，世界領先的(de)(de)大(da)數(shu)據(ju)平(ping)(ping)臺(tai)。
本方案提(ti)供統一的(de)運(yun)維(wei)(wei)監(jian)控(kong)服務(wu)。本方案涉及到的(de)所有軟(ruan)(ruan)件(jian)的(de)部署都通過(guo)Docker打包成鏡像(xiang)文件(jian)，以(yi)便(bian)非(fei)常快捷的(de)部署實施(shi)。內部系統通過(guo)鏡像(xiang)數據接口(kou)交(jiao)互層進行交(jiao)互。通過(guo)外部接口(kou)層納(na)入集(ji)團運(yun)維(wei)(wei)平臺進行統一監(jian)控(kong)
一站式(shi)大數據(ju)平臺提供集群自動化部署服務。用戶只(zhi)需要安(an)(an)裝(zhuang)管理平臺軟件，就可以在友好的(de)圖形(xing)化界(jie)面(mian)上(shang)安(an)(an)裝(zhuang)、部署、配(pei)置所需要的(de)服務。整個(ge)安(an)(an)裝(zhuang)過程不需要用戶使用任何終端(duan)命令或者代碼。
平臺提供了強大的(de)在線擴(kuo)容(rong)功(gong)能，不(bu)(bu)需(xu)(xu)要(yao)(yao)宕機停(ting)庫(ku)，不(bu)(bu)需(xu)(xu)要(yao)(yao)停(ting)止業務，就可(ke)以(yi)添(tian)加新的(de)節(jie)(jie)(jie)點(dian)，實現擴(kuo)容(rong)。節(jie)(jie)(jie)點(dian)添(tian)加完成之后(hou)可(ke)以(yi)立(li)即(ji)對新添(tian)加的(de)節(jie)(jie)(jie)點(dian)進行角色的(de)分配，一旦配置成功(gong)，則新加的(de)節(jie)(jie)(jie)點(dian)就會(hui)馬(ma)上投入運(yun)算。擴(kuo)容(rong)之后(hou)的(de)數據節(jie)(jie)(jie)點(dian)也(ye)不(bu)(bu)需(xu)(xu)要(yao)(yao)停(ting)機進行數據重(zhong)分布，系統自動選擇空(kong)閑的(de)時間(jian)進行數據的(de)重(zhong)新分布。同時，擴(kuo)容(rong)的(de)操作可(ke)以(yi)方便(bian)的(de)在界(jie)面進行操作。
平(ping)臺通過(guo)(guo)(guo)專(zhuan)門的(de)監控(kong)(kong)服務對(dui)集(ji)(ji)群(qun)(qun)的(de)狀態(tai)進行監控(kong)(kong)，包(bao)括服務器(qi)CPU、內存、網絡和(he)磁盤的(de)利(li)用率和(he)健康(kang)狀態(tai)，以(yi)及分(fen)布式應(ying)用系統(tong)的(de)狀態(tai)，并在故障發生或(huo)者某項指(zhi)標超過(guo)(guo)(guo)預設(she)閥值(zhi)時(shi)(shi)時(shi)(shi)提供(gong)告(gao)警(jing)功能(neng)。管理(li)員可(ke)通過(guo)(guo)(guo)瀏(liu)覽器(qi)訪問集(ji)(ji)群(qun)(qun)的(de)監控(kong)(kong)和(he)管理(li)界面進行日常的(de)監控(kong)(kong)和(he)維護，系統(tong)提供(gong)圖標信息(xi)(xi)展示。管理(li)員可(ke)以(yi)便捷了解到集(ji)(ji)群(qun)(qun)的(de)計算資源是(shi)否處(chu)于空閑狀態(tai)、哪些服務器(qi)的(de)負載過(guo)(guo)(guo)高，甚至判斷集(ji)(ji)群(qun)(qun)的(de)組網及機(ji)架(jia)安排(pai)是(shi)否合理(li)等。管理(li)員也可(ke)通過(guo)(guo)(guo)對(dui)各個(ge)節點的(de)各個(ge)角(jiao)色的(de)日志信息(xi)(xi)進行檢(jian)索，獲得更(geng)加精確的(de)信息(xi)(xi)。
平臺提供計算任務管理和(he)(he)作業管理，包括(kuo)作業的(de)上傳、配置、啟動、停止、刪除和(he)(he)狀態查看(kan)等功能。
在平臺中(zhong)，資源(yuan)可以從多個方面進行管(guan)(guan)理。從資源(yuan)管(guan)(guan)理模塊的(de)層面，用戶(hu)通過配(pei)(pei)置(zhi)不同的(de)Scheduler來定義不一樣的(de)資源(yuan)使用策略，目前支持FIFO Scheduler、Fair Scheduler以及Capacity Scheduler，實現(xian)作業(ye)動態(tai)調整，支持對任務系統資源(yuan)占用進行實時調配(pei)(pei)，改變作業(ye)調度(du)優先級等(deng)操作。
通過集(ji)群監(jian)控(kong)系統(tong)向集(ji)團運維監(jian)控(kong)平(ping)臺發送監(jian)控(kong)消息，提(ti)供對接接口，實現大數據平(ping)臺與集(ji)團運維監(jian)控(kong)平(ping)臺的(de)互通，實現統(tong)一(yi)監(jian)控(kong)。
平(ping)臺通(tong)過(guo)(guo)專門的監(jian)控服(fu)務(wu)對集(ji)群的狀態(tai)進(jin)行(xing)監(jian)控，包(bao)括服(fu)務(wu)器CPU、內存、網絡和(he)磁盤的利用(yong)(yong)率和(he)健康狀態(tai)，以及(ji)分布式(shi)應(ying)用(yong)(yong)系統(tong)的狀態(tai)，并在故障發生或者某項指標超過(guo)(guo)預設閥(fa)值時提供(gong)告警功能。管理員可(ke)(ke)通(tong)過(guo)(guo)瀏覽(lan)器訪問集(ji)群的監(jian)控和(he)管理界面進(jin)行(xing)日常的監(jian)控和(he)維護，系統(tong)提供(gong)圖表信(xin)息展示。管理員可(ke)(ke)以便(bian)捷的了解到集(ji)群的計算(suan)資源(yuan)是(shi)否(fou)處于空閑狀態(tai)、哪(na)些服(fu)務(wu)器的負載(zai)過(guo)(guo)高，甚至(zhi)判斷集(ji)群的組網及(ji)機架安(an)排是(shi)否(fou)合理等。管理員也(ye)可(ke)(ke)通(tong)過(guo)(guo)對各個節點的各個角色的日志信(xin)息進(jin)行(xing)檢索，獲得更加精確(que)的信(xin)息。
平(ping)臺提(ti)供(gong)功(gong)能完整(zheng)，性能優異(yi)的(de)(de)ETL框架(jia)支持平(ping)臺建設，針對數據(ju)的(de)(de)預處理(li)，中間的(de)(de)轉換清洗，包括寫入目標時針對異(yi)常數據(ju)的(de)(de)捕獲(huo)。整(zheng)個過程由平(ping)臺提(ti)供(gong)的(de)(de)調度(du)平(ping)臺，元數據(ju)管(guan)理(li)平(ping)臺提(ti)供(gong)支撐，讓各部(bu)分之間緊密(mi)合作，又各司其職。
針對此項目復雜的業務系統(tong)和管(guan)(guan)理，平臺提供完(wan)善(shan)的調(diao)度功能，以(yi)更好的對各(ge)個模塊(kuai)進行(xing)良好調(diao)度管(guan)(guan)理。
調(diao)度平臺是平臺的數據流核心(xin)，調(diao)度平臺讓相關的業(ye)務(wu)系統、處理(li)系統按照一定的業(ye)務(wu)邏輯，在(zai)客戶的安排下，像流水(shui)線(xian)一樣(yang)，或串(chuan)行(xing)，或并行(xing)，按照一定的依(yi)賴關系，在(zai)每(mei)日，每(mei)周定時(shi)觸發(fa)，依(yi)次執行(xing)。平臺提供完善的接口(kou)和管理(li)模塊，讓眾多的作業(ye)管理(li)簡(jian)易高效。
本方案(an)提(ti)(ti)供(gong)(gong)的(de)大數(shu)(shu)(shu)據平臺支(zhi)持多(duo)種(zhong)環境，以便(bian)于后續(xu)進行(xing)(xing)多(duo)種(zhong)數(shu)(shu)(shu)據分析與挖掘，并提(ti)(ti)供(gong)(gong)多(duo)個(ge)接(jie)口對數(shu)(shu)(shu)據進行(xing)(xing)導(dao)出，以便(bian)于客戶在體外進行(xing)(xing)數(shu)(shu)(shu)據分析；也提(ti)(ti)供(gong)(gong)數(shu)(shu)(shu)據沙(sha)盤(pan)給特定(ding)的(de)數(shu)(shu)(shu)據分析師進行(xing)(xing)數(shu)(shu)(shu)據分析，數(shu)(shu)(shu)據沙(sha)盤(pan)也提(ti)(ti)供(gong)(gong)多(duo)個(ge)數(shu)(shu)(shu)據以及產品接(jie)口，以便(bian)于進行(xing)(xing)數(shu)(shu)(shu)據探索。
本方案(an)的(de)(de)(de)平(ping)(ping)臺(tai)采用(yong)(yong)Hadoop平(ping)(ping)臺(tai)，它本身是(shi)(shi)一個并(bing)發(fa)(fa)存儲、并(bing)發(fa)(fa)計算的(de)(de)(de)高(gao)效平(ping)(ping)臺(tai)，選用(yong)(yong)了 Discover的(de)(de)(de)挖(wa)掘(jue)模塊，它是(shi)(shi)在對(dui)(dui)開源的(de)(de)(de)R全面支持的(de)(de)(de)基礎上，結(jie)合SparkR進行(xing)(xing)了代碼的(de)(de)(de)重(zhong)大(da)改造。并(bing)對(dui)(dui)常用(yong)(yong)的(de)(de)(de)R算法進行(xing)(xing)了并(bing)行(xing)(xing)化(hua)(hua)改造，這(zhe)些改造正是(shi)(shi)基于(yu)大(da)數(shu)(shu)據(ju)(ju)中關(guan)鍵的(de)(de)(de)體量巨大(da)這(zhe)個維度進行(xing)(xing)的(de)(de)(de)優化(hua)(hua)。之前(qian)的(de)(de)(de)數(shu)(shu)據(ju)(ju)挖(wa)掘(jue)由(you)(you)于(yu)在單機上進行(xing)(xing)，而(er)由(you)(you)于(yu)數(shu)(shu)據(ju)(ju)挖(wa)掘(jue)需要對(dui)(dui)數(shu)(shu)據(ju)(ju)進行(xing)(xing)大(da)量的(de)(de)(de)衍生和關(guan)聯(lian)運算，會讓(rang)待分析的(de)(de)(de)數(shu)(shu)據(ju)(ju)集積聚擴大(da)，因而(er)很(hen)多數(shu)(shu)據(ju)(ju)挖(wa)掘(jue)針對(dui)(dui)海量數(shu)(shu)據(ju)(ju)只(zhi)(zhi)能(neng)采用(yong)(yong)抽樣的(de)(de)(de)策略進行(xing)(xing)模型訓練，讓(rang)挖(wa)掘(jue)效果(guo)受(shou)到很(hen)大(da)影響(xiang)。在并(bing)發(fa)(fa)R算法的(de)(de)(de)支撐下，只(zhi)(zhi)要節點數(shu)(shu)足夠，原則(ze)上可(ke)以處理任意(yi)體量的(de)(de)(de)數(shu)(shu)據(ju)(ju)。
平(ping)臺(tai)支(zhi)(zhi)持(chi)(chi)R、ANSI SQL、Python、Java、C/C++等語言，采用B/S架(jia)構，提(ti)供(gong)(gong)(gong)圖(tu)(tu)形(xing)化界面操(cao)作支(zhi)(zhi)持(chi)(chi)，操(cao)作界面支(zhi)(zhi)持(chi)(chi)簡(jian)體中(zhong)文。支(zhi)(zhi)持(chi)(chi)多(duo)數(shu)據來(lai)源(yuan)輸入(ru)輸出提(ti)供(gong)(gong)(gong)表格、圖(tu)(tu)形(xing)、地圖(tu)(tu)等可視化元素展示(shi)功(gong)能，將提(ti)供(gong)(gong)(gong)以下相關功(gong)能和(he)特(te)性：
標準(zhun)企業報表，固(gu)定報表等。
參(can)(can)數(shu)驅動報(bao)(bao)表(biao)，各種基于參(can)(can)數(shu)的報(bao)(bao)表(biao)。
周(zhou)期性報表，例如周(zhou)報，月報，季(ji)報等(deng)，系統支持管理(li)員定(ding)義周(zhou)期性運(yun)行(xing)，亦(yi)支持業(ye)務用(yong)戶自定(ding)義重復運(yun)行(xing)方式，用(yong)戶或(huo)管理(li)員可以定(ding)義輸(shu)出格式，包(bao)括(kuo)PDF，Excel，Word，PPT等(deng)各種(zhong)格式；系統同時提(ti)供基于事件的觸發方式。
支持鉆取(qu)功能，提(ti)供基(ji)于事(shi)件的腳本(ben)控(kong)制(zhi)能力，以滿足各種復(fu)雜報表需求。
復(fu)雜中(zhong)國(guo)式(shi)報表，包括(kuo)中(zhong)國(guo)式(shi)表頭(tou)、復(fu)雜布局、特殊(shu)功能(neng)等各種能(neng)力。
提供豐(feng)富(fu)的(de)圖(tu)(tu)形(xing)(xing)展(zhan)現(xian)功能，支持包括餅(bing)圖(tu)(tu)、條(tiao)形(xing)(xing)、線形(xing)(xing)、儀表盤、趨勢圖(tu)(tu)及各(ge)種圖(tu)(tu)形(xing)(xing)；支持Flash圖(tu)(tu)形(xing)(xing)。
支持(chi)報表(biao)導出到Excel、Word、PPT、HTML和PDF等格式(shi)，導出時可以選(xuan)擇導出整(zheng)個(ge)報表(biao)還是部分內容；系統支持(chi)導出數據快照(zhao)，以便日后審計等。
支持(chi)將報(bao)表導(dao)(dao)(dao)出成原生Excel，報(bao)表中(zhong)的(de)圖形（非Flash)能(neng)導(dao)(dao)(dao)出為原生Excel圖形，能(neng)夠在導(dao)(dao)(dao)出后的(de)Excel中(zhong)進一步編輯，支持(chi)導(dao)(dao)(dao)出Excel公式，透視表等(deng)。
提供數(shu)(shu)據(ju)導(dao)出(chu)(chu)功能，用戶能將所查看的(de)報(bao)表中(zhong)數(shu)(shu)據(ju)進(jin)行有選擇的(de)導(dao)出(chu)(chu)。
提供報表(biao)版(ban)本管理能(neng)力(li)，為不同的(de)執行結果保留不同的(de)版(ban)本。
提供基于角(jiao)(jiao)色和用戶的權(quan)限(xian)控制，管理員可以為(wei)不同(tong)的角(jiao)(jiao)色和用戶設(she)置(zhi)相應的功能選項及權(quan)限(xian)。
多語言(yan)(yan)多時區支(zhi)持(chi)，系統為不用(yong)語言(yan)(yan)環境(jing)用(yong)戶提(ti)供多語言(yan)(yan)支(zhi)持(chi)，用(yong)戶在登錄(lu)時可以(yi)選擇(ze)時區及語言(yan)(yan)，系統將自(zi)動切換至相應的(de)UI（僅限UI）。
