在傳統的消費年代，商家對消費者的購買行為分析止于購買即可。而當移動互聯網出現之后，消費者購買后又多了一個動作，即分享，從而導致消費習慣的改變。消費市場決定著商家的產品和整體策略，因此，在社會化大數據爆炸的年代，各行業企業不得不關注這些大數據，并提高其利用率。
如何對這些數據進行整理分析？以獲得市場的真實聲音，了解客戶的切實需求。企業不禁陷于困擾。“暢想IT講堂”近日組織了關于大數據的在線討論，用友UAP數據平臺產品部高級軟件工程師張欣從他的項目經驗分享了，企業如何構建大數據，處理大數據、以及如何應用大數據，從而利用大數據帶來商業價值。
張欣的分享來源于他在用友UAP UDH大數據處理平臺研發過程中總結的技術以及項目經驗。UAP UDH可以快速整合，存儲，集中管理不同類型的海量數據，如非結構化數據、半結構化數據或結構化數據。以提供批量和實時數據處理、數據分析等服務。
用友UAP UDH大數據處理平臺工作流程
很多企業并不是十分了解大數據，也不清楚該如何構建大數據平臺。張欣表示，對于傳統企業而言，做大數據之前應該有個具體的計劃，分步驟進行。大體可分為四步：
第一，建立數據化計劃，實現數據的錄入和存儲。企業最先需要考慮的是，需要保存哪種類型的數據。各個公司因業務模式的不同，需要涉及的數據也不同，是更加關注產品還是企業運營亦或是人力的數據資源，這些問題需要在建立數據計劃之初就做好考量。但涉及客戶體驗的數據，比如家電的零售賣場，客戶所使用的交通工具、是否有老人小孩的陪同、看了哪些產品、最后買了什么等，這種客戶素描形式的數據需要企業特別重視。或許當前這些數據還沒有納入到業務體系的審核，但在傳統企業比拼客戶體驗和服務意識的未來，這些數據經過挖掘和分析后將產生巨大的價值。
第二，建立數據管理和應用平臺。一方面是在IT基礎設施上建立良好的數據處理結構，比如數據分布式存儲、Hadoop等。另一方面，企業要建立自己的數據管理和應用平臺，包含數據的采集、數據庫架構、分析模塊、API出口等。需要注意的是，數據管理和應用平臺的建立必須從公司業務出發，建設適合自己的平臺。
而在數據中心建設方面，隨著云計算和數據中心的出現，外部數據中心的成本已經大幅下降，數據存儲的費用也不再是障礙，對于很多企業來說建立自己的數據中心并無必要。
第三，量體裁衣建立數據團隊。對于大型企業而言，自建數據挖掘的團隊，無論是在成本控制還是業務響應機制上都相對有利。然而對于中小型企業來說，自建團隊有時候并無必要，對這類型企業而言最重要的是將大數據思維融入到企業的日常運營之中。
另外，張欣表示，企業應為團隊培養一些正確的數據理念，比如，數據的形式是多種多樣的；數據的作用是用來預測；利用分布式存儲計算搭建數據處理結構；考量數據的外部影響，或者搜索是否存在影響企業發展的外部數據。
第四，定制好外部數據戰略。有哪些外部數據會影響企業的業務發展?比如競爭品牌的售價、銷售策略等。這些都需要提前搜尋和沉淀。建立外部數據計劃，企業可以通過公共渠道或者數據交換的方法來進行。
用友UAP UDH大數據處理平臺的構成
當企業的大數據基礎工作都準備就緒之后，就可以對這些數據進行有針對性的管理了。依照數據收集、收集存儲、數據處理、數據呈現這樣一個順序來進行。
首先，數據收集。要對來自網絡包括物聯網和機構信息系統的數據附上時空標志，去偽存真，盡可能收集異源甚至是異構的數據，必要時還可與歷史數據對照，多角度驗證數據的全面性和可信性。
其次，數據存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術，在存儲時要按照一定規則對數據進行分類，通過過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。
然后，數據處理。有些行業的數據涉及上百個參數，其復雜性不僅體現在數據樣本本身，更體現在多源異構、多實體和多空間之間的交互動態性，難以用傳統的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數據降維后度量與處理，利用上下文關聯進行語義分析，從大量動態而且可能是模棱兩可的數據中綜合信息，并導出可理解的內容。
最后，結果的可視化呈現，使結果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘算法在不同行業中難以通用。
用友UAP UDH功能——系統監控
有很多大數據平臺就是依照以上四個步驟的順序來進行企業大數據處理工作的。比如用友UAP UDH，它可以快速整合、存儲、集中管理不同類型的海量數據；提供批量和實時數據處理服務；與數據集成等產品結合為構建企業級數據倉庫提供大數據平臺支撐；結合商業智能產品和挖掘可視化產品，提供數據分析服務；提供平臺中各服務組件的管理和系統運行監控等。構建于UDH的可靠存儲以及數據的批量和實時處理能力，還可以為企業提供基于搜索引擎，語義分析的精準、全面、自動化的監測和分析。
張欣介紹，用友UAP UDH已經做出了一個應用——輿情信息管理系統。通過系統可以對企業的各種維度的輿情信息進行監控，收集競爭對手的情報，行業的發展動態等數據變成自己的報告。據了解，目前用友集團UAP中心目前已用該自主研發的輿情信息系統替代了之前的第三方平臺服務。張欣告訴記者，UAP UDH還將會把輿情信息管理作為一項服務對外提供。