大數據技術(shù)，就是從各種類(lèi)型的數據中快速獲得有價(jià)值信息的技術(shù)。大數據領(lǐng)域已經(jīng)涌現出了大量新的技術(shù)，它們成為大數據采集、存儲、處理和呈現的有力武器。
大數據處理關(guān)鍵技術(shù)一般包括：大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用（大數據檢索、大數據可視化、大數據應用、大數據安全等）。
一、大數據采集技術(shù)
數據是指通過(guò)RFID射頻數據、傳感器數據、社交網(wǎng)絡(luò )交互數據及移動(dòng)互聯(lián)網(wǎng)數據等方式獲得的各種類(lèi)型的結構化、半結構化（或稱(chēng)之為弱結構化）及非結構化的海量數據，是大數據知識服務(wù)模型的根本。重點(diǎn)要突破分布式高速高可靠數據爬取或采集、高速數據全映像等大數據收集技術(shù)；突破高速數據解析、轉換與裝載等大數據整合技術(shù)；設計質(zhì)量評估模型，開(kāi)發(fā)數據質(zhì)量技術(shù)。
大數據采集一般分為大數據智能感知層：主要包括數據傳感體系、網(wǎng)絡(luò )通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統，實(shí)現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著(zhù)重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術(shù)。基礎支撐層：提供大數據服務(wù)平臺所需的虛擬服務(wù)器，結構化、半結構化及非結構化數據的數據庫及物聯(lián)網(wǎng)絡(luò )資源等基礎支撐環(huán)境。重點(diǎn)攻克分布式虛擬存儲技術(shù)，大數據獲取、存儲、組織、分析和決策操作的可視化接口技術(shù)，大數據的網(wǎng)絡(luò )傳輸與壓縮技術(shù)，大數據隱私保護技術(shù)等。
二、大數據預處理技術(shù)
主要完成對已接收數據的辨析、抽取、清洗等操作。1）抽取：因獲取的數據可能具有多種結構和類(lèi)型，數據抽取過(guò)程可以幫助我們將這些復雜的數據轉化為單一的或者便于處理的構型，以達到快速分析處理的目的。2）清洗：對于大數據，并不全是有價(jià)值的，有些數據并不是我們所關(guān)心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過(guò)過(guò)濾“去噪”從而提取出有效數據。
三、大數據存儲及管理技術(shù)
大數據存儲與管理要用存儲器把采集到的數據存儲起來(lái)，建立相應的數據庫，并進(jìn)行管理和調用。重點(diǎn)解決復雜結構化、半結構化和非結構化大數據管理與處理技術(shù)。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個(gè)關(guān)鍵問(wèn)題。開(kāi)發(fā)可靠的分布式文件系統（DFS）、能效優(yōu)化的存儲、計算融入存儲、大數據的去冗余及高效低成本的大數據存儲技術(shù)；突破分布式非關(guān)系型大數據管理與處理技術(shù)，異構數據的數據融合技術(shù)，數據組織技術(shù)，研究大數據建模技術(shù)；突破大數據索引技術(shù)；突破大數據移動(dòng)、備份、復制等技術(shù)；開(kāi)發(fā)大數據可視化技術(shù)。
開(kāi)發(fā)新型數據庫技術(shù)，數據庫分為關(guān)系型數據庫、非關(guān)系型數據庫以及數據庫緩存系統。其中，非關(guān)系型數據庫主要指的是NoSQL數據庫，分為：鍵值數據庫、列存數據庫、圖存數據庫以及文檔數據庫等類(lèi)型。關(guān)系型數據庫包含了傳統關(guān)系數據庫系統以及NewSQL數據庫。
開(kāi)發(fā)大數據安全技術(shù)。改進(jìn)數據銷(xiāo)毀、透明加解密、分布式訪(fǎng)問(wèn)控制、數據審計等技術(shù)；突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術(shù)。
四、大數據分析及挖掘技術(shù)
大數據分析技術(shù)。改進(jìn)已有數據挖掘和機器學(xué)習技術(shù)；開(kāi)發(fā)數據網(wǎng)絡(luò )挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術(shù)；突破基于對象的數據連接、相似性連接等大數據融合技術(shù)；突破用戶(hù)興趣分析、網(wǎng)絡(luò )行為分析、情感語(yǔ)義分析等面向領(lǐng)域的大數據挖掘技術(shù)。
數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實(shí)際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過(guò)程。數據挖掘涉及的技術(shù)方法很多，有多種分類(lèi)法。根據挖掘任務(wù)可分為分類(lèi)或預測模型發(fā)現、數據總結、聚類(lèi)、關(guān)聯(lián)規則發(fā)現、序列模式發(fā)現、依賴(lài)關(guān)系或依賴(lài)模型發(fā)現、異常和趨勢發(fā)現等等；根據挖掘對象可分為關(guān)系數據庫、面向對象數據庫、空間數據庫、時(shí)態(tài)數據庫、文本數據源、多媒體數據庫、異質(zhì)數據庫、遺產(chǎn)數據庫以及環(huán)球網(wǎng)Web；根據挖掘方法分，可粗分為:機器學(xué)習方法、統計方法、神經(jīng)網(wǎng)絡(luò )方法和數據庫方法。機器學(xué)習中，可細分為:歸納學(xué)習方法(決策樹(shù)、規則歸納等)、基于范例學(xué)習、遺傳算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類(lèi)分析(系統聚類(lèi)、動(dòng)態(tài)聚類(lèi)等)、探索性分析(主元分析法、相關(guān)分析法等)等。神經(jīng)網(wǎng)絡(luò )方法中，可細分為:前向神經(jīng)網(wǎng)絡(luò )(BP算法等)、自組織神經(jīng)網(wǎng)絡(luò )(自組織特征映射、競爭學(xué)習等)等。數據庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。
從挖掘任務(wù)和挖掘方法的角度，著(zhù)重突破：1.可視化分析。數據可視化無(wú)論對于普通用戶(hù)或是數據分析專(zhuān)家，都是最基本的功能。數據圖像化可以讓數據自己說(shuō)話(huà)，讓用戶(hù)直觀(guān)的感受到結果。2.數據挖掘算法。圖像化是將機器語(yǔ)言翻譯給人看，而數據挖掘就是機器的母語(yǔ)。分割、集群、孤立點(diǎn)分析還有各種各樣五花八門(mén)的算法讓我們精煉數據，挖掘價(jià)值。這些算法一定要能夠應付大數據的量，同時(shí)還具有很高的處理速度。3.預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。4.語(yǔ)義引擎。語(yǔ)義引擎需要設計到有足夠的人工智能以足以從數據中主動(dòng)地提取信息。語(yǔ)言處理技術(shù)包括機器翻譯、情感分析、輿情分析、智能輸入、問(wèn)答系統等。5.數據質(zhì)量和數據管理。數據質(zhì)量與管理是管理的最佳實(shí)踐，透過(guò)標準化流程和機器對數據進(jìn)行處理可以確保獲得一個(gè)預設質(zhì)量的分析結果。
六、大數據展現與應用技術(shù)
大數據技術(shù)能夠將隱藏于海量數據中的信息和知識挖掘出來(lái)，為人類(lèi)的社會(huì )經(jīng)濟活動(dòng)提供依據，從而提高各個(gè)領(lǐng)域的運行效率，大大提高整個(gè)社會(huì )經(jīng)濟的集約化程度。在我國，大數據將重點(diǎn)應用于以下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數據信息處理與挖掘技術(shù)，電網(wǎng)數據信息處理與挖掘技術(shù)，氣象信息分析技術(shù)，環(huán)境監測技術(shù)，警務(wù)云應用系統（道路監控、視頻監控、網(wǎng)絡(luò )監控、智能交通、反電信詐騙、指揮調度等公安信息系統），大規模基因序列分析比對技術(shù)，Web信息挖掘技術(shù)，多媒體數據并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計算和海量數據處理應用技術(shù)等。