大數據是指非常龐大、復雜的數據集，傳統(tǒng)數據處理軟件的能力已無法滿足巨大規(guī)模的數據處理需求，需要新處理模式才能發(fā)揮出更強的決策力、洞察發(fā)現力和流程優(yōu)化能力。業(yè)內常用5V來定義大數據的特性：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）。大數據技術是指通過架構新的處理模型，從各種類型的海量數據中快速獲取有價值的信息的技術，涉及到分布式數據庫技術、分布式存儲技術、流計算技術、圖數據庫技術等關鍵技術。

雖然大數據的概念在近些年被大眾熟知，但大型數據中心和關系型數據庫的起源可追溯到上世紀六七十年代。數據庫（database）一詞最早流行于1962年加利福尼亞州的系統(tǒng)研發(fā)公司的技術備忘錄中。1968年，伴隨著阿波羅登月計劃，商業(yè)數據庫雛形誕生。1988年，IBM研究院率先提出并解釋了數據倉庫一詞的行業(yè)標準，之后，IT廠商開始構建實驗性的數據倉庫。大約在20世紀90年代中期，互聯(lián)網的出現允許遠程訪問存有數據的計算機系統(tǒng)，數據庫連接器的需求增加，數據量快速增長。數據挖掘是數據量快速增長的直接產物，它曾一度被專業(yè)人士稱之為“基于數據庫的知識發(fā)現”（Knowledge Discovery in Database，KDD）。數據挖掘在實業(yè)界應用最為膾炙人口的就是沃爾瑪啤酒和尿布的例子。

如今，數據已經無處不在，并被用來改善人們的日常生活。大數據已經成為企業(yè)的一種無形資產，企業(yè)通過對海量數據資源的存儲、計算、分析、挖掘處理和利用，開發(fā)新產品，提高運營效率。大數據技術蘊含無窮潛力，研究機構Gartner預測，到2025年，情境（場景）驅動的數據分析和人工智能模型將取代60%的建立在傳統(tǒng)數據上的現有模型。

文化數據是我國重要的文化資源，是建設國家文化大數據的重要來源。在2020年5月，中央文化體制改革和發(fā)展工作領導小組辦公室下發(fā)的《關于做好國家文化大數據體系建設工作的通知》中指出：建設國家文化大數據體系是新時代文化建設的重大基礎性工程。

2022年5月22日，中共中央辦公廳、國務院辦公廳印發(fā)了《關于推進實施國家文化數字化戰(zhàn)略的意見》，提出到“十四五”時期末，基本建成文化數字化基礎設施和服務平臺，形成線上線下融合互動、立體覆蓋的文化服務供給體系。到2035年，建成物理分布、邏輯關聯(lián)、快速鏈接、高效搜索、全面共享、重點集成的國家文化大數據體系，中華文化全景呈現，中華文化數字化成果全民共享。

出版業(yè)權威、專業(yè)、準確的知識資源作為文化大數據的重要組成部分，是關聯(lián)形成中華文化數據庫的重要成果。出版業(yè)利用大數據技術開發(fā)知識產品、改進知識服務、推進出版融合，有助于提升知識資源的供給能力和知識服務的數字化水平，從而提升社會效益；另一方面，加快出版業(yè)產業(yè)數字化布局，完善出版大數據采集、加工、分發(fā)、服務等產業(yè)鏈環(huán)節(jié)，有助于創(chuàng)新企業(yè)經營模式，從而實現經濟效益的提升。當前，大數據技術已廣泛應用于出版業(yè)知識服務業(yè)務流程中，在知識資源獲取、知識資源組織、尤其是知識服務運營階段呈現出融合發(fā)展的重要特征。

中國生物志庫

中國生物志庫是中國科技出版?zhèn)髅焦煞萦邢薰就瞥龅闹袊讉€權威發(fā)布且具有完整知識產權的中國生物物種全信息數據庫。該庫收錄了中國10萬余種現生生物物種，類群涉及植物、動物、菌物、藻類及海洋生物，提供科學權威的生物學信息，包括物種名稱、分類地位、形態(tài)特征、地理分布、功用價值、理論知識及鑒定準確的圖片，可提供一站式檢索、鑒別、核對等服務。

中國生物志庫針對入庫之后的海量物種數據，基于不同類群分別提取物種信息不同段落數據，通過自建已有的詞庫、訓練集，挖掘物種的分布地區(qū)、生活型、莖、葉、花、果等不同性狀特征。依托于結構化加工、知識化標引、大數據挖掘等多種技術手段，中國生物志庫將所需的數據進行規(guī)范化、標準化深度加工，使其發(fā)布之后，物種數據的特征可通過前臺可視化組件地圖一一呈現。用戶可通過性狀分類、地區(qū)、根莖葉的特征等多種分類篩選查詢，滿足前臺用戶精準檢索、特征檢索等不同場景搜索查詢服務，極大方便用戶使用。

醫(yī)信—醫(yī)學知識服務及自主學習平臺

醫(yī)信是由北京合縱醫(yī)信網絡科技有限公司推出的，為促進國際與國內醫(yī)學專業(yè)知識的傳播交流，利用新型互聯(lián)網技術，為衛(wèi)生專業(yè)技術人員搭建的國際化、專業(yè)化、互動型線上知識服務及自主學習的實名制專業(yè)交流平臺。醫(yī)信目前已整合了10萬余條專業(yè)詞條，結構化加工文獻報道20余萬篇。

醫(yī)信平臺對手機移動端用戶行為數據、交互數據及PC端各類結構化、半結構化及非結構化海量數據，采用MySQL等數據軟件進行數據采集、數據清洗、數據分析、數據挖掘等工作，為實現全平臺檢索、智能化推薦等功能提供支持。

醫(yī)信平臺通過對用戶畫像和用戶行為大數據進行精細化分析，總結用戶興趣和使用習慣，從而為用戶準確推薦感興趣的內容，滿足個性化知識服務需求。同時，基于用戶大數據分析結果，構建分層次、分級別的知識內容架構，使所有學習者都能夠獲得適合自身需求的個性化內容，將“人找知識”轉變?yōu)椤爸R找人”，為用戶節(jié)省了大量檢索新知識內容的時間和精力，激發(fā)學習者的學習興趣和積極性，促進學習自覺性和主動性的提高。

U校園智慧教學云平臺

U校園智慧教學云平臺是外語教學與研究出版社數字化轉型的成果之一，配備超過150門外研社系列外語教材配套數字課程和測試內容，支持院校開展SPOC課教學，進行線上線下混合式教學模式創(chuàng)新。

U校園智慧教學云平臺通過埋點機制在App端和服務器端收集用戶行為數據，結合binlog等技術，匯聚業(yè)務數據到大數據平臺，建立數據倉庫，自動對用戶打標簽，建立用戶畫像，為用戶運營和產品改進提供決策支持。在用戶評價與反饋收集上，該平臺采用了智能客服和人工客服相結合的方式，幫助用戶解決使用中遇到的問題，建立了產研反饋機制，幫助產品迭代改進。通過該機制，平臺平均每周可采集分析幾千個用戶反饋的問題，總結提煉成需求進入需求池中，在后續(xù)產品迭代中解決。此外，平臺采用了大數據反作弊系統(tǒng)，基于Flink流式計算技術，通過提取特征，識別作弊用戶，已成功攔截了超過1.5億次作弊企圖，有效地維護了教學秩序。

農業(yè)專業(yè)知識服務系統(tǒng)

農業(yè)專業(yè)知識服務系統(tǒng)是中國農業(yè)科學院農業(yè)信息研究所建立的面向農業(yè)戰(zhàn)略咨詢、科技創(chuàng)新和產業(yè)發(fā)展的公益性、開放性多場景知識服務系統(tǒng)。該系統(tǒng)形成了“1個農知搜索+N個知識專題+N個知識應用+三類情報服務+三類數據服務+品牌宣傳服務+API接口開放服務”多模式泛在知識服務體系，面向全球提供公益服務，年均服務量達197萬余人次，用戶覆蓋全球161個國家和地區(qū)。

農業(yè)專業(yè)知識服務系統(tǒng)通過大數據采集技術獲取海量專業(yè)內容資源，基于資源建設需求與相應遴選規(guī)則，采用專業(yè)網絡采集軟件和自主開發(fā)網絡采集工具采集政策法規(guī)、資訊、開放性學術資源、農業(yè)統(tǒng)計數據、農業(yè)報告、國際科學數據等信息。截至目前，資訊類采集站點超1000個，年采集量超過5萬；開放論文采集服務量已達到約378萬。通過自主開發(fā)的網絡采集工具采集FAO、美國農業(yè)普查數據、世界銀行農業(yè)統(tǒng)計數據等國際農業(yè)統(tǒng)計數據年采集量超過1444萬。

農業(yè)專業(yè)知識服務系統(tǒng)還通過對用戶大數據的挖掘、分析提升運營效率。該系統(tǒng)設計了涵蓋用戶顯性與隱性意圖的用戶行為大數據挖掘模型，建立起包括時間、地理位置、用戶基本信息、用戶興趣領域、用戶終端配置、用戶行為記錄等用戶行為大數據要素體系，研發(fā)了基于Spark、Hadoop、ETL等大數據框架的用戶行為信息采集、存儲與挖掘平臺，實時采集本地系統(tǒng)、互聯(lián)網和其他可信賴第三方系統(tǒng)的用戶數據，綜合應用數據統(tǒng)計、深度學習方法分析挖掘用戶行為數據，構建高像素用戶畫像標簽體系，解決多類型用戶的身份識別及需求準確定位，支持在后續(xù)用戶使用服務時的意圖預判與服務內容推薦，實現知識推薦的精準化。

人衛(wèi)知識數字服務體系

人衛(wèi)知識數字服務體系是基于人民衛(wèi)生出版社知識服務體系的智能應用系統(tǒng)，目前已形成了由內容生產體系、數字化管理體系、對外服務體系三大模塊構成的全流程數字化服務體系。人衛(wèi)知識數字服務體系推出后即受到醫(yī)療信息化行業(yè)領域的高度關注，與華為、騰訊、阿里、平安科技、百度、科大訊飛等頭部互聯(lián)網企業(yè)及衛(wèi)寧健康、北大醫(yī)信、眾陽健康等醫(yī)院信息系統(tǒng)廠商達成項目合作。目前，人衛(wèi)知識數字服務體系通過企業(yè)服務端——人衛(wèi)inside知識庫為企業(yè)、醫(yī)療機構提供服務，累計覆蓋350余家單體醫(yī)院和13個區(qū)域醫(yī)療。

人衛(wèi)知識數字服務體系采用了用戶大數據分析技術，依托inside管理后臺和人衛(wèi)助手運營管理平臺，實現對用戶的精準高效管理。inside管理后臺有效的對合作客戶公司和部署知識庫的醫(yī)院機構進行分類、匯總、篩選、統(tǒng)計，可針對服務期臨期到期用戶進行提示，達到及時維系用戶的效果，同時可針對用戶的授權時長進行規(guī)范化管理。人衛(wèi)助手運營管理后臺通過會員開通情況的統(tǒng)計分析，可以得出臨床、用藥和中醫(yī)三個助手APP在每年不同月份和營銷節(jié)點的銷量情況，為新的活動高效開展提供了精準數據信息的支撐，幫助運營做出準確決策。