數(shù)字博物館—博物館網(wǎng)絡(luò)信息采集系統(tǒng)
斌鉞博物館網(wǎng)絡(luò)信息資源采集系統(tǒng)定位是一套功能強大的網(wǎng)絡(luò)信息資源開發(fā)利用與整合系統(tǒng)，可用于定制跟蹤和監(jiān)控互聯(lián)網(wǎng)實時信息，能夠快速及時地捕獲用戶所需的熱點新聞、市場情報、行業(yè)信息、政策法規(guī)、學術(shù)文獻等網(wǎng)絡(luò)信息內(nèi)容，建立可再利用的信息服務(wù)系統(tǒng)。系統(tǒng)能夠從各種網(wǎng)絡(luò)信息源采集用戶感興趣的特定信息，經(jīng)自動分類處理后,以多種形式提供給最終用戶使用。
系統(tǒng)可以對國內(nèi)外不少于50個網(wǎng)站上公開發(fā)布的指定內(nèi)容的信息進行定向采集；實時動態(tài)監(jiān)控特定目標；將標題、全文等內(nèi)容轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)；支持部分附件全文等非結(jié)構(gòu)化內(nèi)容的采集，支持全文檢索。采集信息自動建庫存儲，內(nèi)容可進行加工處理，直接存入數(shù)據(jù)庫，可與本項目中其他館內(nèi)資源整合到一起進行資源服務(wù)。
（一）系統(tǒng)功能要求：
（1）先進的資源智能處理能力
系統(tǒng)基于語義分析技術(shù)，集成多種智能信息處理算法，支持采集信息的自動分類；支持用戶自定義分類體系。系統(tǒng)擁有自學習功能，可以根據(jù)用戶反饋信息，及時地自學習完善知識體系，提高自身的智能性。
（2）強大的信息采集能力
高效的信息采集技術(shù)完成網(wǎng)絡(luò)數(shù)據(jù)獲取，能快速、全面、準確的從Internet上獲取數(shù)據(jù)，并可對采集的數(shù)據(jù)進行結(jié)構(gòu)化處理?？梢远嗑€程并行采集，靈活地定制采集策略。對于采集規(guī)模較大的應(yīng)用，可支持采用集群式網(wǎng)絡(luò)蜘蛛抓取，從而滿足抓取速度上的需求。
（3）體系結(jié)構(gòu)靈活
網(wǎng)絡(luò)蜘蛛群集，智能代理群集，應(yīng)用服務(wù)器智能調(diào)度，各子系統(tǒng)可以支持隨時斷開以及隨時連接到系統(tǒng)中來，不影響整個系統(tǒng)的運行。
（4）基于海量非結(jié)構(gòu)化數(shù)據(jù)存儲和全文檢索能力
能夠與本項目購買的全文檢索數(shù)據(jù)庫系統(tǒng)協(xié)同工作，支持海量非結(jié)構(gòu)化數(shù)據(jù)的存儲管理，支持全文檢索，支持智能相似檢索技術(shù)，檢索速度可達百萬級文獻量毫秒級響應(yīng)。
（5）強大的發(fā)布系統(tǒng)
系統(tǒng)支持多種發(fā)布風格，包括：專題庫風格、信息資源門戶風格、搜索引擎風格等。支持動態(tài)摘要和敏感摘要，并提供標紅、網(wǎng)頁快照、相關(guān)網(wǎng)頁自動關(guān)聯(lián)等實用功能。
（6）穩(wěn)定可靠的系統(tǒng)性能
系統(tǒng)支持采用分布式的群集系統(tǒng)、高效的搜索算法以及靈活的體系結(jié)構(gòu)，保證整個系統(tǒng)的高穩(wěn)定性和易用性。
（7）滿足用戶的各種個性化檢索需求
支持用戶自定義符合特殊需求的個性化分詞詞典，只需要輸入專業(yè)詞匯，系統(tǒng)便會按照用戶的定制精確檢索，大幅提高檢索效率和查全查準率，充分滿足用戶的各種個性化檢索需求。
（8）支持主流的中文編碼標準
包括GBK(漢字內(nèi)碼擴展規(guī)范)、GB2312(簡體)、BIG5(繁體)、Unicode，并且能夠在不同的編碼之間轉(zhuǎn)換。
（9）支持與博物館其他系統(tǒng)進行深度整合
系統(tǒng)采集信息支持與博物館信息資源建設(shè)與管理系統(tǒng)建設(shè)的信息進行整合服務(wù)，與信息資源建設(shè)與管理系統(tǒng)采用相同架構(gòu)的全文數(shù)據(jù)庫管理系統(tǒng)進行數(shù)據(jù)管理。
（二）系統(tǒng)性能要求：
l信息采集器：采集快，實時響應(yīng)。
l信息采集器監(jiān)控：實時響應(yīng)。
l采集信息排重：實時響應(yīng)。
l相似性分析時間：100萬記錄/20毫秒。
Hash:27efc0d85d42f5318909e5ed01e03406c6a12910
聲明：此文由 錦霖文保 分享發(fā)布，并不意味本站贊同其觀點，文章內(nèi)容僅供參考。此文如侵犯到您的合法權(quán)益，請聯(lián)系我們 kefu@qqx.com