基于網絡爬蟲技術的健康醫療大數據采集整理系統

摘要：目的快速、準確地獲得公共衛生服務系統的醫療數據,并進行數據整理,為建立人群健康風險評估模型提供數據基礎。方法運用聚焦網絡爬蟲技術,設計算法并編程,在自動記錄和修正URL異常、原始數據存檔、保持登錄方式3個方面進行算法改進。將設計好的爬蟲應用于爬取已獲得授權網站的醫療數據,通過醫學數據庫系統,對數據進行解析、整理與導出。結果獲得多個公共衛生服務基地數據,為當地政府部門提供數據分析報告,利用整理分析的數據完成多項健康風險評估模型建立。結論基于網絡爬蟲技術建立的數據采集整理系統,可以解決獲取及整理網絡許可數據的難題,將此技術應用于醫藥衛生領域,可使現有豐富的醫學數據資源得以充分利用并提高利用效率。