病理文本數(shù)據(jù)的結構化處理系統(tǒng)研究與實現(xiàn).pdf

1、各大醫(yī)院在提供臨床醫(yī)療服務的過程中，均會產生大量的非結構化臨床文檔數(shù)據(jù)。病理報告作為一類重要的非結構化臨床文檔，其內容主要是病理科醫(yī)生采用自然語言書寫的文本格式數(shù)據(jù)，記錄了病人的基本信息、標本肉眼所見、標本鏡下所見和診斷結果等信息。病理報告中的文本內容對于醫(yī)生進行疾病診斷至關重要，是臨床診療的重要依據(jù)之一。
　　傳統(tǒng)對病理報告的處理方法，大都依賴于主治醫(yī)生憑借經驗對病理報告的文本內容進行人工處理，其過程實質上是依靠主治醫(yī)生的臨床思

2、維對病理文本內容進行結構化處理，以人工的方式提取出包含在病理文本數(shù)據(jù)中的標本及其各指標的值。但是，這種人工處理的方式不僅耗時耗力，而且正確率難以得到保證。為此，本文借助規(guī)則提取、文本主題分析、統(tǒng)計分析等手段，設計并實現(xiàn)一種病理文本數(shù)據(jù)結構化處理系統(tǒng)，以支持病理報告中標本及其指標值的自動提取。
　　本文首先對病理報告的文本數(shù)據(jù)結構進行了分析，給出了病理文本中的概念層次結構，并闡述了病理報告的結構化處理流程。在此基礎上，本文設計了病理

3、文本結構化處理系統(tǒng)的總體架構，分別介紹了系統(tǒng)中三個主要的模塊：病理數(shù)據(jù)預處理模塊、病理標本模板提取模塊和病理文本即時結構化模塊的主要功能與任務。
　　然后，本文為了解決病理標本描述模板的提取問題，提出了一種基于 LDA 模型 (隱含狄利克雷主題模型)的標本描述模板提取算法。該算法對同種標本的數(shù)據(jù)集合進行隱含狄利克雷主題模型（LDA 模型）的建模，并通過快速Gibbs抽取的方式獲取集合中詞的概率分布情況。在此基礎上，結合IDF權重值

4、進行文本價值計算，得到該文本集合中“文本價值”最高的Top-N個詞，將其視為當前標本的候選關鍵字。這些關鍵詞即是標本描述模板的核心描述詞。同時，考慮到病理報告經過長期的積累，形成了規(guī)模龐大的病理數(shù)據(jù)，本文利用MapReduce并行計算框架實現(xiàn)了病理標本描述模板的提取過程，并將其部署到開源分布式平臺Hadoop上。
　　最后，為了驗證本文提出算法的有效性，通過真實數(shù)據(jù)集的測試，結果表明本系統(tǒng)可正確提取其中超過87.5％的指標名稱和指