基于大數(shù)據(jù)的新聞管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、在投行的金融交易中，證券數(shù)據(jù)的及時有效性非常重要。雷達公司致力于提供投行系統(tǒng)數(shù)據(jù)交互的后臺支持，其信息系統(tǒng)中下游的多個不同的金融子系統(tǒng)需要獲取實時的上游證券數(shù)據(jù)中心的最新數(shù)據(jù)。這些子系統(tǒng)相互獨立，對數(shù)據(jù)內(nèi)容的需求不同，上游證券數(shù)據(jù)中心只能實時的把數(shù)據(jù)發(fā)送到支持JMS(Java MessageService)的TIBCO Software的EMS(Enterprise Message Service)產(chǎn)品的消息堆棧，每個下游子系統(tǒng)通過連接

2、到JMS創(chuàng)建持久化實例消費數(shù)據(jù)。龐大的數(shù)據(jù)量以及眾多的實例給JMS服務(wù)器造成嚴重負擔。一旦下游子系統(tǒng)出現(xiàn)故障，就會造成JMS服務(wù)器大量數(shù)據(jù)空間被占用。若刪除實例，之前堆積在堆棧實例中的數(shù)據(jù)便會丟失。倘若讓上游系統(tǒng)重新發(fā)送，則又會造成其他子系統(tǒng)重復(fù)消費已處理的老數(shù)據(jù)。如何實現(xiàn)一個數(shù)據(jù)處理中間件系統(tǒng)來緩解JMS服務(wù)器的壓力并保證下游用戶消費數(shù)據(jù)的穩(wěn)定性變得尤為重要。
　　首先通過對雷達公司的證券數(shù)據(jù)管理的需求調(diào)研，獲取其上游SMC(S

3、ecurityMessage Center)和下游數(shù)據(jù)訂閱結(jié)點存在的問題，以明確引入新的金融數(shù)據(jù)緩存中間件的必要性。在此基礎(chǔ)上，討論數(shù)據(jù)分發(fā)系統(tǒng)的訂閱分發(fā)功能，分析從消息訂閱、數(shù)據(jù)緩存處理、到下游分發(fā)的核心消息消費分發(fā)處理流程。分析基于DDS(Data Distribution Service)的數(shù)據(jù)分發(fā)系統(tǒng)框架，針對數(shù)據(jù)建立有效的緩存?zhèn)}庫模型、實現(xiàn)高效并個性化的客戶消息分發(fā)需求，同時設(shè)計提供數(shù)據(jù)客戶狀態(tài)的實時監(jiān)控可視化界面。重點在于討