摘要：日志對于每個(gè)系統(tǒng)來說都是不可或缺的一部分,而現(xiàn)階段對日志的處理效率卻不盡如人意。實(shí)時(shí)性日志考驗(yàn)的是大數(shù)據(jù)處理框架的實(shí)時(shí)計(jì)算能力,基于Storm并借助開源框架Kafka,設(shè)計(jì)了一個(gè)實(shí)時(shí)數(shù)據(jù)收集與處理的系統(tǒng),將數(shù)據(jù)轉(zhuǎn)為流的形式,對收集來的數(shù)據(jù)直接在內(nèi)存以流的形式進(jìn)行計(jì)算,輸出有價(jià)值的信息保存到Redis。最后對系統(tǒng)進(jìn)行性能測試以及計(jì)算能力的測試。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)可擴(kuò)展性良好,且并行計(jì)算能力穩(wěn)定,適合大量實(shí)時(shí)數(shù)據(jù)處理。