摘要：隨著互聯網信息技術的快速發展，在如今這個信息時代，數據量的增長速度遠遠超過的我們的想象。如何迅速的對這些數據進行處理，進行信息的提取以及如何對這些數據進行處理分析，已經成為目前計算機領域一個巨大的難題。而且無論是企業還是政府，對于大數據的掌握起著至關重要的作用。大數據處理技術所蘊含的巨大價值將隨著技術的發展。

本文以新浪微博用戶信息作為信息載體。對新浪微博的用戶信息、文章信息進行收集和分析，對新浪微博信息數據轉化成價值的可行性進行了嘗試。設計出了一個可以獲取新浪微博信息的數據收集，并進行一定的數據分析、數據可視化和數據展示的系統。

關鍵詞：數據可視化；爬蟲

目錄

摘要

ABSTRACT

第1章 緒論-1

1.1國內外相關研究現狀-1

1.1.1國外爬蟲研究-1

1.1.2國內爬蟲研究-1

1.2系統設計的意義-1

1.3系統設計的相關技術-2

1.3.1爬蟲相關技術-2

1.3.2數據可視化相關技術-2

第2章 系統需求分析-4

2.1可執行性研究-4

2.2系統需求分析-4

2.2.1業務需求分析-4

2.2.2系統用例分析-5

第3章 系統概要設計-9

3.1爬蟲策略-9

3.1.1對新浪微博流程分析-9

3.1.2 爬蟲策略選擇-9

3.2系統總體設計-9

3.2.1系統流程總設計-10

3.2.2 數據爬取模塊-10

3.2.3數據存儲模塊-12

3.2.4數據分析模塊-13

3.3數據庫設計-14

3.3.1數據庫邏輯設計-16

3.3.2數據庫物理設計-16

第4章 詳細設計-19

4.1包設計-19

4.2類設計-19

4.2.1 action包中的類-20

4.2.2 Dao包中的類-20

4.2.3 entity包中的類-21

4.2.4 service包中的類-21

4.2.5 Util包中的類-22

第5章 系統實現-24

5.1平臺登陸界面-24

5.2平臺主界面-24

5.3爬蟲界面-25

5.4數據管理界面-27

5.5 據可視化界面-28

第6章 系統測試-31

6.1測試概述及目的-31

6.2測試方法-31

6.3測試用例-32

6.4測試結果-33

結束語-34

致謝-35

參考文獻-36