摘要：電商用戶行為可視化分析系統是基于Spark分布式計算框架，根據數據中臺的理念簡單實現的數據可視化分析系統。用于電商平臺的任務調度、用戶瀏覽電商網站時各種行為的基本指標的分析以及數據的可視化。系統基于Linux虛擬機，用Hive和Mysql作為離線數據源，Kafka作為實時數據源，Spark用來實現基本指標的分析算法，Springboot用作實現對分析任務的調度和管理，Echarts用作對數據可視化。主要設計完成了數據庫及數據倉庫的設計、實時用戶廣告點擊數據的記錄和傳輸、會話的瀏覽時長及瀏覽深度的計算、品類排行榜的生成、頁面pv及頁面流跳轉率的統計、各個商品的受歡迎程度進行排行榜的生成、廣告點擊黑名單的生成及過濾、廣告點擊量走勢的實時統計、分析任務的調度及管理以及數據可視化等模塊。

關鍵詞：Spark；數據中臺；電商用戶行為；Springboot；可視化

目 錄

摘 要

Abstract

1  緒論-1

1.1 研究背景-1

1.2 研究目的和意義-1

2  基礎理論和相關技術介紹-3

2.1 Spark生態介紹-3

2.2 Hive介紹-4

2.3 Kafka介紹-4

2.4 Springboot介紹-4

2.5 Mysql介紹-4

2.6 Echarts介紹-4

3  系統分析與設計-5

3.1 系統需求分析-5

3.2 系統總體架構設計-6

3.3 系統功能模塊設計-7

3.3.1 任務調度及數據展示系統功能設計-7

3.3.2 離線分析及實時處理作業系統功能設計-8

3.4 系統數據庫設計-9

3.4.1 Hive數據倉庫表設計-9

3.4.2 Mysql數據庫表設計-11

3.5 實時數據源設計-15

4  系統功能實現與測試-16

4.1 離線分析及實時處理作業系統的功能實現-16

4.1.1 離線數據源的實現-16

4.1.2 用戶會話分析模塊的功能實現-17

4.1.3 頁面流跳轉率分析模塊的功能實現-18

4.1.4 獲取大區前三熱門商品模塊的功能實現-18

4.1.5 實時數據源的實現-19

4.1.6 廣告點擊實時統計模塊的功能實現-19

4.2 任務調度及數據展示系統的實現-20

4.2.1 任務信息管理的實現-20

4.2.2 數據可視化的實現-22

4.3 系統測試-24

4.3.1 系統測試概述-24

4.3.2 實時數據源測試-25

4.3.3 系統功能測試-25

結    論-27

致    謝-28

參考文獻-29