目前位置: 首頁 > 公開課程 > 資訊管理 > 企業e化 > 【資策會】網路爬蟲與Spark大數據流處理實務

【資策會】網路爬蟲與Spark大數據流處理實務

★ 早鳥價、團報優惠 -- 請參見【課程網址】★

  本課程旨在教導學員能透過開源Library從網站、社群媒體、裝置獲取資訊,並能將非結構化資料轉換為結構化資料,交由Kafka訊息管理系統做統一管理,接著利用Spark Streaming進行大數據流的即時運算,並將結果予以應用。課程設計能使學員親身體驗資料串流的處理,並能從體驗中遭遇的問題,學習更多解決方案,加倍學習之效果。詳見【課程網址】http://www.iiiedu.org.tw/ites/NBS.htm。

加入收藏
收件人email:
寄件人姓名:
寄件人email:
 l   課程環境準備

課程VM環境準備與設定

l   資料流獲取

     (1) 網頁爬蟲實戰技術 
     (2)
網頁結構化解析技術
     (3)
社群媒體資料擷取技術:

          FacebookPttMobile01等實作

     (4) Socket 資料流獲取技術:

      網路層基礎Socket Server實作

l   Spark 技術回顧

Spark Batch處理技術

l   KafkaSpark Streaming技術實作

(1) Spark Streaming DStream 方法介紹與實作 
(2) Kafka 
訊息管理系統介紹與實作
(3) Spark Streaming
資料流與Kafka介接技術

l   綜合實戰練習

(1) 開源中文斷詞Library使用 
(2) PTT
八卦版即時關鍵字訊息流獲取系統實作

 

*課程執行單位保留調整課程內容、日程與講師之權利

                       

【課程網址】http://www.iiiedu.org.tw/ites/NBS.htm

【相關課程】http://www.iiiedu.org.tw/ites/portal/MA.htm

【課程諮詢】(026631-6533 吳經理


報名截止日:2019/09/20

開課日:2019/09/21結束日:2019/09/22定價: $12,000

時數:14 (小時) 時段:週六日09:00 ~ 17:00

地點:台北 | 資策會數位教育研究所科技化服務訓練中心 | 台北市信義路三段153號10樓 [看地圖]

簡介

資策會數位教育研究所成立於1979年,全所員工上百人,為全國第一家通過ISO9000認
證之教育訓練機構,TTQS評核為「標竿訓練機構」,連續多年獲選為「MIS Best
Choice教育訓練機構」,為國內各產業培育資通訊技術、管理與應用之專業人才。此
... more

*填寫報名表能讓開課單位更有效的處理您的資料,並優先處理您的需求!


三聯式 二聯式


(重新產生)