目前位置: 首頁 > 公開課程 > 資訊管理 > 資訊安全 > Kafka+Spark資料串流處理與開發實務班

Kafka+Spark資料串流處理與開發實務班

本課程透過上機實作方式,首先帶領學員們學習 Apache Kafka資料....

  Apache Kafka 是一個開源分散式的串流平台。超過 80% 的美國 Fortune 100 公司將 Apache Kafka 技術使用於高效能的資料通道、串流分析、資料整合以及極其關鍵的應用。 透過 Apache Spark分散式計算框架的 Spark Streaming 技術,可以連接 Apache Kafka資料串流平台,將外部資料來源有效整合內部資料儲存、運算機制,完成即時數據分析與機器學習運算,建立預測模型。

加入收藏
收件人email:
寄件人姓名:
寄件人email:

Kafka+Spark資料串流處理與開發實務班

上課地址:工研院產業學院 產業人才訓練一部(台北),實際地點依上課通知為準!!!!

時數:18

起迄日期:2021-01-20~2021-01-22

聯絡資訊:黃靖棻/02-23701111#304

報名截止日:2021-01-18

課程類別:人才培訓(課程)

活動代碼:2320090033


課程介紹

課程緣起

Apache Kafka 是一個開源分散式的串流平台。超過 80% 的美國 Fortune 100 公司將 Apache Kafka 技術使用於高效能的資料通道、串流分析、資料整合以及極其關鍵的應用。 透過 Apache Spark分散式計算框架的 Spark Streaming 技術,可以連接 Apache Kafka資料串流平台,將外部資料來源有效整合內部資料儲存、運算機制,完成即時數據分析與機器學習運算,建立預測模型。 

~本課程歡迎企業包班,請來電洽詢 課程承辦人 黃小姐02-23701111#306 ~

更多軟體開發相關課程,請參主題館網址:https://college.itri.org.tw/edm/D1/008/04/edm.html

課程特色/目標

本課程透過上機實作方式,首先帶領學員們學習 Apache Kafka資料串流平台技術。之後,了解、熟悉 Spark Streaming實務技能。最後,透過 workshop方式,整合 Kafka + Spark資料串流處理與開發技術,並進行數據分析與機器學習實際案例實作。

課程對象

1.資料工程師、資料分析師、資料科學家
2.希望轉職成為資料科學領域研發的從業人員
3.IT經理人、企業決策人員、系統網路管理人員

先備知識

了解Scala、Hadoop與Spark技術,或先上過「Scala語言技術實務」、「Big Data 分散式平台-Hadoop技術實務」與「Spark分散式計算框架技術實務班」。 

課程大綱

課程主題 課程內容
Apache Kafka + Spark 系統環境建置 

。Ubuntu/VMware 虛擬環境建置
。Spark/Hadoop 分散式系統建置
。Kafka + zookeeper軟體安裝

Kafka 串流平台

。Kafka 元件與架構
。Kafka 運作原理
。Kafka 資料串流處理實作

Spark Streaming 技術

。資料來源連接
。初始化StreamingContext
。離散化串流 (DStream) 技術
。Caching / Persistence
。 Checkpointing 部署與監控應用程式

Spark Streaming 性能調校與容錯語意 

。減少執行時間
。設定正確的批次大小
。記憶體調校 容錯語意

WORKSHOP 1 : 社群網路資料串流案例 

。Kafka + Spark資料串流整合實作
。Spark MLlib 機器學習與數據分析實作

WORKSHOP 2 : 即時資料串流處理案例

。Kafka + Spark即時資料串流擷取
。Spark MLlib 機器學習與數據分析實作

* 課程執行單位保留調整課程內容、日程與講師之權利

價格

  課程費用
課程原價 (每人)

$15,000元

10天前報名
優惠價(每人)

$12,000元

10天前報名+兩人揪團同行
優惠價(每人)

$11,400元

10天前報名+四人(含)以上揪團同行/工研人
優惠價(每人)

$10,800元

課程日期

110年1/20-1/22,週三四五白天9:30 ~12:00,13:00~16:30 ,共3天、計18小時。

上課地點:

主辦單位:財團法人工業技術研究院 產業人才訓練一部(台北)
舉辦地點:工研院產業學院 產業人才訓練一部(台北),實際地點依上課通知為準!!!!

報名方式

報名方式:
(1)紙本報名:請以正楷填妥報名表傳真至02-2381-1000 (02-2370-1111 分機306 黃小姐)
(2)線上報名:到工研院產業學院官網報名 課程洽詢:02-2370-1111 分機306黃小姐

報名確認與取消

1.已完成報名與繳費之學員,課程主辦單位將於開課三天前以E-mail方式寄發上課通知函;若課程因故取消或延期,亦將以E-mail方式通知,如未收到任何通知,敬請來電確認。
2.已完成繳費之學員如欲取消報名,請於實際上課日前以書面通知業務承辦人,主辦單位將退還80% 課程費用。
3.學員於培訓期間如因個人因素無法繼續參與課程,將依課程退費規定辦理之:上課未逾總時數三分之一,欲辦理退費,退還所有上課費用之二分之一,上課逾總時數三分之一,則不退費。
4.本單位保留是否接受報名之權利。
5.如遇不可抗拒之因素,課程主辦單位保留修訂課程日期及取消課程的權利。

繳費方式

1.ATM轉帳(線上報名):繳費方式選擇「ATM轉帳」者,系統將給您一組轉帳帳號「銀行代號、轉帳帳號」,但此帳號只提供本課程轉帳使用,各別學員轉帳請使用不同轉帳帳號!!轉帳後,寫上您的「公司全銜、課程名稱、姓名、聯絡電話」與「收據」傳真至02-2381-1000黃小姐 收。
2.信用卡(線上報名):繳費方式選「信用卡」,直到顯示「您已完成報名手續」為止,才確實完成繳費。
3.銀行匯款(公司逕行電匯付款):土地銀行 工研院分行,帳號156-005-00002-5(土銀代碼:005)。戶名「財團法人工業技術研究院」,請填具「報名表」與「收據」回傳真至02-2381-1000黃小姐 收。
4.即期支票:抬頭「財團法人工業技術研究院」,郵寄至: 100台北市中正區館前路65號7樓704室 黃小姐收。
5.計畫代號扣款(工研院同仁) :請從產業學院學習網直接登入工研人報名;俾利計畫代號扣款。

相關課程

更多軟體開發相關課程,請參主題館網址:https://college.itri.org.tw/edm/D1/008/04/edm.html

附件



簡介


產業學院緣起
  依據行政院「挑戰2008:國家發展重點計畫」下之「國際創新研發基地」與「產業高值化」兩計畫,首重產業科技人才的效能。

•911216經科字第09103373120號函:經濟部將本院籌設工研院產業學院之工作,列為因應產業結構轉型,提 ... more

*請務必將下列資料填妥,資料送出後,開課單位將會主動與您聯繫。

我想知道本課程的企業包班內訓     


(重新產生)