第六周-大數據學習班,深圳模具廠,模塑科技
回顧(gu)第5周(zhou) , 上周(zhou)的 Hbase 軟件, 盧(lu)老師提(ti)供過百(bai)度云盤的記錄。 或者自己下載。
Hbase 增(zeng)刪(shan)改查 的 操(cao)作(zuo);
多種類型(xing)可以混合應用
可以增(zeng)加邏輯判(pan)斷和計算, 在條件中, 這是 scala 的強大之處(chu)。
這(zhe)種是(shi)遞(di)歸(gui)的函(han)(han)數, 也就是(shi)函(han)(han)數中調用了自己本身的函(han)(han)數
變(bian)長數(shu)組(zu),定長數(shu)組(zu), 可變(bian)數(shu)組(zu), 可以相互轉(zhuan)化。
reverse , 這個是(shi) 取反 的意思, 也就(jiu)是(shi)倒(dao)序。
%2 取模 , 也就是去偶數
.min 是進行取小(xiao)。
映(ying)射,必須有(you)鍵值對(dui),有(you)K 有(you) V, 對(dui)鍵值對(dui)的調換、
Scala 主(zhu)要是計(ji)算 文本搜索統計(ji)中(zhong), 得到的統計(ji)結(jie)果,
MAP 映射相關的(de)操作。
1、壓平,
2、鍵值對,
3、統計,
4、鍵值對調換,
5、在進行排序,
6、再次統計。
定(ding)義元組
這個(ge)元(yuan)組, 也(ye)就是(shi)一個(ge)容器, 可以對他取值。
這就是結果。
parton 用的很多,
=JaVa 中的重載
這(zhe)些就(jiu)是 SCALA 的(de) 類的(de)運用
上周 Hbase 和 Scala的復習
接下來講(jiang) kafaka 再講(jiang) zookeppr
-------------------------------------------------------------------------------------------------------------------------------------------------
KAFAKA ,首先(xian)要了(le)解 KAFAKA 的如下內容
產生的(de)(de)背景(jing), 一個分布式的(de)(de)發布以及訂(ding)閱(yue)的(de)(de)消息系統,她最初由 linkdin 開(kai)發的(de)(de),
使用 scala 語音書寫的(de)。 最終(zhong)成為 Apache項目的(de)一部(bu)分,可劃分, 多(duo)訂閱(yue)者
的
舉例說明: 灑水車是 kafaka 裝水就(jiu)是 生產(chan) , 灑水就(jiu)是消費的過程。
灌水的(de)速度 和 灑水的(de)速度是多少? 就(jiu)是消息
-----------------下午開始學習 KAFAKA
parttion 有序列號, 可以并行處理更多的數據, 每個消息都有ID , 也叫 offset 。
一個生(sheng)產交易系統, 每天(tian)產生(sheng) 1億的訂單(dan)量(liang) , (分布在很(hen)多省) , 需要(yao)全國的銷量(liang)監(jian)控, 以及各個省份的,
匯總到北京, 可以做到, 各個省份的排名,
1、 實際(ji)放入(ru) 的數據, 是實時產生(sheng)(sheng)的, 并不是同時產生(sheng)(sheng)的, 所(suo)以(yi)輸(shu)入(ru)到 KAFKA 中, 然后由 Spark 取出(chu)(chu)來計算出(chu)(chu)來。
具體的接口
2、統計第(di)一步, 第(di)二步, 預測(ce) , 學習(xi), 挖掘 。 甚至(zhi)可以人(ren)臉識別。
KaFKa 的(de) Message , 也(ye)就是把 Message 。 下(xia)周講(jiang) 10-13 上課 。
Hbase 是No SQL數(shu)據庫(ku) ,