如何運(yùn)用實(shí)時核算提交和辦理 Flink 使命

目錄
1.VVP 基本概念

2.JAR 使命提交

3.SQL 使命提交

4.Metrics & Log

一、VVP 基本概念

基本概念-

Deployment

·作業(yè)描繪

·使命類型（IAR 和 SQL）

· flink 版本和裝備（flink configuration）

·CPU 和內(nèi)存 Uobmanager/askmanager）

·恢復(fù)戰(zhàn)略 （Restore Strategy）

·期望狀況（Desired）和實(shí)際狀況（Current）

· RUNNING, CANCELED, SUSPENDED

· TRANSTIONING, FINISHED, FAILED

基本概念-Draft

·使命的開發(fā)態(tài)

·新建 Draft->上線（轉(zhuǎn) Deployment）->運(yùn)維（其他操作）

基本概念-Job

·源自 Deployment（Deployment 的一個作業(yè)實(shí)例）

·對應(yīng)一個具體的 EIink Job

二、JAR 使命提交

Jar 打包上傳

·社區(qū) top window 代碼本地打包

https:/github com/apachefink/tree/master/flink-examples/link-examples-streaming

·htps://repol.maven org/mavenZ/org/apache/flink

/flink-examples-streaming2111.12.2/ink-examples-streaming 211-1122-TopSpeedWindowingiar

·artifacts 上傳，刪去，掩蓋

上線 Draft

·點(diǎn)擊"上線"

Deployment 基本操作

·作業(yè)的啟停

·Deployment 詳情頁概覽

Deployment 裝備

·模版形式（根底、高級）、YAML 形式修改

Deployment  其他操作

·基本操作

· sart, cancdl. wvpend, wepont, fox、dee

·晉級與恢復(fù)

·restore(svepoint hedpoint, none)

·作業(yè)換照的運(yùn)用，從前史 yavepcim 恢復(fù)（從 sp fok）

·運(yùn)堆

·詳情頁 Metic

·Flnk UI

基本概念-Session Cluster

·資源同享，復(fù)用 JobManager，節(jié)約小作業(yè)資源消耗

·使命發(fā)動速度快，適用于作業(yè)運(yùn)轉(zhuǎn)時間較短的場景

品 Session 集群

提交使命到 Session 集群

·系統(tǒng)辦理->Session 集群

·Deployment 的部署方針挑選 Session 集群

3. SQL 使命提交

基本概念-SQL 分類

·DDL

·數(shù)據(jù)界說語言（create table/view/index/syn/cluster）

.DQL

· 數(shù)據(jù)查詢語言（select* from xx where xx）

·DML

·數(shù)據(jù)操縱語言（insert/update/delete）

·DCL

·數(shù)據(jù)控制語言（grant/rollack/commit）

基本概念-Catalog

·辦理元數(shù)據(jù)

·表 Catalog.DB.Table

·函數(shù)∶UDFUDTFUDAF

語法說明-注冊函數(shù)

● 上傳 UDF JAR包

●可下載 http//fa2020.osS-cn-bejingaliyuncscom/ud10jar 到本地再上傳

●CREATE FUNCTION`MyScalarfunc AS'com.test.MyScalarFunc'

語法說明-運(yùn)用函數(shù)

內(nèi)置函數(shù)

INSERT INTO blackhole_sink

SELECT UPPER(name), score FROM datagen_source

自界說函數(shù)

INSERT INTO blackhole_sink

SELECT MyScalarfunc(name), score FROM datagen_source

語法說明-Temporary Table

語法說明- Temporary View

語法說明- Statement Set

應(yīng)用范圍

· Create Table

·會注冊到系統(tǒng) Catalog（默許是 VvpCatalog）中，進(jìn)行耐久化

·合適多個 query 同享元數(shù)據(jù)的情況

· Create Temporary Table · 會運(yùn)用內(nèi)存的  Catalog，不會耐久化

· 合適不需求同享元數(shù)據(jù)的場景只給當(dāng)前 query 運(yùn)用。例如測驗(yàn)使命。

· Create Temporary View

·簡化 SQL 句子

· Statement Set

· 合適需求輸出到多個下游（多sink表）的場景

自界說Connector & Format

·實(shí)現(xiàn)接口

·DynamicTableSourceFactory

·DynamicTableSinkFactory

·接口描繪文件∶ META-INF/services/org.apache.fink.table，factories.Factory

·上傳 JAR 包進(jìn)行注冊

·可下載 htp//n2020oscn-bellinglvunccom/mydatken-printe10Jar 到本地再上傳

運(yùn)用自界說 Connector

SQL Preview

· 裝備某個 Session 集群作為 SQL Preview 運(yùn)用的集群· 該 session 集群需求是運(yùn)轉(zhuǎn)狀況

· 直接運(yùn)轉(zhuǎn) DQL 句子

·SELECT UPPER(name), score FROM datagen_source;

Metrics- reporter

·默許運(yùn)用PrometheusReporter

·自界說metrics reporter

·修改 Deployment -> 高級裝備->其他裝備

Metrics- grafana

LOG

·自界說 Log Level

· root INFO

· org.apache.fink: DEBUG

·自界說 Logging Profile ,

· oss

· sls