拜訪 OSS 這類目標(biāo)存儲(chǔ)最快的方式- JindoFS SDK

內(nèi)容介紹：

? 大數(shù)據(jù)存儲(chǔ)架構(gòu)演進(jìn)

? JindoFS

? JindoFS SDK

? JindoFS 功能

一、大數(shù)據(jù)存儲(chǔ)架構(gòu)演進(jìn)

數(shù)據(jù)湖存儲(chǔ)方案（JindoFS SDK + 目標(biāo)存儲(chǔ)）

成本：（1）儲(chǔ)存成本低，分層存儲(chǔ)結(jié)合運(yùn)用

(2) 運(yùn)維投入少

功能：（1）海量文件下的高效元數(shù)據(jù)功能

（2）存儲(chǔ)的讀寫吞吐能力

數(shù)據(jù)湖特性:(1)事務(wù)寫入，多版本Checksum

(3) Jindo Table  數(shù)倉(cāng)結(jié)合：Spark SQL/Hive/Presto/Impala

安全：（1）多種免密認(rèn)證

（2）客戶端/服務(wù)端加密

2、JindoFS

JindoFS  雙形式

? 既是一個(gè)分布式緩存系統(tǒng)，為核算加快和提供優(yōu)化（緩存/cache 形式）

? 也是一個(gè)分布式存儲(chǔ)系統(tǒng)，支撐高牢靠高可用和安全（存儲(chǔ)/block 形式）

形式	Block 形式	Cache 形式
支撐目標(biāo)存儲(chǔ)	OSS	OSS/S3 其他云廠商目標(biāo)存儲(chǔ)
集群緩存加快	支撐	支撐
元數(shù)據(jù)協(xié)議	JindoFS協(xié)議	OSS/S3原生拜訪
元數(shù)據(jù)拜訪加快	支撐	支撐
免密拜訪	是	是
Ranger權(quán)限	是	是
類比方案	HDFS	Alluxio

JindoFS  客戶端 Native  架構(gòu)

? 全鏈路 Native

? 一套底層適配多個(gè)場(chǎng)景

3、JindoFS SDK

HCFS 規(guī)范

Filesystem Compatibility with Apache Hadoop

JindoFS SDK 拜訪 OSS

4、JindoFS SDK 優(yōu)勢(shì)

高功能

? Native Object Engine 根底操作功能均勻提高 2.2 倍

? Jindo HCFS  對(duì)比開(kāi)源版本功能大幅提高

易集成

? 不引進(jìn)額外 Java 依靠，防止出產(chǎn)環(huán)境出現(xiàn)依靠沖突

? 社區(qū)形式：文檔完善+在線支撐

高牢靠

? 大量客戶 Hadoop  出產(chǎn)環(huán)境部署運(yùn)用

? 對(duì)接引擎豐厚

Jindo Native Object SDK vs OSS Java SDK

Jindo OSS Hadoop SDK vs Hadoop 現(xiàn)有OSS SDK