亚洲一区精品自拍_2021年国内精品久久_男同十八禁gv在线观看_免费观看a级性爱黄片

Article / 文章中心

使用apack插件的物理復(fù)制功能

發(fā)布時(shí)間:2021-04-19 點(diǎn)擊數(shù):681

點(diǎn)擊查看原圖

apack插件是阿里云Elasticsearch團(tuán)隊(duì)自研的插件,支持物理復(fù)制和向量檢索功能,本文僅介紹物理復(fù)制功能。物理復(fù)制功能適用于索引有副本、寫入數(shù)據(jù)量大、對(duì)數(shù)據(jù)寫入后可見性延遲要求不高的場景,例如日志場景、時(shí)序分析場景等,可以大幅度降低CPU開銷,提升寫入性能。

前提條件

  • 創(chuàng)建阿里云Elasticsearch實(shí)例,版本為6.7.0,內(nèi)核版本為1.2.0及以上。
  • 安裝apack插件。
    目前僅6.7.0版本的阿里云Elasticsearch實(shí)例支持apack插件。當(dāng)實(shí)例的內(nèi)核版本為1.2.0以下時(shí),需升級(jí)內(nèi)核版本后使用該插件;當(dāng)實(shí)例的內(nèi)核版本為1.2.0及以上時(shí),系統(tǒng)默認(rèn)已安裝apack插件,不可卸載。
    說明 apack插件安裝后,您既可以使用物理復(fù)制功能,也可以使用向量檢索功能。本文僅介紹物理復(fù)制功能的使用方法,向量檢索功能的使用方法請(qǐng)參見使用向量檢索插件(aliyun-knn)。


背景信息

物理復(fù)制功能的基本原理為: 阿里云Elasticsearch中索引的主分片和副本分片(以下簡稱主副分片)之間的同步原理默認(rèn)與原生Elasticsearch一樣,即請(qǐng)求先寫入主分片,再由主分片同步給副本分片,此時(shí)主副本分片都會(huì)寫索引文件及translog。開啟物理復(fù)制功能后,Elasticsearch主分片寫入機(jī)制與原生Elasticsearch一樣,既寫索引文件也寫translog,而副本分片只寫translog以保證數(shù)據(jù)的可靠性和一致性。主分片在每次refresh時(shí),通過網(wǎng)絡(luò)將增量的索引文件拷貝到副本分片,在主副分片分配可見性延遲略增加的情況下,大幅度提高了集群的寫入性能。

物理復(fù)制功能的性能測試信息如下:
  • 測試環(huán)境
    • 機(jī)器配置:數(shù)據(jù)節(jié)點(diǎn)8核32GB*5 + 2TB SSD云盤。
    • 數(shù)據(jù)集:官方esrally自帶的nyc_taixs(74GB)。
    • 索引配置:使用默認(rèn)配置(5個(gè)主分片,1個(gè)副本分片)。
  • 測試結(jié)果
    產(chǎn)品 寫入速度(doc/s)
    原生Elasticsearch 6.7.0 127305
    阿里云Elasticsearch 6.7.0,并開啟物理復(fù)制功能 184592
  • 結(jié)論

    與原生Elasticsearch相比,阿里云Elasticsearch在開啟了物理復(fù)制功能后,寫入性能提升大于45%。

說明 本文中的命令均可在Kibana控制臺(tái)中執(zhí)行,詳情請(qǐng)參見登錄Kibana控制臺(tái)。



注意事項(xiàng)

  • apack插件的物理復(fù)制功能作用于索引。對(duì)于插件安裝前創(chuàng)建的索引,默認(rèn)未開啟,使用時(shí)需要先開啟。對(duì)于插件安裝后創(chuàng)建的索引,默認(rèn)開啟。
    注意 如果您需要使用跨集群復(fù)制功能,需要先關(guān)閉物理復(fù)制功能,詳情請(qǐng)參見關(guān)閉物理復(fù)制功能。
  • 阿里云Elasticsearch支持將已開啟物理復(fù)制功能的索引切回到原生模式(主副分片都會(huì)寫索引和translog),但需要先關(guān)閉該索引。
  • 在為原生模式的索引開啟物理復(fù)制功能前,需要先關(guān)閉該索引,并將副本數(shù)設(shè)置為0。



開啟物理復(fù)制功能

在創(chuàng)建索引時(shí),通過settings開啟物理復(fù)制功能。
PUT index-1 { "settings": { "index.replication.type" : "segment" }
}



關(guān)閉物理復(fù)制功能

  1. 關(guān)閉索引。
    POST index-1/_close
  2. 更新索引settings,關(guān)閉物理復(fù)制功能。
    PUT index-1/_settings
    {
    "index.replication.type" : null }
  3. 打開索引。
    POST index-1/_open



為已有索引開啟物理復(fù)制功能

  1. 將索引的副本數(shù)設(shè)置為0。
    PUT index-1/_settings
    { "index.number_of_replicas": 0 }
  2. 關(guān)閉索引。
    POST index-1/_close
  3. 更新索引settings,打開物理復(fù)制功能。
    PUT index-1/_settings
    { "index.replication.type" : "segment" }
  4. 打開索引。
    POST index-1/_open
  5. 將索引的副本數(shù)設(shè)置為1。 
    PUT index-1/_settings
    { "index.number_of_replicas": 1 }
如果您有其他問題,可以聯(lián)系北京志遠(yuǎn)天成阿里云代理商,為您提供一對(duì)一專業(yè)全面的技術(shù)服務(wù),同時(shí)新老阿里云會(huì)員,均可享受我公司代理商價(jià)格,歡迎咨詢歡迎咨詢.gif
PUT index-1/_settings
{ "index.number_of_replicas": 1 }