什么是TuGraph

    TuGraph圖數(shù)據(jù)庫(kù)由螞蟻集團(tuán)與清華大學(xué)聯(lián)合研發(fā)，構(gòu)建了一套包含圖存儲(chǔ)、圖計(jì)算、圖學(xué)習(xí)、圖研發(fā)平臺(tái)的完善的圖技術(shù)體系，擁有業(yè)界領(lǐng)先規(guī)模的圖集群，解決了圖數(shù)據(jù)分析面臨的大數(shù)據(jù)量、高吞吐率和低延遲等重大挑戰(zhàn)，是螞蟻集團(tuán)金融風(fēng)控能力的重要基礎(chǔ)設(shè)施，顯著提升了欺詐洗錢(qián)等金融風(fēng)險(xiǎn)的實(shí)時(shí)識(shí)別能力和審理分析效率，并面向金融、工業(yè)、政務(wù)服務(wù)等行業(yè)客戶(hù)。

TuGraph特性

    TuGraph是支持大數(shù)據(jù)量、低延遲查找和快速圖分析功能的高效圖數(shù)據(jù)庫(kù)。TuGraph也是基于磁盤(pán)的數(shù)據(jù)庫(kù)，支持存儲(chǔ)多達(dá)數(shù)十TB的數(shù)據(jù)。TuGraph提供多種API，使用戶(hù)能夠輕松構(gòu)建應(yīng)用程序，并使其易于擴(kuò)展和優(yōu)化。

    它具有如下功能特征：

        屬性圖模型

        實(shí)時(shí)增刪查改

        多重圖(點(diǎn)間允許多重邊)

        多圖(大圖與多個(gè)子圖)

        完善的ACID事務(wù)處理，隔離級(jí)別為可串行化(serializable)

        點(diǎn)邊索引

        混合事務(wù)和分析處理(HTAP)，支持圖查詢(xún)、圖分析、圖學(xué)習(xí)

        主流圖查詢(xún)語(yǔ)言(OpenCypher、ISO GQL等)

        支持OLAP API，內(nèi)置30多種圖分析算法

        基于C++/Python的存儲(chǔ)過(guò)程，含事務(wù)內(nèi)并行Traversal API

        提供圖可視化工具

    在性能和可擴(kuò)展性方面的支持：

        千萬(wàn)點(diǎn)/秒的高吞吐率

        TB級(jí)大容量

        高可用性支持

        高性能批量導(dǎo)入

        在線(xiàn)/離線(xiàn)的備份恢復(fù)

TuGraph社區(qū)版

    2022年9月，TuGraph單機(jī)版開(kāi)源，提供了完備的圖數(shù)據(jù)庫(kù)基礎(chǔ)功能和成熟的產(chǎn)品設(shè)計(jì)，支持TB級(jí)別的數(shù)據(jù)規(guī)模，為用戶(hù)管理和分析復(fù)雜關(guān)聯(lián)數(shù)據(jù)提供了高效、易用、可靠的平臺(tái)。

    TuGraph社區(qū)版于2022年9月開(kāi)源，提供了完整的圖數(shù)據(jù)庫(kù)基礎(chǔ)功能和成熟的產(chǎn)品設(shè)計(jì)(如ACID兼容的事務(wù)、編程API和配套工具等)，適用于單實(shí)例部署。社區(qū)版支持TB級(jí)別的數(shù)據(jù)規(guī)模，為用戶(hù)管理和分析復(fù)雜關(guān)聯(lián)數(shù)據(jù)提供了高效、易用、可靠的平臺(tái)，是學(xué)習(xí)TuGraph和實(shí)現(xiàn)小型項(xiàng)目的理想選擇。

TuGraph企業(yè)版

    企業(yè)版對(duì)商業(yè)化功能支持更加完善，包括分布式集群架構(gòu)，覆蓋探索、研發(fā)、服務(wù)、運(yùn)維管理全生命周期的一站式圖平臺(tái)，在線(xiàn)、近線(xiàn)、離線(xiàn)的圖計(jì)算引擎，支持流式、大數(shù)據(jù)類(lèi)數(shù)據(jù)源，多地多中心的部署形態(tài)，以及專(zhuān)家支持服務(wù)等。企業(yè)版是商業(yè)化解決方案的理想選擇。

核心功能

    查詢(xún)語(yǔ)言

    TuGraph 提供 Cypher 圖查詢(xún)語(yǔ)言，遵循OpenCypher標(biāo)準(zhǔn)。

    支持Procedure嵌入

    可插拔優(yōu)化框架 各類(lèi)優(yōu)化功能

    可擴(kuò)展安全性檢查框架 對(duì)于cypher進(jìn)行

    存儲(chǔ)過(guò)程

    當(dāng)用戶(hù)需要表達(dá)的查詢(xún)/更新邏輯較為復(fù)雜(例如 Cypher 無(wú)法描述，或是對(duì)性能要求較高)時(shí)，相比調(diào)用多個(gè) REST 請(qǐng)求并在客戶(hù)端完成整個(gè) 處理流程的方式，TuGraph 提供的存儲(chǔ)過(guò)程(Procedure)是更簡(jiǎn)潔和高效的選擇。

    從 3.5 版本開(kāi)始，TuGraph 重新設(shè)計(jì)了新的存儲(chǔ)過(guò)程編程范式，支持定義標(biāo)準(zhǔn)的簽名和結(jié)果，支持POG編程。

    TuGraph 支持 POG (Procedres on Graph Query Languages) 編程和 POG 庫(kù)，其中“Graph Query Languages”包含 Cypher 以及 制定中的 ISO GQL 等圖查詢(xún)語(yǔ)言。POG 庫(kù)提供在查詢(xún)語(yǔ)言中對(duì)用戶(hù)定義的存儲(chǔ)過(guò)程的訪(fǎng)問(wèn)，打破了查詢(xún)語(yǔ)言和存儲(chǔ)過(guò)程之間的界限，擴(kuò)展了查詢(xún) 語(yǔ)言的使用范圍。

    這個(gè)文檔描述了 新的 Procedure 編程范式以及 POG。

    數(shù)據(jù)導(dǎo)入導(dǎo)出

    盡管TuGraph本身支持?jǐn)?shù)據(jù)的插入，但批量導(dǎo)入能夠大幅提升的效率。導(dǎo)入的功能可以分為空庫(kù)導(dǎo)入(離線(xiàn)導(dǎo)入)和增量導(dǎo)入，前者指子圖是空的時(shí)候進(jìn)行導(dǎo)入，額外的假設(shè)能夠大幅提升導(dǎo)入的性能，在 TuGraph 中，空庫(kù)導(dǎo)入和增量導(dǎo)入的吞吐率差了10 倍。在數(shù)據(jù)導(dǎo)出中，需要考慮導(dǎo)出數(shù)據(jù)的一致性，即是基于一個(gè)快照數(shù)據(jù)導(dǎo)出的。

    TuGraph 可以通過(guò) 命令行工具lgraph_export 來(lái)對(duì)已經(jīng)存放在TuGraph的圖數(shù)據(jù)進(jìn)行數(shù)據(jù)導(dǎo)出，導(dǎo)出格式支持CSV和JSON。

    備份恢復(fù)

    TUGraph的備份在功能上可分為主動(dòng)/定時(shí)、離線(xiàn)/在線(xiàn)、全量/增量備份，用盡量小的存儲(chǔ)和計(jì)算代價(jià)來(lái)完成備份。恢復(fù)功能可以恢復(fù)到最新的狀態(tài)，或者歷史標(biāo)注的時(shí)間點(diǎn)，需要保證數(shù)據(jù)庫(kù)是一致的狀態(tài)。

    數(shù)據(jù)預(yù)熱

    TuGraph 是基于磁盤(pán)的圖數(shù)據(jù)庫(kù)，僅當(dāng)訪(fǎng)問(wèn)數(shù)據(jù)時(shí)，數(shù)據(jù)才會(huì)加載到內(nèi)存中。因此在服務(wù)器剛開(kāi)啟后的一段時(shí)間內(nèi)，系統(tǒng)性能可能會(huì)由于頻繁的 IO 操作而變差。此時(shí)我們可以通過(guò)事先進(jìn)行數(shù)據(jù)預(yù)熱來(lái)改善這一問(wèn)題。

    高可用

    高可用是指通過(guò)通過(guò)集群配置，做到實(shí)時(shí)多副本數(shù)據(jù)熱備，在部分副本不用時(shí)，集群仍然能正常提供服務(wù)，TuGraph采用 RAFT 協(xié)議的多機(jī)熱備機(jī)制，能夠?qū)?RPO 降低到接近 0 的程度。TuGraph 選擇在計(jì)算層進(jìn)行數(shù)據(jù)同步，同步的對(duì)象是寫(xiě)操作，通過(guò) RPC 接口快速同步。TuGraph 的高可用集群采用主從模式，只有主節(jié)點(diǎn)處理寫(xiě)請(qǐng)求，主從節(jié)點(diǎn)均能處理讀請(qǐng)求。主節(jié)點(diǎn)的寫(xiě)請(qǐng)求處理需要同步到多于二分之一的總節(jié)點(diǎn)上，多數(shù)節(jié)點(diǎn)寫(xiě)成功，該寫(xiě)請(qǐng)求才算完成。

應(yīng)用場(chǎng)景

    金融領(lǐng)域

    金融領(lǐng)域的實(shí)體主要涉及人、公司、賬戶(hù)、產(chǎn)品等，它們之間的關(guān)系包括交易關(guān)系、登錄關(guān)系、股權(quán)關(guān)系、雇傭關(guān)系等。這些實(shí)體構(gòu)成了一張金融圖數(shù)據(jù)網(wǎng)絡(luò)。應(yīng)用圖數(shù)據(jù)庫(kù)，我們可以從金融圖數(shù)據(jù)網(wǎng)絡(luò)里發(fā)掘出大量有用信息，幫助我們做出更準(zhǔn)確的金融決策。

    工業(yè)領(lǐng)域

    在生產(chǎn)和制造過(guò)程中會(huì)產(chǎn)生大量異構(gòu)數(shù)據(jù)，如何有效的組織和管理這些數(shù)據(jù)是工業(yè)大數(shù)據(jù)中最重要的問(wèn)題之一。這些數(shù)據(jù)包括設(shè)計(jì)文檔、設(shè)備數(shù)據(jù)、仿真方案和結(jié)果、實(shí)驗(yàn)結(jié)果、經(jīng)驗(yàn)文檔等，關(guān)系錯(cuò)綜復(fù)雜。傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)只能累積數(shù)據(jù)，而查找相關(guān)材料則往往力不從心。使用圖模型，將這些不同類(lèi)型的數(shù)據(jù)組織成一張網(wǎng)絡(luò)，就可以方便地瀏覽和查找數(shù)據(jù)。

    智慧城市

    隨著科技的發(fā)展，城市的智能化管理已成為一個(gè)大趨勢(shì)。智能化管理需要建立在良好的信息管理平臺(tái)之上，因此需要強(qiáng)大的系統(tǒng)軟件做支撐。在智能化城市管理系統(tǒng)中，智能化決策系統(tǒng)需要基于大量不同信息做出決策，這些信息包括各種拓?fù)湫畔?道路、管線(xiàn))，供求信息(電力輸送、飲用水供應(yīng)、污水排放)，環(huán)境信息(溫度、濕度、雨量)等。要將這些復(fù)雜的異構(gòu)數(shù)據(jù)有機(jī)管理起來(lái)，并基于它們做出決策，就需要一個(gè)成熟的系統(tǒng)。傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)基于關(guān)系數(shù)據(jù)模型，并不適合管理這種復(fù)雜異構(gòu)數(shù)據(jù)。而使用圖模型就可以很好的解決這一問(wèn)題。如果我們將這些不同的數(shù)據(jù)利用圖數(shù)據(jù)庫(kù)進(jìn)行管理，就可以實(shí)現(xiàn)很多復(fù)雜的智能管理場(chǎng)景。

    社會(huì)治理

    社會(huì)治理包括公共安全、法律事務(wù)、輿論、網(wǎng)絡(luò)安全等多方面。社會(huì)治理是一個(gè)綜合性的、多系統(tǒng)聯(lián)動(dòng)問(wèn)題。它需要綜合大量數(shù)據(jù)、全局考量才能做出更好的決策。在這種多維度復(fù)雜數(shù)據(jù)問(wèn)題上，圖數(shù)據(jù)模型可以提供更好的適應(yīng)性，從而為智能化的社會(huì)治理決策平臺(tái)提供堅(jiān)實(shí)的基礎(chǔ)。

    互聯(lián)網(wǎng)

    人—人關(guān)系的社交網(wǎng)絡(luò)、人—商品的購(gòu)買(mǎi)關(guān)系都能構(gòu)成圖。通過(guò)分析這些網(wǎng)絡(luò)數(shù)據(jù)，我們可以為用戶(hù)提供更優(yōu)質(zhì)的服務(wù)，包括相關(guān)推薦、用戶(hù)信息歸集、重要用戶(hù)識(shí)別、垃圾用戶(hù)識(shí)別等。