雲數據庫(RDS)

介紹

雲數據庫RDS(ApsaraDB for RDS,簡稱RDS)是一種穩定可靠、可彈性伸縮的在線數據庫服務。基於飛天分佈式系統和全SSD盤高性能存儲,支持MySQL、SQL Server、PostgreSQL和PPAS(高度兼容Oracle)引擎。目前實時計算支持的RDS引擎包括: MySQL。

通常受限於關係型模型,RDS對於大容量高併發請求的支持不如TableStore,因此在實時計算中,大部分情況是將RDS作爲結果表。但對於小批量數據、低併發的情況下,實時計算可以使用RDS作爲維表。

RDS維表DDL定義

RDS輸出表DDL定義

注意:

  1. RDS在公有云使用需要您授予實時計算代爲您訪問RDS權限,具體請參看角色授權。否則可能出現報錯」No Permission」的情況。

2.在實時計算中,下游數據庫使用MySQL等關係數據庫(對應的CONNECTOR爲TDDL和RDS),當實時計算頻繁寫某個表或者資源時,存在死鎖風險。高QPS/TPS或高併發寫入情況場景,一般不建議使用TDDL或者RDS作爲Flink Job的結果表,建議使用表格存儲(TableStore)作爲結果表,可以解決死鎖的問題。

RDS的使用

1. 數據存儲方式:

(若使用當前主張號的存儲資源)強烈建議在使用RDS的時候使用註冊數據存儲的功能,避免在升級擴容後連接不上給用戶造成不必要的損失!如果出現沒有使用的註冊數據存儲情況,一切後果概不負責.最終解釋權由實時計算團隊所有.

74

信息填寫如下:

  • 地域

選擇RDS的地域,建議您儘可能選擇和自己購買實時計算相同的地域。

  • Instance

填寫RDS實例ID,注意是實例ID,非實例名稱。

目前實時計算支持RDS的VPC網絡,請參看下屬章節實時計算使用RDS的VPC模式

  • DataBase

填寫連接的數據庫名稱。注意,是RDS的數據庫名稱,非Instance的名稱。

目前RDS使用白名單進行安全保證,實時計算需要爲RDS自動添加白名單,請參看實時計算使用RDS的VPC模式。否則實時計算可能連接不了RDS。

  • Username

數據庫登錄名稱。爲了和數據庫通信協議兼容,RDS在登錄用戶名/密碼處,不支持使用阿里雲的AccessId、AccessKey方式,推薦您爲實時計算讀寫RDS提供單獨的用戶名和密碼,分賬號管理更容易保證RDS系統安全。

  • Password

數據庫登錄密碼。爲了和數據庫通信協議兼容,RDS在登錄用戶名/密碼處,不支持使用阿里雲的AccessId、AccessKey方式,推薦您爲實時計算讀寫RDS提供單獨的用戶名和密碼,分賬號管理更容易保證RDS系統安全!

註冊成功後,選擇想要註冊的結果表

引用爲結果表:

2

最後結果:

2222

如果使用數據存儲的方式發生以下報錯情況,如下圖:

66

引起該報錯的原因是您在創建RDS實例時選擇的不是經典網絡,而是專有網絡(VPC模式),對於這種實例應該進行授權操作,步驟如下:

第一步:

頁面

第二步:

授權

第三步:

1

地域即RDS地域

Instance ID地址:

查看RDS的Instance ID地址頁面

如下圖:

31345

端口號查詢如下圖:

點擊管理

端口號

2. 明文方式:

若使用主賬號下的存儲資源,則不建議使用明文的方式使用RDS。

若使用的不是當前主賬號的存儲資源,跨屬主的數據存儲不能註冊。例如A用戶擁有RDS的實例A,但B用戶希望在實時計算使用實例A,目前實時計算暫不支持這種情況下使用數據存儲註冊的方式注入,需要使用明文的方式。

B用戶需要將作業with參數中的url,username,password,tablename參數按照實例A的信息填寫,如下圖:

明文

說明:使用VPC下的RDS時,url需填寫VPC授權頁面的Mapping IP:Mapping Port。例如:url='jdbc:mysql//Mapping IP:Mapping Port/庫名
Mapping IP和Mapping Port的查詢如下圖:
Mappingport

使用明文的方式需要用戶進行白名單設置。具體步驟如下:

如何添加RDS的白名單

部分數據存儲爲了自我的安全需求,提供白名單機制,即僅允許用戶指定的白名單IP地址中的訪問鏈接,其他不在白名單均予以拒絕,但同樣機制會攔住其他阿里雲產品寫入數據存儲的需求。以RDS爲例,新建的RDS數據庫是完全拒絕任何外部連接的,此時必須要添加訪問白名單,即加入訪問者的IP才能夠訪問RDS。同樣,對於實時計算需要將RDS作爲維表、結果表使用時候,需要多次讀寫數據庫,因此對於存在白名單機制的數據存儲而言,必須將實時計算的WebConsole以及執行節點(Worker)加入白名單才能夠連接RDS。說明如下:

RDS支持兩種訪問地址,包括內網地址、外網地址。針對RDS,您只需要補充實時計算白名單網段地址即可,具體範圍如下:

華東:

 
    
  1. 10.152.0.0/16,10.154.0.0/16,11.132.0.0/16,11.178.0.0/16,11.217.0.0/16,11.219.0.0/16,11.223.69.0/24,11.223.70.0/24,11.222.0.0/16

華北:

 
    
  1. 11.223.0.0/16

華南:

 
    
  1. 11.200.0.0/16

操作如下圖所示:

  • 登錄RDS管理控制檯,選擇目標實例。

  • 在實例菜單中選擇 數據安全性

  • 數據安全性頁面的默認分組後單擊修改,如下圖所示。您也可以使用自定義分組,單擊默認分組後的清空,刪除默認分組中的白名單,然後單擊添加白名單分組新建自定義分組。

d35

  • 在添加白名單分組 頁面刪除默認白名單 127.0.0.1,填寫自定義白名單後,單擊 確定,如下圖所示。 127.0.0.1 爲新建 RDS 實例的默認值,需要用戶在正式使用前進行修改。如果白名單隻包含了 127.0.0.1,則該實例禁止任何 IP 訪問。

e2

  • 參數說明如下:

    • 分組名稱:由 2~32 個字符的小寫字母,數字或下劃線組成、開頭需爲小寫字母,結尾需爲字母或數字。默認分組不可修改,且不可刪除。

    • 組內白名單:填寫可以訪問數據庫的 IP 地址或者 IP 段,IP 地址或者 IP 段間用英文逗號分隔。

其他的有關RDS白名單詳細說明請參考RDS相關文檔。

注意事項

問題描述

  • 運行中報錯異常棧,如圖所示:

    異常信息

解決方案

  • 將自己所在區域的IP添加至白名單,具體步驟請參考該文檔中的如何添加RDS的白名單進行添加。

華東:

 
     
  1. 10.152.0.0/16,10.154.0.0/16,11.132.0.0/16,11.178.0.0/16,11.217.0.0/16,11.219.0.0/16,11.223.69.0/24,11.223.70.0/24,11.222.0.0/16

華北:

 
     
  1. 11.223.0.0/16

華南:

 
     
  1. 11.200.0.0/16
本文轉自實時計算—— 雲數據庫(RDS)