巨量資料所帶來的影響力

現今環境中無論在任何時間、地點在裝置上都會持續產生資料,這些資料表面看似雜亂無章,但其實背後潛藏的價值是現代企業想要加以利用甚至是預測未來的重要依據。大數據並不是單單指資料量龐大,由於使用傳統資料庫的方法無法有效地分析這麼龐大的資料,所以大數據一詞才會在近十幾年來被熱烈的討論,其中,大數據的定義最廣為人知的就是三個V:

Volume:資料生成的數量。 Variety:資料實際的內容,內容不一定是泛指結構性資料,也有可能是非結構性資料,例如:圖片、影片。 Velocity:從資料的產生一直到把實際的結果交付給使用者的時間,時間越短,價值越高。

AWS 的大數據分析工具

分析大數據需要大量的計算能力,這些計算能力的大小可以根據輸入的數據量和分析類型而有所變化。在傳統架構上,因設備規模有限,導致硬體設備無法及時因應未來的需求;相比之下,在AWS上,您可以在幾分鐘內調整容量和計算能力,且讓您的系統及應用程式盡可能達到最好的效率。

在AWS有非常多支援大數據分析的相關服務,這些服務能夠幫助您更快的達到大數據分析的完整流程:

  • Amazon Kinesis:可即時收集串流資料並進行處理、短暫儲存,而無須等全部資料收集完畢。

  • Amazon Redshift:依照使用者需求調整規格或者擴展的資料倉儲服務,可同時大量平行查詢資料內容,所以效能比其他資料倉儲服務快上10倍,並且可延伸至 Amazon S3 所建立的 Data Lake,快速分析當中任意大小的資料。

  • AWS Lambda:Serverless服務,只要上傳程式碼以及設定串接其他AWS服務,Lambda就會依照事件觸發執行,只收取執行時間之費用。

  • Amazon EMR:AWS Managed Hadoop Framework。可即時佈建所需的運算資源(EC2),以執行資料密集型任務的應用程式。

  • Amazon Athena:Serverless的互動式查詢服務,可使用SQL語法直接對Amazon S3 裡面的資料查詢,支援多種標準格式JSON、CSV、Avro、ORC、Parquet。

  • AWS Glue:AWS Managed的ETL服務,可以使用該服務對數據進行排序、清理、分類。 使用AWS Glue,可以顯著降低創建ETL作業所需的成本,複雜性與時間。

  • Amazon QuickSight:由AWS提供商業分析服務(BI),可以隨時通過數據輕鬆構建視覺化呈現的資料內容。

AWS大數據分析與商業智慧(BI)工具的串接

大數據應用的重點在於最後的「分析」,這些分析的結果有助於公司管理階層訂定重要決策,而相較於冷冰冰的文字,人類的大腦更能接受圖像化的參考資訊,商業智慧工具即是透過圖像化、即時互動性的方式來讓使用者以更直覺的方式來瞭解資料真正的涵義,甚至能夠看見資料更深層的洞見進而預測未來的可行性。

AWS 大數據分析工具除了能跟原生的服務連接之外,更能跟許多的第三方軟體做串接,以下為商業智慧軟體 Tableau (了解更多) 在AWS上面串接的架構圖為例(了解更多):

Nextlink 快訊

最新消息:Nextlink 榮獲 AWS 100 Certified 認證 (了解更多)

最新消息:Nextlink 雲端解密 – 次世代雲端代管的安全防護 (了解更多)

客戶案例:東南旅行社 (了解更多)

AWS 產業新訊

Amazon QuickSight 推出樞紐分析表增強功能、跨結構描述加入等功能 (了解更多)

全新的Amazon DocumentDB(與MongoDB相容)服務正式推出 (了解更多)

AWS Backup – 自動且集中管理您的備份資料 (了解更多)

 

#Nextlink #AWS #BigData

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *