October 13, 2021
BigData

BigData

Một nền tảng Dữ liệu Big Data không tích hợp, không có máy chủ cho các ứng dụng dữ liệu

big data diagram
big data diagram

What’s Next For Big Data

Google Cloud Platform cung cấp giải pháp Big Data, dựa trên nhiều năm đổi mới tại Google, cho phép bạn nắm bắt, xử lý, lưu trữ và phân tích dữ liệu của bạn trong một nền tảng duy nhất. Với Google Cloud Platform, bạn có thể tập trung vào việc tìm hiểu thông tin chi tiết trên dự án hay công việc của bạn trên Google Cloud hơn là quản lý cơ sở hạ tầng của mình và bạn có thể kết hợp các dịch vụ của bạn trên Google Cloud với các công cụ mã nguồn mở nếu cần, cả ở chế độ theo “batch” và “stream”.

whats next-big data
whats next-big data

Analytics Data Warehouse

Google BigQuery là kho dữ liệu phân tích với chi phí thấp được quản lý đầy đủ của Google. BigQuery không có máy chủ, không có cơ sở hạ tầng để quản lý nghĩa là chúng ta không xác định dung lượng của nó, bạn không cần phải đoán dung lượng cần thiết hoặc dự phòng quá mức và bạn không cần quản trị viên cơ sở dữ liệu, Google đã có công cụ xử lý cho bạn. Bạn có thể tập trung vào việc phân tích dữ liệu để tìm thông tin chi tiết có ý nghĩa trong công việc của bạn, Bạn sử dụng SQL quen thuộc và tận dụng mô hình trả tiền dùng bao nhiêu trả bấy nhiêu. BigQuery là nền tảng Phân tích dữ liệu mạnh mẽ được sử dụng bởi tất cả các loại tổ chức, từ khởi nghiệp đến các công ty lớn

speed guage.png
speed guage.png

Batch and Stream Data Processing

Google Cloud Dataflow cung cấp mô hình lập trình thống nhất và dịch vụ được quản lý để thực hiện nhiều mẫu xử lý dữ liệu bao gồm phân tích luồng, ETL và tính toán hàng loạt. Cloud Dataflow giải phóng bạn khỏi các tác vụ hoạt động như lập kế hoạch năng suất, quản lý tài nguyên và tối ưu hóa hiệu suất

batch stream data
batch stream data

Managed Hadoop & Spark

Sử dụng Google Cloud Dataproc dùng dịch vụ Spark và Hadoop được quản lý để dễ dàng xử lý các tập dữ liệu lớn bằng cách sử dụng các công cụ mạnh và mở trong hệ sinh thái dữ liệu Apache lớn. Kiểm soát chi phí của bạn bằng cách tạo các nhóm được quản lý có kích thước bất kỳ trong khoảng một phút và tắt chúng khi bạn hoàn tất, thanh toán cho những gì bạn sử dụng chứ không phải các nhóm nhàn rỗi. Cloud Dataproc tích hợp với các dịch vụ lưu trữ, tính toán và giám sát trên các sản phẩm Cloud Platform, tạo cho bạn một nền tảng xử lý dữ liệu mạnh mẽ và hoàn chỉnh

managed hadoop spark
managed hadoop spark

Powerful Data Exploration

Google Cloud Datalab (dựa trên Jupyter) để khám phá, cộng tác, phân tích và hình dung dữ liệu. Nó được tích hợp với BigQuery và Google Cloud Machine Learning giúp bạn dễ dàng truy cập vào các dịch vụ xử lý dữ liệu quan trọng

powerful data exploration
powerful data exploration

Tell great data stories to support better business decisions

Google Data Studio chuyển dữ liệu Google Cloud của bạn thành các trang tổng quan và báo cáo dễ đọc, biểu đồ, chia sẻ và tùy chỉnh được.

Dễ dàng truy cập vào tất cả các nguồn dữ liệu trên Google Cloud bạn cần để hiểu về doanh nghiệp của bạn và đưa ra quyết định tốt hơn.

beautifulreports
beautifulreports

Intelligent Data Preparation

Google Cloud Dataprep là dịch vụ dữ liệu thông minh để khám phá, làm sạch và chuẩn bị dữ liệu có cấu trúc và không có cấu trúc để phân tích. Cloud Dataprep không hoạt động và hoạt động ở bất kỳ quy mô nào. Không có cơ sở hạ tầng để triển khai hoặc quản lý. Chuẩn bị dữ liệu dễ dàng với các nhấp chuột và không có viết mã

Hiểu dữ liệu ngay lập tức với sự phân bố dữ liệu thị giác. Với mỗi cử chỉ trong Dataprep giao diện người dùng gợi ý và dự đoán chuyển đổi dữ liệu lý tưởng tiếp theo của bạn do đó bạn không phải viết mã

Cloud Dataprep sẽ tự động phát hiện các lược đồ, kiểu dữ liệu, các kết nối có thể và bất thường như các giá trị bị thiếu, các giá trị ngoài và các bản sao để bạn bỏ qua thời gian tiêu thụ dữ liệu của mình và đi đến phân tích dữ liệu

Cloud Dataprep không có máy chủ và không yêu cầu cài đặt phần mềm trả trước, chi phí cấp phép hoặc chi phí hoạt động liên tục. Cloud Dataprep sử dụng dịch vụ Google Cloud Dataflow mạnh mẽ bên dưới. Dịch vụ này sẽ đáp ứng nhu cầu của bạn để đáp ứng nhu cầu chuẩn bị dữ liệu ngày càng tăng của bạn để bạn có thể tập trung vào phân tích

fastprep
fastprep

Scalable Event Ingestion and Messaging Middleware

Google Cloud Pub / Sub là dịch vụ nhắn tin, quy mô lớn, đáng tin cậy, cho phép bạn gửi và nhận tin nhắn giữa các ứng dụng độc lập. Bạn có thể tận dụng tính linh hoạt của Cloud Pub / Sub để tách riêng các hệ thống và các thành phần được lưu trữ trên Cloud Platform hoặc bất cứ nơi nào trên Internet. Cloud Pub / Sub được thiết kế để cung cấp phân phối “ít nhất một lần” ở độ trễ thấp với khả năng mở rộng theo yêu cầu lên hàng chục triệu thư mỗi giây.

Sử dụng Cloud Pub / Sub để xuất bản và đăng ký dữ liệu từ nhiều nguồn, sau đó sử dụng Google Cloud Dataflow để hiểu dữ liệu của bạn, tất cả trong thời gian thực. Sử dụng Cloud Pub / Sub để giảm phụ thuộc giữa các thành phần của các ứng dụng phân tán. Cloud Pub / Sub là công nghệ nhắn tin tương tự được nhiều ứng dụng của Google sử dụng, từ Quảng cáo đến Gmail.

Cloud Pub / Sub được thiết kế để tích hợp nhanh với các hệ thống được lưu trữ trên Nền tảng đám mây của Google hoặc ở nơi khác, cho dù bạn cần truyền thông cá nhân từ một – đến – nhiều hoặc nhiều-với-nhiều

Cloud Pub / Sub được thiết kế để cung cấp phân phối “ít nhất một lần” bằng cách lưu trữ bản sao của tin nhắn trong nhiều khu vực để đảm bảo rằng người đăng ký có thể nhận được tin nhắn càng nhanh càng tốt. Tất cả các dữ liệu tin nhắn được mã hóa và bảo vệ trên dây và lúc nghỉ ngơi

Cloud Pub / Sub được quản lý đầy đủ và toàn cầu bằng cách thiết kế, tự động tận dụng các tài nguyên chuyên dụng trong mọi khu vực Nền tảng Google Cloud để đảm bảo khả năng sẵn sàng cao mà không bị giảm bớt độ trễ – ngay cả khi tải nặng. Mức độ sẵn sàng cao

scalable event
scalable event

Pham Van Tuyen

Anh Tuyen Pham là Tổng giám đốc của Cloud Ace Việt Nam và là GDG Cloud HCM Chapter Lead. Anh là diễn giả quen thuộc tại các sự kiện do Google tổ chức tại Việt Nam như Kubernetes Vietnam, Google Cloud Next Extended. Anh đã có các chứng chỉ của Google Cloud như Google Cloud Architect và Data Engineer.

View all posts by Pham Van Tuyen →