Apache Hadoop là một giải pháp mã nguồn mở cho tính toán phân tán trên dữ liệu lớn
Dữ liệu lớn là một thuật ngữ tiếp thị bao gồm toàn bộ ý tưởng về dữ liệu được khai thác từ các nguồn như công cụ tìm kiếm, mô hình mua hàng ở cửa hàng tạp hóa được theo dõi thông qua thẻ tích điểm, v.v. Trong thế giới hiện đại, Internet có rất nhiều các nguồn dữ liệu thường xuyên khiến quy mô không thể sử dụng được nếu không xử lý và quá trình xử lý sẽ mất một lượng thời gian đáng kinh ngạc bởi bất kỳ một máy chủ nào. Nhập Apache Hadoop
Ít thời gian hơn để xử lý dữ liệu
Bằng cách tận dụng kiến trúc Hadoop để phân phối các tác vụ xử lý trên nhiều máy trên một mạng , thời gian xử lý được giảm xuống một cách tự nhiên và câu trả lời có thể được xác định với số lượng hợp lý của thời gian. Apache Hadoop được chia thành hai thành phần khác nhau: thành phần lưu trữ và thành phần xử lý. Nói một cách đơn giản nhất, Hapood tạo ra một máy chủ ảo trong số nhiều máy vật lý . Trên thực tế, Hadoop quản lý giao tiếp giữa nhiều máy sao cho chúng làm việc với nhau chặt chẽ đến mức dường như chỉ có một máy làm việc trên các tính toán. Dữ liệu được phân phối trên nhiều máy sẽ được lưu trữ và các tác vụ xử lý được phân bổ và điều phối bởi kiến trúc Hadoop . Loại hệ thống này là một yêu cầu để chuyển đổi dữ liệu thô thành thông tin hữu ích trên quy mô đầu vào Dữ liệu lớn. Xem xét lượng dữ liệu mà Google nhận được mỗi giây từ người dùng nhập các yêu cầu tìm kiếm. Là một tổng thể dữ liệu, bạn sẽ không biết bắt đầu từ đâu, nhưng Hadoop sẽ tự động giảm tập dữ liệu thành các tập con dữ liệu nhỏ hơn, có tổ chức và gán tập con có thể quản lý này cho các tài nguyên cụ thể. Tất cả kết quả sau đó được báo cáo lại và tập hợp thành thông tin có thể sử dụng .
Máy chủ dễ cài đặt
Mặc dù hệ thống nghe có vẻ phức tạp, nhưng hầu hết các bộ phận chuyển động bị che khuất sau sự trừu tượng. Thiết lập máy chủ Hadoop khá đơn giản , chỉ cần cài đặt các thành phần máy chủ trên phần cứng đáp ứng yêu cầu hệ thống. Phần khó hơn là lập kế hoạch mạng máy tính mà máy chủ Hadoop sẽ sử dụng để phân phối các vai trò lưu trữ và xử lý. Điều này có thể liên quan đến việc thiết lập mạng cục bộ hoặc kết nối nhiều mạng với nhau trên Internet . Bạn cũng có thể sử dụng các dịch vụ đám mây hiện có và thanh toán cho một cụm Hadoop trên các nền tảng đám mây phổ biến như Microsoft Azure và Amazon EC2. Những điều này thậm chí còn dễ dàng hơn để cấu hình vì bạn có thể xoay chúng lên một cách đột ngột và sau đó ngắt các cụm khi bạn không cần chúng nữa. Các loại cụm này lý tưởng để thử nghiệm vì bạn chỉ trả tiền cho thời gian cụm Hadoop hoạt động.
Xử lý dữ liệu của bạn để có được thông tin bạn cần
Dữ liệu lớn là một nguồn tài nguyên cực kỳ mạnh mẽ, nhưng dữ liệu sẽ vô dụng trừ khi nó có thể được phân loại đúng cách và chuyển thành thông tin. Tại thời điểm hiện tại, Hadoop cluster cung cấp một phương pháp cực kỳ hiệu quả về chi phí để xử lý các bộ sưu tập dữ liệu này thành thông tin.
