Bỏ qua nội dung chính
Các dự án Big Data mã nguồn mở chất lượng cao cho Java

Các dự án Big Data trải rộng trên các lĩnh vực tính toán, lưu trữ, tích hợp dữ liệu và lakehouse, không thể chỉ so sánh chúng theo chiều ngang dựa trên độ phổ biến. Trước tiên hãy xác định vấn đề cần giải quyết, sau đó chọn dự án ở tầng tương ứng.

Distributed computing

  • Apache Hadoop: Dự án nền tảng của hệ sinh thái lưu trữ phân tán và batch processing, bao gồm các module cốt lõi như HDFS, MapReduce và YARN.
  • Apache Spark: Unified analytics engine dùng để xử lý dữ liệu quy mô lớn, bao phủ các trường hợp sử dụng như batch processing, stream processing, SQL và machine learning.
  • Apache Flink: Stateful computing framework hướng đến bounded và unbounded data stream, thường được dùng cho xử lý dữ liệu real-time và các tác vụ stream-batch thống nhất.
  • Apache Beam: Programming model dùng để mô tả thống nhất các tác vụ batch processing và stream processing, có thể chạy cùng một Pipeline trên các engine như Flink và Spark thông qua các Runner khác nhau.
  • Apache Storm: Hệ thống distributed real-time computing, phù hợp để tìm hiểu kiến trúc stream processing thời kỳ đầu. Khi chọn công nghệ cho dự án mới, nên đồng thời so sánh với Flink và Spark Structured Streaming.
Guide18/9/26Khoảng 2 phútDự án mã nguồn mở
Các dự án thực chiến Java mã nguồn mở chất lượng

Dự án thực chiến phù hợp để quan sát cách mô hình hóa nghiệp vụ, kiểm soát quyền, truy cập dữ liệu, kiểm thử và deploy. Trước khi đưa vào CV, ít nhất hãy hoàn thành việc chạy local, hiểu một chuỗi nghiệp vụ cốt lõi và thực hiện một thay đổi có thể giải thích.

Dự án mẫu chính thức

  • Spring Petclinic: ứng dụng mẫu do Spring chính thức duy trì. Quy mô nghiệp vụ không lớn, nhưng ranh giới giữa Web, truy cập dữ liệu, validation và kiểm thử khá rõ ràng, phù hợp để lần đầu đọc trọn vẹn một ứng dụng Spring.
Guide18/9/26Khoảng 6 phútDự án mã nguồn mở
Các thư viện công cụ mã nguồn mở Java thường dùng

Trang này tập hợp các Java library được thêm vào code thông qua Maven hoặc Gradle. GUI, CLI và management platform cần cài đặt hoặc deploy riêng được đặt trong Development Tools.

Công cụ cơ bản

  • Lombok: tạo getter, setter, equals, hashCode, toString, constructor và các boilerplate code khác thông qua annotation. Nó phụ thuộc vào compile-time annotation processing, vì vậy trước khi sử dụng trong team cần thống nhất IDE plugin và build configuration.
  • Guava: Java core library do Google duy trì, cung cấp Multimap, Multiset, BiMap, immutable collection cùng các công cụ I/O, hash và xử lý string.
  • Hutool: Java utility library tổng hợp, bao phủ các thao tác thường gặp như file, string, date, encryption, cache và logging. Có khá nhiều module, nên đưa vào theo nhu cầu thực tế, tránh xem nó là đáp án mặc định cho mọi vấn đề.
Guide18/9/26Khoảng 4 phútDự án mã nguồn mở