Hệ thống Kỹ nghệ Phần mềm cho Khoa học Dữ liệu (Software Engineering for Data Science) hoàn chỉnh, được thiết kế để dự đoán tỷ lệ khách hàng rời bỏ (churn) trên các nền tảng thương mại điện tử. Khác với các thử nghiệm phân mảnh trên notebook, khung kiến trúc này được tổ chức thành một pipeline mô-đun hóa, có tính tái lập cao và tích hợp công cụ theo dõi, giám sát MLOps chuyên biệt.
Giá trị Thực tiễn & Tác động Nghiệp vụ
| Trụ cột | Mô tả Vận hành | Chỉ số Mục tiêu |
|---|---|---|
| Sàng lọc Độ chính xác cao | Nhận diện sớm các tài khoản có nguy cơ rời bỏ cao nhằm triển khai chiến dịch giữ chân kịp thời | F1-Score > 0.85 |
| Phân tích Căn nguyên SHAP | Áp dụng lý thuyết trò chơi để bóc tách chính xác các điểm nghẽn trải nghiệm khiến khách hàng rời đi | Tính nhân quả rõ ràng |
| Tối ưu Chi phí Tiếp thị | Tập trung ngân sách ưu đãi và voucher giữ chân vào đúng nhóm khách hàng có giá trị cao nhất | Tối ưu hóa ROI |
| Quản trị Mô hình (Governance) | Quản lý phiên bản dữ liệu, đăng ký mô hình (model registry), cảnh báo trôi dạt (drift alerts) tự động | Hoạt động liên tục |
Kiến trúc Pipeline & Luồng Dữ liệu
%%{init: {'theme':'base', 'themeVariables': { 'primaryColor':'#1e1e2d','primaryTextColor':'#fff','primaryBorderColor':'#3b82f6','lineColor':'#60a5fa'}}}%%
flowchart TB
START(["🎬 BẮT ĐẦU"])
FINISH(["✨ HOÀN TẤT"])
INPUT[("📥 DỮ LIỆU THÔ
Tập dữ liệu Thương mại Điện tử
Nạp bảng tính")] subgraph S1 ["📊 GIAI ĐOẠN 1: Khám phá Dữ liệu (EDA)"] direction TB B1["📂 Nạp Dữ liệu Thô"] B2["🔍 Đánh giá Giá trị Khuyết thiếu"] B3["📈 Phân tích Ma trận Tương quan"] B4["📊 Kiểm tra Phân phối & Độ lệch"] B5["⚠️ Phát hiện Điểm ngoại lai & Ngưỡng IQR"] B1 ==> B2 ==> B3 ==> B4 ==> B5 end subgraph S2 ["🧹 GIAI ĐOẠN 2: Tiền xử lý Dữ liệu"] direction TB C1["🔧 Làm sạch & Chuẩn hóa
✓ Loại bỏ trùng lặp & bất thường schema
✓ Chuẩn hóa định danh phân loại
✓ Sửa lỗi kiểu dữ liệu"] C2["✅ Cổng Kiểm định Chất lượng"] C3["✂️ Phân tầng Tập mẫu
80% Huấn luyện | 20% Kiểm thử"] C1 ==> C2 ==> C3 end subgraph S3 ["⚙️ GIAI ĐOẠN 3: Chuyển đổi Không Rò rỉ Dữ liệu"] direction LR D1["🎯 TẬP HUẤN LUYỆN"] D2["🔨 FIT + TRANSFORM
• Điền khuyết vị trí (Median/Mode)
• Giới hạn ngoại lai IQR
• Kỹ nghệ đặc trưng
• Mã hóa & Chuẩn hóa thang đo"] D3{{"📦 THAM SỐ ĐÃ HỌC
Bộ điền khuyết | Ngưỡng Clip
Bộ mã hóa | Scaler chuẩn hóa"}} D4["🧪 TẬP KIỂM THỬ"] D5["🎨 TRANSFORM ONLY
Áp dụng nghiêm ngặt tham số đã học từ tập huấn luyện"] D1 ==> D2 D2 ==> D3 D3 -.->|"lưu trữ"| D2 D4 ==> D5 D3 ==>|"áp dụng"| D5 end subgraph S4 ["🎓 GIAI ĐOẠN 4: Huấn luyện Đa mô hình & Cân bằng"] direction TB E1["⚖️ Cân bằng Nhãn
Kết hợp lai SMOTE + Tomek Links"] E2["🤖 Huấn luyện 6 Nhóm Mô hình
Logistic Regression | SVM | Decision Tree
Random Forest | XGBoost | AdaBoost"] E3["🔍 Tối ưu Siêu tham số Tự động
RandomizedSearchCV với Stratified K-Fold"] E4["🏆 Lựa chọn Mô hình Xuất sắc nhất
Xếp hạng theo F1-Score & ROC-AUC"] E1 ==> E2 ==> E3 ==> E4 end subgraph S5 ["📈 GIAI ĐOẠN 5: Đánh giá & Khả năng Giải thích"] direction TB F1["📊 Phân tích Ma trận Nhầm lẫn"] F2["📉 Đường cong ROC-AUC & Precision-Recall"] F3["🎯 Tầm quan trọng Đặc trưng (Permutation)"] F4["📋 Ma trận So sánh Hiệu năng"] F5["🔬 Giải thích Mô hình bằng SHAP"] F1 ==> F2 ==> F3 ==> F4 ==> F5 end subgraph S6 ["📦 GIAI ĐOẠN 6: Tích hợp MLOps Tùy biến"] direction TB G1["📝 Theo dõi Thử nghiệm (JSON/YAML Snapshots)"] G2["🗃️ Đăng ký & Quản lý Phiên bản Mô hình"] G3["🔖 Quản lý Phiên bản Dữ liệu"] G4["👁️ Giám sát Sức khỏe & Trôi dạt Mô hình"] G1 ==> G2 ==> G3 ==> G4 end OUTPUT[("💾 HIỆN THỰC ĐÃ LƯU TRỮ
experiments/
registry/
monitoring/")] START ==> INPUT INPUT ==> S1 S1 ==> S2 S2 ==> S3 S3 ==> S4 S4 ==> S5 S5 ==> S6 S6 ==> OUTPUT OUTPUT ==> FINISH
Tập dữ liệu Thương mại Điện tử
Nạp bảng tính")] subgraph S1 ["📊 GIAI ĐOẠN 1: Khám phá Dữ liệu (EDA)"] direction TB B1["📂 Nạp Dữ liệu Thô"] B2["🔍 Đánh giá Giá trị Khuyết thiếu"] B3["📈 Phân tích Ma trận Tương quan"] B4["📊 Kiểm tra Phân phối & Độ lệch"] B5["⚠️ Phát hiện Điểm ngoại lai & Ngưỡng IQR"] B1 ==> B2 ==> B3 ==> B4 ==> B5 end subgraph S2 ["🧹 GIAI ĐOẠN 2: Tiền xử lý Dữ liệu"] direction TB C1["🔧 Làm sạch & Chuẩn hóa
✓ Loại bỏ trùng lặp & bất thường schema
✓ Chuẩn hóa định danh phân loại
✓ Sửa lỗi kiểu dữ liệu"] C2["✅ Cổng Kiểm định Chất lượng"] C3["✂️ Phân tầng Tập mẫu
80% Huấn luyện | 20% Kiểm thử"] C1 ==> C2 ==> C3 end subgraph S3 ["⚙️ GIAI ĐOẠN 3: Chuyển đổi Không Rò rỉ Dữ liệu"] direction LR D1["🎯 TẬP HUẤN LUYỆN"] D2["🔨 FIT + TRANSFORM
• Điền khuyết vị trí (Median/Mode)
• Giới hạn ngoại lai IQR
• Kỹ nghệ đặc trưng
• Mã hóa & Chuẩn hóa thang đo"] D3{{"📦 THAM SỐ ĐÃ HỌC
Bộ điền khuyết | Ngưỡng Clip
Bộ mã hóa | Scaler chuẩn hóa"}} D4["🧪 TẬP KIỂM THỬ"] D5["🎨 TRANSFORM ONLY
Áp dụng nghiêm ngặt tham số đã học từ tập huấn luyện"] D1 ==> D2 D2 ==> D3 D3 -.->|"lưu trữ"| D2 D4 ==> D5 D3 ==>|"áp dụng"| D5 end subgraph S4 ["🎓 GIAI ĐOẠN 4: Huấn luyện Đa mô hình & Cân bằng"] direction TB E1["⚖️ Cân bằng Nhãn
Kết hợp lai SMOTE + Tomek Links"] E2["🤖 Huấn luyện 6 Nhóm Mô hình
Logistic Regression | SVM | Decision Tree
Random Forest | XGBoost | AdaBoost"] E3["🔍 Tối ưu Siêu tham số Tự động
RandomizedSearchCV với Stratified K-Fold"] E4["🏆 Lựa chọn Mô hình Xuất sắc nhất
Xếp hạng theo F1-Score & ROC-AUC"] E1 ==> E2 ==> E3 ==> E4 end subgraph S5 ["📈 GIAI ĐOẠN 5: Đánh giá & Khả năng Giải thích"] direction TB F1["📊 Phân tích Ma trận Nhầm lẫn"] F2["📉 Đường cong ROC-AUC & Precision-Recall"] F3["🎯 Tầm quan trọng Đặc trưng (Permutation)"] F4["📋 Ma trận So sánh Hiệu năng"] F5["🔬 Giải thích Mô hình bằng SHAP"] F1 ==> F2 ==> F3 ==> F4 ==> F5 end subgraph S6 ["📦 GIAI ĐOẠN 6: Tích hợp MLOps Tùy biến"] direction TB G1["📝 Theo dõi Thử nghiệm (JSON/YAML Snapshots)"] G2["🗃️ Đăng ký & Quản lý Phiên bản Mô hình"] G3["🔖 Quản lý Phiên bản Dữ liệu"] G4["👁️ Giám sát Sức khỏe & Trôi dạt Mô hình"] G1 ==> G2 ==> G3 ==> G4 end OUTPUT[("💾 HIỆN THỰC ĐÃ LƯU TRỮ
experiments/
registry/
monitoring/")] START ==> INPUT INPUT ==> S1 S1 ==> S2 S2 ==> S3 S3 ==> S4 S4 ==> S5 S5 ==> S6 S6 ==> OUTPUT OUTPUT ==> FINISH
Nguyên tắc Nghiêm ngặt Không Rò rỉ Dữ liệu (Zero Data Leakage)
Một nguyên tắc kỹ thuật cốt lõi được thực thi xuyên suốt framework là sự phân tách tuyệt đối giữa thống kê tập huấn luyện và dữ liệu kiểm thử độc lập.
[!IMPORTANT] Quy tắc Quản trị Dữ liệu Nghiêm ngặt: Tất cả tham số thống kê (trung vị điền khuyết, ngưỡng clip IQR, từ điển mã hóa phân loại, giá trị trung bình/phương sai chuẩn hóa) chỉ được học duy nhất trên Tập Huấn luyện (Train Set). Tập Kiểm thử (Test Set) chỉ được chuyển đổi bằng cách áp dụng các tham số này (
transform(), tuyệt đối không gọifit_transform()).
Thông số Kỹ thuật Cốt lõi
- Cân bằng Nhãn Lai (SMOTE + Tomek Links): Kết hợp sinh mẫu thiểu số (SMOTE) với cơ chế lọc cặp Tomek Links để loại bỏ các điểm nhiễu sát ranh giới phân định, tạo biên quyết định sắc nét cho bài toán churn.
- Đánh giá Đa Họ Mô hình: Huấn luyện và kiểm định chéo có hệ thống trên 6 họ phân loại (
LogisticRegression,SVC,DecisionTreeClassifier,RandomForestClassifier,XGBClassifier,AdaBoostClassifier) bằngRandomizedSearchCV. - MLOps Registry & Giám sát Chuyên dụng: Ghi nhận snapshot siêu tham số, mã băm Git commit, chỉ số đánh giá và mô hình đã tuần tự hóa vào cấu trúc
outputs/registry/với các kịch bản kiểm thử triển khai tự động. - Giải thích Mô hình Minh bạch với SHAP: Phân tích giá trị đóng góp Shapley toàn cục và cục bộ, trực quan hóa mức độ ảnh hưởng của thời gian gắn bó, tần suất giao dịch và điểm hài lòng của khách hàng.