Dạo này AI nó tự động mọi thứ, từ viết code đến train model, nhiều người bắt đầu lo "ủa thế Data Scientist giờ thất nghiệp à?" Nhưng thực ra không phải vậy đâu! Khi mà công cụ AutoML và AI sinh code ngày càng xịn xò thì điều quan trọng nhất không phải là bạn gõ code nhanh như Thánh, mà là bạn có hiểu Tư duy Thống kê không đó!
1. "Bẫy Hộp Đen" Trong AutoML - Nghe Fancy Nhưng Toang Thật
AutoML nghe thì pro lắm, tự động train hàng trăm model từ Hồi quy tuyến tính, Random Forest đến mạng nơ-ron siêu phức tạp, rồi chọn ra cái nào có $R^2$ hay Accuracy cao nhất. Nghe xịn đúng không?
Nhưng mà vấn đề là nó chỉ chạy theo con số thuần túy thôi, không hiểu ngữ cảnh gì cả. Kết quả là dễ dính phốt kinh khủng mà chỉ có người hiểu thống kê mới phát hiện được:
Overfitting và Data Leakage - Drama Kinh Điển
AutoML dễ bị lừa cực kỳ bởi hiện tượng rò rỉ thông tin. Kiểu model nó train thì sai số gần bằng $0$ luôn, nhưng đem ra đời thực thì... chạy lung tung.
Người hiểu thống kê sẽ biết phải cân bằng giữa Bias và Variance qua công thức:
$$Error = Bias^2 + Variance + \sigma^2$$
Trong đó $\sigma^2$ là sai số ngẫu nhiên không thể giảm được. Nếu cứ mù quáng tối ưu mà không hiểu bản chất phân phối xác suất thì chỉ tăng Variance, làm model mất khả năng tổng quát hóa thôi.
Multicollinearity - Khi Các Biến "Thân Nhau Quá"
Khi nhiều biến độc lập trong model có quan hệ tuyến tính mạnh với nhau, hệ số ước lượng sẽ bị sai lệch nghiêm trọng. AutoML thì bỏ qua luôn, dẫn đến việc giải thích model bị ngược đời (biến đáng lẽ tích cực lại thành âm). Chỉ có Data Scientist hiểu VIF (Variance Inflation Factor) mới xử được vụ này!
2. Feature Engineering - Nghệ Thuật Biến Rác Thành Vàng
Có câu kinh điển trong ngành: "Garbage In, Garbage Out" - Cho rác vào thì ra cũng rác thôi! AutoML không thể tự sáng tạo ra features chiến lược nếu không có sự can thiệp của tư duy thống kê đâu nhé.
Ví dụ bài toán chấm điểm tín dụng ngân hàng nè: dữ liệu thô chỉ có Số dư tài khoản và Lịch sử thu nhập. AutoML sẽ đưa thẳng 2 biến này vào model.
Nhưng một Data Scientist thực thụ sẽ chuẩn hóa theo phân phối chuẩn:
Trong đó $\mu$ là giá trị trung bình và $\sigma$ là độ lệch chuẩn. Rồi kết hợp tạo ra chỉ số mới kiểu như tỷ lệ nợ trên thu nhập. Làm vậy độ chính xác model tăng vọt luôn, không phải dạng vừa đâu!
3. Regularization - Khi Toán Học Giữ Model Không Phình To
Khi số lượng features tăng, model hồi quy dễ bị overfitting lắm. Lúc này phải dùng L1 (Lasso) hoặc L2 (Ridge) để điều chỉnh, thêm lượng phạt vào Loss Function:
L1 (Lasso):
L2 (Ridge):
Hệ số $\lambda$ điều khiển mức độ phạt. Lasso ($\text{L1}$) còn xịn hơn là có thể triệt tiêu hẳn hệ số của biến không quan trọng về $0$, giúp chọn lọc features tự động cực kỳ tối ưu. Hiểu cơ chế này thì mới chủ động tinh chỉnh được, chứ không phải để máy tính tự mò!
4. A/B Testing - Chứng Minh Bằng Khoa Học Chứ Không Phải "Tui Thấy Vậy"
Trong kinh doanh, mọi thay đổi (đổi giao diện web, đổi giá...) đều phải chứng minh hiệu quả bằng A/B Testing. AutoML không biết làm việc này đâu nhé!
Data Scientist phải:
• Thiết lập giả thuyết Không ($H_0$): Thay đổi không ảnh hưởng gì đến doanh thu
• Thiết lập giả thuyết Đối ($H_1$): Thay đổi có tác động thực sự
• Dùng t-test hoặc z-test tính p-value
Nếu p-value $< 0.05$ thì mới đủ cơ sở bác bỏ $H_0$ và quyết định thay đổi. Không có tư duy này dễ bị lừa bởi "ngẫu nhiên" lắm - kiểu tưởng doanh thu tăng do đổi giao diện, hoá ra chỉ là biến động tự nhiên của thị trường thôi
5. Kết Luận - AutoML Là Trợ Lý Chứ Không Phải Sếp
AutoML hay AI trợ lý chỉ giúp mình thoát khỏi những task lặp đi lặp lại mệt mỏi. Chúng là trợ lý xuất sắc nhưng không thể thay thế vai trò "Kiến trúc sư trưởng" dữ liệu được đâu!
Tương lai của Data Science thuộc về những người biết kết hợp sức mạnh tính toán của máy với chiều sâu tư duy toán học và thống kê.
Nguồn: tinhte.vn