Khi bảng dữ liệu trống: bài học từ một quy trình phân tích bị chặn ở khâu nhập liệu

Tôi từng ngồi trước một bảng Excel trống suốt ba tiếng đồng hồ, và đó là lần đầu tiên tôi hiểu rằng thất bại tệ nhất trong phân tích dữ liệu không phải là mô hình sai, mà là một quy trình tưởng như đang chạy nhưng thực chất chưa từng nhận được dữ liệu. Câu chuyện lần này đến từ một quy trình phân tích bóng bàn hai giai đoạn. Giai đoạn một có nhiệm vụ trích xuất thông tin từ bài viết nguồn: tiêu đề, nguồn, loại bài, các điểm thông tin, quan điểm cốt lõi, thực thể liên quan, mức độ thời sự và chất lượng nguồn. Giai đoạn hai nhận kết quả đó và triển khai chín chiều phân tích chuyên sâu: kỹ thuật và chiến thuật, dữ liệu vận động viên và đối đầu, hệ thống giải đấu và điểm số, cục diện cạnh tranh, luật lệ và quản trị, ban huấn luyện và tuyến tài năng, bề mặt rủi ro, câu chuyện công chúng, và truyền dẫn ngành. Kết quả giai đoạn một được đưa sang giai đoạn hai là một bảng mà mọi trường dữ liệu đều trống hoặc ghi không xác định. Tiêu đề không có. Nguồn không có. Loại bài được đánh dấu là chưa phân loại. Danh sách điểm thông tin rỗng. Phần quan điểm cốt lõi bỏ trắng. Trường thực thể liên quan không chứa tên ai, mà chỉ chứa một câu hướng dẫn rằng hãy xác định thực thể từ các điểm thông tin phía trên. Trường chất lượng nguồn cũng không chứa đánh giá, mà chứa một câu hướng dẫn rằng hãy đánh giá dựa trên các trường nguồn. Điều đáng chú ý nằm ở chi tiết cuối cùng. Khi một trường dữ liệu chứa hướng dẫn thay vì nội dung, điều đó thường có nghĩa là mẫu trích xuất đã được phát ra trước khi quá trình tải và phân tích bài viết nguồn hoàn tất. Nói cách khác, quy trình không hề thất bại ở khâu suy luận. Nó thất bại ở khâu nhập liệu, và thất bại một cách im lặng. Tôi đã từng nghĩ rằng một báo cáo phân tích tốt là báo cáo trả lời được càng nhiều câu hỏi càng tốt. Nhưng dữ liệu cho thấy điều ngược lại trong trường hợp này. Báo cáo giai đoạn hai đã trả lời đầy đủ chín chiều, với đầy đủ bảng biểu, khung phân tích và kết luận. Vấn đề là mọi ô trong chín chiều đó đều ghi không đủ thông tin. Một báo cáo trông có vẻ hoàn chỉnh về mặt hình thức nhưng không chứa một tuyên bố nào có thể truy xuất về nguồn. Đây chính là điểm tôi muốn dừng lại lâu hơn. Trong phân tích dữ liệu thể thao, có một kiểu thất bại nguy hiểm hơn cả việc đưa ra kết luận sai. Đó là đưa ra kết luận đúng về hình thức nhưng không có bằng chứng phía sau, khiến người đọc không thể phân biệt được đâu là phân tích và đâu là ký ức mô hình được khoác lên một khung báo cáo. Quy trình giai đoạn hai đã xử lý tình huống này theo cách mà tôi cho là đúng. Thay vì lấp đầy các ô trống bằng kiến thức nền về bóng bàn, nó giữ nguyên khung phân tích và ghi rõ không đủ thông tin tại từng vị trí. Không có vận động viên nào được nêu tên. Không có bảng xếp hạng nào được dẫn ra. Không có thành tích đối đầu nào được khẳng định. Không có giải đấu nào được gán cấp độ. Lý do rất đơn giản: không có điểm thông tin nào ở giai đoạn một để làm neo, và mọi tuyên bố thiếu neo đều là tuyên bố không thể kiểm chứng. Trong bảng rủi ro, chỉ có một mục được đánh giá ở mức cao, và đó không phải là rủi ro về chấn thương, về tuyển chọn, về khoảng trống thế hệ hay về đối thủ. Đó là rủi ro toàn vẹn phân tích: khả năng các kết luận ở hạ nguồn được tạo ra trên một nền thông tin bằng không. Mức độ được đánh giá cao. Khả năng xảy ra được đánh giá cao nếu phân tích vẫn tiếp tục. Tác động được đánh giá cao, gồm cả tổn hại về uy tín và chất lượng quyết định. Tôi từng viết rằng dữ liệu không cần tôi tin tưởng, dữ liệu cần tôi kiểm tra. Trường hợp này bổ sung một vế thứ hai cho câu đó: trước khi kiểm tra dữ liệu, phải kiểm tra xem dữ liệu có thực sự tồn tại hay không. Một quy trình có thể chạy trơn tru, xuất ra tệp đúng định dạng, vượt qua mọi bước kiểm tra cấu trúc, và vẫn không chứa một đơn vị thông tin nào. Có một chi tiết nữa đáng để ghi lại. Trường mức độ thời sự được ghi là chưa được đánh giá ở giai đoạn một. Trường loại bài được ghi là chưa phân loại. Hai trường này thường bị bỏ qua vì chúng không phải là dữ liệu thi đấu. Nhưng khi cả hai cùng trống, đó là dấu hiệu cho thấy bộ phân loại cũng đã chạy mà không có văn bản thực sự để phân loại. Tức là vấn đề không nằm ở một trường riêng lẻ, mà nằm ở toàn bộ chuỗi nhập liệu phía trước. Tôi rút ra ba việc cần làm từ trường hợp này. Thứ nhất, đặt một cổng kiểm tra cứng: từ chối mọi gói dữ liệu giai đoạn một có danh sách điểm thông tin rỗng, hoặc có tiêu đề và nguồn ở trạng thái không xác định. Thứ hai, đặt ngưỡng tối thiểu để được phép chạy phân tích sâu: ít nhất một thực thể được nêu tên, ít nhất ba điểm thông tin, và một trường nguồn có giá trị thực. Thứ ba, cấm thay thế các trường số liệu bằng ký ức mô hình, vì dữ liệu xếp hạng theo cơ chế trượt 52 tuần của hệ thống WTT có thể đã lỗi thời so với thời điểm bài viết được đăng. Có một câu hỏi mở mà tôi chưa trả lời được. Nếu bài viết nguồn thực chất chỉ chứa nội dung không có giá trị thi đấu, ví dụ một thư viện ảnh hoặc một danh sách lịch thi đấu, thì đầu ra đúng của giai đoạn hai nên là một báo cáo chín chiều đầy đủ với toàn bộ ghi không đủ thông tin, hay chỉ nên là một ghi chú ngắn rằng không có nội dung thi đấu nào có thể đánh giá. Tôi nghiêng về phương án thứ hai, vì một báo cáo dài không làm cho thông tin trở nên nhiều hơn. Điều tôi giữ lại sau cùng không phải là danh sách chín chiều, mà là một câu trong phần kết luận tổng hợp: thất bại nằm ở khâu nhập liệu, không nằm ở khâu suy luận. Khung phân tích vẫn nguyên vẹn. Chỉ cần một lần trích xuất thành công là toàn bộ phạm vi phân tích được khôi phục. Và nếu tình trạng gói dữ liệu rỗng lặp lại qua mười đến hai mươi chu kỳ nhập liệu, thì đó không còn là vận đen đơn lẻ, mà là vấn đề hệ thống về nguồn dữ liệu. Dữ liệu không cần tôi tin tưởng. Dữ liệu cần tôi kiểm tra. Và trước hết, dữ liệu cần tôi xác nhận rằng nó đã đến.