Precision, Recall, loại nhầm và lọt lỗi trong kiểm tra sản xuất

Định nghĩa lớp dương trước

Trong bài này, dương nghĩa là có lỗi. Dự đoán dương tương ứng quyết định NG. Nhóm khác có thể chọn GOOD làm lớp dương nên công thức luôn cần đi cùng định nghĩa lớp.

Trạng thái thật	Đánh dấu NG	Đánh dấu GOOD
Có lỗi	TP: phát hiện đúng	FN: chấp nhận nhầm, lọt lỗi
Tốt	FP: loại nhầm	TN: chấp nhận đúng

Precision: trong số bị đánh dấu NG, bao nhiêu thực sự lỗi? Recall: trong số thực sự lỗi, hệ thống bắt được bao nhiêu?

precision = TP / (TP + FP)
recall = TP / (TP + FN)
tỷ_lệ_loại_nhầm = FP / (FP + TN)
tỷ_lệ_bỏ_sót_trên_hàng_lỗi = FN / (TP + FN)
tỷ_lệ_lỗi_trong_hàng_đã_cho_qua = FN / (TN + FN)

“Escape rate” có nhiều cách dùng mẫu số. Phải ghi rõ là bỏ sót trong toàn bộ hàng lỗi hay hàng lỗi trong số đã xuất. Mẫu số bằng 0 nghĩa là chưa ước lượng được từ mẫu đó, không phải hiệu năng hoàn hảo.

Ví dụ minh họa

Giả sử tập đã gán nhãn có 100 sản phẩm lỗi và 900 tốt. Hệ thống bắt 90 lỗi và loại nhầm 18 sản phẩm tốt:

• TP = 90, FN = 10, FP = 18, TN = 882.
• Precision = 90/108 ≈ 83,3%.
• Recall = 90/100 = 90%.
• Loại nhầm = 18/900 = 2%.
• Lỗi trong số cho qua = 10/892 ≈ 1,12%.

Đây là số giả định để giải thích, không phải kết quả TAS hoặc mức cho phép của nhà máy. Accuracy tổng thể cao vẫn có thể che giấu bỏ sót khi lỗi hiếm.

Ngưỡng làm thay đổi chi phí

Giảm ngưỡng điểm lỗi thường bắt thêm lỗi và loại thêm hàng tốt; cần đo thực tế thay vì giả định đường cong chung. Confidence không tự động là xác suất đã hiệu chỉnh.

Thống nhất tiêu chí với chủ quy trình: lọt lỗi quan trọng, sửa lại, phế phẩm và kiểm tra tay có hậu quả khác nhau. Không lấy tỷ lệ chấp nhận của dây chuyền khác làm chuẩn.

Xác nhận cấu hình

Giữ tập kiểm tra độc lập, tránh ảnh gần trùng ở các tập và báo số lượng theo từng lỗi. Bao gồm ca sản xuất, vật liệu, lô in và mẫu tốt khó. Ghi phiên bản model/recipe cùng ngưỡng.

Ít mẫu lỗi tạo độ bất định lớn. Báo số lỗi đã thử và khoảng bất định phù hợp; không thấy bỏ sót không chứng minh tỷ lệ tương lai bằng 0. Xác minh lại sau đổi camera, đèn, sản phẩm hoặc model.

Đọc phân loại và phát hiện, cùng giao tiếp PLC.