Lọc danh sách trùng mà vẫn kiểm tra được dữ liệu gốc

Một danh sách đăng ký có dòng lặp không có nghĩa mọi dòng gần giống nhau đều là cùng một người. Trước khi dùng tool lọc dòng trùng, hãy xác định bạn muốn lọc chuỗi văn bản hay gộp các đối tượng ngoài đời. Công cụ văn bản chỉ hỗ trợ việc thứ nhất theo quy tắc được chọn.

Bắt đầu từ một bản sao

Giữ danh sách gốc trong file riêng. Tạo bản sao để làm sạch hoặc lọc, ghi lại thời điểm xuất dữ liệu và nguồn. Nếu danh sách có nhiều cột liên quan như tên, điện thoại và ghi chú, đừng tách riêng một cột rồi ghép lại theo thứ tự cũ: sau khi xóa dòng, quan hệ giữa các cột có thể lệch.

Ví dụ ba dòng gồm “Lan”, “Lan” và “Lan Anh”. Hai dòng đầu giống nhau về chữ, dòng cuối khác. Nhưng nếu hai người cùng tên Lan đăng ký riêng, xóa một dòng tên sẽ làm mất một người. Nên dùng mã đăng ký hoặc trường nhận diện phù hợp trước khi xử lý dữ liệu dạng bảng.

Kiểm tra khoảng trắng và chữ hoa

“Lan” và “Lan ” có thể trông giống nhau nhưng khác ký tự cuối. “LAN” và “Lan” khác chữ hoa. Hãy thử một đoạn ngắn trước, đọc tùy chọn thực tế của tool và đối chiếu kết quả, thay vì giả định công cụ luôn bỏ qua các khác biệt này.

Nếu cần chuẩn hóa, dùng tool làm sạch văn bản trên bản sao. Xóa khoảng trắng giữa các từ có thể biến tên hoặc địa chỉ thành chuỗi khác nghĩa. Chuẩn hóa chỉ nên thay đổi những chi tiết bạn đã xác định là không mang thông tin.

Ví dụ một quy trình kiểm tra

Giả sử có 120 dòng, sau lọc còn 112. Chênh lệch tám dòng cho biết tám lần xuất hiện đã được loại, không nhất thiết có tám giá trị khác nhau bị trùng. Một giá trị xuất hiện chín lần cũng có thể tạo ra đúng tám lần loại.

Lưu cả bản trước và sau. Dùng tool so sánh văn bản để xem phần thay đổi, đồng thời kiểm tra một vài dòng đặc biệt: mã có số 0 đầu, tên có dấu và dòng có ký tự lạ. Không chỉ nhìn con số cuối rồi kết luận dữ liệu đã đúng.

Khi nào nên dừng lọc tự động?

Dừng khi phải suy đoán hai tên viết tắt có phải cùng người, hoặc hai địa chỉ khác cách viết có cùng một nơi. Những trường hợp đó cần quy tắc nghiệp vụ hoặc xác minh thủ công. Với số điện thoại, cũng cần xét mã quốc gia và định dạng trước khi gộp, không xóa số 0 đầu chỉ để hai chuỗi trông giống nhau.

Kết quả cuối nên đi cùng ghi chú đã chuẩn hóa gì và giữ bản nào khi lặp. Bản gốc giúp sửa lại một quyết định lọc sai mà không phải xin xuất toàn bộ dữ liệu lần nữa.