Ghi file csv, loại bỏ dòng trùng lặp

Chào anh chị,
Em đang học golang, em bí đọc ghi file csv nhờ a chị có ý tưởng gì giúp em
Em có 1 list file csv muốn đọc và ghi thành một file, các file thì có cấu trúc cột giống nhau.
Em muốn ghi gộp thành 1 file thì các dòng trùng nhau sẽ được bỏ qua và không ghi vào file.
Ý tưởng của em là sau khi đọc 1 dòng dùng for range duyệt kiểm tra, nhưng trường hợp có hàng ngàn dòng thì e nghĩ sẽ rất tốn tài nguyên, ai có ý tưởng gì tối ưu hơn giúp em với nhé.

Cảm ơn mọi người.

Bạn merge các file lại với nhau rồi sort, sau đó mới remove duplicate chắc sẽ giảm đc ít tài nguyên.

2 Likes

Cám ơn bạn :slight_smile:

83% thành viên diễn đàn không hỏi bài tập, còn bạn thì sao?