운영 유지보수 프로젝트에서 업무를 하다 보니, 생각보다 더 많은 부정확한 데이터가 있어 자주 곤란한 상황들이 있었습니다. 그때마다 시간을 들여서 개선하는 것보단 당장의 과업을 해결하기 위해 엑셀로 1차 가공 및 2차 수작업 정비와 같은 비효율적인 작업들을 많이 해왔습니다. (일일이 눈으로 8천건 중복찾기라던가...물론 자의가 아니라 타의에 의해..T0T) 그 중에 가장 큰 업무가 중복데이터 제거하기 였습니다. 공공시스템이다보니 데이터포털의 공공데이터를 활용한 2차 서비스를 기능 개발하는 업무가 다수 있었고, 데이터포털에서 얻은 자료들은 생각보다 최신화되어 지지 않거나 중복이 걸러지지 않는 광물 원석에 가까운 날것의 그것(?)인 경우가 많았습니다. 그래서 데이터베이스에서 SQL로 중복데이터를 제거하고 단일..
