Удалить повторяющиеся записи на основе нескольких столбцов?

class Model

  def self.dedupe
    # find all models and group them on keys which should be common
    grouped = all.group_by{|model| [model.name,model.year,model.trim,model.make_id] }
    grouped.values.each do |duplicates|
      # the first one we want to keep right?
      first_one = duplicates.shift # or pop for last one
      # if there are any more left, they are duplicates
      # so delete all of them
      duplicates.each{|double| double.destroy} # duplicates can now be destroyed
    end
  end

end

Model.dedupe

• Найти все
• Сгруппируйте их по нужным вам для уникальности ключам
• Цикл по сгруппированным значениям модели хэша
• удалите первое значение, потому что вы хотите сохранить одну копию
• удалить остальные

Если данные вашей пользовательской таблицы, как показано ниже

User.all =>
[
    #<User id: 15, name: "a", email: "[email protected]", created_at: "2013-08-06 08:57:09", updated_at: "2013-08-06 08:57:09">, 
    #<User id: 16, name: "a1", email: "[email protected]", created_at: "2013-08-06 08:57:20", updated_at: "2013-08-06 08:57:20">, 
    #<User id: 17, name: "b", email: "[email protected]", created_at: "2013-08-06 08:57:28", updated_at: "2013-08-06 08:57:28">, 
    #<User id: 18, name: "b1", email: "[email protected]", created_at: "2013-08-06 08:57:35", updated_at: "2013-08-06 08:57:35">, 
    #<User id: 19, name: "b11", email: "[email protected]", created_at: "2013-08-06 09:01:30", updated_at: "2013-08-06 09:01:30">, 
    #<User id: 20, name: "b11", email: "[email protected]", created_at: "2013-08-06 09:07:58", updated_at: "2013-08-06 09:07:58">] 
1.9.2p290 :099 > 

Идентификаторы электронной почты дублируются, поэтому наша цель — удалить все повторяющиеся идентификаторы электронной почты из пользовательской таблицы.

Шаг 1:

Чтобы получить идентификатор всех отдельных записей электронной почты.

ids = User.select("MIN(id) as id").group(:email,:name).collect(&:id)
=> [15, 16, 18, 19, 17]

Шаг 2:

Чтобы удалить повторяющиеся идентификаторы из таблицы пользователей с разными идентификаторами записей электронной почты.

Теперь массив ids содержит следующие идентификаторы.

[15, 16, 18, 19, 17]
User.where("id NOT IN (?)",ids)  # To get all duplicate records
User.where("id NOT IN (?)",ids).destroy_all

** РЕЙКИ 4 **

ActiveRecord 4 представляет метод .not, который позволяет вам написать следующее на шаге 2:

User.where.not(id: ids).destroy_all

Подобно ответу @Aditya Sanghi, но этот способ будет более эффективным, потому что вы выбираете только дубликаты, а не загружаете каждый объект модели в память, а затем перебираете их все.

# returns only duplicates in the form of [[name1, year1, trim1], [name2, year2, trim2],...]
duplicate_row_values = Model.select('name, year, trim, count(*)').group('name, year, trim').having('count(*) > 1').pluck(:name, :year, :trim)

# load the duplicates and order however you wantm and then destroy all but one
duplicate_row_values.each do |name, year, trim|
  Model.where(name: name, year: year, trim: trim).order(id: :desc)[1..-1].map(&:destroy)
end

Кроме того, если вы действительно не хотите дублировать данные в этой таблице, вы, вероятно, захотите добавить в таблицу уникальный индекс с несколькими столбцами, что-то вроде:

add_index :models, [:name, :year, :trim], unique: true, name: 'index_unique_models' 

Вы можете попробовать следующее: (на основе предыдущих ответов)

ids = Model.group('name, year, trim').pluck('MIN(id)')

чтобы получить все действительные записи. А потом:

Model.where.not(id: ids).destroy_all

для удаления ненужных записей. И, конечно же, вы можете выполнить миграцию, которая добавит уникальный индекс для трех столбцов, чтобы это применялось на уровне БД:

add_index :models, [:name, :year, :trim], unique: true

Чтобы запустить его при миграции, я сделал следующее (на основе ответа выше от @aditya-sanghi)

class AddUniqueIndexToXYZ < ActiveRecord::Migration
  def change
    # delete duplicates
    dedupe(XYZ, 'name', 'type')

    add_index :xyz, [:name, :type], unique: true
  end

  def dedupe(model, *key_attrs)
    model.select(key_attrs).group(key_attrs).having('count(*) > 1').each { |duplicates|
      dup_rows = model.where(duplicates.attributes.slice(key_attrs)).to_a
      # the first one we want to keep right?
      dup_rows.shift

      dup_rows.each{ |double| double.destroy } # duplicates can now be destroyed
    }
  end
end

На основе @aditya-sanghi answer с более эффективным способом поиска дубликатов с помощью SQL.

Добавьте это в свой ApplicationRecord, чтобы иметь возможность дедуплицировать любую модель:

class ApplicationRecord < ActiveRecord::Base
  # …

  def self.destroy_duplicates_by(*columns)
    groups = select(columns).group(columns).having(Arel.star.count.gt(1))
    groups.each do |duplicates|
      records = where(duplicates.attributes.symbolize_keys.slice(*columns))
      records.offset(1).destroy_all
    end
  end
end

Затем вы можете вызвать destroy_duplicates_by, чтобы уничтожить все записи (кроме первой), которые имеют одинаковые значения для заданных столбцов. Например:

Model.destroy_duplicates_by(:name, :year, :trim, :make_id)

Вы можете попробовать этот sql-запрос, чтобы удалить все повторяющиеся записи, кроме последней.

DELETE FROM users USING users user WHERE (users.name = user.name AND users.year = user.year AND users.trim = user.trim AND users.id < user.id);