Java如何用HashSet找出List重复元素

本文深入解析了如何利用Java中HashSet的add()方法高效识别List中的重复元素——其返回false的特性成为判断重复的天然开关，避免了冗余的contains()调用和额外哈希计算；文章不仅给出一行Stream流解决方案（filter + !seen.add(e) + distinct），还强调了equals/hashCode重写的必要性、null值的正确处理、线程安全边界，并对比了HashMap计数方案在需保留重复出现顺序时的适用性，同时提醒开发者警惕ArrayList流式操作的隐性开销，是一份兼顾原理深度与实战精度的高效去重指南。

为什么 HashSet.add() 能揪出重复元素

因为 HashSet.add() 返回 false 当且仅当元素已存在——它不抛异常、不吞静默，就靠这个布尔值做开关。很多人误以为得先遍历一遍再查 contains()，其实多了一轮查找，白费一次哈希计算。

适用场景：只需要知道“哪些元素重复了”，不关心重复几次、也不需要保留原始顺序（或可配合 LinkedHashSet 补救）。

• add() 是 O(1) 平均时间复杂度；用 contains() + add() 就是两次哈希操作
• 注意：元素必须正确重写 equals() 和 hashCode()，否则 add() 判重失效
• 原始 List 里有 null？HashSet 允许一个 null，但多次 add(null) 后续都返回 false，能正常捕获

一行代码筛出所有重复项（带去重）

用 Stream + filter() + Set::add 是最简路径，但要注意副作用和线程安全——这是纯单线程工具技，别往并行流里塞。

List<String> list = Arrays.asList("a", "b", "a", "c", "b");
Set<String> seen = new HashSet<>();
List<String> duplicates = list.stream()
    .filter(e -> !seen.add(e))
    .distinct()
    .collect(Collectors.toList()); // ["a", "b"]

• !seen.add(e) 是关键：添加失败 → 已存在 → 是重复项
• 必须用 .distinct()，否则同一个重复元素（如 "a"）出现三次，会输出两个 "a"
• 别用 ConcurrentHashMap.newKeySet() 替换 HashSet——add() 在并发容器里不保证返回值语义一致

要保留首次重复出现的位置？改用 Map 记频次

如果需求变成“找出第二次及以后出现的元素，并按它们在原列表中第二次出现的顺序排列”，HashSet 就不够用了——它没计数能力。这时候得升维用 HashMap。

Map<String, Integer> counts = new HashMap<>();
List<String> duplicatesInOrder = list.stream()
    .filter(e -> {
        int c = counts.merge(e, 1, Integer::sum);
        return c > 1; // 第二次起才放行
    })
    .collect(Collectors.toList());

• merge() 原子更新计数，比先 get() 再 put() 更安全
• 返回的是“每次触发重复时的元素”，所以 "a,b,a,c,b" 会输出 ["a","b"]，顺序由第二次出现位置决定
• 如果还要去重（只留一个副本），后面接 .distinct() 即可

性能差三倍？小心 ArrayList 的 stream() 开销

对小列表（ArrayList，stream() 的对象创建和函数式调用开销会明显高于传统 for-loop。

• 等价 for-loop 写法更可控：

  Set<String> seen = new HashSet<>();
  Set<String> duplicates = new HashSet<>();
  for (String e : list) {
      if (!seen.add(e)) duplicates.add(e);
  }

• ArrayList 的 stream() 底层仍要构造 Spliterator，而 for-loop 直接走数组索引
• 如果 list 实际是 LinkedList，那 stream 和 for-each 性能差距更大——避免用 get(i) 随机访问

实际用的时候，先想清楚：只要重复值集合，就用 HashSet.add() 配合 filter；要频次、要顺序、要位置信息，就得切到 Map；量大且敏感，老老实实 for-loop。没有银弹，只有哪块逻辑卡住了，才换哪把刀。

理论要掌握，实操不能落！以上关于《Java如何用HashSet找出List重复元素》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！