在处理大规模数据时，特别是当数据量达到上亿级别且内存限制仅为 1G 的情况下，去重操作成为了一项极具挑战性的任务。然而，通过合理的策略和技术手段，我们仍然能够有效地解决这一难题。

对于如此庞大的数据量，直接将所有数据加载到内存中进行去重是不可行的。我们可以采用分而治之的策略，将数据分割成多个较小的子集。可以按照数据的某种特征，比如主键值的范围，将数据划分成多个文件或数据块。然后，对每个子集分别进行去重处理。

利用哈希表进行去重是一种常见的方法。但由于内存有限，我们需要控制哈希表的大小。可以选择一个合适的哈希函数，将数据映射到较小的哈希空间，以减少内存占用。定期将哈希表中的数据持久化到磁盘，释放内存空间，以便处理后续的数据。

另外，基于排序的去重方法也值得考虑。先对数据进行排序，相同的数据就会相邻排列。然后通过一次遍历，就能够识别并去除重复的数据。排序过程可以采用外部排序算法，逐步将数据在磁盘和内存之间交换，以完成排序操作。

还可以借助数据库来处理。将数据导入到支持大数据处理的数据库中，利用数据库的内置函数和优化机制进行去重。例如，使用 MySQL 的 DISTINCT 关键字或者 PostgreSQL 的 UNIQUE 约束。

在实际应用中，可能需要结合多种方法，并根据数据的特点和具体的业务需求进行调整和优化。例如，如果数据具有明显的分布规律，可以针对性地选择更高效的分区策略；如果数据的重复性较高，可以优先考虑哈希表等快速去重的方法。

在处理上亿数据且内存限制为 1G 的情况下进行去重，需要我们充分发挥算法和技术的优势，灵活运用各种策略，以达到高效、准确地去除重复数据的目的。