标签: 大数据处理

Elasticsearch通过Field Collapsing实现高效去重，适用于keyword等特定字段。其他方案包括Terms Aggregation (基数统计，精度受限) 和 Composite Aggregation (大数据集分页)。优化策略包括启用`eager_global_ordinals`和优化分片。多字段去重可用`runtime_mappings`。结合向量搜索和时间序列优化是未来趋势。使用Profile API监控性能。