为什么选用heritrix作为网络爬虫

选择heritrix作为网络爬虫有以下几个原因：

1. 开源免费：heritrix是一个开源的网络爬虫工具，可以免费获取和使用，节省了成本。

2. 成熟稳定：heritrix是一个经过长期发展和测试的网络爬虫工具，拥有丰富的功能和稳定的性能。

3. 可定制性强：heritrix支持多种配置选项和插件，用户可以根据自己的需求定制网络爬虫的行为和功能。

4. 社区支持：heritrix拥有活跃的开发者社区和用户群体，用户可以获取到丰富的文档和技术支持。

5. 可扩展性好：heritrix支持分布式爬取和集群部署，可以在需要的时候扩展爬取能力。