Trafilatura

产品定位

Trafilatura 是一个用于从网页收集文本并将原始 HTML 转换为结构化、有意义数据的 Python 包与命令行工具。正文提取以自有规则式提取器为主，并以 jusText 和 readability-lxml 作为后备方案。当前版本以 Apache 2.0 许可证分发，v1.8.0 之前版本为 GPLv3+，商用集成时需注意版本对应的许可条款。选型时可结合官方文档中的快速入门与教程评估是否满足自身需求。

适合用户

• NLP 研究人员
• 数据科学家
• 需要网页数据采集的开发者

功能亮点

• 网页正文提取

  从原始 HTML 中提取实际内容，避免页眉、页脚、样板等重复元素造成的噪声，保留段落、标题、列表、引用、代码等结构与格式。

• 元数据提取

  提取标题、作者、日期、站点名称、分类和标签等元数据。

• 网页爬取与发现

  支持站点地图（TXT、XML）与订阅源（ATOM、JSON、RSS），提供智能爬取与 URL 过滤、去重管理。

• 多格式输出

  输出可转换为 TXT、Markdown、CSV、JSON、HTML、XML 和 XML-TEI 等常用格式。

• 可选元素与附加功能

  可选提取评论、链接、图片、表格，并提供语言检测和速度优化等可选附加功能。

访问与价格

可用状态: 当前可用

价格信息: 开源

支持平台: API

价格说明: 开源软件，以 Apache 2.0 许可证分发（v1.8.0 之前版本为 GPLv3+），可免费使用。

官方入口

• GitHub 仓库
• 官方文档

来源核验

• github.com
• github.com