文章目录 显示

internet-dataset是个互联网数据集的GitHub仓库，是通过作者的搜索引擎sese-engine：sese.yyj.moe运行半年收集到的数据，收集到了不少有用的数据，里面的数据还是有些价值的，于是作者分享了出来。

internet-dataset：互联网数据集 48.9G数据

数据量

数据量正在持续增长中，截至2022年5月大约有48.9G的数据，包含这些内容——

  • 域名数据(2.7G)包含6257636个域名，来自1938617个一级域名。
  • 网页数据(6.4G)包含53294027个网页。其中有标题的网页有48577906个，有介绍的网页有35971682个。
  • 反向索引数据(39.7G)包含17669628个词，每个词对应1~28000个网页。

数据内容

  • 域名级别

    • ip
    • 最后访问时间
    • 访问次数 (搜索引擎爬取该域名下页面的次数，数值越高，其他的字段越可靠)
    • 语种 (fasttext的语种识别结果，对该域名下的所有网页滑动平均)
    • 链接 (该域名下的所有网页的指向其他域名的链接，滑动抽样200个左右)
    • ======下面的属性只针对该域名的首页======
    • 重定向
    • https可用
    • 关键词 (频率最高的词)
    • 结构 (将HTML结构映射到字符串，用于过滤模板生成的大量域名)

  • 网页级别

    • 网页的标题
    • 网页的介绍 (meta description，截断到256字符)

下载地址

你可以选一个自己喜欢的地方下载:

GitHub Release

OneDrive

  1. 转载或引用本文内容，请保留原文链接并注明来源。
  2. 本站内容主要用于信息整理、技术研究与经验分享，不对第三方产品或服务的可用性、完整性作出任何明示或暗示的保证。
  3. 部分内容可能来源于公开网络或开源社区，如涉及版权或其他合法权益问题，请通过下方联系方式与我们联系，我们将在核实后及时处理。
  4. 本文所提及的工具、项目或解决方案仅供学习与研究参考。如涉及商业使用，请自行确认并遵守相关软件、平台或服务的授权条款。
  5. 反馈与联系（# 替换为 @）：feedback#abskoop.com