吴先森的笔记
为退烧而生!
某咸鱼的笔记

网站时光机更新(2020/4/17)

网站时光机更新(2020/4/17)

——–2020/7/16更新——–
考虑到以后可能因为存储问题,无法再创建快照,我们决定停止本项目。感谢您对本项目的支持!

至于为何不删除本文章,是因为我也想留个纪念,我也曾经开发过这种‘无用’的项目

1.规则更新

1.1.超时规则

在旧版本中,站点访问时间超过6000ms时都会被直接淘汰,但是,我们发现,使用国外主机或Cloudflare加速的网站访问耗时基本上都会超过6000ms加载时间,导致我们错过许多优质网站。于是,我们决定修改规则。

我们删除了访问时间超过6000ms自动淘汰的规则,新增了整个评分流程耗时限制;整个评分流程耗时超过25秒,自动淘汰

1.2.必须包含网站标题

我们在经过大量观察发现,大多数不包含网站标题的URL,基本上是已经关闭的站点或者无效URL,于是,我们在规则中新增’必须包含网站标题’这一规则

1.3.必须是https站点

这条规则…其实只是单纯的喜欢开启SSL后的那个小锁才设定的,2333(顺便假装推动一下全网https,哈哈哈哈哈

1.4.新增白名单系统

*此服务仅对我自己站点开放

由于…我的某些站点评分经常不达标,所以…(给自己作个弊[狗头保命])

本系统功能为直接跳过评分系统,直接创建网站快照

2.功能增加

2.1.新增自动抓取功能

由于每日提交人数太少,服务器长期处于空闲状态,我们决定充分利用服务器资源

规则如下:

1.本功能通过抓取helf标签内容实现,所以只对helf标签内的链接做成自动收录
2.本人喜欢https的小锁,所以..网站时光机项目仅支持https站点(理由够荒唐吧,233
3.为了防止收录到404/403等页面,本项目收录仅支持状态码200
4.抓取出的链接必须在4秒内返回200状态码,否则当作无法访问

发表评论请先填写昵称和邮箱
评论需要审核后才能显示,与内容无关的评论、灌水评论、广告等不会通过审核
本站的所有教程均博主亲身尝试后的经验,且未注明的均为原创
本站的内容可能很小白化,老鸟勿喷。
本文链接:https://www.wunote.cn/article/2833/
本文采用 CC BY-NC-SA 3.0 Unported 协议进行许可

某摆烂咸鱼

文章作者

为退烧而生!

发表回复

textsms
account_circle
email

  • Small_Sheep

    吴先森加个qq啊,我是Small_Sheep,嗷雪工作室里的小绵羊

    2年前 回复

某咸鱼的笔记

网站时光机更新(2020/4/17)
--------2020/7/16更新--------考虑到以后可能因为存储问题,无法再创建快照,我们决定停止本项目。感谢您对本项目的支持!至于为何不删除本文章,是因为我也想留个纪念,我也曾经开发过…
扫描二维码继续阅读
2020-04-17