我正在制作类似于The Pirate Bay,Kickass.to等的bittorrent跟踪器/网站.有必要在索引和torrent页面中检索torrent统计信息(浏览器,下载).例:
http://kat.cr/ubuntu-15-04-vivid-vervet-desktop-amd64-iso-final-t10550003.html
播种机:3442 Leechers:148
如果torrent使用我的跟踪器,则可以轻松快速检索两个页面的数据.但是,如果torrent使用不同的跟踪器,我需要从所述跟踪器中获取其统计信息(向其发出请求),但对于每个torrent通常需要几秒钟,显然,我不能让用户等待很久才看到上市.
我制作了一个脚本,用来刮掉最近在背景中运行的90个种子,但我担心这还不够.该网站将成长,总洪流可能会超过5000.我不认为刮掉背景中的许多种子会起作用.
我怎样才能做到这一点?
解决方法:
可以使用以下策略获取统计信息,按效率降序列出:
>通过刮擦界面完全刮擦 – 过去很常见,今天在大型跟踪器上由于它造成的流量而不太常见
>通过自定义导出URL完全刮 – 您必须询问跟踪器管理员.有时在他们的网站上记录
> UDP多刮
> HTTP multi-scrape via / scrape?info_hash = A& info_hash = B& info_hash = C – 一些跟踪器支持它,有些则不支持.
> http单刮
> DHT scrape
>加入群体并通过PEX进行测量