The Dark Web
暗网的故事太多了。
随着前段时间的 Hansa 和 AlphaBay 被剿，又一波关于暗网的故事出现了。
暗网的黑暗一面却如各类媒体中所描述那样之黑。但暗网也有“可爱”的一面，当然，本文并不打算试图展现这一面，因为这样并不符合社会主义价值观。
这里，我只想嚼嚼舌头而已，顺便把这段时间爬下来的数据做一次比对分析。
【1】入门科普
关于暗网该如何以正常姿势访问的文章很多了，这里我说一个不正常的姿势。
这里介绍的访问方式并不保证安全，因为整个通道并非完全加密，至少从你的电脑到中间的代理是没有什么保护措施的。
首先有一个项目叫做 Tor2Web：tor2web.org。
如果了解这个项目的话，这一段就可以略过了。
而关于暗网的追踪和研究网站有很多，这里推荐两个：
https://darkwebnews.com/，这是各种关于暗网新闻的文章，里面还有个market list，是各种暗网市场的列表，有online/offline的状态追踪（但并不是很准确）；
https://onionscan.org/，OnionScan的老家，里面会有一些统计数据，之前也放过关于暗网的报告，在网站上都可以找到，就不放链接了。
知道了这几个网站，就可以了解如果只是想简单窥视一下暗网的模样该如何去做了。
例如，刚被关停的AlphaBay的地址是：http://pwoah7foa6au2pul.onion
借助 Tor2Web 的帮助，只要在域名加上 .cab 的后缀就可以在不使用TorBrowser的情况下访问了：http://pwoah7foa6au2pul.onion.cab
（还有一些其他可用后缀，可以阅读 Tor2Web 站点内容）
如果顺利的话，就可以观摩到AlphaBay被关停的页面了。
【2】再说 Tor2Web
OnionScan提供了暗网监控的一种手段，如果有兴趣的话可以访问他们的项目自己也去搭建一套监控程序：https://github.com/s-rah/onionscan
但同时 Tor2Web 作为一个中间代理也提供了一些数据支持，他们记录了前一天所有通过其访问的暗网站点的命中次数，大概样子是这样的：
其中，id 就是暗网域名中 onion前的部分，access_count 就是通过Tor2Web访问了这个id多少次。
这个数据来自于 Tor2Web 的 OpenData：
https://github.com/globaleaks/Tor2web/wiki/OpenData
【3】片面的数据
上面提到的 OpenData 数据实际上存在一些问题，例如，通过几个月的数据监控发现其背后是来自 Tor2Web 的多个代理的数据汇聚，而这些汇聚的结果貌似有一些准确性问题。
另外，Tor2Web 本身并非是所有的暗网访问流量，可能只是极小的一部分，不过我还是很感兴趣，尤其在关停了两大交易市场之后，更想看看暗网的趋势如何，所以拿出之前采集到的四个月的 Tor2Web OpenData（以下简称“数据”）来统计下看看，是否能窥视其中的变化。
【4】统计
我抓的数据有两份，时间跨度都是从4月7日至8月12日（GMT+0）。
一份来自github上的官方给出的OpenData接口，另一份是监控过程中捕获到几次异常后发现的两个IP接口，而这两个IP接口和官方接口所抓到的数据，看起来相似却又不完全相同（这就是上面所提到的准确性问题），所以后面统一都以官方接口抓到的数据为统计对象。
而在4月7日至8月12日的数据中，5月29和6月2日的数据无效。除此之外，还有8天的数据没抓到 —— 这几天的数据都是官方接口上异常，但通过非官方提供的接口抓到了。
然后再重复一遍定义问题：
所有的暗网域名 onion 前的那部分随机字符，我称其为id，例如，AlphaBay的地址是：pwoah7foa6au2pul.onion，它的id就是 pwoah7foa6au2pul；
而OpenData中access_count 后的数字，我称其为计数，也就是对某个id通过 tor2web访问的次数。
图1：整体热度（每天的id出现数量计数）
6月底之前偶尔有波谷但整体向上，7月初开始整体向下。
不过在8月份开始趋于平稳，且在8月12日有一次激增（8月11日不到900个id，8月12日超过2000个id）。
图2：id热度分布（这98天中id出现的天数）
图表展示效果不好，简单描述一下：
这里一共有98天的数据，id 每天都会至少出现一次的达到121个。
而仅出现了1至10次的id，占据最多，加起来超过总量的 55% 。
那些每天都会被访问的站点里，大部分都是可以访问的，而且有些是众所周知的，比如，The Hidden Wiki。
从比例上来看，命中98次的id中，可访问的比例远高于命中1次的id —— 初步测试命中98次的id中，只有10个不可访问，而命中1次的id中抽取了20个，只有3个可以访问。
但并非命中次数低的id中就没有好货，比如这个：222222242zkgyc5n.onion
图3：AlphaBay的访问情况（id = pwoah7foa6au2pul）
AlphaBay的访问波动性很强，而且在7月6日至7月19日之间没有访问数据，7月20日突然出现相对之前不高的访问量。
而从后来的新闻来看，7月5日是AlphaBay的管理员被捕的日子。而7月20日则是FBI宣布AlphaBay takedown的日子 —— 看样子是很多人去验证消息或围观takedown页面而导致的访问量。
图4：另一个AlphaBay的访问量
在暗网世界中，也有很多仿冒站点存在。
例如 Hansa 就有很多仿冒站、而且其中还不乏钓鱼网站，所以我也把带着AlphaBay字样的id都梳理并做了统一的绘图，结果发现一个站点的趋势图与正牌AlphaBay的趋势几乎一样。
它不但是整体曲线走势相近，而且这个站点居然在 7月6日至7月19日 也没有访问量。而且在7月20日重新出现后，其访问量也突然变的极低，甚至有几天达到了个位数。整个的趋势与AlphaBay完全一样。
然而后来访问验证才发现，它居然也是 AlphaBay，这么多年，我居然在它被关闭之后才知道另一个域名的存在。
图5：那些每天都被访问到的id
上面提到过，连续98天都会出现的id有121个。
那这 121 个id在过去98天中共计命中多少次、以及命中次数在所有命中次数中的占比如何。
排名最高的是 not evil（hss3uro2hsxfogfq，搜索引擎）。
本想把这张图好好拆一下聊聊的，结果跑出来才发现排名靠前的实在没什么正经的网站，所以还是打个码然后草草结束吧 ……
简单来说，前几名分布在搜索引擎、XX、不合法电商这些 —— 直接用 Tor2Web 来访问，这些人心真大。
图6：一个 Ransomware 站
通过对每天访问量最大的网站进行统计过程中，发现了一个Ransomware的站点，并利用这个Ransomware站点的字符特征，找到了另一个 Ransomware 的站点 ranionjgot5cud3p.onion ，这个网站的访问统计：
这个站访问量没有平稳可言，平时几乎是个位数，有时则会突增到6万以上。
而7月底到8月初这几天，访问量在1千多到5万多之间徘徊。
另外，还有一些知名或不知名的：
raasbrrypzkuj5cy.onion （有些名气的RaasBerry）
raninoon4ykn65x7.onion（ranionjgot5cud3p的另一个站）
fgb45ft3pqamyji7.onion（cry xxx，之前有过一些报道）
再看一下fgb45ft3pqamyji7的访问情况，因为这个勒索软件支付的时候需要访问这个地址，而且软件本身提供的支付地址还是 Tor2Web 的后缀：
从波峰可以看出，与大规模爆发并报道的时间相匹配。
而这个系列的勒索软件早在爆发后不久便在 nomoreransom.org 上放出了解密程序，但从近一两个月的数据来看，还是陆续有访问量，不排除其中是有人去访问站点以支付解密费用的 —— 安全知识的普及，还是任重道远 ……
【5】收尾
趁着休假有空，一边统计一边写，一抬头已是深夜。
有些东西在动笔之前没有考虑太多，写到这里才发现越写越多，而且逻辑梳理的并不清晰。如果再继续写下去恐怖就没完没了了，暂时就到这里吧。
最后，有兴趣的朋友可以关注一下 Tor2Web 的 OpenData，里面的确有很多惊喜。