一位运维工程师亲身经历的“DDoS追凶”实录

2019-01-18 来源:笨手机 作者:

梦想开始的地方

我们是一家创业公司,像很多团队一样,虽然不大但是有激情和有梦想,用理想驱动行动。团队成员也不是很多,大概10来个,基本都在20~25岁之间。创业之初,我们抓住了移动互联网的尾巴,在海外市场做卡牌类型的游戏,自己发行加上跟其他公司进行联合运营,获得了还算满意的成绩。今年开始决定发力国内的棋牌市场,刚开始还算比较顺利,经过半年研发,上线运营仅2个月,就积累了上千DAU。一切都在朝好的方向发展,小伙伴们都在忙着潜心研究用户需求,规划着未来,一切看起来都有条不紊地进行着。期间甚至还有上市公司向我们抛出橄榄枝,顿时让小伙伴们觉得信心倍增。可是,那个时候的我们还不曾想到,接下来的日子会是如此之灰暗和惨淡。

梦想变成梦魇

那是一个平淡无奇而又注定不平凡的下午,1点刚过,运营同学开始发力线上推广,而大家都在等着业务增长的到来。之前已经有很多次这样的期待,大家顺理成章的认为,这次的期待也能得到应有的回应。可是,大家盼来的却是一场噩梦的开始。

当天下午,一条短信打破了办公室的平静,“【阿里云】尊敬的xxx:你的IP:x.x.x.x受到的攻击流量,已超过云盾DDoS基础防护的带宽峰值,服务器的所有访问已被屏蔽⋯⋯”。紧接着就是客服群收到井喷一样的投诉,反馈游戏无法登录,再后来肯定就是玩家对游戏的无尽失望,以及我们对自己深深的责备。此时此刻,我们是蒙的,我们甚至不知道发生了什么,也不知道这条简单而普通的通知短信背后是如此惨痛的代价。

一位运维工程师亲身经历的“DDoS追凶”实录

我们当中有一名小伙伴马上提出,我们不会是被人攻击了吧?听到“攻击”,大家的神经一下子绷紧起来,想想之前业务运营的顺风顺水是不是太侥幸了?如今现实残酷地摆在眼前,我机械地打开阿里云首页,一条DDoS攻击报警赫然在列,点开一看451Gbps,瞬间头皮发麻后脊背一凉。还是边上的小伙伴唤醒了已经失神的我,“看看阿里云的安全防护吧,以前参加他们云栖大会的时候有听说过云盾,应该会有产品可以防护的。”从一大堆产品目录中找到云盾,看到有DDoS高防和游戏盾两款比较match的产品。既然我们是游戏,就顺理成章地打开了游戏盾开始看。通过文档了解到,它的定位是解决T级别的DDoS攻击并且可以做到无上限的防护,也就是所谓的“无限抗”。其实当时这个我们是心里打鼓的(事实证明这个担心是多余的),因为在确认是攻击问题后,小伙伴们已经分头开始寻找解决方案,找到的结果不是价格贵得离谱,就是防护原理和效果说不清楚,我们只能看着问题干着急。抱着试试看的心里,我们提交了一份工单。试探性地想了解一下防护过程。时间一分一秒的过去,虽然当时等待的时间仅有2分半钟,但是对于当时的我来说,好像是过了一整年,除了自己的心跳和呼吸声,什么也听不到。事实证明,大厂就是大厂,在处理这些问题上比我们淡定很多,手段和方法也很多。针对我们的攻击事件类型,阿里云的安全专家也向我们推荐了游戏盾,主要是攻击峰值较大,攻击者后续应该有后手,不排除峰值越来越高。另外除了暴力型的DDoS攻击外,阿里云的安全专家也提醒我们注意CC攻击风险(后来事实证明,该来的还是会来,躲也躲不掉)。既然定了方案,那么接下来就开始进入紧张的技术对接。

忐忑不安的发布

对接过程还算比较顺利,从开通服务到拿到SDK开始对接,流程都比较顺利。这里也不得不吹一下我们的开发小哥,技术就是杠杠滴,看了一下文档经过和阿里云专家的简单沟通,大概用了2小时就完成了现有业务的SDK集成。正当我们觉得胜利在望,准备发布版本的时候,阿里云的专家紧急叫停。当时我们是拒绝的,心想难道产品有猫腻?不会坑我们的吧!原来他们一看我们要发布,赶紧把我们抓回来,他们有一套标准上线前的测试方案,来验证游戏盾的效果以及稳定性,防止接入后效果不符合预期。也非常感谢这次测试,发现了我们程序中两处很难复现又找不到原因的BUG。多次模拟攻击测试和稳定性测试,又抓出几个小BUG,在攻击防御功能符合预期后,评估了那几个BUG对业务影响不大,我们决定快速上线,优先保证业务。

终于,在中断6个小时以后,我们的业务再次“上线”。

天枰开始倾斜,胜利最终属于我们

发布大约1小时后,被攻击的短信告警再次响起。这一次,不止是一个IP地址被攻击,短信连续报警,瞬间我们觉得天塌了,已经不敢看短信了。心想,完蛋了,彻底失败了。但是与之前反应不同的是,仅有几个人在客服群里嚷嚷游戏掉线了,而大部分玩家都非常平静。然后嚷嚷游戏掉线的用户突然又说正常了,可能是自己网络问题。虽然此时的报警短信一直在炸,但是玩家似乎没有受到很大影响。这个是比较神奇的,更加神奇的是,我们打开游戏盾控制台的时候,发现可用的资源被黑客干掉了一小部分,但是我们的玩家在线丝毫没受到影响。我们当时其实是不相信的,反复确认数据,反复查询我们自己的数据库,结果告诉我们,攻击似乎和我们是绝缘的。难道短信告警是假的?

一位运维工程师亲身经历的“DDoS追凶”实录

黑客发动大流量攻击,节点进入黑洞,但是业务没有影响

正在我们感慨这个黑科技讨论它的技术原理的时候,阿里云的专家在群里贴了一个信息再次震撼到我们了,他们已经找到了黑客用来探测和攻击的设备,并且提供了黑客在我们游戏内注册的账号ID。原来,这个才是他们真正的秘密武器。在接下来的攻防对抗中,游戏盾就好像开挂了一样,牢牢地锁死了攻击者,把攻击者和正常业务彻底地分开了。

一位运维工程师亲身经历的“DDoS追凶”实录

游戏盾帮我们定位到的黑客信息以及详细调用记录(已经提交警方)

在震惊和忐忑中,我经历了人生中最难熬的8小时。接下来发生的任何事情,我都已经不觉得惊奇和惶恐了。晚上9点左右,业务正在攀登高峰,告警短信又开始炸了。与之前不同的是,这一次不是流量屏蔽,而是流量清洗的告警,我们已经在游戏盾控制台看到好几十万的拦截信息。此时阿里云专家给出了缘由,原来这是一起针对我们的CC攻击。简单的说,黑客利用手中的肉鸡把自己伪装成为我们的玩家,向我们的服务器发起疯狂的网络访问。因为之前讨论中已经有预案了,因此这次攻击并没有对我们造成实质影响。除了拦截数的不断走高,我心里开始慌慌打鼓,业务并没有受到任何的影响,真的像他们说的一样,游戏盾可以100%的解决CC攻击问题!守着业务呆呆的等到凌晨3点,我噩梦中雪崩式的坍塌问题始终没有出现,业务在攻击中始终保持平稳运营。

一位运维工程师亲身经历的“DDoS追凶”实录

CC攻击相关日志,业务没有任何影响

后记

第二天一早(其实当晚也基本没怎么睡),早早地来到公司对昨天的问题进行复盘。除了接入游戏盾之前的6小时玩家不可用之外,其他时段业务还是挺稳地。仔细回想起来,攻击问题我们之前一直抱着侥幸心理没做啥预案,心想着这些东西不一定会碰到。但实际情况就是,怕什么来什么。该考虑的,该布局的还是要提前做准备。

作为运维来说,用少量的代价,宁可备着不用也比出了问题干瞪眼来得好。利用游戏盾提供的攻击者信息,我们也将证据进行固定并交给警方进行报案,当然这是后面的另外一个故事了。

后来的后来

在之后的几天里,也正像阿里云安全专家估计的一样,每个业务爬坡期、业务高峰期,黑客都会利用各种手段、各种攻击方式对我们展开地毯式狂轰滥炸。短信一直在响,群里报警不断,但是业务非常平稳。经历了3天因为不断的听到短信声而导致“精神紧张神经衰弱”后,我总结出一个规律,只要短信告警不连续响超过1分钟,那就不用看。短信响了7天后,基本上就消停了。

这次经历让我感受颇丰,此时此刻我甚至有一些“感激”攻击我们黑客,让我们接触到游戏盾这款防护产品,如果没有使用游戏盾的话,就算黑客不是每天攻击,按照500G传统的IDC高防费用来算,可以直接拖垮我们,所有的努力都付诸东流。当然,作为运维Leader的我也在反思,这么好用的产品摆在阿里云上,为什么这么久了我完全不知道。当然,从甩锅的逻辑上看,游戏盾你太低调了。从防护效果上看,我还是要给游戏盾点个赞,再给阿里云打个CALL!废话了一大堆,就说这么多。

上一篇:软萌硬核的《恶果之地》将迎来武器、地图、角色的换血更新!

下一篇:G联赛半决赛盛世开幕 五大热游 四强选手逐鹿乌镇

相关推荐

行业巨头吹响号角,2024 eSmart阔步迈入智能娱乐硬件发展新纪元!

随着全球科技的迅猛发展,AI、虚拟现实(VR)、增强现实(AR)等智能技术正不断改变着人们的娱乐方式。在这个充满创新与变革的时代,VisionPro吹响号角,英伟达、微软、谷歌、Meta、腾讯、网易等海内外众多科技巨头携手全新硬件及软件,共同高歌猛进。2024GDC,是一场关于AI与创造力的盛会,内容涵盖了AI、...

呼唤全球独立游戏开发者|2024ChinaJoy-Game Connection INDIE GAME开发大奖正在征集独立佳作!

呼唤全球独立游戏开发者|2024ChinaJoy-GameConnectionINDIEGAME开发大奖正在征集独立佳作!2024ChinaJoy-GameConnectionINDIEGAME展区暨开发大奖活动将与7月26日-7月28日在上海新国际博览中心举办。INDIEGAME在近年来爆发出强力的势头,并且在...

2024 ChinaJoy 封面大赛第一周周优秀入围选手公布

2024ChinaJoyCosplay封面大赛正式进入周优秀评选阶段!本届封面大赛在开赛之初就备受全国动漫爱好者关注,在短短几周时间里,封面大赛就收到了来自国内众多优秀Coser们的投稿作品!这是一场Coser间的交流盛会,更是一场Cosplay的视觉盛宴!在经历了一段时间的作品征集后,我们也正式迎来了封面大赛第...

《魔灵召唤》十周年:结缘游戏,共创美好人生

2024年,迎来了《魔灵召唤》10周年纪念,这款游戏自2014年首次上线以来,在无数玩家心中留下了深刻的印记。然而,这款游戏不仅仅是一款娱乐产品,它还成为了许多玩家建立深厚感情的见证者。在这个特别的十周年里,让我们一起来倾听那些因《魔灵召唤》而结缘的夫妻们的美好回忆。这是两位生活在上海的玩家。共同的工作单位和学校...

燃梦重聚,《航海王:燃烧意志》怀旧服今日正式上线

让各位船长久等了,《航海王:燃烧意志》怀旧服今日正式上线,回归策略卡牌,取消VIP系统,大砍氪金系统,欢迎每一位船长重返航路,意志重燃!福利加码,不肝不氪《航海王:燃烧意志》怀旧服彻底取消VIP系统,与角色获取限制说再见,全部角色开放获取;五张超人气SSR免费送,为船长回归保驾护航!永久彩钻月卡累计登录即可领取,...

查看更多
小笨产品
下载

小笨游戏

首个注册送首充卡(用于任意游戏的6元首冲)的手游app平台