• 幕客老师召集小伙伴
  • 运维高手36项修炼
  • python自动化运维项目实战
  • nginx从入门到实战
  • 阿里云与Centos7实战

归档 2016年1月

从小站到大站的技术架构优化之路

从小站到大站的技术架构优化之路 课程设计背景:     14年初,接到一家公司老板打过来的电话,电话中着很急切的告知他们公司的服务目前正不断遭受类似于DDOS的恶意攻击,这种情况已经持续了一段时间,由于问题迟迟无法定位,导致线上核心服务无法正常运行 ...

继续阅读

Python利用MRJob作Nginx日志分析

前言:写python中的MRjob模块的内容不只一次了,在自己的博客中也有类似的几篇内容。这个脚本的作用,就是为了在没有hadoop的单机8核机器硬件环境下,利用脚本来作到每天约26Gb的日志分析。 1、分析Nginx的响应状态在一天中每一个以十分钟为时间单元的响应个数。 2、分析Ngingx的接口响应延时 ...

继续阅读

如何通过SPEC编译RPM包(例:redis的rpm包)

 为了方便我们进行系统的软件包管理和相关的规范化部署,我们公司通常会建议大家使用rpm包作为部署。但是在我们的Yum源里没有对应的rpm包,或者我们对部署有着特定的要求该如何作呢?可以参考如下:   一、准备工作 要编译一个RPM包,我们需要获取到对应的源码包和SPEC文件 ...

继续阅读

使用Redis之前5个必须了解的事情

使用Redis开发应用程序是一个很愉快的过程,但是就像其他技术一样,基于Redis的应用程序设计你同样需要牢记几点。在之前,你可能已经对关系型数据库开发的那一整个套路了然如胸,而基于Redis的应用程序开发也有许多相似的地方,但是你必须牢记以下两点——Redis是个内存数据库,同时它是单线程的。因此,在使用Redis时 ...

继续阅读

Python本地模拟mapreduce作数据分析

Python中有一个模块MRJob,我们可以通过它来实现对大规模的数据实时性分析。 因为它可以支持本地分析,所以不一定需要hdoop,能开启一个多线程的方式来作。 如下脚本,实现的就是每十分钟统计访问时间超过指定的秒数的请求个数。如下:   #!/usr ...

继续阅读

零基础如何建一个接口响应时间实时分析平台[后端服务搭建、日志分析入库]

一、平台介绍 1、平台功能和特色 实现日志能实时收集线上系统的统一类型日志,通过map reduce的方式进行日志的统计分析,将汇总出来的结果存入数据库。 利用django的框架实现一套后台统计系统,提取出对应的数据进行日志 ...

继续阅读

每日归档

上个月

2015年12月

下个月

2016年2月

归档