非我族类其心必异!!!

Nginx防蜘蛛爬虫频繁抓取 限制抓取频率

最新网站出现负载高达20以上,看日志发现是某搜索的蜘蛛,每天抓取频率高达100多W次,今天记录的就是用ngx_http_limit_req对服务器资源请求进行限制,来达到限制抓取的意图。

该模块使用漏斗算法(Leaky Bucket),该算法有两种处理方式Traffic Shaping和Traffic Policing

在桶满水之后,常见的两种处理方式为:
1、暂时拦截住上方水的向下流动,等待桶中的一部分水漏走后,再放行上方水
2、溢出的上方水直接抛弃

将水看作网络通信中数据包的抽象,则方式1起到的效果称为Traffic Shaping,方式2起到的效果称为Traffic Policing
由此可见,Traffic Shaping的核心理念是”等待”,Traffic Policing的核心理念是”丢弃”。它们是两种常见的流速控制方法
阅读全文…

2017年12月5日 | 归档于 工作相关 | Work-related
标签:

利用MySQLTuner 优化 MySQL 性能

最简单、最方便的MariaDB性能优化技巧,就是使用mysqltuner工具。mysqltuner其实是一个脚本,它可以扫描数据库服务器,并提出性能和稳定性方面的改进建议。
1、安装

1
2
3
4
5
wget https://github.com/major/MySQLTuner-perl/tarball/master
tar xzf master
cd major-MySQLTuner-perl-7dabf27
chmod +x mysqltuner.pl
./mysqltuner.pl

如果遇到错误 Unable to find mysqladmin in your $PATH 可以输入
PATH=$PATH:/usr/local/mariadb/bin
PS:把 /usr/local/mysql/bin 改为您 MySQL 程序 mysqladmin 的路径

浏览输出的结果,特别是末尾的 Recommendations ,里面一般会提到您需要在 my.cnf 修改的内容。修改 my.cnf 后记得重启 MySQL 。重启后再运行 MySQLTuner 检查。另外需要注意的是 MySQL 需要启动 24 小时候再运行 MySQLTuner ,不然有些内容会不准。

2017年12月1日 | 归档于 Linux杂项 | Linux Other
标签:

phpcms v9 表单向导 在线留言后发送邮件(含留言内容)

修改 phpcms\modules\formguide index.php
找到
foreach ($mails as $m) {
sendmail($m, L(‘tips’), $this->M[‘mailmessage’]);
}
替换成

1
2
3
4
5
6
7
8
9
10
11
12
13
14
//2017-11-30 增加邮件内容附带表单详情
$f_info = $this->db->get_one(array('modelid'=>$formid, 'siteid'=>$this->siteid));  
$MailSubject = '['.$f_info['name'].']新留言提醒';  
$Fields = getcache('formguide_field_'.$formid, 'model');  
//$Fields['username']['name'] = '用户名';  
$Fields['datetime']['name'] = '提交时间';  
$Fields['ip']['name'] = '提交IP';  
unset($data['userid'], $data['datetime']);  
foreach($data as $k=>$v){  
		$MailBody .= $Fields[$k]['name'].'        :'.$v.'<br />';  
}         
foreach ($mails as $m) {  
		sendmail($m, $MailSubject, $MailBody.$this->M['mailmessage']);  
}
2017年11月30日 | 归档于 工作相关 | Work-related
标签:

phpcms v9文章列表页调用组图标签写法

20150506115450596

直接上调用代码,以列表页为例: 阅读全文…

2017年11月29日 | 归档于 工作相关 | Work-related
标签: ,

Centos下Rsync镜像备份搬迁数据 [服务器模式]

Rsync (remote sync)是一款开源、快速,多功能、可实现增量的本地或远程数据镜像同步备份优秀工具。它可通过 LAN/WAN 快速同步多台主机间的文件。

RSYNC的特性:
1、支持拷贝特殊文件如链接、设备等。
2、可以有排除制定文件或目录同步的功能,相当于打包命令tar。
3、可以做到保持原来文件或目录的权限、时间、软硬连接等所有属性均不改变。
4、可实现增量同步,既只同步发生变化的数据,因此数据传输效率很高。
5、可以使用rcp,rsh,ssh等方式配合传输文件,也可以通过直接的socket连接。
6、支持匿名的或认证的进程模式传输,方便进行数据备份及镜像
7、优化的流程,文件传输效率高
阅读全文…

2017年5月26日 | 归档于 Linux杂项 | Linux Other
标签:

PHPCMS V9后台调用用户总户、今日新注册用户、待审、总文章数

先打开/phpcms/modules/admin/index.php
搜索:public function public_main() {
在里面加上:

		$this->content_check_db = pc_base::load_model('content_check_model');
		$this->hits_db = pc_base::load_model('hits_model');
		$total_content_check = $this->content_check_db->count(array('status'=>'0'));
		$total_hits = $this->hits_db->count();
		$this->member_db = pc_base::load_model('member_model');
		$total_member = $this->member_db->count();	//会员总数
		$todaytime = strtotime(date('Y-m-d', SYS_TIME));	//今日会员数
		$today_member = $this->member_db->count("`regdate` > '$todaytime'");

然后/phpcms/modules/admin/templates/main.tpl.php 里调用方法:

用户总数:<?php echo $total_member?>
今日注册用户:<?php echo $today_member?>
文章总数:<?php echo $total_hits?>
待审文章总数:<?php echo $total_content_check?>
2017年3月25日 | 归档于 建站手记 | Notes Jianzhan
标签:

linux 根目录满了清理记录

早上起来手机提醒网站挂了,一查发现是由于Mysql的mysql-bin-*日志所引起根目录占用100%。

mysql -u root -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2819416
Server version: 5.5.24-0ubuntu0.12.04.1-log (Ubuntu)
Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> reset master;
Query OK, 0 rows affected (3 min 37.65 sec)

关键命令为:reset master;
此命令会清空mysql-bin数据库日志文件。
如果mysql服务器不需要做主从复制,建议通过修改my.cnf文件,来设置不生成这些文件,只要删除my.cnf添加:
log-bin=mysql-bin
如果需要复制,最好控制下这些日志文件保留的天数,设定日志文件保留的天数:
expire_logs_days = 7
表示保留7天的日志,旧日志会自动被清理掉。

注意:这里要留意中间的顺序,不能先注释掉log-bin=mysql-bin再去使用reset master清空日志文件。

2016年12月3日 | 归档于 工作相关 | Work-related
标签:

Nginx 目录重定向

location ~* ^/xxx/ {
rewrite ^/xxx/(.*)$ http://j.5013.org/xxx/$1 permanent;
}

location ~* ^/yyy/ {
rewrite ^/yyy/(.*)$ http://j.5013.org/yyy/$1 permanent;
}

2016年11月16日 | 归档于 工作相关 | Work-related
标签:

又拍云ftp账号和密码

记录中,免得忘记了。

地址(主机): * 智能选路:v0.ftp.upyun.com * 电信线路:v1.ftp.upyun.com * 联通线路:v2.ftp.upyun.com * 移动线路:v3.ftp.upyun.com 加密:选择 不加密 使用 FTP,选择 显式的 FTP over TLS 或 TLS/SSL 显式加密 使用 FTPS 用户名:操作员名/服务名,如 operator/mybucket 密码:操作员的密码 端口:21

通俗点:
FTP地址:v0.ftp.upyun.com
FTP账号:你的授权操作员 / 你的空间名称 比如 admin/test
FTP密码:你的对应授权操作员的密码

2016年8月23日 | 归档于 工作相关 | Work-related
标签:

XenServer虚拟机扩容LVM磁盘分区

说明:XenServer里面安装的虚拟机,分区的时候采用的是LVM磁盘分区

需求:现在需要扩容虚拟机根分区/

具体操作:

一、使用XenCenter增大虚拟机磁盘容量,如下图所示

1

增大当前磁盘到50GB

注意:必须在虚拟机关机状态下进行

阅读全文…

2016年6月7日 | 归档于 Linux杂项 | Linux Other
标签: