标签 Server_Books 下的文章

2018-08-21

2018年08月21日
3,502 阅读
0 评论
0 点赞

2015-05-22

linux文本处理三剑客之—AWK（二） 6、常用ACTION (1) EXPRESSIONS：例如变量赋值 (2) Control Statements：控制语句，如if, while等； (3) Compound Statements：复合语句 (4) input statements (5) output statements 7、控制语句 if (condition) { statements } [else { statement }] while (condition) { statements } do statement while (condition) for(expr1;expr2;expr3) { statements } for(var in array) { statements } switch (expression) {case VALUE or /REGEXP/: statement; ...; default: statementN} break continue delete array[index] delete array exit [ expression ] { statements } 7.1 if-else 语法：if (condition) statement [ else statement ] if (condition) {statements} [else {statements}]~]# awk -F: '{if ($3>=500) print $1,$3}' /etc/passwd ~]# awk -F: '{if ($3>=500) print $1,$3}' /etc/passwd nfsnobody 65534 mark 500 mark1 501 fedora 502 apapche 503 system 504 [root@www ~]#~]# awk '{if (NF>=6) print NF,$0}' /etc/rc.d/rc.sysinit ~]# awk -F: '{if ($3>=500) {print $1,"is a common user"} else {print $1,"is a sysadmin or sysuser"}}' /etc/passwd使用场景：对awk取得的整行或行中的字段做条件判断；7.2 while循环语法：while (condition) statement while (condition) {statements}条件为“真”时循环，为“假”时退出循环；使用场景：通常用于在当前行的各字段间进行循环；~]# awk '{i=1;while(i<=NF){if (length($i)>=6) {print $i};i++}}' /etc/issue 7.3 do-while循环语法：do statement while (condition) do {statements} while (condtion) 意义：至少执行一次循环体 7.4 for循环语法：for (expr1;expr2;expr3) statement for (expr1;expr2;expr3) {statements}for (variable assignment;codition;iteration process) {for-body}# awk '{for(i=1;i<=NF;i++){if(length($i)>=6) print $i}}' /etc/issue第二种用法：用于遍历数组中的元素 for (var_name in array) {for-body} 7.5 swtich 语法：switch (expression) {case VALUE or /REGEXP/: statement; ...; default: statementN} 7.6 break and continue break [n]：退出当前循环，n是一个数字，用于指定退出几层循环； continue：提前结束本轮循环而进入下一轮； 7.7 next 提前结束对本行文本的处理，而提前进入下一行的处理操作；~]# awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd 8、数组关联数组：array[index-expression]index-expression：可以使用任意字符；如果某数组元素事先不存在，则在引用时，awk会自动创建此元素并将其值初始化为空串；因此，若要判断数组中的某元素是否存在，要使用“index in array”的方式进行判断；要遍历数组中的元素，则要使用for (var_name in array)的方式进行；此时，var_name会遍历array的每个索引，所以，要显示数组元素的值，要使用array[var_name]weekdays weekdays[mon]="Monday" weekdays[tue]="Tuesday" ...for (i in weekdays)：此时，i变量会遍历weekdays数组的每个索引，即mon, tue，而非元素的值“Monday”或"Tuesday"等；要获取元素的值：weekdays[i]例如：统计指定文件中所有行中每个单词出现的次数；可定义一个数组，用单词本身当索引，而元素的值存储单词出现的次数How are you? How old are you?count[How]=2 count[are]=2 count[you?]=2 count[old]=1 整个文件统一统计： ~]# awk '{for(i=1;i<=NF;i++) {count[$i]++}}END{for(j in count) {print j,count[j]}}' /root/count.txt 每行单独统计： ~]# awk '{for(i=1;i<=NF;i++) {count[$i]++};for(j in count) {print j,count[j]};delete count}' /root/count.txt 统计当前系统上所有tcp连接的各种状态的个数PV；~]# ss -tan | awk '!/^State/{state[$1]++}END{for(i in state) print i,state[i]}'统计指定的web访问日志中各ip的资源访问次数： ~]# awk '{ip[$1]++}END{for(i in ip) print i,ip[i]}' /var/log/httpd/access_log 9、函数内建函数和用户自定义函数9.1 内建函数数值处理： rand()：返回0至1之间的一个随机数；字符串处理： length([s])：返回指定的字符串的长度；sub(r,s[,t])：基于r所表示的模式来匹配字符串t中的内容，将其第一次被匹配到的内容替换为s所表示的字符串； gsub(r,s[,t])：基于r所表示的模式来匹配字符串t中的内容，将其所有被匹配到的内容均替换为s所表示的字符串；split(s,a[,r])：以r为分隔符去切割字符串s，并将切割后的结果保存至a表示的数组中；注意：awk的数组下标从1开始编号~]# awk '{split($0,userinfo,":");print userinfo[1]}' /etc/passwdsubstr(s,i[,n])：从s所表示的字符串中取子串，取法：从i表示的位置开始，取n个字符；时间类函数： systime()：取当前系统时间，结果形式为时间戳；9.2 用户自定义函数function f_name(p,q) { ... }

2015年05月22日
3,066 阅读
0 评论
0 点赞

2015-05-21

linux文本处理三剑客之—AWK linux文本处理三剑客 grep,egrep,fgrep；文本过滤 sed：文本编辑（行编辑器） awk：报表生成器，文本格式化，能够实现根据需要对文本做美化后输出的，这更是一个强大到没有朋友的工具awk类似于bash，支持变量，数组，判断，一个过程式语言它都有AWK由来：由三个人名字首字母缩写而来创始人：Alfred AHo,Peter Weinberger,Brian Kernighan 但是我们在linux上使用的AWK是另外一种，AWK在上个世纪70年代开发，这是一个古老的工具，而后在时代变迁中AWK被GUN二次开发为GAWK，在centos被符号链接为AWK [root@www bin]# ll awk lrwxrwxrwx. 1 root root 4 Apr 13 14:22 awk -> gawk GUN在开发awk时做了很多加强，目前GAWK是最强版本功能：进程控制，函数变量等，完整的过程式编程语言AWK运行起来比起grep是差很多的AWK的运行方式：支持三种方式 1，awk命令行 #awk 2，awk程序文件 #awk -f /path/from/awkname.file 3,awk脚本 #！/bin/awk -f基本用法： gawk [options] 'program' file1 file2 ... program:PATTERN{ACTION STATEMENT} 由语句组成，各语句间使用分号分割；ACTION：print,printf AWK是一个格式化工具，为了达到它的目标，它一次从文本文件中读出一行数据，而后把每一行文本，读一行处理一行遍历整个文本，读至awk的空间，按照指定的分隔符进行切法，切法标准和条件：以指定的分隔符指定的切出来，而后被切成N段变量$1,$2,$3,$4，直到最后，整行的是$0，读取文本后赋值给每个$。linux文本处理三剑客之—AWK(一)下载文档

2015年05月21日
2,845 阅读
0 评论
0 点赞

2015-05-16

iptables链接追踪state/recent/NAT（三） iptables概念和参数（一）iptables基本规则演示（二）四表：filter, nat, mangle, raw (低-->高) 五链：PREROUTING, INPUT, FOWARD, OUTPUT, POSTROUTING链参数：添加 -N，删除 -X ，清空 -F，定义 -P ，重命名 -E，清空 -Z 规则参数:附加 -A, 插入 -I, 删除 -D, 替换 -R查看-L -n -x -v

2015年05月16日
5,492 阅读
0 评论
0 点赞

2015-05-11

2015年05月11日
3,459 阅读
0 评论
0 点赞

2015-05-10

iptables概念和参数（一） iptables基本规则演示（二）:http://www.gray-track.com/722.htmliptablesfirewall: 分为两类防火墙 1，主机防火墙,2，网络防火墙他们工作于主机或网络的边缘，对于进出的报文根据事先定义的规则作检查，将那些能够被规则所匹配到的报文作出相应处理的组件。网络防火墙，有些则是专业的硬件防火墙，如：checkpoint, netscreeniptable：主机程序，也可以说是软件防火墙 iptables：规则编写工具 netfilter: 网络过滤器, 内核中工作在TCP/IP网络协议栈上的框架；再者还有IDS：入侵检测，IPS：入侵防范，有些公司还有HoneyPot: 蜜罐来防止并追踪攻击者的手段，如果有兴趣可以玩玩kali， (backtrack) OpenBSD: ipfw ipchains iptables/netfilterkernel, frameworkhooks function: prerouting: 进入本机后路由功能发生之前 input：到达本机内部 output: 由本机发出 forward: 由本机转发 postrouting：路由功能发生之后，即将离开本机之前路由发生的时刻：报文进入本机后：判断目标地址报文离开本机之前：判断经由哪个接口发出；报文流向经由的位置：到本内部：prerouting, input 由本机发出：output, postrouting 由本机转发：prerouting, forward, postrouing规则的功能：过滤：firewall，地址转换：NAT Server Network Address Translation mangle：修改报文首部中的某些信息 raw：关闭nat表上启用的连接追踪功能iptables：每个钩子函数上可放置n条规则；对应于每个钩子上的多条规则就称为一个链（CHAIN）每个功能有多个链，所以，就称作表；链：链上的规则次序即为检查次序，因此有一定的法则 (1) 同类规则，匹配范围小的放上面； (2) 不同类规则，匹配报文几率较大的放上面； (3) 应该设置默认策略；ptables有四表五链 filter: input, forward, output 添加规则时的考量点： (1) 要实现的功能：判断添加在哪个表上； (2) 报文流向及经由路径：判断添加在哪个链上；功能的优先级：由高而低： raw --> mangle --> nat --> filter规则的组成部分：报文的匹配条件, 匹配之后如何处理匹配条件：基本匹配条件、扩展匹配条件如何处理：内建处理机制、自定义处理机制（自定义的链）注意：报文不可能经由自定义链，只有在被内置链上的引用才能生效（即做为自定义目标）iptables：规则管理工具自动实现规则的语法检查规则和链有计数器： pkts: 由规则或链匹配到的报文的个数； bytes：由规则或链匹配到的所有报文大小之和；链：应该有默认策略；iptables命令生成规则，送往netfilter; 规则通过内核接口直接送至内核，因此，会立即生效。但不会永久有效；如果期望有永久有效，需要保存至配置文件中，此文件还开机时加载和由用户手工加载； iptables [-t TABLE] SUBCOMMAND CHAIN CRETERIA -j TARGET-t TABLE: 默认为filter, 共有filter, nat, mangle, raw四个可用；SUBCOMMAND：链： -F：flush，清空指定表的指定链上所有规则；省略链名时，清空表中的所有链； -N：new, 新建一个用户自定义的链；自定义链只能作为默认链上的跳转对象，即在默认链通过引用来生效自定义链； -X：drop，删除用户自定义的空链；非空自定义链和内置链无法删除； -Z：zero，将规则的计数器置0； -P：policy，设置链的默认处理机制；当所有都无法匹配或有匹配有无法做出有效处理机制时，默认策略即生效； filter表的可用策略：ACCEPT, DROP, REJECT -E：rename，重命名自定义链；注意：被引用中的链，无法删除和改名规则： -A：append，在链尾追加一条规则； -I：insert，在指定位置插入一条规则； -D：delete，删除指定的规则； -R：replace，替换指定的规则；查看： -L：list，列出指定链上的所有规则； -n: numeric，以数字格式显示地址和端口号，即不反解； -v: verbose，详细格式，显示规则的详细信息，包括规则计数器等； -vv: -vvv: --line-numbers: 显示规则编号； -x: exactly，显示计数器的精确值； pkts bytes target prot opt in out source destination pkts: 被本规则所匹配到的包个数； bytes：被本规则所匹配到的所包的大小之和； target: 处理目标（目标可以为用户自定义的链） prot: 协议 {tcp, udp, icmp} opt: 可选项 in: 数据包流入接口 out: 数据包流出接口 source: 源地址 destination: 目标地址 CRETERIA: 匹配条件检查IP首部，检查TCP、UDP或ICMP首部；基于扩展机制，也可以进行额外的检查；如做连接追踪；注意：可同时指定多个条件，默认多条件要同时被满足；匹配条件：通用匹配： [!] -s, --src, --source IP|Network：检查报文中的源IP地址； -d, --dst, --destination：检查报文中的目标IP地址； -p, --protocol：检查报文中的协议，即ip首部中的protocols所标识的协议；tcp、udp或icmp三者之一； -i, --in-interface：数据报文的流入接口；通常只用于PREROUTING, INPUT, FORWARD链上的规则； -o, --out-interface：检查报文的流出接口；通常只用于FORWARD, OUTPUT, POSTROUTING链上的规则；扩展匹配：使用iptables的模块实现扩展性检查机制隐式扩展：如果在通用匹配上使用-p选项指明了协议的话，则使用-m选项指明对其协议的扩展就变得可有可无了； tcp: --dport PORT[-PORT] --sport --tcp-flags LIST1 LIST2 LIST1: 要检查的标志位； LIST2：在LIST1中出现过的，且必须为1标记位；而余下的则必须为0; 例如：--tcp-flags syn,ack,fin,rst syn --syn：用于匹配tcp会话三次握手的第一次； udp: --sport --dport icmp: --icmp-types 8: echo request 0：echo reply 显式扩展：必须指明使用的扩展机制； -m 模块名称每个模块会引入新的匹配机制；想知道有哪些模块可用： rpm -ql iptables小写字母，以.so结尾；multiport扩展：以离散定义多端口匹配；最多指定15个端口；专用选项： --source-ports, --sports PORT[,PORT,...] --destination-ports, --dports PORT[,PORT,...] --ports PORT[,PORT,...]例子： iptables -I INPUT 1 -d 172.16.100.11 -p tcp -m multiport --dports 22,80,443 -j ACCEPT iptables -I OUTPUT 1 -s 172.16.100.11 -p tcp -m multiport --sports 22,80,443 -j ACCEPTiprange扩展：指定连续的ip地址范围；在匹配非整个网络地址时使用；专用选项： [!] --src-range IP[-IP] [!] --dst-range IP[-IP]示例： iptables -A INPUT -d 172.16.100.11 -p tcp --dport 23 -m iprange --src-range 172.16.100.1-172.16.100.100 -j ACCEPT iptables -A OUTPUT -s 172.16.100.11 -p tcp --sport 23 -m iprange --dst-range 172.16.100.1-172.16.100.100 -j ACCEPTstring扩展：检查报文中出现的字符串，与给定的字符串作匹配；字符串匹配检查算法： kmp, bm专用选项： --algo {kmp|bm} --string "STRING" --hex-string "HEX_STRING"：HEX_STRING为编码成16进制格式的字串；示例： iptables -I OUTPUT 1 -s 172.16.100.11 -p tcp --sport 80 -m string --string "sex" --algo kmp -j REJECTtime扩展：基于时间区间做访问控制专用选项： --datestart YYYY[-MM][-DD][hh[:mm[:ss]]] --dattestop--timestart --timestop--weekdays DAY1[,DAY2,...]示例： # iptables -R INPUT 1 -d 172.16.100.11 -p tcp --dport 80 -m time --timestart 08:30 --timestop 18:30 --weekdays Mon,Tue,Thu,Fri -j REJECTconnlimit扩展：基于连接数作限制；对每个IP能够发起的并发连接数作限制；专用选项： --connlimit-above [n]# iptables -I INPUT 2 -d 172.16.100.11 -p tcp --dport 22 -m connlimit --connlimit-above 5 -j REJECTlimit扩展：基于发包速率作限制；专用选项：令牌桶算法 --limit n[/second|/minit|/hour|/day] --limit-burst niptables -R INPUT 3 -d 172.16.100.11 -p icmp --icmp-type 8 -m limit --limit 10/minute --limit-burst 5 -j ACCEPTstate扩展：

2015年05月10日
3,294 阅读
0 评论
0 点赞

2015-05-07

2015年05月07日
5,419 阅读
0 评论
0 点赞