awk多线程（shell脚本如何多线程并发）

本文目录

• shell脚本如何多线程并发
• shell 内使用awk 获取数据 如何多线程执行sqlplus
• CURL在shell下可以用多线程么
• 如何同时启动多个线程
• 运维工程师需要什么技能
• linux输出文件有几列
• Linux多线程编程的时候怎么查看一个进程中的

shell脚本如何多线程并发

分享一个在Linux下模拟多线程的并发脚本，使用这个脚本可以同时批量在定义数量的服务器上执行相关命令，比起普通for/while循环只能顺序一条一条执行的效率高非常多，在管理大批服务器时非常的实用。
以下脚本功能是通过scp(也可选rsync)向上千台服务器传更新包，脚本运行后同时在后台有50个scp进程向服务器传包。
#!/bin/bash
ip=`cat iplist.txt|grep -v "#"|awk ’{print $1}’` #过滤服务器IP
dir=’/usr/local/src’ #目标路径
thead_num=50 #自定义并发数，根据自身服务器性能或应用调整大小，开始千万别定义太大，避免管理机宕机
tmp_fifo_file="/tmp/$$.fifo" #以进程ID号命名管道文件
mkfifo $tmp_fifo_file #创建临时管道文件
exec 4《》$tmp_fifo_file #以读写方式打开tmp_fifo_file管道文件,文件描述符为4，也可以取3-9任意描述符
rm -f $tmp_fifo_file #删除临时管道文件，也可不删除
for ((i=0;i《$thead_num;i++)) #利用for循环向管道中输入并发数量的空行
do
echo "" #输出空行
done 》&4 #输出重导向到定义的文件描述符4上
for i in $ip #循环所有要执行的服务器
do
read -u4 #从管道中读取行，每次一行，所有行读取完毕后执行挂起，直到管道有空闲的行
{
scp -P 1000 $1 $i:$dir #所有要批量执行的命令都放在大括号内，scp是一个简单实例，可替换任意其他命令及命令组，1000为服务器端的端口
sleep 3 #暂停3秒，给系统缓冲时间，达到限制并发进程数量
echo "" 》&4 #再写入一个空行，使挂起的循环继续执行
}& #放入后台执行
done
wait #等待所有后台进程执行完成
exec 4》&- #删除文件描述符
exit 0

shell 内使用awk 获取数据 如何多线程执行sqlplus

cat $TIME_RANGE_FILE | while read line
do
START_TIME=`echo $line|awk ’{print $1" "$2" "$3}’`
END_TIME=`echo $line|awk ’{print $4" "$5" "$6}’`
#CALL PROC
echo "start DEL_TM_TMP.sql"
Query_result=’ sqlplus $ORACLE_USER/$ORACLE_PWD@$ORACLE_SID《《 EOF
set pages 0
set head off
set feed off
# call proc or some sql here
exit
EOF’
done

CURL在shell下可以用多线程么

享Linux模拟线程并发脚本使用脚本同批量定义数量服务器执行相关命令比起普通for/while循环能顺序条条执行效率高非管理批服务器非实用
脚本功能通scp(选rsync)向千台服务器传更新包脚本运行同台50scp进程向服务器传包
#!/bin/bash
ip=`cat iplist.txt|grep -v "#"|awk ’{print $1}’` #滤服务器IP
dir=’/usr/local/src’ #目标路径
thead_num=50 #自定义并发数根据自身服务器性能或应用调整始千万别定义太避免管理机宕机
tmp_fifo_file="/tmp/$$.fifo" #进程ID号命名管道文件
mkfifo $tmp_fifo_file #创建临管道文件
exec 4》$tmp_fifo_file #读写式打tmp_fifo_file管道文件,文件描述符4取3-9任意描述符
rm -f $tmp_fifo_file #删除临管道文件删除
for ((i=0;i《$thead_num;i++)) #利用for循环向管道输入并发数量空行
do
echo "" #输空行
done 》&4 #输重导向定义文件描述符4
for i in $ip #循环所要执行服务器
do
read -u4 #管道读取行每行所行读取完毕执行挂起直管道空闲行
{
scp -P 1000 $1 $i:$dir #所要批量执行命令都放括号内scp简单实例替换任意其命令及命令组1000服务器端端口
sleep 3 #暂停3秒给系统缓冲间达限制并发进程数量
echo "" 》&4 #再写入空行使挂起循环继续执行
}& #放入台执行
done
wait #等待所台进程执行完
exec 4》&- #删除文件描述符
exit 0

如何同时启动多个线程

默认情况下：
主线程＋辅助线程 ＋《253个自己的线程《＝255
含主线程和一个辅助线程，最多255个，即一个用户只能生成253个线程。
Linux最大线程数限制及当前线程数查询：
1、总结系统限制有：
/proc/sys/kernel/pid_max #查系统支持的最大线程数，一般会很大，相当于理论值
/proc/sys/kernel/thread-max
max_user_process（ulimit -u） #系统限制某用户下最多可以运行多少进程或线程
/proc/sys/vm/max_map_count
硬件内存大小
2、Java虚拟机本身限制：
-Xms #intial java heap size
-Xmx #maximum java heap size
-Xss #the stack size for each thread
3、查询当前某程序的线程或进程数
pstree -p `ps -e | grep java | awk ’{print $1}’` | wc -l 或 pstree -p 3660 | wc -l
4、查询当前整个系统已用的线程或进程数
pstree -p | wc -l
1、 cat /proc/${pid}/status
2、pstree -p ${pid}
3、top -p ${pid} 再按H 或者直接输入 top -bH -d 3 -p ${pid}
top -H
手册中说：-H : Threads toggle
加上这个选项启动top，top一行显示一个线程。否则，它一行显示一个进程。
4、ps xH
手册中说：H Show threads as if they were processes
这样可以查看所有存在的线程。
5、ps -mp 《PID》
手册中说：m Show threads after processes
这样可以查看一个进程起的线程数。

运维工程师需要什么技能

运维工程师所需基础技能：

• 精通shell/Python/Perl等1至2种编程语言

• 熟练掌握常用数据结构和算法，并能灵活运用

• 熟悉网络基础知识

• 深入理解Linux操作系统

加分技能：

• 熟悉开源的监控平台工具，比如：Ganglia、Nagios等

• 熟练掌握Shell脚本熟悉Awk、Sed等基础工具

• 熟悉分布式计算或者存储系统，比如Hadoop/Hbase/Storm等

• 熟悉机器学习原理能付诸实践者更佳

• 熟悉TCP/IP、HTTP等网络协议，精通socket网络编程
  

软素质要求：

• 强烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长

• 能承担较大工作压力，有较强独立分析、解决问题的能力

• 工作中需要胆大心细，具备探索创新精神

扩展资料：

运维工程师：负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率提高整体的ROI.运维工程师面对的最大挑战是大规模集群的管理问题，如何管理好几十万台服务器上的服务，同时保障服务的高可用性，是运维工程师面临的最大挑战。

linux输出文件有几列

linux输出文件有几列可以使用 cat filename | awk ’{print NF}’ 命令可以得到每一行对应有多少列。

例如文件a.txt的内容为：

你好  北京  天安门

1 2 3 4

1 2 3 4 5

输入并执行cat a.txt | awk ’{print NF}’ 得出以下结果：

3

4

5

输出结果分别代表第一行有3列，第二行有4列，第三行有5列。

1、Linux是一套****和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。伴随着互联网的发展，Linux得到了来自全世界软件爱好者、组织、公司的支持。

它除了在服务器操作系统方面保持着强劲的发展势头以外，在个人电脑、嵌入式系统上都有着长足的进步。使用者不仅可以直观地获取该操作系统的实现机制，而且可以根据自身的需要来修改完善这个操作系统，使其最大化地适应用户的需要。

2、AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。awk经过改进生成的新的版本nawk,gawk，现在默认linux系统下日常使用的是gawk，用命令可以查看正在应用的awk的来源（ls -l /bin/awk ）

扩展资料：

linux主要特性：

1、完全兼容POSIX1.0标准

这使得可以在Linux下通过相应的模拟器运行常见的DOS、Windows的程序。这为用户从Windows转到Linux奠定了基础。许多用户在考虑使用Linux时，就想到以前在Windows下常见的程序是否能正常运行，这一点就消除了他们的疑虑。

2、多用户、多任务

Linux支持多用户，各个用户对于自己的文件设备有自己特殊的权利，保证了各用户之间互不影响。多任务则是现在电脑最主要的一个特点，Linux可以使多个程序同时并独立地运行。

3、良好的界面

Linux同时具有字符界面和图形界面。在字符界面用户可以通过键盘输入相应的指令来进行操作。它同时也提供了类似Windows图形界面的X-Window系统，用户可以使用鼠标对其进行操作。在X-Window环境中就和在Windows中相似，可以说是一个Linux版的Windows。

4、支持多种平台

Linux可以运行在多种硬件平台上，如具有x86、680x0、SPARC、Alpha等处理器的平台。此外Linux还是一种嵌入式操作系统，可以运行在掌上电脑、机顶盒或游戏机上。2001年1月份发布的Linux 2.4版内核已经能够完全支持Intel64位芯片架构。同时Linux也支持多处理器技术。多个处理器同时工作，使系统性能大大提高。

参考资料来源：

百度百科-Awk

百度百科-linux

Linux多线程编程的时候怎么查看一个进程中的

试试看:先用livecd或liveu**引导系统，手工对硬盘分好区、做好逻辑卷，格式化好文件系统;然后再用安装cd启动进行安装。走到硬盘分区步骤时，不再重新分区，直接使用刚才分好的区。