linux下如何实现快速拷贝大文件_Linux

来源:脚本之家  责任编辑:小易  

1、首先进入系统日志,所有服务的登录的文件或错误信息文件,都在/var/log/记录下来 cd/var/log/。2、/var/log/secure:记录登录系统存取数据的文件;var/log/message:几乎所有的开机系统发生的错误都会在此记录。3、tail-n 10 filename.log执行这个命令,查询日志尾部最后10行的日志。4、tail-n+20 filename.log,查询20行之后的日志。5、head-n 20 filename.log 查询日志前十条。6、cat-n filename.log|grep"1.0.0"安装关键词“1.0.0”进行搜索日志www.zgxue.com防采集请勿采集本网。

拷贝数据

远程拷贝数据的时候,我们一般使用rsync命令,但是如果拷贝大量的小文件,会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输,可以解决这问题,使用这个方法,等同于使用scp、rsync传输大文件。

比如把a目录拷贝到b中 cp-rf a b

实测,使用rsync传输1200G,单个文件大小为几十KB~2GB,千兆网卡,需要同时跑6个rsync才能把带宽跑满,每个速度20MB左右,速度波动大。每分钟可以拷贝4.5GB左右。

linux的文件拷贝到windows的具体操作步骤如下: 1、百度搜索zdfilezilla官网,ftp客户端和ftp服务端软件,选用客户端即可。版 2、进入filezilla官网,下载64位安装版,选择系统32位。3、安装完成

但是,使用tar pv lz4,跑一个就可以了,而且速度波动小。每分钟可以拷贝6.8GB左右。

1、首先从服务端copy文件到本地。比如服务器的home下有一个文件是a.txt,那么命令是:scp root@192.168.2.208:/home/a.txt/home, 2、此时会要你输入root的密码。输入后即可把a.txt 拷贝到你当前

rsync使用例子

linux系统要把u盘中的文件复制过来需要先把U盘挂载到系统中的某一个位置,然后再使用cp命令完成拷贝。可以参考以下操作步骤: 1、把U盘插入Linux电脑,确保U盘指示灯是亮着的。进入Linux系统主

rsync安装:yum install -y rsync

1、首先,百连接相应linux主机,进入到linux命令行度状态下,等待输入shell指令。2、在linux命令行下输入shell指令:cp-r 2 1/send。3、键盘按“回车键”运行版shell指令,此时会看到文件夹2被成

# 推送[root@vm5 ~]# rsync -auvzP -e "ssh -p22" mssh.tar.gz root@192.168.176.11:/data/sending incremental file listmssh.tar.gz 1,977 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=0/1)sent 2,069 bytes received 35 bytes 4,208.00 bytes/sectotal size is 1,977 speedup is 0.94# 拉取[root@vm5 ~]# rm -f mssh.tar.gz[root@vm5 ~]# rsync -auvzP -e "ssh -p22" root@192.168.176.11:/data/mssh.tar.gz .receiving incremental file listmssh.tar.gz 1,977 100% 1.89MB/s 0:00:00 (xfr#1, to-chk=0/1)sent 43 bytes received 2,069 bytes 4,224.00 bytes/sectotal size is 1,977 speedup is 0.94

参数auvzP解释:参数a是归档传输,保留文件属性,u是更新传输,源文件修改时间较新,则传输。v是显示详细过程,z是压缩传输,P是断点传输。

注意:rsync 传输文件夹时候,folder/ 带/则是传输目录下的文件,不带/是把文件夹也传输过去。

使用压缩传输

安装pv、lz4工具

注意:服务器两端都要安装。

pv在yum源里面没有,可以到pv官网找

# 去pv官网,搞到个rpm包链接,直接rpm命令安装[root@vm5 ~]# rpm -ivh http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm获取http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm警告:/var/tmp/rpm-tmp.mFbA6u: 头V3 DSA/SHA1 Signature, 密钥 ID 3fc56f51: NOKEY准备中... ################################# [100%]正在升级/安装... 1:pv-1.6.6-1 ################################# [100%] # lz4 可以直接yum安装 [root@vm5 ~]# yum install -y lz4

使用

[root@vm5 ~]# time tar -c go |pv |lz4 -B4 |ssh -p22 -c aes128-ctr 192.168.176.11 "lz4 -d |tar -xC /data/"using blocks of size 64 KB18.1MiB 0:00:00 [49.5MiB/s] [ <=> ]real 0m0.376suser 0m0.080ssys 0m0.108s# 对比rsync[root@vm5 ~]# time rsync -auvzP -e "ssh -p22" go 192.168.176.11:/data/......sent 11,741,677 bytes received 10,451 bytes 7,834,752.00 bytes/sectotal size is 18,502,481 speedup is 1.57real 0m1.130suser 0m0.797ssys 0m0.160s[root@vm5 ~]#

几种方法使用tar压缩,然后把压缩包复制过去,再解压使用rsync,同步两个目录,但是需要打rsync server内容来自www.zgxue.com请勿采集。


  • 本文相关:
  • linux采用scp命令拷贝文件到本地,拷贝本地文件到远程服务器的方法
  • linux使用scp命令进行文件远程拷贝详解
  • 详谈linux写时拷贝技术(copy-on-write)必看篇
  • linux中拷贝 cp命令中拷贝所有的写法详解
  • virtualbox主机和虚拟机之间文件夹共享及双向拷贝(windows<->windows, windows<->linux)
  • linux拷贝命令之高级拷贝scp命令详解
  • linux使用scp命令备份文件 scp拷贝文件
  • 使用scp获取远程linux服务器上的文件 linux远程拷贝文件
  • apache本地二级域名配置方法
  • linux系统中ssh服务基于key认证实践的过程
  • 在centos中部署多节点citus集群的详细步骤
  • linux下几种并发服务器的实现模式(详解)
  • ubuntu中静态dns配置的方法详解
  • apache 多站点配置方法
  • apache的rewrite规则使用说明
  • centos6.9安装vsftpd并配置多用户的方法
  • linux系统下oracle11gr2静默安装的经验分享
  • centos 6.5平台本地yum配置的方法
  • linux如何快速拷贝大量文件
  • linux下怎么把日志拷贝出来
  • linux中怎么拷贝文件到指定目录下?
  • Linux 下如何复制粘贴?
  • 在linux的命令行状态下,如何拷贝一个目录到另一个目录中
  • 把linux上的文件拷贝到windows下
  • 如何从linux的文件拷贝到另一台机器
  • linux系统如何把u盘中的文件复制过来?
  • linux中怎么拷贝文件到指定目录下???
  • 怎样把U盘里的文件,复制到LINUX下?
  • 网站首页网页制作脚本下载服务器操作系统网站运营平面设计媒体动画电脑基础硬件教程网络安全星外虚拟主机华众虚拟主机linuxwin服务器ftp服务器dns服务器tomcat nginxzabbix云和虚拟化服务器其它首页服务器linuxlinux采用scp命令拷贝文件到本地,拷贝本地文件到远程服务器的方法linux使用scp命令进行文件远程拷贝详解详谈linux写时拷贝技术(copy-on-write)必看篇linux中拷贝 cp命令中拷贝所有的写法详解virtualbox主机和虚拟机之间文件夹共享及双向拷贝(windows<->windows, windows<->linux)linux拷贝命令之高级拷贝scp命令详解linux使用scp命令备份文件 scp拷贝文件使用scp获取远程linux服务器上的文件 linux远程拷贝文件apache本地二级域名配置方法linux系统中ssh服务基于key认证实践的过程在centos中部署多节点citus集群的详细步骤linux下几种并发服务器的实现模式(详解)ubuntu中静态dns配置的方法详解apache 多站点配置方法apache的rewrite规则使用说明centos6.9安装vsftpd并配置多用户的方法linux系统下oracle11gr2静默安装的经验分享centos 6.5平台本地yum配置的方法apache开启.htaccess及.htaccessservice temporarily unavailabllinux下实现免密码登录(超详细)apache rewrite url重定向功能的linux下用cron定时执行任务的方法apache性能测试工具ab使用详解centos 6.4安装配置lamp服务器(a阿里云服务器ping不通解决办法(centos+nginx+php+mysql详细配置apache you don""t have permissubuntu18.04安装opencv 3.2.0的解决方法linux touch命令用法实例centos下安装redis服务详细节介绍centos7.2搭建nginx的web服务器部署uniap轻松搞定vim高亮nginx配置文件的方法linux下指定源ip进行ping操作的方法linux无损扩容的方法ssh连接超时解决方法linux系统的初始化配置浅析在centos 7.2上安装suphp的详细方法
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved