打造百度网盘备份利器:自动备份Linux VPS文件和多线程下载百度网盘资源
前一段时间国内的各大网盘百度云盘,金山快盘,360云盘,华为网盘为争夺用户上演空间容量博弈,网盘商们还固执地以为中国的网民都不懂网络技术,可以像某公司那样用一些数字的手段来忽悠用户,参与到网盘商的数字游戏中的公司都心知肚明。
在不需要增加任何网盘上传下载带宽和硬件设备投入的情况下,又可以用TB级别网盘这样的字眼来夺人眼球,在网络上大肆炒作一番,这比用钱买广告来推广网盘有效得多了。在这场网盘炒作中,率先“挑起事非”的两家百度网盘和360网盘获利最多。
尤其是百度网盘,应该算正式成长为国内网盘界中老大之一了。一年前大家还都在谈论115网盘关闭外链、金山快盘、华为网盘,不到一年的时间,现在大家提到最多的差不多就是互联网大佬旗下的百度云、360云盘和腾讯微云,原来的前三甲就这样“暗淡无光”了。
百度网盘现在最多可以得到2TB级别的存储容量,这么大的容量作为做站的草根朋友,我们自然不能全部用来看大片了,百度网盘单个文件上传是4GB,如此大的容量,我们完全可以将百度网盘打造成为一个网站自动备份的利器,当然有朋友也会利用此方法将资源存储在百度服务器中。
本篇文章要分享的Linux VPS文件自动备份上传到百度网盘中采用的程序是bpcs_uploader百度网盘自动上传脚本,同时如果我们要恢复百度网盘的文件到VPS主机上或者下载百度网盘资源,可以用Axel这个Linux下的多线路下载工具,快速将资源从百度网盘中下载到VPS上。
网盘不仅用来存放文件,还可以用来当作网站备份工具和建站帮手,更多的有关网盘利用的方法有:
- 1、网盘备份:巧用远程FTP备份网站文件:Drivehq网盘和Cobian Backup备份软件
- 2、开源网盘:OwnCloud开源的个人云服务器文件分享、音乐存储、日历、联系人
- 3、网盘外链:获取SkyDrive免费网盘的音乐mp3和图片等文件外链地址
打造百度网盘备份利器:自动备份Linux VPS文件和多线程下载百度网盘资源
1、bpcs_uploader作者官网:
- 1、项目页面:https://oott123.github.io/bpcs_uploader/
2、百度pcs上传脚本部落已经详细介绍过了:bpcs_uploader百度网盘自动上传脚本-将文件一键放到百度云
3、登录你的VPS主机下载安装bpcs_uploader,系统要求是Linux的php 和 curl已经安装。执行以下命令。
wget https://github.com/oott123/bpcs_uploader/zipball/master
unzip master
mv oott123-bpcs_uploader-3a33d09 freehao123 #重命名
cd freehao123 #进入目录
chmod +x bpcs_uploader.php #设置权限
./bpcs_uploader.php #运行初始化
4、注意从github下载的代码解压包的名称可能会有变动,如果你发现第三步的重命名无法使用,你查看一下你下载下来的解压名称是什么。
PS:2014年3月10日更新,感谢“无名科技”的提醒,现在PCS需要审核,我们可以用快速初始化的方法bpcs_uploader设置。执行以下命令:
./bpcs_uploader.php quickinit
敲下命令直接进入快速初始化流程,输入y,然后打开浏览器访问https://openapi.baidu.com/device ,在“请输入设备上显示的用户授权码:”文本框中输入上面显示的授权码,并点击继续。 看到网页上显示“请返回设备继续操作!”后,返回ssh上按下回车后,即完成了初始化配置。
4、运行上述代码后,这里会需要输入一个有PCS权限的API KEY。
1、接上面,你需要到https://qing.baidu.com/中创建一个用来备份文件的应用项目。
2、创建好后,在“API管理”中找到“API列表”。
3、在PCS API一行中点击开启。(点击放大)
4、输入你要存放文件的目录名称。
5、完成后,在应用的基本信息中找到API KEY和Secret Key。
6、再回到刚刚你要填入API KEY的SSH界面,复制粘贴API Key,回车。
7、填入你的百度云备份文件的目录名称,然后会得到一连串的URL地址,复制它。
8、用浏览器打开这个URL,会看到是否授权访问你的百度云的提示。
9、确定后,页面会显示“百度 Oauth 2.0”的字样,表示已经授权完成。
10、将将浏览器的地址栏中的access_token一连字符复制回SSH中,粘贴,回车。最后看到是你的百度网盘的容量信息,表示你已经成功配置好了bpcs_uploader了。
1、自动打包压缩VPS文件的代码有很多,部落参考了 jalena.bcsytv.com 博主写的定时备份VPS数据到Dropbox的脚本,改成了自动打包压缩VPS文件上传到百度网盘版本。
2、下载地址:baidubd.sh下载。用文本编辑器打开baidubd.sh将MysqL用户名和密码改你自己的。
3、脚本的备份目录你也需要根据自己的VPS来修改,如果你在重命名把解压包换成了其它的名称,记得在代码最后的bpcs_uploader路径也改一下。
4、将修改后的baidubd.sh上传到你的root目录中,然后执行:sh baidubd.sh,就可以实现手动打包压缩VPS文件并上传到百度网盘中了。(点击放大)
5、如何实现定时备份上传到百度网盘中?编辑定时任务:crontab -e,加入一行:00 02 * * * /root/baidubd.sh,保存。表示每天的凌晨2:00自动执行baidubd.sh脚本。
6、/root/baidubd.sh这是脚本路径,请根据需要自己修改。命令:crontab –l 可以看到你当前的定时任务。 最后不要忘记重启任务:service crond restart
1、上面我们已经将网站文件打包上传到了百度网盘了,日后如果有需要我们就可以将百度网盘中下载备份文件恢复到VPS主机上了。百度网盘目前来说下载速度还是不错的,但是可惜的只能单线程下载。
2、这里部落再分享一下用Linux下的Axel多线程高速下载工具,来下载百度网盘的大文件。其实此方法最初还不是用来下载百度网盘备份文件的,不少朋友用它来下载百度网盘上自己或者别人存放的“大型文件”。
3、CentOS安装Axel:
32位CentOS执行下面命令:
wget -c https://pkgs.repoforge.org/axel/axel-2.4-1.el5.rf.i386.rpm
rpm -ivh axel-2.4-1.el5.rf.i386.rpm
64位CentOS执行下面命令:
wget -c https://pkgs.repoforge.org/axel/axel-2.4-1.el5.rf.x86_64.rpm
rpm -ivh axel-2.4-1.el5.rf.x86_64.rpm
Debian/Ubuntu安装Axel:
apt-get install axel
4、axel使用的格式是:(可选参数)-n 指定线程数,-o 指定另存为目录,-s 指定每秒的最大比特数,-q 静默模式
5、例如用9个线程来下载百度网盘的资源,就是类似于:
axel -n 9 "https://222.186.128.146/cdn.baidupcs.com/file/87671d01a637b83e5977353e7?xcode=45abddad=1765086594250528-727172238&time=1380794627&sign=FDTAXER-DCb740ccc551u3np1Tc%3D&&fn=tool.zip&wshc_siphost=ipdbm"
6、这是用axel下载百度网盘资源的速度,9个线程已经达到了10MB/s左右,大家在用axel时线程最好不要超过100个。 (点击放大)
7、当然我们也可以直接用Linux的Wget下载工具来下载百度网盘的文件,格式是:wget -c -O onlyone.tp,参数-c是断点下载,O是为下载的文件指定一个文件名,后面的onlyone.tp就是新命名的文件。操作如下:
wget -c -O onlyone.tp "https://222.186.128.160/cdn.baidupcs.com/file/564f7b2886c01e5314463b33eb111054?xcode=00497548280707571-250528-148753LpXzLkD&to=cb&f7356&sh=1&fn=BoA%20-%20%A3%29.tp&wshc_tag=0&wsiphost=ipdbm"
8、这是Wget下载百度网盘的文件速度,也达到1MB/s以上。
1、通过上面的方法打包上传的文件都放在百度云的“我的应用数据”中。
2、进入我的应用数据中,可以看到你创建的应用项目,里面就有刚刚上传好的打包文件。
3、这是将百度网盘的备份文件下载到本地,网站文件、数据库文件、服务器配置文件等都有,如果你还要想备份其它的文件,只需要在代码中加入路径即可。
1、由于百度网盘是国内服务器,使用美国VPS的朋友在上传和下载过程中会觉得速度不是特别快,百度网盘目前来说单个文件最大是4GB,如果你的网站备份打包超过了4GB,建议用压缩分卷的形式上传到百度网盘中。
2、baidubd.sh代码中已经有了自动删除本地备份文件的功能,这是为了防止因为备份文件不断增多而占用服务器硬盘的情况发生。备份文件夹在备份的过程中会自动生成,备份完成后就自动删除。当然你可以修改成几天后再自动删除。
文章出自:免费资源部落 / 版权所有。本站文章除注明出处外,皆为作者原创文章,可自由引用,但请注明来源。
您或许对下面这些文章有兴趣: 本月吐槽辛苦排行榜
-
我抢到第一了吗?
[回复] -
我坐到地板凳上了,不错!
[回复] -
支持一下
[回复] -
还不错。。
[回复] -
留名飘过……
[回复] -
火鉗劉翔
[回复] -
支持a~
[回复] -
学习了。。
[回复] -
这个好!
[回复] -
关于 Register.it 注册 很多人卡在自助建站上面,是否可以出个详细教程,上面教程很好,但到自助建站就卡住了
[回复] -
麻烦您了
[回复] -
偶是小白,真心看懂。求指导。
[回复] -
如果百度网盘的API可以的话 用来做一些和¥谐东东不错
[回复] -
@qi,给个论坛邀请码吧。
[回复] -
@qi 发个邀请码吧 群里喊了没反应啊
[回复] -
这个对于小站很有用处!稍大点的就麻烦了
[回复] -
看了半天没看懂。。
[回复] -
[root@ebs-21482 baidubf]# ./bpcs_uploader.php
-bash: ./bpcs_uploader.php: /usr/bin/php: bad interpreter: 没有那个文件或目录[回复] -
哪里设置 我要备份的的网站目录
[回复] -
报错
curl: (26) failed creating formpost data
API calling faild.[回复] -
这是怎么回事,之前都可以,
[root@ebs-21482 baidubf]# ./bpcs_uploader.php
===========================Baidu PCS Uploader===========================
Usage: ./bpcs_uploader.php init|quickinit|quota
Usage: ./bpcs_uploader.php upload|download path_local path_remote
Usage: ./bpcs_uploader.php delete path_remote
Usage: ./bpcs_uploader.php uploadbig path_local path_remote [slice_size(default:1073741824)] [temp_dir(def:/tmp/)]
Usage: ./bpcs_uploader.php fetch path_remote path_to_fetch
========================================================================[回复] -
linux vps同步整个文件夹命令是什么…文件几百个但又不可以打包成压缩包
[回复] -
有时候上传或下载app目录的文件网络不好或掉包(不知道是不是) 经常会卡住不动..
我试过晚上挂机上传,第二天上去看,卡了9个多小时没反应,,不知道能否做个判断-没返现传输速度时重新连接..
以下是卡住27分钟了,真是蛋疼..
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 75 0 75 0 0 129 0 –:–:– –:–:– –:–:– 0
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 85426 0 0 100 85426 0 50 0:28:28 0:27:56 0:00:32 0不知道可不可以用hosts文件把百度api的地址指向百度联通api的ip上,我发现国外vps一般对电信都掉包,而联通却不会掉包…
百度api采用https协议,我不知道直接ping pcs.baidu.com得到的ip准不准
最后上官方看了一下,上面提示到:
注意:兼容原有域名pcs.baidu.com;使用新域名c.pcs.baidu.com,则提供更快、更稳定的上传服务。[回复] -
[img]https://ww3.sinaimg.cn/large/7bf5e455gw1eby39eeqs4j20sj01d0ss.jpg[/img]= =!!没事想试试都不行
[回复] -
@qi,好像百度的PCS现在关闭了呢、。。不能用了
[回复] -
axel 9线程下载百度网盘的1.25G的文件到vps.me.提示pthread error!!!.线程错误.郁闷.之前用wget.速度很慢.每秒几十KB.下载了半天.掉线了.重新下载.但是地址失效了.又换可以下载的地址续传.等下载完了.查看文件.发现比源文件大.应该是wget续传的时候把前面未下载完的那段和重新下载的1.25G合并了.解压不了.博主能不能用你的VPS帮忙下载这个文件.我再从你VPS下载到vps.me上面?百度网盘地址: https://pan.baidu.com/s/1CFzCp 先谢过了.
[回复] -
马上去试一试
[回复] -
楼主,能不能写个金山云 K3存储的 教程?
[回复] -
第一次写linux下工具,这是我自己用C/C++写的备份数据的小工具,地址: https://code.#.com/p/baidu-pcs/, 欢迎各位指正。
[回复] -
PHP Fatal error: Call to undefined function json_decode() in /beifen/_bpcs_files_/core.php on line 82
老提示这个 json 明明装了还是不行 求救啊 老大[回复] -
00 02 * * * sh baidubd.sh 定时脚本这样写才行 你那种写法不会执行 为了这个问题我搞了半天才搞定
[回复] -
改版了不好折腾啊
[回复] -
貌似不能创建应用了
[回复] -
求教,如何实现上传文件夹的功能啊,不是打包上传,是直接上传整个文件夹~~
[回复] -
好,高端玩家……
[回复] -
baidubd.sh无法下载
[回复] -
我是搞了一个年付的便宜vps,然后每天定时rsync
[回复] -
你好,请问下如果需要导出一个数据库用户名下的所有数据库脚本需要怎么修改呢?
[回复] -
2、下载地址:baidubd.sh下载 这个下载不了。地址坏了
[回复] -
请问下上传出现:API calling faild.这个怎么解决呢。
[回复] -
我发现大文件总是备份失败,才85M左右,每次都传到100%就卡住了,然后等了一段时间就提示API calling error 31021 : network error。是不是md5验证那一步容易卡住,能不能去掉md5验证,现在大文件都没办法同步成功,只有小文件能同步
[回复] -
我以前开通申请的有PCS,现在查看后台也还是开启状况,但以前的api调用的链接都已经失效,是个人问题还是百度已经全部取消这个api了?现在还有用户可以正常使用百度的api吗??
[回复] -
qi,上次看到一个备份到快盘的,把这儿找了许久,没找到,请帮忙看下! 谢谢!
[回复] -
实测200个线程搬瓦工的速度有17m/s,nice啊
[回复] -