Shell脚本实现批量下载资源并保留原始路径

linux常用

这篇文章主要介绍了Shell脚本实现批量下载资源并保留原始路径,本文直接给出实现代码和使用例子,需要的朋友可以参考下

先查询数据库url字段

SELECT concat('http://su.bdimg.com/static/',realpath) FROM t_s_attachment  GROUP BY realpath

然后拷贝到txt中

示例资源列表

如url.txt：

http://su.bdimg.com/static/superplus/img/logo_white_ee663702.png

http://su.bdimg.com/static/superplus/img/logo_white_ee663703.png

http://su.bdimg.com/static/superplus/img/logo_white_ee663701.png

http://su.bdimg.com/static/superplus/img/logo_white_ee663704.png

http://su.bdimg.com/static/superplus/img/logo_white_ee663705.png

http://su.bdimg.com/static/superplus/img/logo_white_ee663706.png

我们需要下载这些图片，并保存在各自的文件夹下

脚本如下

如download.sh

#!/bin/bash

# desc: download resource

# author: 简
mydir=`pwd`
while read line

do

{

    if [ -n "$line" ]

    then

        cd $mydir

        url=$(echo "$line" | tr -d '\r')

        picdir=$(echo $url | sed -r 's/http:\/\///g')

        picname=$(echo ${picdir##*/})

        picpath=$(echo ${picdir%/*})

        mkdir -p $picpath

        cd $picpath

        wget -O $picname `echo $url`

    fi

}

done < $1

exit 0

这里有几点要注意：

1、为了去掉文本文件中行末的换行符，要进行删除：

tr -d '\r'

2、取资源名：

${picdir##*/}

3、取资源路径：

${picdir%/*}

运行

sh download.sh url.txt

本文由 admin 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为:2021-08-24 13:49:44