解决方案
Docker在使用“RUN curl”或ADD下载文件时不会查看任何缓存机制。它将重复下载的步骤。但是,当文件的修改时间已更改https://dev59.com/AV8d5IYBdhLWcg3wt0AQ#26612694等情况时,Docker会使缓存失效。 https://github.com/docker/docker/blob/master/pkg/tarsum/versioning.go#L84
这里是我一直在努力解决的问题的策略,当构建具有文件存储或存储库(例如Nexus,Amazon S3)的依赖项的Dockerfile时,是获取资源的ETag、缓存它并修改缓存标记文件的mdtime。(https://gist.github.com/marcellodesales/721694c905dc1a2524bc#file-s3update-py-L18)。它遵循了Python(https://dev59.com/Ll8e5IYBdhLWcg3w2NVR#25307587)、Node.js(http://bitjudo.com/blog/2014/03/13/building-efficient-dockerfiles-node-dot-js/)项目执行的方法。
我们可以这样做:
- 获取资源的ETag并将其保存在Dockerfile之外
- 使用ADD指令在下载之前添加可缓存的文件
- Docker将检查文件的mtime元数据,以确定是否要使缓存无效。
- 像往常一样使用RUN指令来下载内容
- 如果前一个指令被使无效,Docker将重新下载该文件。否则,将使用缓存。
这是演示此策略的设置:
示例
创建一个 Web 服务器,处理 HEAD 请求并返回 ETag 标头,通常由服务器返回。
构建一个镜像,并验证依赖层将首次下载资源
重新构建镜像,并验证依赖层将使用缓存的值。
更改 Web 服务器处理程序返回的 ETag 值以模拟更改。
- 此外,仅在文件已更改时持久化更改。在这种情况下是的...
- 重新构建镜像,并验证依赖层将被使无效,触发下载。
再次重建镜像,并验证使用了缓存。
1. Node.js 服务器
假设您有以下 Node.js 服务器提供文件服务。我们来实现 HEAD 操作并返回一个值。
var restify = require('restify');
var server = restify.createServer({
name: 'myapp',
version: '1.0.0'
});
server.head("/", function (req, res, next) {
res.writeHead(200, {'Content-Type': 'application/json; charset=utf-8',
'ETag': '"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"'});
res.end();
return next();
});
server.get("/", function (req, res, next) {
res.writeHead(200, {'Content-Type': 'application/json; charset=utf-8',
'ETag': '"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"'});
res.write("The file to be downloaded");
res.end();
return next();
});
server.listen(80, function () {
console.log('%s listening at %s', server.name, server.url);
});
var client = restify.createJsonClient({
url: 'http://localhost:80',
version: '~1.0'
});
client.head('/', function (err, req, res, obj) {
if(err) console.log("An error ocurred:", err);
else console.log('HEAD / returned headers: %j', res.headers);
});
执行此操作将给您带来以下结果:
mdesales@ubuntu [11/27/201411:10:49] ~/dev/icode/fuego/interview (feature/supportLogAuditor *) $ node testserver.js
myapp listening at http://0.0.0.0:8181
HEAD / returned headers: {"content-type":"application/json; charset=utf-8",
"etag":"\"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}\"",
"date":"Thu, 27 Nov 2014 19:10:50 GMT","connection":"keep-alive"}
2. 根据ETag值构建镜像
考虑以下构建脚本,它会将ETag头缓存到一个文件中。
#!/bin/sh
rm -f new-docker.etag
curl -I -D headers.txt http://192.168.248.133:8181/ && \
grep -o 'ETag[^*]*' headers.txt > new-docker.etag && \
rm -f headers.txt
if [ ! -f docker.etag ]; then
cp new-docker.etag docker.etag
else
new=$(cat docker.etag)
old=$(cat new-docker.etag)
echo "Old ETag = $old"
echo "New ETag = $new"
if [ "$old" != "$new" ]; then
mv new-docker.etag docker.etag
touch -t 200001010000.00 docker.etag
fi
fi
docker build -t platform.registry.docker.corp.intuit.net/container/mule:3.4.1 .
3. 重建和使用缓存
如果我正在使用当前缓存,构建操作将会产生以下结果。
mdesales@ubuntu [11/27/201411:54:08] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Date: Thu, 27 Nov 2014 19:54:16 GMT
Connection: keep-alive
Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Sending build context to Docker daemon 51.71 kB
Sending build context to Docker daemon
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
---> Using cache
---> 9bb8fff83697
Step 2 : WORKDIR /opt
---> Using cache
---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
---> Using cache
---> db3f82289475
Step 4 : RUN cat /tmp/docker.etag
---> Using cache
---> 0d4147a5f5ee
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
---> Using cache
---> 6bd6e75be322
Successfully built 6bd6e75be322
4. 模拟ETag的更改
在服务器上更改ETag的值并重新启动服务器以模拟新的更新将导致更新缓存标志文件和使缓存无效。例如,ETag被更改为"465fb0d9b9f143ad691c7c3bcf3801b47284f8333"。重新构建将触发新的下载,因为ETag文件已更新,Docker在"ADD"指令期间会进行验证。在这里,步骤#5将再次运行。
mdesales@ubuntu [11/27/201411:54:16] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Date: Thu, 27 Nov 2014 19:54:45 GMT
Connection: keep-alive
Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Sending build context to Docker daemon 50.69 kB
Sending build context to Docker daemon
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
---> Using cache
---> 9bb8fff83697
Step 2 : WORKDIR /opt
---> Using cache
---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
---> ac3b200c8cdc
Removing intermediate container 4cf0040dbc43
Step 4 : RUN cat /tmp/docker.etag
---> Running in 4dd38d30549a
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
---> 4fafbeac2180
Removing intermediate container 4dd38d30549a
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
---> Running in de920c7a2e28
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 13.5M 100 13.5M 0 0 1361k 0 0:00:10 0:00:10 --:--:-- 2283k
---> 95aff324da85
Removing intermediate container de920c7a2e28
Successfully built 95aff324da85
5. 再次重复使用缓存
考虑到ETag未发生改变,缓存标记文件仍将保持不变,Docker将使用缓存进行超快速构建。
mdesales@ubuntu [11/27/201411:54:56] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Date: Thu, 27 Nov 2014 19:54:58 GMT
Connection: keep-alive
Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Sending build context to Docker daemon 51.71 kB
Sending build context to Docker daemon
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
---> Using cache
---> 9bb8fff83697
Step 2 : WORKDIR /opt
---> Using cache
---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
---> Using cache
---> ac3b200c8cdc
Step 4 : RUN cat /tmp/docker.etag
---> Using cache
---> 4fafbeac2180
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
---> Using cache
---> 95aff324da85
Successfully built 95aff324da85
这种策略已经用于构建Node.js、Java和其他应用程序服务器或预构建的依赖项。