145M = .git/objects/pack/
我编写了一个脚本，从每个分支的末尾向后退，将每个提交及其前一个提交之间的差异大小相加。我得到了129MB的结果，这是未经压缩的，并且没有考虑跨分支相同文件和分支之间的共同历史。
Git会考虑所有这些因素，因此我期望存储库要小得多。那么为什么.git这么大呢？
我已经执行了以下操作：
git fsck --full
git gc --prune=today --aggressive
git repack
关于有多少个文件/提交，我有19个分支，每个分支大约有40个文件。共287次提交，可使用以下命令查找：
git log --oneline --all|wc -l
存储这些信息不应该占用数十兆字节的空间。
我使用的一些脚本：
git rev-list --all --objects | \
sed -n $(git rev-list --objects --all | \
cut -f1 -d' ' | \
git cat-file --batch-check | \
grep blob | \
sort -n -k 3 | \
tail -n40 | \
while read hash type size; do
echo -n "-e s/$hash/$size/p ";
done) | \
sort -n -k1
...
89076 images/screenshots/properties.png
103472 images/screenshots/signals.png
9434202 video/parasite-intro.avi
如果需要更多代码行，请查看附近答案中的Perl版本：https://dev59.com/nXNA5IYBdhLWcg3wQ7i4#45366030
video/parasite.avi）：git filter-branch -f --index-filter \
'git rm --force --cached --ignore-unmatch video/parasite-intro.avi' \
-- --all
rm -Rf .git/refs/original && \
git reflog expire --expire=now --all && \
git gc --aggressive && \
git prune
注意：第二个脚本旨在完全从Git中删除信息（包括来自引用日志的所有信息）。请谨慎使用。
git-fatfiles）脚本是在我在IRC（Freenode/#git）上提问时出现的。我将最好的版本保存到了一个文件中，然后在这里发布了答案。（虽然我在IRC日志中找不到原始作者）。 - Vi.我最近将错误的远程存储库拉到了本地存储库中（使用git remote add... 和 git remote update）。尽管删除了不需要的远程引用、分支和标签，但仍有1.4GB的浪费空间。只有通过使用git clone file:///path/to/repository来克隆存储库才能摆脱这种情况。注意，在克隆本地存储库时，file://的作用非常重要-只有被引用的对象被复制，而不是整个目录结构。
编辑: 这是Ian的一行代码，在新存储库中重新创建所有分支:
d1=#original repo
d2=#new repo (must already exist)
cd $d1
for b in $(git branch | cut -c 3-)
do
git checkout $b
x=$(git rev-parse HEAD)
cd $d2
git checkout -b $b $x
cd $d1
done
git gc已经执行了git repack，所以手动重新打包没有意义，除非你将传递一些特殊选项。
第一步是查看大部分空间是否（通常情况下）用于对象数据库。
git count-objects -v
这应该会提供一个报告，显示你的代码库中有多少未打包的对象、它们占用了多少空间、你有多少个打包文件以及它们占用了多少空间。
理想情况下，在重新打包后，你将不再有未打包的对象，只剩下一个打包文件，但仍然存在一些未被当前分支直接引用的对象，它们仍然存在且未被打包。
如果你有一个单独的大型打包文件，并且你想知道是什么占用了空间，那么你可以列出组成该打包文件的对象以及它们的存储方式。
git verify-pack -v .git/objects/pack/pack-*.idx
注意，verify-pack接受索引文件而不是打包文件本身。这将提供有关包中每个对象的报告，其真实大小和压缩大小以及有关它是否已被“delta化”以及如果是的话，增量链的起源的信息。
要查看存储库中是否有任何异常大的对象，您可以在第三或第四列上按数字顺序对输出进行排序（例如，| sort -k3n）。
从此输出中，您将能够使用git show命令查看任何对象的内容，尽管无法精确查看对象在存储库的提交历史记录中的位置。如果您需要执行此操作，请尝试此问题的某些内容。
顺带一提，你可能保留不想要的对象的最大原因是git维护了reflog。
当你意外删除主分支或以某种方式灾难性地损坏存储库时，reflog就在那里为你解围。
修复这个问题最简单的方法是在压缩之前截断reflogs（只需确保您永远不想返回reflog中的任何提交）。
git gc --prune=now --aggressive
git repack
这与git gc --prune=today不同，因为它会立即过期整个引用日志。
如果您想查看所有blob的大小，Vi的答案中的git-fatfiles脚本非常好用，但它太慢了，无法使用。我删除了40行输出限制，然后它试图使用我计算机的所有RAM而不是完成任务。此外，当对输出求和以查看文件使用的所有空间时，它会给出不准确的结果。
我用Rust重写了它，我发现这比其他语言更少出错。如果传递了--directories标志，则我还添加了将各个目录中所有提交使用的空间总和起来的功能。可以提供路径以限制搜索某些文件或目录。
src/main.rs:
use std::{
collections::HashMap,
io::{self, BufRead, BufReader, Write},
path::{Path, PathBuf},
process::{Command, Stdio},
thread,
};
use bytesize::ByteSize;
use structopt::StructOpt;
#[derive(Debug, StructOpt)]
#[structopt()]
pub struct Opt {
#[structopt(
short,
long,
help("Show the size of directories based on files committed in them.")
)]
pub directories: bool,
#[structopt(help("Optional: only show the size info about certain paths."))]
pub paths: Vec<String>,
}
/// The paths list is a filter. If empty, there is no filtering.
/// Returns a map of object ID -> filename.
fn get_revs_for_paths(paths: Vec<String>) -> HashMap<String, PathBuf> {
let mut process = Command::new("git");
let mut process = process.arg("rev-list").arg("--all").arg("--objects");
if !paths.is_empty() {
process = process.arg("--").args(paths);
};
let output = process
.output()
.expect("Failed to execute command git rev-list.");
let mut id_map = HashMap::new();
for line in io::Cursor::new(output.stdout).lines() {
if let Some((k, v)) = line
.expect("Failed to get line from git command output.")
.split_once(' ')
{
id_map.insert(k.to_owned(), PathBuf::from(v));
}
}
id_map
}
/// Returns a map of object ID to size.
fn get_sizes_of_objects(ids: Vec<&String>) -> HashMap<String, u64> {
let mut process = Command::new("git")
.arg("cat-file")
.arg("--batch-check=%(objectname) %(objecttype) %(objectsize:disk)")
.stdin(Stdio::piped())
.stdout(Stdio::piped())
.spawn()
.expect("Failed to execute command git cat-file.");
let mut stdin = process.stdin.expect("Could not open child stdin.");
let ids: Vec<String> = ids.into_iter().cloned().collect(); // copy data for thread
// Stdin will block when the output buffer gets full, so it needs to be written
// in a thread:
let write_thread = thread::spawn(|| {
for obj_id in ids {
writeln!(stdin, "{}", obj_id).expect("Could not write to child stdin");
}
drop(stdin);
});
let output = process
.stdout
.take()
.expect("Could not get output of command git cat-file.");
let mut id_map = HashMap::new();
for line in BufReader::new(output).lines() {
let line = line.expect("Failed to get line from git command output.");
let line_split: Vec<&str> = line.split(' ').collect();
// skip non-blob objects
if let [id, "blob", size] = &line_split[..] {
id_map.insert(
id.to_string(),
size.parse::<u64>().expect("Could not convert size to int."),
);
};
}
write_thread.join().unwrap();
id_map
}
fn main() {
let opt = Opt::from_args();
let revs = get_revs_for_paths(opt.paths);
let sizes = get_sizes_of_objects(revs.keys().collect());
// This skips directories (they have no size mapping).
// Filename -> size mapping tuples. Files are present in the list more than once.
let file_sizes: Vec<(&Path, u64)> = sizes
.iter()
.map(|(id, size)| (revs[id].as_path(), *size))
.collect();
// (Filename, size) tuples.
let mut file_size_sums: HashMap<&Path, u64> = HashMap::new();
for (mut path, size) in file_sizes.into_iter() {
if opt.directories {
// For file path "foo/bar", add these bytes to path "foo/"
let parent = path.parent();
path = match parent {
Some(parent) => parent,
_ => {
eprint!("File has no parent directory: {}", path.display());
continue;
}
};
}
*(file_size_sums.entry(path).or_default()) += size;
}
let sizes: Vec<(&Path, u64)> = file_size_sums.into_iter().collect();
print_sizes(sizes);
}
fn print_sizes(mut sizes: Vec<(&Path, u64)>) {
sizes.sort_by_key(|(_path, size)| *size);
for file_size in sizes.iter() {
// The size needs some padding--a long size is as long as a tabstop
println!("{:10}{}", ByteSize(file_size.1), file_size.0.display())
}
}
Cargo.toml:
[package]
name = "git-fatfiles"
version = "0.1.0"
edition = "2018"
[dependencies]
structopt = { version = "0.3"}
bytesize = {version = "1"}
选项：
USAGE:
git-fatfiles [FLAGS] [paths]...
FLAGS:
-d, --directories Show the size of directories based on files committed in them.
-h, --help Prints help information
ARGS:
<paths>... Optional: only show the size info about certain paths.
%fileSizes的问题，我不认为它是错误的。你的新实现（以及旧实现中的--sum）将告诉文件在其历史中使用的累计大小。但这可能会掩盖历史中可能存在的巨大文件；一个经常更改的小文件可能具有巨大的累计大小。两个版本都很有用。在我的本地示例中，最糟糕的单个文件是第20大文件（累计），其他19个文件只是具有大量更改的源文件。 - Nathan Arthur％fileSizes使用哈希似乎只有在每次迭代进行比较并且仅在新大小更大时更新才可以。对于安装 Rust 给您带来的不便，我感到非常抱歉。这是我选择的权衡，以减少错误并提高可读性。至少它比 dotnet 或 java 项目设置更容易。我将使项目文件命名更加明确。 - piojo%fileSizes 是正确的，但它会完全破坏 --sum（和 --directories）。我从头开始重写了脚本，并在 一个新答案 中描述了我的发现。新脚本与旧脚本位于同一 URL。 - Nathan Arthur您确定您只计算了.pack文件而没有计算.id文件吗？它们位于与.pack文件相同的目录中，但不包含任何存储库数据（因为扩展名指示它们仅仅是对应pack文件的索引 - 实际上，如果您知道正确的命令，可以轻松从pack文件重新创建它们，当克隆时，Git自己也会这样做，因为只有一个pack文件使用本地Git协议传输）。
作为代表性样本，我查看了我的linux-2.6存储库的本地克隆。
$ du -c *.pack
505888 total
$ du -c *.idx
34300 total
这表明大约应该普遍存在约7%的扩展。
还有一些位于objects/之外的文件；根据我的个人经验，其中index和gitk.cache往往是最大的文件（在我克隆的linux-2.6仓库中总共为11M）。
存储在.git中的其他git对象包括树、提交和标签。提交和标签很小，但如果您的仓库中有大量小文件，则树可能会变得很大。您有多少个文件和多少个提交？
您尝试使用git repack了吗？
git repack -a -d将我的 956MB 仓库压缩至 250MB。非常成功！谢谢！ - AlexGrafedu可能会误导您认为超级模块很大，而实际上是一个子模块，下面的答案需要在子模块目录中运行。 - esmit