#linux #файловая_система
Сама задача следующая: программа получает на вход в аргументах командной строки имя
каталога и печатает на стандартный поток вывода суммарный размер (в байтах) всех регулярных
файлов в нем. При этом пропускать все записи, являющиеся символическими ссылками.
У меня есть написанная программа, которая успешно выдает какие-то числа, но я не
знаю, как убедиться в том, что она выдает правильный ответ. Подскажите, пожалуйста:
1) Можно ли как-то решить исходную задачу средствами bash (команда ls и так далее)?
2) Какие могут быть "крайние" случаи, на которых программу стоит протестировать?
Ну кроме пустого каталога.
Ответы
Ответ 1
Чтобы подсчитать суммарный размер обычных файлов (S_ISREG) в заданном дереве директорий, пропуская все symlinks, на Питоне: #!/usr/bin/env python3 import os from contextlib import suppress def get_tree_size_scandir(path): """Return total size of all regular files in directory tree at *path*.""" size = 0 for entry in os.scandir(path): with suppress(OSError): # ignore errors for entry & its children if entry.is_dir(follow_symlinks=False): # directory size += get_tree_size_scandir(entry) elif entry.is_file(follow_symlinks=False): # regular file size += entry.stat(follow_symlinks=False).st_size return size if __name__ == "__main__": import sys print(get_tree_size_scandir(sys.argv[1])) Пример: $ ./get-tree-size /usr 7217750930 Вывод показывает, что общий размер всех обычных файлов в /usr директории, около 7 GB. Python, listdir() Для проверки, я реализовал get_tree_size(), не используя os.scandir(): #!/usr/bin/env python3 import os import stat from contextlib import suppress _dir_flags = os.O_RDONLY def get_tree_size_listdir_fd(fd): """Return total size of all regular files in directory tree at *fd*.""" size = 0 for name in os.listdir(fd): with suppress(OSError): # ignore errors for entry & its children st = os.lstat(name, dir_fd=fd) # don't follow symlinks if stat.S_ISDIR(st.st_mode): # directory top_fd = os.open(name, _dir_flags, dir_fd=fd) try: size += get_tree_size_listdir_fd(top_fd) finally: os.close(top_fd) elif stat.S_ISREG(st.st_mode): # regular file size += st.st_size return size if __name__ == "__main__": import sys print(get_tree_size_listdir_fd(os.open(sys.argv[1], _dir_flags))) Результаты одинаковые в данном случае, но в общем случае они могут отличаться (например, os.listdir() возвращает список (сразу все имена), а os.scandir() возвращает итератор, поэтому os.scandir() может учесть больше имен, а os.listdir() пропустит всю директорию, если произойдёт ошибка c получением хотя бы одного имени в директории). Код для примеров адаптирован из Python issue: PEP 471 implementation: os.scandir() directory scanning function. Внимание: размер файла и занимаемое место на диске могут отличаться. Bash, du 1) Можно ли как-то решить исходную задачу средствами bash (команда ls и так далее)? Можно, конечно, но результаты могут немного отличаться (см. тестовые случаи). Если нужны точные результаты, то несложно написать программу, с точным необходимым поведением как показывают примеры кода на Питоне выше. du -bs . возвращает значение, которое превышает суммарные размеры файлов, например: $ ls -l total 8 -rw-rw-r-- 1 me me 820 Oct 25 22:59 get_tree_size_fd.py -rw-rw-r-- 1 me me 631 Oct 25 23:07 get_tree_size_scandir.py Суммарный размер: 820 + 631 == 1451: $ python3 get_tree_size_fd.py . 1451 что ожидаемо (Питон возвращает правильный результат), но du возвращает неверный результат: $ du -bs . 5547 . -b опция уже включает в себя --apparent-size (то есть результат уже не отражает занимаемое место на диске -- как и хотелось). @avp упомянул: du считает также размеры всех каталогов, которые они занимают на диске. Что подтверждается экспериментами: $ mkdir dir # создаём пустую директорию $ python3 get_tree_size_fd.py . # результат ожидаемо не изменился 1451 $ du -bs . 9643 . Результат для du стал больше, что согласуется c комментарием @avp. Если выключить --apparent-size, то du возвращает занимаемое место на диске: $ du -s -B1 . 16384 . Что ещё больше отличается от суммарного размера файлов. 2) Какие могут быть "крайние" случаи, на которых программу стоит протестировать? Ну кроме пустого каталога. Потестировать имена файлов, директорий, начинающихся на точку (.zshrc, .ssh). Потестировать на директории со специальными файлами, например, /dev директория может содержать /dev/sda файл, который не является обычным файлом (это диск -- блочное устройство S_ISBLK) или FIFO (S_ISFIFO) (можно создать командой: mkfifo /tmp/named_pipe). Или потестировать на директориях с нечитаемыми записями, например, из-за недостатка прав доступа (командой chmod можно подготовить). И, конечно, потестировать на директориях, содержащих символические ссылки (S_ISLNK), которые ссылаются как на обычные файлы так и на другие директории. Для проверки надёжности, можно сгенерировать глубоко-вложенные директории с именами записей разной длины, состоящих из произвольных байтов (всё кроме слэша / и нулевого байта '\0', если локальная система не вносит своих ограничений). С, nftw() Для сравнения, можно посмотреть на примеры кода на С/С++. Для рекурсивного обхода дерева директорий, можно nftw() использовать: #define _XOPEN_SOURCE 500 #include#include #include #include int main(int argc, char* argv[]) { if (argc > 2) { fputs("Usage: get-tree-size [ ]\n", stderr); exit(2); } int flags = FTW_PHYS; // do not follow symlinks int nopenfd = 100; // maximum number of directories that nftw() may hold // open simultaneously uintmax_t size = 0; int visit_path(const char *fpath, const struct stat *sb, int typeflag, struct FTW *ftwbuf) // nested function -- gcc extension { if (typeflag == FTW_F) // regular file size += sb->st_size; return 0; // continue }; const char *dirpath = (argc == 2) ? argv[1] : "."; // default is the current working directory if (nftw(dirpath, visit_path, nopenfd, flags)) exit(1); return printf("%" PRIuMAX "\n", size) < 0; } Пример: $ gcc get-tree-size-ftw.c && ./a.out Чтобы передать дополнительные переменные (size) в visit_path() обратный вызов, gcc позволяет использовать вложенные функции. В общем случае, для более тонкого контроля обхода дерева директорий, к примеру, чтобы пропустить всё внутри .git и других подобных директорий, есть fts_open() API, добавив fnmatch() API, можно реализовать аналог команды: $ find -name .git -prune -o -type f -name \*.txt -print С, readdir() При желании, можно руками с помощью readdir() рекурсивный обход директории выполнить: #define _XOPEN_SOURCE 700 #include #include #include #include #include #include static uintmax_t get_tree_size_readdir(int dirfd) { DIR *dirp; if (!(dirp = fdopendir(dirfd))) return 0; //NOTE: ignore errors from open,openat,fdopendir here uintmax_t size = 0; for (struct dirent* entry; (entry = readdir(dirp)); ) { // skip ".", ".." entries size_t namelen = strlen(entry->d_name); if (entry->d_name[0] == '.' // 1 <= namelen <= NAME_MAX && (namelen == 1 || (entry->d_name[1] == '.' && namelen == 2))) continue; struct stat statbuf; if(fstatat(dirfd, entry->d_name, &statbuf, AT_SYMLINK_NOFOLLOW)) continue; //NOTE: ignore errors if (S_ISREG(statbuf.st_mode)) // count size of regular files only size += statbuf.st_size; else if (S_ISDIR(statbuf.st_mode)) { // count the size in subdirectories int fd = openat(dirfd, entry->d_name, O_RDONLY); size += get_tree_size_readdir(fd); //NOTE: if nested deeply; it may exceed `ulimit -n` close(fd); } } //NOTE: ignore readdir() errors closedir(dirp); //NOTE: let the caller to invoke rewinddir() if necessary return size; } директория задаётся с помощью dirfd это позволяет избежать каждый раз от корня все пути просматривать, так как entry->d_name содержит только последнюю часть пути. В противном случае пришлось бы создавать путь от входной (с которой вызов начался) директории каждый раз, прежде чем путь в stat() передать специальные имена "." и ".." явно пропускаются используется AT_SYMLINK_NOFOLLOW, чтобы не следовать по символическим ссылкам, чтобы получить информацию о самой записи (entry) ошибки по индивидуальным записям явно игнорируются #include #include int main(int argc, char* argv[]) { if (argc > 2) { fputs("Usage: get-tree-size [ ]\n", stderr); exit(2); } const char *dirpath = (argc == 2) ? argv[1] : "."; // default is the current working directory return printf("%" PRIuMAX "\n", get_tree_size_readdir(open(dirpath, O_RDONLY))) < 0; } Пример: $ gcc get-tree-size-readdir.c && ./a.out С++, В C++ рекурсивно обойти дерево директорий можно используя библиотеку: #include #include #include namespace fs = std::experimental::filesystem; int main(int argc, char* argv[]) { if (argc > 2) { std::cerr << "Usage: get-tree-size [ ]\n"; std::exit(2); } uintmax_t size = 0; fs::path dirpath = (argc == 2) ? argv[1] : fs::current_path(); for (auto&& entry : fs::recursive_directory_iterator( dirpath, fs::directory_options::skip_permission_denied)) { std::error_code ignore_error; if (fs::is_regular_file(fs::symlink_status(entry, ignore_error))) { size += fs::file_size(entry); } } std::cout << size << '\n'; } символические ссылки, указывающие как на директории так и на обычные файлы пропускаются "." и ".." записи также пропускаются ошибки доступа и ошибки при чтении статуса файла игнорируются, но цикл может исключения выбрасывать в случае других ошибок. Пример: $ g++ -std=c++11 *.cc -lstdc++fs && ./a.out (для ). В С++17 можно просто #include использовать. Библиотека также доступна как #include : $ sudo apt-get install libboost-{file,}system-dev # install Boost on Ubuntu $ g++ -std=c++11 *.cc -lboost_{file,}system && ./a.out Все варианты кода для подсчёта суммарного размера выдают один и тот же результат в обычных случаях, но возможны отличия, когда исключительные ситуации по разному обрабатываются. Производительность ограничивается скоростью диска. Если мета-данные уже закэшированы в памяти, то вариант с медленнее, чем nftw() и readdir(), которые похоже себя ведут. код только немного медленнее кода на Питоне. Ответ 2
du -s /your/path/* Где /your/path/ - путь к папке. Размер указывается в килобайтах. Если нужно в байтах, то: du -sb /your/path/*
Комментариев нет:
Отправить комментарий