Другой технический вопрос

[yakov_a_jerkov]

Есть в этом какая-то проблема, если на Windows в одном folder миллион (один миллион, буквально) файлов?

У меня сейчас в одном фолдере триста тысяч -- небольшие jpg-файлы, общий размер всего 4 GB -- вроде, никаких проблем нет. Но я не знаю, какой-то предел должен быть, наверное.

Поясню, зачем мне это нужно. Я с ноября пытаюсь научиться разному в области machine learning, и, в частности, neural networks. Сейчас пытаюсь сделать что-то с этой задачей на Kaggle.com, и там training set как раз имеет 1.1 миллиона картинок.

Comments

[ign.livejournal.com]

По спецификации, NTFS поддерживает 4,294,967,295 файлов на диске. В принципе, все 4 миллиарда могут быть в одном фолдере, файловой системе все равно.

Но, конечно, некоторым аппликациям, которые недостаточно хорошо оптимизированы, может быть не все равно. Поэтому обычно их все же разносят по сабфолдерам, по какому-нибудь хешу, например, или по первой паре букв в названии если они достаточно рандомизированы, и.т.п.

[yakov-a-jerkov.livejournal.com]

файловой системе все равно

Спасибо, не знал этого.

[ordinary-joe-1.livejournal.com]

Maximum number of files in a single folder: 4,294,967,295

но, это будет медленно :) убрать фолдер из windows search indexer стоит.

[yakov-a-jerkov.livejournal.com]

убрать фолдер из windows search indexer стоит

Спасибо.

[ordinary-joe-1.livejournal.com]

да не за што :)

[evlasov.livejournal.com]

Я работал с овер 1000000 файлов в R и питоне, проблем не заметил. Если что, каждый файл представлял из себя шесть двузначных цифр, разделённых пробелами. В питоне я вместо базы данных строки из краулера в отдельные файлы сохранял. Некогда учиться было, надо было делать ;)

[yakov-a-jerkov.livejournal.com]

Некогда учиться было, надо было делать ;)

В принципе, смысл в этом есть. Учиться можно/нужно бесконечно.

[gegmopo4.livejournal.com]

А попробуйте-ка удалить их.

[ordinary-joe-1.livejournal.com]

удалять их конешно надо из cmd или powershell, тогда всё получится.

[yakov-a-jerkov.livejournal.com]

Я их moved с одного диска на другой. Без проблем, но тогда их еще было меньше ста тысяч. Сейчас не пробовал.

[gegmopo4.livejournal.com]

Проблемы могут проявиться на миллионах файлов. https://bugs.python.org/issue32453 Но может быть это только на Linux, и Windows умнее. Кстати, диск SSD или HDD? На SDD вроде проблема мягче.

[vasja-iz-aa.livejournal.com]

к верно сказаному выше про проблемы с отдельными приложениями добавлю, что еще могут быть неприятности с размером списка имен файлов, особенно если они у Вас лежат где то в Документах и сам путь до того фолдера -- достаточно длинная строка

[yakov-a-jerkov.livejournal.com]

Спасибо. Я их загружаю на несистемный диск, который почти пустой.

[nefedor.livejournal.com]

Файловая система ОС - плохая база данных ;)

[vasja-iz-aa.livejournal.com]

наоборот. если по природе данных к ним не может иметь отношения "история транзакций", то она -- лучшая

[nefedor.livejournal.com]

Это не так. Многие люди так думали и обжигались на этом. Я на двух работах был тому свидетелем.

Ни управляемого кэширования, ни быстрой статистики, ни автоматического индексирования, ни разумного хэндлинга сбоев сетевой NTFS если сеть используется плюс все остальное тормозит.

[vasja-iz-aa.livejournal.com]

надо поставить пятидесятый рейд с самым простеньким контроллером с батарейкой. и он этим всем будет заниматься сам. а человек -- полезной логикой

[nefedor.livejournal.com]

Скажу так: в моей прошлой конторе было айтишников человек 500. И много умных. Они тоже думали, что контроллер будет сам. Сбоило периодически.

[nefedor.livejournal.com]

Но конечно, это все относится к большим масштабам. В небольших масштабах можно и с файлами, но эти не очень хорошо scalable.

[vasja-iz-aa.livejournal.com]

если Вам показалось, будто бы я предлагал решить все информационные проблемы в индустрии масштаба "только айтишников полтыщи" с помошью одной карточки за восемьдесят долларов, то оно Вам совершенно напрасно так показалось

[yakov-a-jerkov.livejournal.com]

А как было бы правильно обходиться с этими файлами?

[nefedor.livejournal.com]

Я не думаю, что есть одно «правильное» решение.

Надо прикинуть что Вам нужно. Как Вы хотите организовывать эти файлы и результаты работы с ними. Нужно ли кэширование чего-нибудь. В таком духе.

Файлы перестают хорошо работать когда их становится много и структура данных усложняется. Надо искать лучшую БД которая удовлетворяет вашим нуждам.

[yakov-a-jerkov.livejournal.com]

У меня есть csv файл с миллионом urls фотографий (почти все на Гугле). То есть сначала мне нужно загрузить эти файлы, что я и делаю в один фолдер.

Дальше я уже загружаю эти images как arrays и использую их как inputs neural network. Сами файлы после этого больше не трогаю.

Я пока применял neural network (довольно безуспешно) только к подмножеству из десяти тысяч фотографий. Проблем с памятью пока не было. Наверное, проблемы возникнут, когда я увеличу число фотографий в training set.

[nefedor.livejournal.com]

Ну я же не знаю вашей специфики. Может быть, кроме массива пикселов, Вам нужно хранить какие-то параметры? А как насчёт хранения результата?

Вообще говоря, правильно - это когда система бесконечно scalable. Скажем, память на компьютере ограничена, но можно иметь сколько угодно компьютеров.