Что такое размер единицы распределения и какой размер кластера установить при форматировании носителя информации?

Размер, имеющий значение

Информация файла вносится в эти кластеры, каждый из которых имеет свой адрес. Это облегчает и определяет механизм ее считывания или записи. Важным для дальнейшего понимания процесса является условие, по которому в один кластер могут помещаться только данные одного файла.

Например, мы имеем файл размером 260 Кб и кластеры по 32 Кб. Значит, в 8-и из них будет храниться 32 х 8 = 256 Кб и еще 4 Кб в 9-ом. То есть, в данном случае на диске будет занят объем, соответствующий размеру девяти кластеров 288 Кб, а это уж никак не наши 260 Кб, а на целых 10% больше чем мы предполагали задействовать.

Процент здесь указан просто для иллюстрации того, что не все место диска эффективно используется. Будь у нас файлик поменьше, например 33 Кб (ну, чтоб не помещался в один кластер) это показатель был бы вообще пугающим: 2 кластера по 32 Кб = 64 Кб для хранения 33-ёх.

КПД памяти – чуть более 50%. Этот пример четко показывает, что размер кластера должен быть сопоставим с объемом используемых в системе файлов.

Но это скорее частный редкий случай. Поскольку сейчас используются относительно большие файлы, намного превышающие размер кластеризации. И вот здесь проявляют себя другие факторы:

  1. Выше приведенный пример показывает, что в последнем кластере теоретически может быть использован всего 1 Кб, соответственно, чем больше его размер, тем больше остается незадействованной памяти. Данный эффект усиливается с ростом количества файлов. Поэтому вполне логично, что чем меньше размер кластера, тем более эффективно мы сможем использовать носитель информации;
  2. С другой стороны. Считывая данные, процессор обращается по адресам каждого из кластеров и это занимает определенное время. Чем больше их задействовано – тем больше таких переходов. Серьезно усугубляет ситуацию и тормозит работу компьютера (особенно в HDD) высокий уровень фрагментации, при которой кластеры не собраны в сплошные блоки, а раскиданы в разных местах. С этой позиции большие кластеры предпочтительнее. Поскольку для размещения условного файла среднего объема их потребуется намного меньше.

5.1. MiniTool Partition Wizard

В любой из коммерческих редакций MiniTool Partition Wizard можем изменить размер кластера без форматирования и пересоздания раздела, с сохранностью данных. Кликаем в окне программы нужный раздел, выбираем функцию изменения кластера.

Смотрим, какой у нас текущий размер. И в выпадающем списке выбираем новый. Затем жмём «Да».

В главном окне MiniTool Partition Wizard применяем операцию и ожидаем её завершения.

При оперировании системного раздела С или несистемного, но такового, к которому обращаются фоновые системные процессы, программа попросит перезагрузиться. И будет проводить операцию в предзагрузочном режиме без активных системных процессов.

Маленький блог скромного айтишника.

И так, буквально вчера я неожиданно узнал что для SSD дисков также важно 4к выравнивание кластеров. Изначально жесткие диски имеют выравнивание 512 байт, это связано с физическими параметрами диска, и поэтому форматирование таких дисков должно было быть кратно этой величине, что всегда и выполнялось, размер кластера при форматировании варьировался от 512байт до 32кбайт

Однако в последнее время появились жесткие диски большой ёмкости, у которых прежняя адресация на физическом уровне по 512байт была увеличена до 4кбайт.

Т.е. физически диск способен адресовать данные начало которых кратно 4096 байт. Однако размещение файлов ОС производит по логической структуре кластеров при форматировании. Очень плохо если логический кластер не совпадает с физическим блоком на диске. Для этого производители дисков комплектуют их утилитами предварительного выравнивания кластеров. По сути это программы форматирования, которые форматируют диск так чтобы начало кластера всегда совпадало с началом блока.

Однако это в основном касалось (как мне казалось) лишь дисков повышенной ёмкости (от 2ТБ). Оказалось это не так. Этому подвержены и все SDD, и вот почему:

SSD состоят из микросхем памяти, который имеют строго размер равный степени двойки, и как результат — размер блока 4к. Если данные на SSD диске размещены без выравнивания кратного 4096байт то резко падает скорость прежде всего записи, и записи маленьких файлов.

По некоторой информации Windows 7 во время чистой установки на SSD диск сразу производит выравнивание. Однако при переносе системы с HDD на SSD с помощью различных утилит, весьма вероятно отсутствие требуемого выравнивания.

Как проверить выровнен ли ваш SSD диск?

Скачайте программу тестирования SSD дисков —AS SSD Benchmark Она даже без запуска самого тестирования показывает выровнен ли ваш диск или нет. (применимо только для SSD!).


Надпись красным сообщает нам что диск не выровнен.

Как выровнять диск без потери данных?

1. Для начала рекомендуется сделать бэкап ценных данных, или даже полный бэкап диска любой понравившейся вам утилитой. Этот шаг необязательный. 2. Скачайте программуParagonAlignmentTool (300р), можно найти и бесплатно в известных местах. 3. Запустить программу, выбрать только SSD диск или 4k-HDD диск (только если программа выделяет их желтым цветом). Если цвет диска — красный то выровнять его по каким либо причинам нельзя. Обычно нельзя выровнять служебный диск Windows 7 (размером 100 -300 мб). 4. Начать процедуру выравнивания, если надо перезагрузить для выравнивания системного раздела

Внимание! Время выравнивания примерно равно времени полной записи всего объёма диска

Вот что получилось у меня спустя 20минут ожидания:


Как видим, скорости записи, особенно маленьких файлов значительно выросли. Как и общая оценка диска.

Максимальная длина имени файла и пути к файлуMaximum file name and path

NTFS поддерживает длинные имена файлов и пути увеличенной длины со следующими максимальными значениями:NTFS supports long file names and extended-length paths, with the following maximum values:

  • Поддержка длинных имен файлов с обратной совместимостью. NTFS допускает длинные имена файлов, сохраняя псевдоним 8.3 на диске (в кодировке Юникод), чтобы обеспечить совместимость с файловыми системами, которые накладывают ограничение 8.3 на имена и расширения файлов.Support for long file names, with backward compatibility—NTFS allows long file names, storing an 8.3 alias on disk (in Unicode) to provide compatibility with file systems that impose an 8.3 limit on file names and extensions. При необходимости (по соображениям производительности) можно выборочно отключить именование 8.3 на отдельных томах NTFS в Windows Server 2008 R2, Windows 8 и более поздних версиях операционной системы Windows.If needed (for performance reasons), you can selectively disable 8.3 aliasing on individual NTFS volumes in Windows Server 2008 R2, Windows 8, and more recent versions of the Windows operating system.
    В Windows Server 2008 R2 и более поздних версий короткие имена по умолчанию отключены при форматировании тома с помощью операционной системы.In Windows Server 2008 R2 and later systems, short names are disabled by default when a volume is formatted using the operating system. Для совместимости приложений на системном томе все еще включены короткие имена.For application compatibility, short names still are enabled on the system volume.

  • Поддержка путей увеличенной длины. Многие функции API Windows поддерживают версии Юникода, позволяющие использовать расширенный путь длиной приблизительно 32 767 символов, а не ограниченный по длине в 260 символов, что определяется параметром MAX_PATH.Support for extended-length paths—Many Windows API functions have Unicode versions that allow an extended-length path of approximately 32,767 characters—beyond the 260-character path limit defined by the MAX_PATH setting. Подробные требования к именам файлов и формату путей, а также рекомендации по реализации путей увеличенной длины см. в статье Naming Files, Paths, and Namespaces (Имена файлов, пути и пространства имен).For detailed file name and path format requirements, and guidance for implementing extended-length paths, see Naming Files, Paths, and Namespaces.

  • Кластерное хранилище. При использовании в отказоустойчивых кластерах NTFS поддерживает постоянно доступные тома, к которым могут одновременно обращаться несколько узлов кластера при использовании совместно с файловой системой CSV.Clustered storage—When used in failover clusters, NTFS supports continuously available volumes that can be accessed by multiple cluster nodes simultaneously when used in conjunction with the Cluster Shared Volumes (CSV) file system. Дополнительные сведения см. в статье Use Cluster Shared Volumes in a Failover Cluster (Использование общих томов кластера в отказоустойчивом кластере).For more information, see Use Cluster Shared Volumes in a Failover Cluster.

Какой размер кластера выбрать при форматировании NTFS

Приветствую своих читателей и сегодня мне очень приятно перейти от теории поближе к практике. Сегодня мы будем выяснять, какой размер кластера выбрать при форматировании NTFS. Эта реальная задача постоянно возникает при подготовке жесткого диска к переустановке Windows, а так же в других ситуациях.

Для начала вспомним, что такое кластер и NTFS и какая связь между этими понятиями. Итак, память компьютера (или флешки, или карты памяти) разбивается на отдельные сектора объемом 512 байт или 4 Кб, которые в свою очередь группируются в кластеры. Соответственно, размер кластера кратен объему сектора.

Файловая система среди прочих функций определяет возможный размер кластера:

  • В устаревшей FAT32 – это от 1 до 32 Мб;
  • Пришедшая ей на смену в USB накопителях exFAT – от 4 до 128 Мб;
  • Наиболее стабильная, интересующая нас NTFS – от 4 до 64 Мб;

Размер, имеющий значение

Информация файла вносится в эти кластеры, каждый из которых имеет свой адрес, что облегчает и определяет механизм ее считывания или записи. Важным для дальнейшего понимания процесса является условие, по которому в один кластер могут помещаться только данные одного файла.

Например, мы имеем файл размером 260 Кб и кластеры по 32 Кб. Значит, в 8-и из них будет храниться 32 х 8 = 256 Кб и еще 4 Кб в 9-ом. То есть, в данном случае на диске будет занят объем, соответствующий размеру девяти кластеров 288 Кб, а это уж никак не наши 260 Кб, а на целых 10% больше чем мы предполагали задействовать.

Процент здесь указан просто для иллюстрации того, что не все место диска эффективно используется. Будь у нас файлик поменьше, например 33 Кб (ну, чтоб не помещался в один кластер) это показатель был бы вообще пугающим: 2 кластера по 32 Кб = 64 Кб для хранения 33-ёх!!!

КПД памяти – чуть более 50%. Этот пример четко показывает, что размер кластера должен быть сопоставим с объемом используемых в системе файлов.

Но это скорее частный редкий случай, поскольку сейчас используются относительно большие файлы, намного превышающие размер кластеризации. И вот здесь проявляют себя другие факторы:

  1. Выше приведенный пример показывает, что в последнем кластере теоретически может быть использован всего 1 Кб, соответственно, чем больше его размер, тем больше остается незадействованной памяти. Данный эффект усиливается с ростом количества файлов.Поэтому вполне логично, что чем меньше размер кластера, тем более эффективно мы сможем использовать носитель информации;
  2. С другой стороны, считывая данные, процессор обращается по адресам каждого из кластеров и это занимает определенное время. Чем больше их задействовано – тем больше таких переходов. Серьезно усугубляет ситуацию и тормозит работу компьютера (особенно в HDD) высокий уровень фрагментации, при которой кластеры не собраны в сплошные блоки, а раскиданы в разных местах. С этой позиции большие кластеры предпочтительнее, поскольку для размещения условного файла среднего объема их потребуется намного меньше.

Решение принимать вам

Как же все-таки разрешить возникшую дилемму и выбрать оптимальный размер кластера при форматировании NTFS? Да очень просто и здесь есть три варианта:

  • Прикинуть, с какими файлами вы собираетесь работать. Если они преимущественно небольшие – можно выбрать размер кластера поменьше. Так же можно разбить диск на несколько разделов и каждый отформатировать со своим размером кластера. Например, установить максимальный для места хранения мультимедийных файлов;
  • Установить вместительный жесткий диск (с достаточным запасом по объему) и произвести его форматирование, выбрав наибольший размер кластера;
  • Вообще не париться по этому поводу и при форматировании установить стандартные настройки по умолчанию. А они напрямую зависят от объема винчестера или SSD;

По-сути, определяя для своей системы или хранилища информации размер кластера, вы ищете компромисс между быстродействием и или эффективностью использования памяти. И, как видите, задача эта в принципе-то не сложная. Во всяком случае, какое бы решение вы не приняли, никаких критических последствий оно за собой не понесет.

Так что даже можете поэкспериментировать, тем более что существуют программы, позволяющие изменять кластеры в уже отформатированной, работающей системе без потере содержащихся на накопителе информации.

Возможно в будущем как-нибудь напишу подробную обзорную статью о том как влияет скорость работы накопителя при разных размерах кластеров.

Но я искренне желаю вам уверенности и компьютерной интуиции, которая поможет выбрать оптимальный размер кластера. На этом я буду заканчивать и прощаться с вами.

До скорых встреч в новых темах моего блога.

Тонкости форматирования в Windows — файловые системы и кластеры

При форматировании диска или флешки Windows предлагает определиться с двумя параметрами — типом файловой системы и размером кластера. Проблем с выбором файловой системы у пользователей Windows обычно не возникает.

Если форматирование выполняется средствами операционной системы, то, скорее всего, на выбор будет предложено либо NTFS, либо FAT32.

Используя сторонние программы для работы с дисками, можно отформатировать носитель в других файловых системах.

Что такое файловая система

Чтобы не забивать вам головы сложной терминологией, прибегнем к простому сравнительному методу. Файловую систему можно сравнить с обычной школьной тетрадкой. Есть тетради в клеточку, в прямую и косую линейку, но во всех в них можно писать и рисовать.

Точно так же обстоит дело и с файловыми системами. А ещё их можно сравнить с таблицами, отличающимися друг от друга размерами и расположением ячеек. Попросту говоря, файловая система — это разметка диска, способ организации данных (каталогов и файлов).

Всего файловых систем около 50, но наиболее употребительными из них являются NTFS, exFAT, FAT32, ext3, ext4, ReiserFs, HFS Plus, UDF и ISO 9660.

• NTFS — классический тип файловой системы, используемой в операционной системе Windows. Как правило, выбирается он ОС автоматически.

• FAT32 также используется в Windows, но всё реже и реже. В отличие от NTFS, тома с FAT32 не могут хранить файлы, размер которых превышает 4 Гб, а кроме того, FAT32 не поддерживает настройку прав доступа к файлам и каталогам. Область применения FAT32 сегодня — карты памяти и прочие съёмные носители небольшого объёма.

• exFAT — расширенная FAT или иначе FAT64. Разработана Microsoft как альтернатива NTFS. Используется она в основном на flesh-накопителях большого объёма. exFAT отличается поддержкой настройки прав доступа, более высокими лимитами на размер файлов и кластеров.

• Файловые системы ext3, ext4 и ReiserFs используются в операционных системах Linux, для коих и были специально разработаны.

• HFS Plus используется в Mac OS, а UDF и ISO 9660 — в оптических носителях.

Что такое кластер

В Windows файловая система тесно связана с понятием кластера. На нём мы остановимся немного подробней. Что такое кластер, лучше всего продемонстрировать на примере сравнения файловой системы с таблицей. На этом изображении жёсткий диск представлен в виде круговой таблицы, разделённой на ячейки, именуемые секторами дорожки.

Одна или несколько таких ячеек, будучи объединёнными в группу, называются кластерами. В зависимости от типа файловой системы размер кластера может иметь разный размер. В NTFS он составляет от 512 до 64 Кб, в FAT32 — от 1024 байт до 32 Кб, в «продвинутой» системе FAT — exFAT размер кластера может достигать внушительных 32768 Кб.

И хотя самым маленьким элементом структуры разметки диска является сектор дорожки, минимальный объём пользовательской информации может быть записан именно в кластер. При этом кластер не может содержать части разных файлов. Либо он свободен, либо занят.

Представьте, что у вас есть файл размером 41 килобайт, который предстоит записать на диск, разбитый на кластеры в 4 Кб. В процессе записи файл будет распределён между 11 кластерами, причём 10 из них заполнятся полностью, а 1 — только на четверть. Тем не менее, этот кластер будет считаться заполненным.

Заполненным он будет считаться даже в том случае, если размер записанного в него файла составит всего 1 байт.

Вот мы и подошли к ответу на столь часто задаваемый вопрос — какой размер кластера нужно выбирать при форматировании диска или флешки.

Если диск будет использоваться для хранения небольших файлов, выбирайте наименьший размер кластера (от 4 Кб и меньше). При этом данные будут записываться более «плотно», что позволит вам сэкономить больше дискового пространства. Ежели на диске вы собираетесь хранить объёмные файлы, например, фильмы, то в таком случае размер кластера при форматировании имеет смысл выставить от 32 Кб и более.

При форматировании флешек и карт памяти небольшого объёма (до 16 Гб) лучше выставлять средний размер кластера от 4 до 8 Кб независимо от типа хранящихся на них данных. При выборе размера кластера также следует учитывать другой немаловажный аспект — скорость чтения/записи. Чем крупнее кластеры, тем выше скорость чтения/записи с носителя.

Объясняется это тем, что считывающей головке, собирающей файл по кусочкам, приходится делать меньше движений. Конечно, этот подход не очень экономный, зато ваши файлы будут записываться на порядок быстрее. Что для вас важнее: скорость или экономия места на диске — выбирать вам.

Впрочем, если вы сомневаетесь в правильности своего выбора, выбирайте золотую середину, оставляя всё по умолчанию.

Если пользователей от 5 до 10

Стандартный набор для небольшого бизнеса, несколько человек работают с 1С постоянно, другие эпизодически, потому сценарий здесь крайне простой и не требует излишних затрат. Впрочем, можно выделить несколько возможностей:

Используем жесткие диски с интерфейсом SAS. Дорого и бесполезно. Несмотря на то, что он быстрее SATA, но при этом вдвое дороже. Построение зеркального RAID скушает немало денег без существенной пользы.

Использование HDD SATA. Зеркальный RAID будет крайне медленным, RAID 10 потребует 4 жестких диска. Тоже дороговато, а «бутылочное горлышко» в виде дисковой подсистемы иногда может давать о себе знать. И да, RAID 0 имеет малую отказоустойчивость, потому, если накопитель выйдет из строя, ваши данные будут повреждены, возможно, безвозвратно.

Интерфейс все тот же SATA, но используем твердотельные накопители. Они заметно шустрее и подходят для построения зеркального RAID, что позволит максимально эффективно работать и обезопасить данные. Использовать лучше память TLC или 3D NAND QLC, цена будет приемлемой.

Интерфейс NVMe. Очень быстро, но невероятно дорого, в данном случае будет неоправданной тратой средств.

Теперь расскажу о типах памяти, применяемых в SSD. MLC имеет в распоряжении около 3000 циклов перезаписи отдельной ячейки, потом она с высокой вероятностью выйдет из строя, скорость чтения/записи также довольно высока, около 600 МБ/с для чтения и 200 МБ/с для записи. TLC по скоростным параметрам практически не отличается , но надежность заметно ниже, отдельной ячейки хватает примерно на 1000 циклов перезаписи. 3 D NAND получился заметно надежнее и выше по скорости, при этом, позволил в тот же форм-фактор накопителя запихивать больше памяти . У 3D NAND TLC от 3 до 10 тыс. циклов перезаписи , у MLC 3D NAND примерно 10-15 000. Более подробную информацию можете узнать здесь.

Чтобы быстро убить такой твердотельный накопитель, придется несколько раз в день полностью его заполнять и стирать. В противном случае его спокойно хватит на несколько лет, а то и больше. Современные SSD очень надежны.

Но не стоит забывать про интерфейс NVMe. Архитектурно флеш-память с данным интерфейсом не имеет отличий, но суть в том, что быстродействие SSD ограничивают именно такие шины, как SAS и SATA. NVMe, в отличии от предыдущих типов, подключается напрямую в разъем PCI-E, что приводит к снижениям задержек при ответе на запросы к накопителю, а также конструктивно PCI-E имеет больше полос для пропуска данных, что приводит к значительному росту скорости. В качестве SSD для сервера 1С на 5-10 пользователей в использовании NVMe мало смысла, ведь столь серьезных потребностей в скорости нет, а вот цена будет кусаться, причем серьезно.

Наиболее выгодным вложением будет приобретение простых твердотельных накопителей с интерфейсом SATA, имеющим ресурс от 150 TBW и более или 0,5 DWPD

Обратите внимание следующие модели: Crucial MX500, Micron 5200 Pro. Они вполне подойдут для закрытия потребностей

Можно брать более старые модели, они, конечно, чуть похуже, но незначительно, а дешевле могут быть раза в полтора.

Предыдущая модель Micron 5100 тоже подойдет, обойдет при этом на 1,5-2 тыс. рублей дешевле.

WD BLUE сделанный по архитектуре 3D NAND с объемом в 500 гигабайт. Отличная модель с умеренной ценой. Интерфейс — SATA.

Поддержка больших томовSupport for large volumes

NTFS может поддерживать тома размером до 8 ПБ в версии Windows Server 2019 и выше и Windows 10 версии 1709 и выше (более ранние версии поддерживают до 256 ТБ).NTFS can support volumes as large as 8 petabytes on Windows Server 2019 and newer and Windows 10, version 1709 and newer (older versions support up to 256 TB). Поддерживаемые размеры томов зависят от размера кластеров и их количества.Supported volume sizes are affected by the cluster size and the number of clusters. Для кластеров (232 –1) (максимальное число кластеров, поддерживаемое NTFS) поддерживаются следующие размеры томов и файлов.With (232 – 1) clusters (the maximum number of clusters that NTFS supports), the following volume and file sizes are supported.

Размер кластераCluster size Самый крупный том и файлLargest volume and file
4 КБ (размер по умолчанию)4 KB (default size) 16 ТБ16 TB
8 КБ8 KB 32 ТБ32 TB
16 КБ16 KB 64 ТБ64 TB
32 КБ32 KB 128 ТБ128 TB
64 КБ (предыдущий максимальный размер)64 KB (earlier max) 256 ТБ256 TB
128 КБ128 KB 512 ТБ512 TB
256 KB256 KB 1 ПБ1 PB
512 КБ512 KB 2 ПБ2 PB
1024 КБ1024 KB 4 ПБ4 PB
2048 КБ (максимальный размер)2048 KB (max size) 8 ПБ8 PB

Обратите внимание, что при попытке подключить том с размером кластера, который превышает поддерживаемый максимум используемой версии Windows, вы получите ошибку STATUS_UNRECOGNIZED_VOLUME.Note that if you try to mount a volume with a cluster size larger than the supported maximum of the version of Windows you’re using, you get the error STATUS_UNRECOGNIZED_VOLUME

Важно!

Важно!

Службы и приложения могут накладывать дополнительные ограничения на размер файлов и томов.Services and apps might impose additional limits on file and volume sizes. Например, ограничение размера тома составляет 64 ТБ, если вы используете функцию предыдущих версий или приложение резервного копирования, которое использует моментальные снимки службы теневого копирования томов (и не используете сеть SAN или RAID).For example, the volume size limit is 64 TB if you’re using the Previous Versions feature or a backup app that makes use of Volume Shadow Copy Service (VSS) snapshots (and you’re not using a SAN or RAID enclosure). Тем не менее, может потребоваться использовать тома меньшего размера в зависимости от рабочей нагрузки и производительности хранилища.However, you might need to use smaller volume sizes depending on your workload and the performance of your storage.

Оцените статью
Рейтинг автора
5
Материал подготовил
Андрей Измаилов
Наш эксперт
Написано статей
116
Добавить комментарий