adv формат что это

Поддержка Advanced Format — оптимальная работа с дисками высокой емкости

Advanced Format — это новый формат разметки жестких дисков, необходимый для адресации больших объемов дисковой памяти. Все производители современных жестких дисков, в том числе HGST, переходят на этот формат.
Одна из основных особенностей Advanced Format — увеличение размера сектора с 512 до 4096 байт. Для сохранения совместимости с программами, рассчитанными на прежний формат, новые диски имеют режим эмуляции, который называется «512e».
Большая часть современных операционных систем поддерживает Advanced Format. Для достижения оптимального быстродействия ввода-вывода необходимо, чтобы разбивка диска была осуществлена корректно, и чтобы данные записывались 4-килобайтными блоками как операционной системой, так и прикладными программами. Новейшие операционные системы по умолчанию выполняют все условия, необходимые для эффективной работы с Advanced Format. При использовании же более старого программного обеспечения для настройки дисковой подсистемы на оптимальное быстродействие могут потребоваться специальные утилиты.

Устройство Advanced Format
В средней части рисунка 1 изображены восемь идущие подряд 512-байтных секторов. Помимо пользовательских данных, каждый сектор содержит служебную информацию: данные разметки и код коррекции ошибок. При замене восьми 512-байтных секторов одним 4-килобайтным количество необходимой служебной информации сокращается (см. нижнюю часть рисунка). Таким образом, при работе с большими файлами (а средний размер файлов по сравнению со временами, когда использовался 512-байтный формат, вырос) дисковое пространство используется эффективнее. Кроме того, под код коррекции ошибок выделено больше места, благодаря чему лучше обеспечивается целостность данных.

Рис. 1. Сравнение 512-байтного и 4-килобайтного форматов(1).

Обеспечение совместимости
Значительная часть находящихся в эксплуатации технических и программных средств рассчитаны на размер сектора 512 байт и ожидают, что данные будут пересылаться 512-байтными блоками. Эмуляция такого обмена реализована в новых дисках на уровне интерфейса. При запросе на чтение блока диск считывает сектор целиком (на что не уходит много времени) и передает программе только необходимый блок. Если же от программы поступает запрос на запись блока, то диск считывает целый сектор, помещает в него полученный блок и перезаписывает сектор целиком (см. рис. 2). Между считыванием и записью проходит время, диск может за это время совершить несколько оборотов.

Рис. 2. В режиме эмуляции при записи 512-байтного блока диск вначале считывает сектор, помещает в него блок и затем записывает сектор

Обеспечение быстродействия
Для достижения наивысшего быстродействия необходимо, чтобы формат записи на диск соответствовал формату диска. В идеальном случае запись должна выполняться 4-килобайтными блоками и каждый блок должен записываться в один сектор. Это условие выполняется в том случае, если и операционная система, и прикладные программы настроены на работу с 4-килобайтными блоками, а разбиение диска выполнено корректно.
Большинство современных операционных систем используют файловые системы, в которых дисковое пространство выделяется 4-килобайтными блоками, или кластерами. 4-килобайтный блок соответствует восьми 512-байтным секторам (см. рис. 3).

Рис. 3. Соответствие кластера сектору в режиме эмуляции.

Выравнивание границ разделов
При использовании операционных систем, записывающих данные 4-килобайтными кластерами (большинство современных ОС), важно, чтобы их границы были выровнены по границам секторов диска. В режиме эмуляции 512e диск не может предотвратить размещение раздела с блока, номер которого не кратен восьми. Если такое произойдет, один кластер будет размещаться в двух секторах (см. рис. 4). Таким образом, при чтении или записи 4-килобайтного кластера потребуется соответственно считать или записать 8 килобайт — вдвое больше. И если при чтении разница в скорости будет не большая, то при записи она окажется заметной.

Рис. 4. Размещение кластера не с начала сектора.

Операционные системы, поддерживающие Advanced Format
В следующих операционных системах размер кластера составляет 4 Кбайт, а при установке разбиение диска выполняется корректно:
• Microsoft Windows Vista SP1 и новее;
• Microsoft Windows 7;
• Microsoft Server 2008;
• Mac OS X 10.4 и новее;
• Linux Ubuntu 8.04+, SUSE, Linux kernel 2.6.34+ (необходимо использовать Linux Partitioning Utility).

Операционные системы, не обеспечивающие автоматическое соответствие кластеров секторам:
• Microsoft Windows XP;
• Microsoft Server 2003;
• Microsoft Windows Home Server V1.

HGST Align Tool
Для исправления логической разметки дисков, разделы на которых не выровнены по границам секторов, можно использовать выпускаемую HGST утилиту для Windows. Ее можно загрузить по адресу www.hgst.com/support/downloads.
Кроме того, Advanced Format поддерживается рядом утилит работы с дисками, выпускаемых сторонними производителями:

Для Windows:
Acronis Disk Director Home 11 или Paragon Partition Manager 11.

Для Mac:
Disk Utility (в комплекте с Mac OS X 10.4+), создает раздел GPT (GUID Partition Table).

Источник

Технология Advanced Format: допинг или панацея для жестких дисков?

Введение

Жесткие диски, несмотря на наступление по всем фронтам твердотельных накопителей SSD, никак не спешат сдаваться. Причиной тому можно назвать сейчас только высокую стоимость одного гигабайта объема на SSD и в меньшей степени их ограниченный ресурс. Однако зачастую, особенно в мобильных устройствах, применение твердотельной памяти более предпочтительно из-за её компактности, невосприимчивости к ударам и самое главное – высокой производительности. Именно последний фактор у жестких дисков легче всего улучшается, поскольку миниатюризация механических частей приводит к уменьшению производительности и надежности, а ударостойкость вообще невозможно повысить без кардинального изменения механики. Один из пионеров индустрии накопителей на магнитных дисках – компания Western Digital – уже давно пытается вывести производительность своих накопителей на новый уровень. Не так давно инженеры компании придумали оснастить блок головок дополнительным пьезодвигателем, который способствует точному позиционированию головки на нужной дорожке, что улучшает такую характеристику диска, как случайное чтение. Однако самой интересной и массовой новинкой, которая уже внедряется в накопители, можно признать технологию WD Advanced Format.

Advanced Format – что это?

Технология Advanced Format – это «всего лишь» небольшое изменение в структуре разметки диска. Сам ларчик открывается просто – производители увеличивают размер сектора на диске. Как известно, логическая структура жесткого диска включает в себя определенное число цилиндров и секторов, которые подобно решетке, закрученной вокруг оси диска, делят поверхность пластин на так называемые кластеры, объединяющие несколько секторов. Именно в каждый кластер и записываются данные на диск. Стандартный размер сектора, принятый до сих пор, составляет 512 байт – этот размер используется, можно так сказать, испокон веков. Однако у всего есть предел. Еще в 1998 году появилась идея увеличить размер сектора, однако лишь в 2007 году отраслевая организация IDEMA LDS-Committee (International Disk Drive Equipment and Materials Association) «легализовала» идею выпуском документа «Hard Disk Drive Long Data Sector White Paper», где были описаны все основные нюансы новой разметки диска. Чуть позже компания Samsung выпустила пару жестких дисков малого форм-фактора 2.5 дюйма – модели Spinpoint M7E и портативный S1 Mini – в которых была применена технология увеличенного кластера. Western Digital пошла еще дальше, запустив в производство целую линейку дисков с технологией, которую назвали Advanced Format. Что же дает увеличенный сектор? Идея проста: отказ от малых секторов 512 байт в пользу длинных секторов 4 Кб дает не только увеличение объема диска для записи данных, но и увеличение производительности накопителя за счет более оптимизированного расположения данных на диске.

Увеличение объема достигается тем, что вместо восьми секторов по 512 байт вводится один сектор 4 Кб. В результате из структуры накопителя просто исчезают «лишние» блоки синхронизации Sync/DAM, блоки с данными ECC (коррекции ошибок), которые обязательно находятся в структуре каждого сектора на любом диске, а также межсекторные промежутки (которые тоже, понятное дело, неотъемлемая часть разметки любого накопителя). То есть, как вы понимаете, уменьшение количества секторов делает возможным увеличение рабочего пространства диска – именно потому, что уменьшает количество служебной информации, правда область ECC в структуре типа Advanced Format несколько расширена (по сравнению с коротким сектором), но ненамного. Вы спросите, для чего же все это нужно? Нельзя не отметить тот факт, что современные диски в погоне за максимальным объемом оснащаются все более высокой плотностью записи – дорожки мельчают, считывать информацию головкам становится все труднее. Поэтому увеличение сектора вкупе с более широкой зоной ECC дает выигрыш не только в скорости доступа к данным, но и позволяет достичь возникновения меньшего количества ошибок при чтении. Об увеличении рабочей области для хранения данных мы уже сказали выше, остается только уточнить, что прирост по сравнению с привычной структурой диска составляет не более 10-12%, но все же это достаточно внушительная величина, чтобы говорить о выигрыше в объеме всерьез. Наконец, увеличивающаяся при введении нового размера секторов плотность записи позволяет достичь и увеличения линейной скорости чтения, не говоря уже про оптимизацию поиска.

Все вроде бы радужно. Но есть ли подводные камни?

При столь «медовых» характеристиках не обошлось и без ложки дегтя, в данном случае это не только возросшая на электронику диска нагрузка, но и еще один, куда более важный нюанс: дело в том, что с самого начала компьютерного века, все компоненты IBM-совместимых ПК рассчитаны на работу с секторами по 512 байт. Это и операционные системы, и материнские платы, и контроллеры. По какой-то причине Microsoft в своих операционных системах для разметки диска использовала отступ, резервируя первые 63 сектора на диске при установке ОС. Помня о возможной несовместимости с такими системами, инженеры компании Western Digital выбрали следующий формат для новых дисков: физически HDD размечен секторами по 4 кб, однако диск рапортует системе о том, что способен работать с секторами по 512 байт. То есть большие физические сектора на диске имеют по восемь логических 512-байтных секторов – те самые 4 кб.

Таким образом, в новых дисках указанный выше 63-й сектор располагается ровно на восьмом логическом восьмого физического сектора, что приводит к несоответствию кластеров файловой системы секторам, размеченным на жестком диске. Казалось бы, для выравнивания достаточно сместить логическую структуру накопителя на один сектор, но в этом случае весь диск должен быть размечен под один раздел. В случае же нескольких разделов ситуация серьезно усложняется. Таким образом, если с возросшими требованиями к производительности электронной части диска бороться относительно просто – те же диски WD давно уже оснащаются двуядерным контроллером – то со вторым фактором все несколько сложнее. Первый шаг на всеобщем и неотвратимом пути к LDS (Long Data Sector) компания Microsoft уже сделала – её последние операционные системы Windows Vista и Windows 7 уже поддерживают диски с большими секторами – используя новые ОС, можно не волноваться о совместимости с новыми дисками. Также поддержку Advanced Format можно найти и в последних RAID-контроллерах. Да и на уровне BIOS материнских плат постепенно вводится поддержка LDS. Однако стопроцентно утверждать о том, что именно ваша система на 100% поддерживает Advanced Format пока еще рано. Безусловно, новый компьютер будет избавлен от проблем совместимости, но вот более старый ПК может преподнести неприятный сюрприз. То есть, как вы понимаете, для использования диска с увеличенным сектором требуется установка операционной системы Windows Vista или Windows 7 как минимум, а также желательно иметь современную материнскую плату или RAID-контроллер с последней версией прошивки. Однако и использование старых комплектующих и операционных систем вполне возможно. Дело в том, что Western Digital в своих накопителях, так сказать, подготовила пути отступления на случай, если у кого-то возникнет необходимость использования Windows XP и ниже на новых дисках. Вариантов приведения диска в режим, понятный старым операционным системам, два:

1. Использование перемычки на панели контактов жесткого диска. Перемычка, соединяющая восьмой и седьмой контакты, заставляет диск «сдвинуть» логическую структуру на один сектор, в результате 63-й сектор, по мнению операционной системы, станет на самом деле 64-м, что дает полное совпадение файловой системы и логической структуры диска. Все операции по «смещению» в данном случае выполняются электроникой диска. Но и, конечно, как вы поняли из сказанного выше, применение перемычки позволяет отформатировать диск только под один раздел, если же вы собираетесь использовать несколько разделов, то придется воспользоваться следующим способом.

2. Скачать с сайта WD программу WD Align и с её помощью выровнять диск. В данном случае, если разделы были созданы ранее и на диске имеются данные, придется достаточно длительное время ожидать, пока данные будут перемещены, при этом ни в коем случае нельзя прерывать операцию, иначе данные будут потеряны. Поэтому перед выравниванием данные с диска лучше скопировать на резервный накопитель, а операцию проводить на пустом диске – к тому же меньше времени займет.

Вместо заключения

Конечно, Western Digital с одной стороны опережает время, представив более производительные диски с логической структурой, за которой неизбежное будущее. С другой стороны, все еще много людей использует стремительно устаревающие, но такие привычные операционные системы, как Windows XP, 2000 и даже Windows 98. В этом случае компания предлагает воспользоваться обходными путями, используя перемычку или программу для выравнивания диска. Однако остаются вопросы – что, например, будет, если на уже выровненном программой WD Align диске задействовать перемычку? К тому же, очень полезно здесь вспомнить пользователей, архивирующих операционные системы и делающих бэкапы: в данном случае используются такие программы, как Norton Ghost или Acronis True Image, и что самое важное – многие из нас используют так называемые «урезанные» ОС, Preinstallation Environment, в простонародии PE. Такие известные диски, как Bart PE или Microsoft Windows PE основаны на ядрах Windows NT, а значит не имеют поддержки LDS/Advanced Format. Единственные варианты для таких пользователей пока – либо отказаться от использования Windows PE, либо не приобретать накопители с увеличенным сектором. Хотя, нельзя исключать вероятности, что народные умельцы смастерят что-нибудь подобное на основе Windows Vista или 7 – ведь удобная и полезная штука, особенно в том случае, когда требуется срочно вылечить «заболевший» компьютер от вируса или восстановить «упавшую» систему.

Отличить диски WD с Advanced Format несложно: десктопные серии имеют в конце буквы EARS или AARS, мобильные – BPVT. Кроме того, на наклейке диска присутствует текст в черной рамке, сообщающий, что это – «Advanced Format Drive». В общем, будьте внимательны при выборе и покупке жесткого диска: не забывайте о своих интересах, подумайте о производительности и не забудьте о возможных проблемах, если ваш случай их подразумевает. Если же вы покупаете новый компьютер и работать со старыми ОС не собираетесь, то именно «Advanced Format Drive» будет наилучшим выбором.

Источник

Диски, контроллеры, ОС и Advanced Format

Что такое Advanced Format

Advanced Format — новый формат разметки секторов, используемый в некоторых жёстких дисках. Вместо традиционного сектора размером 512 байт используется 4096 байт. Некоторые диски SCSI/SAS/FC могут использовать 520- и 528-байтные «толстые» сектора для дополнительного контроля целостности данных, но это не относится к теме данной статьи.

Увеличение размера сектора в 8 раз связано с необходимостью повышения эффективности размещения данных на современных дисках. Накладные расходы, связанные с 512-байтной разметкой, начинают мешать дальнейшему увеличению ёмкости HDD. Помимо служебных полей в каждом 512-байтном секторе присутствует поле с кодом коррекции ошибок (ECC) длиной в 50 байт. В 4096-байтном секторе длина ECC-поля составляет 100 байт. Общее эффективность хранения данных удалось улучшить примерно на 10%.

Естественно, поддержка нестандартных секторов требуется со стороны дисковых контроллеров и операционных систем. Для решения проблем с совместимостью был ввёден дополнительный стандарт 512E, который обозначает диски с физическим размером сектора 4096 байт, но при этом эмулирующие обычный размер сектора в 512 байт. Advanced Format диски без эмуляции обозначаются 4KN. Таким образом, сейчас существует три варианта разметки:

Совместимость

Операционные системы

На первый взгляд кажется, что использование эмуляции 512-байтного сектора снимает все проблемы с совместимостью, но это не так. Во-первых, сразу же возникает проблема с производительностью. Что произойдет при записи блока размером 512 байт на диск с размером сектора 4096 байт (пусть и эмулирующий наличие секторов 512 байт)? Произойдёт классический процесс read-modify-write, вместо одной операции понадобится две: прочитать сектор 4096 байт, поменять в нём 512 байт (записываемый блок) и записать 4096 байт обратно. Аналогичная проблема проявляется и при отсутствии выравнивания, когда записываемый блок данных может быть достаточно большим и даже кратным 4096 байт, но при этом сдвинут относительно границ реальных секторов:

В современных условиях операции записи блоками меньше 4096 байт встречаются крайне редко, а вот проблема с выравниванием остаётся. Например, в старых Windows (до Windows Server 2008) при установке загрузочный раздел создаётся со смещением в 63 сектора. Так уж исторически сложилось с тех времён, когда BIOS использовал реальную геометрию диска вместо LBA. Разумеется, смещение в 63×512 не делится на 4096, что приводит к нарушению выравнивания для всех последующих разделов и снижению производительности. Впервые на данную проблему обратили внимание в связи с использованием RAID-контроллеров и необходимостью выравнивания разделов по границам страйпа и она была решена в Windows Vista/ Windows Server 2008 (и примерно в то же время — в других ОС) введением выравнивания по границам в 1024КиБ (1МиБ), т.е. первый раздел создается со смещением в 2048 512-байтных секторов.

Почему именно 1МиБ, если подойдёт меньшее смещение (главное — чтобы делилось на 4096 байт)? Просто потому, что нужен запас, ведь помимо физического диска в качестве блочного устройства могут выступать тома на RAID-контроллерах (с размером страйпа по умолчанию, например, у Adaptec в 256КиБ), SSD (с большим размером страниц) или образы дисков при использовании виртуализации, рекомендуемый размер NTFS-кластера для SQL или Exchange равен 64КиБ и т.д.

Проблема номер два — возможная потеря данных для сценариев с синхронной записью. Для ситуаций с записью блока меньше 4096 байт или невыравненного блока синхронной записи по факту не получится. Остаётся «научить» ОС не использовать при записи блоки меньше 4096 байт на диски 512E, но с этим есть определённые проблемы.

Microsoft

Проверить выравнивание существующих разделов и задать смещение для новых разделов в Windows можно при помощи diskpart. Пример (раздел на диске 0 со смещением в 1024КиБ или 2048 512-байтных секторов):

Проверить проще всего через WMI (пример):

В колонке StartingOffset должно быть 1024КиБ для первого раздела, для остальных — должно делиться на 1024КиБ, это означает, что и на 4096 байт и все другие «хорошие числа» (размеры страйпов и NTFS-кластеров) всё будет делиться.

Напомню, что в современных Windows смещение в 1024КиБ и так используется по умолчанию, так что проверять/выставлять его вручную нужно лишь для ОС из «63-секторной» эпохи. При автоматическом создании GPT-разметки (через Disk Management) на 512N или 512E диске вы увидите смещение для первого раздела в 17КиБ. Это не повод для тревоги, так как это служебный раздел MSR. Первый стандартный раздел будет создан со смещением в 135266304 байт (129МиБ) — прекрасно делится на любое из наших «хороших чисел».

Linux

Пример для GNU Parted (для 512N/512E дисков):

В LVM всё хорошо: смещение по умолчанию равно 1МиБ и размер PE (physical extent) кратен 1МиБ.

VMware

Статья в базе знаний VMware утверждает, что ни 512E, ни 4KN диски не поддерживаются. Поддержка дисков 4KN заявлена в vSphere 6.0.

С появлением VMFS-5 мы получили единый размер блока — 1МиБ и правильное 1МиБ-смещение для первого раздела. Раньше использовалось не всегда подходящее смещение в 64КиБ. Но всё это не отменяет заявления VMware о том, что 512E диски не поддерживаются. Видимо, это связано с тем, что формат VMDK хранит данные с гранулярностью 512 байт.

Прочие ОС

Mac OSX поддерживает Advanced Format начиная с Tiger. Остаются ещё FreeBSD и прочие *BSD, Oracle Solaris и множество других ОС, но детальное рассмотрение ситуации с Advanced Format дисками в них выходит за рамки данной статьи.

Сервисы Microsoft

Hyper-V

Exchange Server

SQL Server

Ситуация та же, что и для Exchange Server — в отказоустойчивых конфигурациях для баз и логов на всех узлах должы использоваться диски с одинаковым физическим размером сектора.
При использовании Storage Spaces возникает интересная ситуация: презентуемый размер физического сектора оказывается равным 4КиБ вне зависимости от того, из каких дисков собран Storage Spaces (том Storage Spaces можно создать из разных дисков — 512N и 512E, смешивать с 4KN, естественно, нельзя, кроме случаев использования tiering’а с SSD). Формат VHDX (виртуальный диск) по умолчанию создаётся как 512E. В этом можно убедиться, запустив fsutil fsinfo ntfsinfo :

При использовании VHDX на томе Storage Spaces (или аппаратном RAID), состоящем из 4KN дисков, сам VHDX тоже желательно сделать 4KN:

Безопасно ли это для SQL и других приложений, использующих синхронную запись? Ответ — да, так как большая гранулярность хранения не нарушает целостности данных, на производительность это тоже не влияет, так как 4096 делится на 512.

Сервисы, использующие ESENT

Не совсем актуальная проблема в Windows Server 2008. Сервисы, использующие в работе Extensible Storage Engine API (AD, WINS, DHCP) могут упасть при изменении размера физического сектора (например, при миграции с 512N-диска на 512E). Подробное описание и хотфикс смотрите тут.

Прочее ПО

Контроллеры

Adaptec by PMC

LSI/Avago

Это свойство как раз и отвечает за презентуемые хосту размеры блоков:
Default (0): при наличии в томе дисков 512E он презентуется как 512E. Если все диски — 512N, тогда том презентуется как 512N
Disabled (1): Том всегда презентуется как 512N несмотря на наличие дисков 512E
Forced (2): Том всегда презентуется как 512E даже при отсутствии дисков 512E

Emulation Type был портирован и на SAS2 контроллеры (LSI 2108/2208), но без значения Forced (2).

Программный RAID в чипсетах Intel (RST/RSTe)

4KN не поддерживается совсем, Intel RST на дисках 512E требует свежих драйверов.

Advanced Format в дисках корпоративного класса. Что нас ждёт?

Речь пойдёт о дисках корпоративного класса последний серий. Десктопные HDD и позиционируемые для NAS или видеонаблюдения сюда не попали.

Тенденцию вы видите сами — Advanced Format окончательно проник из десктопного сегмента в корпоративный. Быстрые SAS диски 10/15 тыс. об/мин ещё выпускаются в варианте 512N, но наращивание плотности заставляет производителей использовать 4КиБ-сектора: Seagate 10k.8 и HGST Ultrastar C10K1800 ёмкостью 1800ГБ доступны только в вариантах 512E и 4KN. Все диски объёмом больше 5ТБ за исключением HGST Ultrastar He 6 — только Advanced Format.

SSD имеют свои особенности. Читать и записывать данные можно страницами, размер которых составляет 2–4–8–16КиБ в зависимости от архитектуры SSD. При этом для записи нужно обеспечить предварительное стирание ячеек, которое осуществляется не постранично, а блоками по несколько сотен страниц. Например, Samsung 840 EVO имеет блоки по 2МиБ, каждый из которых состоит из 256-ти страниц по 8КиБ. При этом, естественно, любой презентуемый хосту размер блока — 512 или 4096 байт — будет абстракцией.

Некоторые из современных SAS/SATA SSD эмулируют 512E-диск, но большая часть из соображений совместимости — 512N. Каких-либо особых мер в связи с этим предпринимать не требуется, так как в SSD корпоративного класса содержимое кэша обязательно защищается от потери питания. Достаточно обеспечить выравнивание по размеру страницы.
Некоторые PCI-E SSD, например, производства Fusion IO дают возможность при помощи фирменных утилит изменить при форматировании размер логического сектора, т.е. переключаться между 512E и 4KN режимами. Для некоторых SSD с интерфейсом SAS это тоже возможно, например, Seagate 1200 поддерживает изменение размера сектора обычным sg_format. Переход на 4КиБ сектор в некоторых сценариях может существенно поднять производительность.

Источник