Современные способы хранения информации технология

Системы хранения данных будущего: от фотопленки до бактерий

Долгосрочное хранение огромных объемов данных — одна из крайне актуальных технологий. Человечество генерирует все больше информации, и часть этих данных особенно важна. Бумага со временем превращается в труху, магнитные накопители деградируют, лазерные диски страдают от «гниения» и «бронзования» несущего слоя.

Какие технологии помогут человечеству хранить важные данные в течение сотен и тысяч лет? Оказывается, их не так уж и мало, и большая часть — вовсе не фантастика, а проекты, которые либо уже можно использовать, либо будут реализованы в ближайшем будущем.

Сервис долгосрочного хранения данных на фотопленке

Норвежская компания Piql и индийский оператор дата-центров Yotta разработали и запустили сервис долгосрочного хранения информации на фотопленке. Новая система получила название Yotta Preserve, она предназначена в первую очередь для компаний и организаций, которым нужны объемные архивы с информацией разного типа — от текста до изображений.

Данные записываются на производимую Piql крайне светочувствительную полиэфирную фотопленку piqlFilm. Ее достоинство — в долговечности: пленка не деградирует несколько сотен лет. Гарантированный срок хранения данных — 500 лет, но производитель заявляет, что данные останутся доступными для считывания вплоть до 1000 лет.

По словам авторов проекта, у него два преимущества:

• информация записывается на физическом носителе;
• хранение реализовано в цифровом виде, хотя при необходимости возможна и запись аналоговой информации.

Хранить можно любой тип контента, включая видео, аудио, рукописные документы, изображения и т.п. Формат пленки — привычные фотографам 35 мм. Вместе с архивами хранятся иллюстрации и инструкции по расшифровке данных — на случай, если доступ к ним нужно будет получить через несколько поколений.

Кстати, Piql известна еще тем, что компания оцифровала и записала на пленке данные GitHub объемом в 21 Тбайт. Хранится архив в специально оборудованной шахте на острове Шпицберген — пресловутое «Хранилище судного дня».

Кварцевые носители — технология от команды Университета Саутгемптона

Впервые о создании рабочей технологии записи данных на кварцевый носитель стало известно в 2013 году. В так называемых «кристаллах памяти» из кварца информация записывается с пятью разными характеристиками, включая координаты в трех измерениях, ориентацию и объем. Два последних параметра создатели технологии научились контролировать при помощи поляризации и интенсивности лазерного луча.

В 2013 году на кварцевый диск был записан текстовый файл объемом 300 килобайт. Тогда данные записали при помощи фемтосекундного лазера с длиной волны 1030 нм, импульсами по 8 микроджоулей продолжительностью 280 фемтосекунд с частотой 200 кГц. Лазер применялся для выжигания в кристалле точек, расположенных слоями. Расстояние между ними составляло 5 мкм.

Выжженные точки меняют поляризацию проходящего через кварц света. При помощи специализированной системы, которая включает оптический микроскоп и поляризатор, информацию можно считать. Проект постепенно развивается, хотя и не особенно быстро. С момента создания технологии на кварцевые диски записали такие документы и книги, как Всеобщая декларация прав человека, Ньютоновская оптика, Великая хартия вольностей, Библия.

По словам разработчиков, технология идеально подходит для организаций, которым нужно хранить большие объемы данных в неизменном виде продолжительное время. Это, главным образом, музеи, библиотеки, промышленные предприятия. «Удивительно даже думать о том, что мы создали технологию, позволяющую сохранять документы и другую информацию для будущих поколений. Эта технология может сохранить все, что мы изучили», — говорит профессор Питер Казански (Peter Kazansky), глава проекта.

Срок хранения информации на таком диске, в принципе, неограничен. Главное, чтобы диск не царапался и не повреждался иными способами.

Кварцевое стекло — технология от Microsoft и Warner Bros.

Схожую технологию два года назад представили две известные компании — Microsoft и Warner Bros. Объединенная команда специалистов создала метод записи видео на кварцевое стекло размером 75×75 мм и толщиной 2 мм. Конечно, этот способ предназначен не для распространения по домашним медиатекам, а для долгосрочного хранения записанных данных в течение миллионов лет. Конечно, через миллион лет может просто не оказаться существ, которые в состоянии считать эту информацию, но теоретически срок хранения ничем не ограничен.

Это уже рабочая технология, с ее помощью партнеры записали оригинальную картину «Супермен» 1978 года. Объем записанной информации — 75,6 ГБ.

Технология, разработанная Microsoft, базируется на более современных, чем в предыдущем случае, наработках. Компания использует сверхбыструю лазерную оптику и машинное обучение для записи и хранения на кварцевом стекле. Лазер создает объемные слои деформаций кварца на разной глубине и под разными углами. Машинное обучение помогает корректно считать записанные данные, декодируя их.

Warner Bros., как, вероятно, и другие компании, занимающиеся производством фильмов, нуждается в надежных методах хранения медиаконтента. Сейчас фильмы хранятся в трех копиях, которые распределены географически. Две копии цифровые и одна — на пленке. Кинопленка — весьма ненадежный хранитель информации, а кварцевое стекло, теоретически, позволяет хранить данные в течение сотен миллионов лет.

Нити ДНК

Системы хранения данных, основанные на ДНК, могут стать выходом для человечества, которое генерирует все большие объемы информации. По сравнению со всеми прочими носителями у ДНК просто феноменальная плотность записи данных. Еще одно преимущество — в случае ДНК для хранения данных в оптимальных условиях не нужна энергия, причем информацию можно хранить сотни лет. Через несколько веков данные можно без проблем считать — конечно, при наличии соответствующих технологий.

Основа недавно разработанной технологии — капсулы из диоксида кремния, в которых хранятся отдельные файлы. К каждой капсуле прикрепляются ДНК-метки, которые показывают, что в файле. Размер такой капсулы составляет около 6 микрометров. Благодаря такой системе ученым удалось научиться извлекать отдельные изображения с точностью 100%. Набор файлов, который они создали, не очень велик — их всего 20. Но если учитывать возможности ДНК, то масштабировать такую систему можно до секстиллиона файлов.

Закодированы эти 20 файлов были во фрагменты ДНК длиной около 3000 нуклеотидов, это около 100 байт данных. В одну капсулу из кремнезема можно поместить файл размером до гигабайта. После того, как файл помещен в оболочку, на его поверхность помещаются метки из одноцепочечной ДНК. К одной оболочке можно прикрепить несколько меток, которые служат ключевыми словами. Например, «рыжий», «кот», «животное». Помеченные таким образом капсулы из кремнезема объединяются в единую библиотеку данных. Она не так компактна, как хранилище из чистой ДНК, но зато данные в этом случае не повреждаются.

Для поиска файлов используется группа ключевых слов — меток. Например, если нужно найти изображение кошки, используются метки «оранжевый», «кошка» и «домашний». Для поиска тигра только «оранжевый» и «кошка». Скорость поиска в такой системе пока что очень невелика — что-то около 1 КБ в секунду.

Еще одна хитрость связана с тем, что каждая метка связана с флуоресцентными молекулами разного цвета. Поэтому в ходе запроса любые капсулы с нужными метками будут светиться определенным цветом. Сейчас уже есть устройства, которые используют лазеры для разделения объектов по цвету флуоресценции, так что выделить нужные данные технически возможно.

При этом остальная часть библиотеки затрагиваться не будет, а значит, не пострадают данные. Стог сена ради поиска одной иголки сжигать уже не требуется. Дополнительный плюс в возможности логического поиска с разными критериями. Например, условия запроса могут быть сложными: true для «кот», false для «домашний», true для «черный» и т.п.

Бактериальные нанопоры

Это еще более сложная, чем в предыдущем случае, технология, основа которой — тоже ДНК. Ученые из EPFL предложили использовать для хранения носителя, т.е. нитей ДНК, нанопоры. Их создают бактерии EPFL в живых клетках при помощи токсина аэрозилина. По мнению ученых, нанопоры могут использоваться для записи и декодирования информации в цифровом виде.

Считывание производится при помощи полимеров — чтобы процесс проходил достаточно быстро, скорость их прохождения через нанопору оптимизирована. При этом сигнал прохождения полимера должен быть идентифицирован в 100% случаев, чтобы избежать ошибок в исходных данных.

Здесь также используется машинное обучение — оно помогает декодировать информацию из полимеров, правда, пока что в очень небольшом объеме. Такая система, по словам создателей метода, гораздо дешевле, чем использование нитей ДНК в чистом виде или в тех же стеклянных капсулах, о которых говорилось выше.

Насколько можно понять, сейчас технология еще слишком сложная, чтобы ее можно было использовать для решения практических задач. Но в качестве задела на будущее это отличный вариант. «Наш метод открывает новые горизонты для хранения данных на основе полимеров с важными преимуществами в виде сверхвысокой плотности, длительного хранения и портативности устройств», — заявили ученые.

Молекулярные накопители

Еще одно исследование, на этот раз ученых из Университета Брауна (Brown University, США), открыло новые возможности для хранения огромных массивов данных на крайне небольшой площади накопителя. Здесь в качестве носителя используется уже не ДНК, а низкомолекулярные метаболиты. Запись информации производится путем взаимодействия молекул метаболитов между собой. В результате этого взаимодействия образуются новые электрически нейтральные частицы, которые и являются элементами записываемой информации.

Это еще более далекий от практической реализации метод, чем нанопоры, поскольку считывание информации здесь возможно лишь в случае проведения химического анализа в специализированной лаборатории. Но в качестве задела на будущее метод вполне пригоден.

Источник

Новые технологии хранения данных: ждет ли нас прорыв в 2020 году?

В течение нескольких десятилетий прогресс в технологиях хранения информации измерялся, прежде всего, с точки зрения емкости накопителей и скорости чтения/записи данных. Со временем к этим параметрам оценки прибавились технологии и методологии, которые делают HDD- и SSD-накопители умнее, гибче и проще в управлении. Каждый год производители накопителей традиционно намекают на то, что рынок больших данных изменится, и 2020 год — не исключение. IT-лидеры усиленно ищут эффективные способы хранения огромных потоков данных и управления ими, а, следовательно, вновь обещают изменить прежний курс развития систем хранения. В данной статье мы собрали самые передовые технологии размещения информации, а также расскажем о концепциях футуристических накопителей, которым еще только предстоит обрести свою физическую реализацию.

Программно-определяемые сети хранения данных

Если говорить о процессах автоматизации, гибкости и увеличения емкости хранения информации вкупе с повышением эффективности работы персонала, все больше предприятий рассматривает возможность перехода на так называемые программно-определяемые сети хранения или SDS (Software-Defined Storage).

Ключевая фишка технологии SDS заключается в отделении аппаратной части от софтверной: то есть подразумевается виртуализация функций хранения данных. К тому же, в отличие от обычных систем хранения с сетевым подключением (NAS) или сетей хранения данных (SAN), SDS предназначен для работы в любой стандартной системе x86. Довольно часто цель разворачивания SDS состоит в том, чтобы улучшить операционные расходы (OpEx), требуя меньше административных усилий.

Емкость HDD-накопителей вырастет до 32 Тбайт

Традиционные магнитные накопители вовсе не умерли, а всего лишь переживают технологический ренессанс. Современные HDD уже могут предложить пользователям до 16 Тбайт для хранения данных. В течение следующих пяти лет — эта емкость вырастет вдвое. При этом накопители на жестких магнитных дисках по-прежнему останутся самым доступным хранилищем произвольного доступа и сохранят за собой первенство в цене за гигабайт дискового пространства еще на много лет.

Наращивание емкости будет происходить на основе уже известных технологий:

• Гелиевые накопители (гелий снижает аэродинамическое сопротивление и турбулентность, позволяя установить в накопитель больше магнитных пластин; при этом тепловыделение и энергопотребление не увеличивается);
• Термомагнитные накопители (или HAMR HDD, появление которых ожидается в 2021 году и построено на принципе микроволновой записи данных, когда участок диска нагревается лазером и перемагничивается);
• HDD на базе черепичной записи (или SMR-накопители, где размещение дорожек с данными происходит друг над другом, в формате черепичной кладки; это и обеспечивает высокую плотность записи информации).

Гелиевые накопители особенно востребованы в облачных дата-центрах, а SMR HDD оптимальны для хранения больших архивов и библиотек данных, доступ и обновление данных, в которых требуются не особо часто. Также они идеально подходят для создания резервных копий.

NVMe-накопители станут еще быстрее

Первые SSD-накопители подключались к системным платам через интерфейс SATA или SAS, но разработаны эти интерфейсы уже более 10 лет назад для магнитных HDD-дисков. Современный же протокол NVMe является гораздо более мощным протоколом связи, предназначенным для систем, обеспечивающих высокую скорость обработки данных. Как итог, на рубеже 2019-2020 года мы видим серьезное падение цен на NVMe SSD, которые становятся доступными для любого класса пользователей. В корпоративном сегменте NVMe-решения особенно ценятся теми предприятиями, которым необходимо осуществление анализа больших данных в реальном времени.

Такие компании, как Kingston и Samsung уже показали, на что могут рассчитывать корпоративные пользователи в 2020 году: мы все ждем появления NVMe SSD с поддержкой PCIe 4.0, которые позволяют добавить ЦОД еще больше скорости при работе с данными. Заявленная производительность новинок составляет 4,8 Гбайт/с, и это далеко не предел. Следующие поколения Kingston NVMe SSD PCIe gen 4.0 смогут обеспечить пропускную способность на уровне 7 Гбайт/с.

Вместе со спецификацией NVMe-oF (или NVMe over Fabrics) организации смогут создавать высокопроизводительные сети хранения данных с минимальными задержками, которые составят весомую конкуренцию ЦОД с прямым подключением DAS (или Direct-attached storage). При этом с использованием NVMe-oF операции ввода/вывода обрабатываются эффективнее, в то время как задержка сравнима с DAS-системами. Аналитики предсказывают, что развертывание систем, работающих по протоколу NVMe-oF стремительно ускорится в 2020 году.

QLC-память наконец-то “выстрелит”?

Флеш-память NAND Quad Level Cell (QLC), также будет демонстрировать растущую популярность на рынке. QLC была введена в 2019 году и поэтому имела минимальное распространение на рынке. Это изменится в 2020 году, особенно среди компаний, которые внедрили технологию LightOS Global Flash Translation Layer (GFTL) для преодоления присущих QLC проблем.

Согласно прогнозам аналитиков, рост продаж SSD-накопителей на базе QLC-ячеек увеличится на 10%, в то время как TLC-решения “захватят” 85% рынка. Как ни крути, а QLC SSD все еще сильно отстает в производительности по сравнению с TLC SSD и не станет основой для ЦОД в ближайшие лет пять.

В то же время, ожидается, что стоимость флеш-памяти NAND в 2020 году вырастет, поэтому поставщик контроллеров SSD Phison, например, делает ставку на то, что повышение цен, в конечном итоге, подтолкнет потребительский рынок твердотельных накопителей к использованию 4-битной флэш-памяти QLC NAND. Кстати, Intel планирует запустить в продажу 144-слойные QLC-решения (вместо 96-слойных продуктов). Что ж…, кажется, нас ждет дальнейшая маргинализация HDD.

SCM-память: скорость, близка к DRAM

Широкое распространение SCM-памяти (Storage Class Memory) предсказывалось несколько лет, и 2020 год может стать отправной точкой, в которой эти предсказания, наконец, сбудутся. В то время как модули памяти Intel Optane, Toshiba XL-Flash и Samsung Z-SSD уже вышли на корпоративный рынок, их появление не вызвало ошеломляющей реакции.

Устройство Intel сочетает в себе характеристики быстрой, но нестабильной DRAM с более медленным, но постоянным хранилищем NAND. Эта комбинация направлена на повышение способности пользователей работать с большими массивами данных, обеспечивая как скорость DRAM, так и емкость NAND. SCM-память не просто быстрее, чем альтернативы на базе NAND: она в десятки раз быстрее. Задержка составляет микросекунды, а не миллисекунды.

Эксперты рынка отмечают, что центры обработки данных, планирующие использовать SCM будут ограничены тем, что данная технология будет работать лишь на серверах с использованием процессоров Intel поколения Cascade Lake. Однако, по их мнению, это не станет камнем преткновения, чтобы остановить волну обновлений существующих ЦОД в целях обеспечить высокие скорости обработки информации.

От обозримой реальности к далекому будущему

Для большинства пользователей хранение данных не сопряжено с ощущением “емкостного Армагеддона”. Но только задумайтесь: 3,7 миллиарда человек, которые в настоящее время пользуются Интернетом, ежедневно генерируют около 2,5 квинтиллиона байтов данных. Для удовлетворения этой потребности необходимо все больше центров обработки данных.

Если верить статистике, к 2025 году мир готов к обработке 160 Зетабайт данных в год (это больше байтов, чем звезд в обозримой Вселенной). Вероятно, что дальше нам придется покрыть каждый квадратный метр планеты Земля ЦОД’ами, иначе корпорации просто не смогут подстроиться под столь высокий рост информации. Или же… придется отказываться от некоторых данных. Впрочем, есть несколько потенциально интересных технологий, которые могли бы решить нарастающую проблему информационного переполнения.

Структура ДНК, как основа для будущих хранилищ данных

Не только IT-корпорации ищут новые способы хранения и обработки информации, но и многие научные деятели. Глобальная задача — обеспечить сохранение информации в течение тысячелетий. Исследователи из Швейцарской высшей технической школы Цюриха (ETH Zurich, Швейцария) полагают, что решение нужно искать в органической системе хранения данных, которая существует в каждой живой клетке: в ДНК. И главное — “придумана” эта система задолго до появления компьютера.

Нити ДНК очень сложны, компактны и невероятно плотны, как носители информации: по мнению ученых, в грамм ДНК можно записать 455 Эксабайт данных, где 1 Эбайт эквивалентен миллиарду гигабайт. Первые эксперименты уже позволили осуществить запись 83 Кбайт информации в ДНК, после чего преподаватель кафедры химии и биологических наук, Роберт Грасс, высказал идею о том, что в новом десятилетии медицинской сфере нужно плотнее объединиться с IT-структурой для совместных разработок в области технологий записи и хранения данных.

По мнению ученых, органические накопители данных на базе цепей ДНК смогли бы хранить информацию до миллиона лет и безошибочно предоставлять ее по первому запросу. Не исключено, что через несколько десятилетий большинство накопителей будут бороться именно за эту возможность: умение надежно и емко хранить данные в течение длительного времени.

Швейцарцы не единственные, кто работает над созданием систем хранения на основе ДНК. Этот вопрос поднимался еще с 1953 года, когда Фрэнсис Крик открыл двойную спираль ДНК. Но в тот момент человечеству попросту не хватало знаний для подобных экспериментов. Традиционное мышление в области хранения данных на основе ДНК сфокусировано на синтезе новых молекул ДНК; сопоставление последовательности битов с последовательностью четырех пар оснований ДНК и создание достаточного количества молекул для представления всех чисел, которые необходимо сохранить. Так, летом 2019 года инженерам из компании CATALOG удалось записать 16 Гбайт англоязычной “Википедии” в ДНК, созданную из синтетических полимеров. Проблема заключается в том, что этот процесс медленный и дорогой, что является существенным узким местом, когда речь идет о хранении данных.

Не ДНК единым…: молекулярные накопители

Исследователи из Университета Брауна (Brown University, США) заявляют, что молекула ДНК — не единственный вариант молекулярного хранения данных сроком до миллиона лет. В качестве органического хранилища могут выступать и низкомолекулярные метаболиты. При записи информации в набор метаболитов, молекулы начинают взаимодействовать друг с другом и производить новые электрически нейтральные частицы, которые содержат записанные в них данные.

К слову, исследователи не остановились на этом и расширили набор органических молекул, что позволило увеличить плотность записываемых данных. Считывание же такой информации возможно посредством химического анализа. Единственный минус — реализация такого органического накопителя пока не представляется возможной на практике, вне лабораторных условий. Это всего лишь наработка на будущее.

5D-оптическая память: революция в хранении данных

Еще одно экспериментальное хранилище принадлежит разработчикам из Саутгемптонского университета (University of Southampton, Англия). В стремлении создать инновационную цифровую систему хранения информации, которая сможет существовать миллионы лет, научные деятели разработали процесс записи данных на крошечный кварцевый диск, который основан на фемтосекундной импульсной записи. Система хранения предназначена для архивирования и холодного хранения больших объемов данных и описывается, как пятимерное хранилище.

Почему пятимерное? Дело в том, что информация кодируется в нескольких слоях, включая обычные три измерения. К этим измерениям добавляются еще два — размер и ориентация по наноточкам. Емкость данных, которые можно записать на такой мини-накопитель, составляет до 100 Петабайт, а срок хранения — 13,8 млрд. лет при температуре до 190°C. Максимальная же температура нагрева, которую может выдержать диск составляет 982 °C. Короче…, он практически вечный!

Недавно работа сотрудников Саутгемптонского университета привлекла внимание компании Microsoft, чья программа облачного хранения данных Project Silica направлена на переосмысление нынешних технологий хранения данных. По прогнозам “мелкомягких” к 2023 году в облаках будет храниться более 100 Зетабайт информации, так что сложности возникнут даже у крупномасштабных систем хранения.

Для получения дополнительной информации о продуктах Kingston Technology обращайтесь на официальный сайт компании.

Источник