Хранение данных

https://m.habr.com/ru/post/472486/comments/ (Интересуют только комментарии)

• Две (или более, в зависимости от степени вашего желания не потерять данные) копии на географически удалённых носителях
• CRC каждого файла
• Регулярная проверка CRC
• Замена сбойного носителя сразу по выявлении
• IMHO, внешний HDD на 2.5 дюйма в настоящий момент удобнее всего для «бытового потребителя»
• Если у вас две копии, то я бы сказал, что для LTO будет разумным ревизия раз в 5 лет, для хардов — раз в год.
• SSD теряют информацию, если долго отключены от питания
• Старые HDD (с воздухом, а не гелием)
• Никаких RAID
• Архивировать с записью информации для восстановления в количестве 5-10% на архив. Архивация (возможно, и без сжатия) с определённым процентом избыточности не лучше, чем checksum-ы? Checksum-а хороша тем, что просто отвечает на вопрос всё ли хорошо. Если нет, то в любом случае идём за второй резервной копией и делаем новую, так как первая уже сыпется (или диск размагничивается и требует перезаписи)
• На HDD создавать два раздела с дублированием информации
• Зашифрованная копия в облаке
• Задумываюсь чтобы перекодировать фото/видео во что-то с меньшим размером, пусть и с потерей качества, а то уже почти терабайт в основном видео и оно растёт
• Если со мной что-то случится (заболею и т.п.). Никто не может этим воспользоваться.
• Мне по наследству достались фотографии моих родителей, смотреть их как-то уж ностальгически больно, выкинуть не могу из-за чувства уважения. Вопрос зачем наследников обременять своей памятью? Вам было интересно раздобыть НЕСКОЛЬКО фотографий деда. А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни? Мы для себя как-то определились, и ежегодно на новый год делаем подарки родителям — альбом (бумажный) с совместными фотографиями. У меня даже было желание некоторые цифровые альбомы удалить полностью за исключением той пары снимков, которые попали в такой итоговый годовой альбом.
• CD и DVD диски не лучший способ хранения. Через несколько лет — ошибки чтения. Их подделывали активно.
• Я дома использую LTO. Обещают до 30 лет гарантированного сохранения. Сейчас вполне доступны б/у приводы LTO-5 (я внешний купил за 300 евро ). Кассеты (1500 ГБ) можно найти за 10-12 евро.
• Стоимость создания и хранения архивов не должна превышать стоимости хранимых данных. Когда ценность записанной информации для вас, потомков или окружающих упадёт ниже, чем стоимость копирования — вот тогда информация и будет рисковать исчезнуть совсем. Если вам или ответственным лицам лениво и дорого делать копии — значит эту информацию вовсе не следует хранить.
• Учитывать сроки эксплуатации
• Те кто посоветовал SSD с внешним питанием вообще странные люди. Тогда уж лучше воздушные HDD.
• HDD для механических воздействий уязвимы. А SSD из-за потери заряда. Ронять даже выключенный HDD сильно опаснее, чем SSD.
• У меня несколько жестких дисков в машине, самый свежий — архивный, второй и последующие — рабочие, последний — файлопомойка. Когда файлопомойка дохнет — покупаю новый и переливаю на него архив, остальные по цепочке. Плюс к этому облако.
• Диски, ссд и прочее это хорошо, если у вас дома есть сейф, который спасёт их, например, в случае пожара, потопа, etc.
• Менять носители на актуальные, например сейчас глядя на «разнообразие» и «доступность» оптических приводов можно сказать что свои они отжили.
• В идеале, должна быть настроена односторонняя синхронизация — NAS мог писать данные в облако, но не мог изменять\удалять данные. А то коллеги столкнулись лет 7 назад, когда шифровальщик прошелся по данным и они отреплецировались на бэкап-сервер.
• Самое главное — ранжировать данные по важности и актуальности, отсюда автоматически получаем:
  — сколько копий необходимо
  — требуемый объём
  — срок хранения
  — необходимость шифрования или иной защиты
  — регулярность проверки
  — нужно ли географически разносить копии
  — стоимость самих данных
• На мой взгляд, ленты стоит использовать при суммарных объёмах архивов от нескольких десятков терабайт, при меньших объёмах обычные HDD выходят проще, дешевле, удобнее и компактнее.
• Если решено использовать ленточные носители, то очень рекомендую иметь два привода (!), ибо может так оказаться, что записанное на одном ничто другое не прочитает…
• Если решено использовать HDD или SSD, то лучше не использовать только одну модель и тем более из одной партии. Иные носители — скорее опасная экзотика
• Несколько копий, хранящихся на одной машине лучше считать одной копией, даже если они на разных носителях. Аналогично — ленты в одной библиотеке, ибо они все могут быть повреждены самой библиотекой или неисправным приводом.
• Три копии — это самый минимум, а без контроля целостности сложно оценивать состояние архива, используйте хеши файлов как минимум, а лучше — полноценные системы
• SSD: У вас там SLC или MLC, где на одну ячейку 1 или 2 бита. Соответственно утекание заряда там менее критично, а вот с QLC и прочими всё хуже.
• Хранение данных на бумаге (500кб на листе): http://www.ollydbg.de/Paperbak/ Насчёт реплицирования вы совершенно правы, средневековые монахи веками занимались именно этим — переписывали с древних книг в новые, так и сохранили большинство древних текстов.
• SSD/флешки не вариант — заряд утекает по определению: нужно постоянно перезаписывать данные, регенерировать заряд. Дорого
• То самое правило 3-2-1 (три копии, два носителя, одна за пределами) как-раз тут хорошо применимо. Вероятность что два разных носителя (особенно разного типа), да ещё и все копии «полетят» крайне низка. Если пожар всё уничтожает, то хотя бы за пределами копия должна выжить.
• Банальная практика перезаписи на носители с низкой абсолютной надёжностью и низкой ценой может быть проще и эффективнее, чем попытка найти универсальный и великолепный во всех отношениях носитель?
• Перезапись хороша, если будет кому этим заниматься. А этим будет кому заниматься, если речь о данных, имеющих долгосрочную ценность для неограниченного круга лиц (например, музыка)
• Резервировать нужно и самого себя, в чьей голове хранится информация о том, что где лежит и как это обслуживать.
• Нужно формировать стандарты хранения метаданных, стандарты версионирования, стандарты документирования и самодокументирования форматов, стандарты репрезентации данных (это когда мы формируем новую структуру хранения и представления данных, но при этом сохраняем старую и описываем в метаданных все связи и методы преобразования старой структуры в новую).

Как и где хранить данные в течение долгого времени https://remontka.pro/keep-data/

• Чем больше количество копий, тем вероятнее, что данные проживут дольше: книга, напечатанная миллионным тиражом, фотография, распечатанная в нескольких экземплярах для каждого родственника и сохраненная в цифровом виде на разных накопителях, скорее всего будут храниться и быть доступными долго.
• Следует избегать нестандартных способов хранения (во всяком случае, как единственного способа), экзотических и проприетарных форматов, языков (например, для документов лучше использовать ODF и TXT, а не DOCX и DOC).
• Хранить информацию следует в несжатых форматах и в незашифрованном виде — в противном случае, даже незначительное повреждение целостности данных может сделать всю информацию недоступной. Например, если требуется надолго сохранить медиа файлы, то для звука лучше будет WAV, для фотографий — несжатые RAW, TIFF и BMP, для видео — кадры без сжатия, DV, хотя это не вполне возможно в быту, учитывая объемы видео в данных форматах.
• Регулярная проверка целостности и доступности данных, повторное их сохранение с использованием новых появившихся способов и устройств.
• Жесткие диски — средний срок службы 3-10 лет, независимо от подключенности/отключённости от компьютера. Зависит от внешних воздействий: любые, даже не сильные удары и встряхивания, в меньшей степени — магнитные поля, могут послужить причиной преждевременного выхода накопителя из строя.
• USB Flash, SSD — срок службы около 5 лет. При условии отключения SSD или флешки для хранения - 7-8 лет. Обычные флешки очень часто выходят из строя значительно раньше: достаточно одного статического разряда при подключении к компьютеру, чтобы данные стали недоступны.

Результат

• 3 копии данных: дома, во втором доме и в сумке с собой
• Замена сбойного носителя сразу при выявлении
• По крайней мере один из носителей - жесткий диск
• Поделить данные на общественно значимые (фильмы, музыка) и личные (фотографии). Первые менее важны, так как из хранишь не только ты и их можно восстановить из общественного места хранения
• Использование RAID не предусмотренно
• Использование HDD с гелием не предусмотренно
• Использование CD/DVD не предусмотренно
• Использование облака не предусмотренно
• Использование шифрования не предусмотренно
• Использование собственного форматирования диска или хранения всех файлов в одном файле не предусмотренно
• Использование сжатия, кроме архивов с уровнем сжатия 0% и сжатия изображений в jpg/png и сжатия музыки в mp3/ogg не предусмотренно
• Удаление данных с облачного носителя - при каких условиях?
• ПО генерации и проверки контрольных сумм на андроид, алгоритм генерации
• Периодичность проверки
• Вид носителя