Сайт о телевидении

Сайт о телевидении

» » Синхронизация документов с Google Диск и восстановление данных

Синхронизация документов с Google Диск и восстановление данных

В этой статье мы рассмотрим как создать резервную копию файлов и поддерживать её в актуальном состоянии, а также как синхронизировать файлы между несколькими компьютерами с помощью одной из лучших программ FreeFileSync.

1. Для чего нужно резервное копирование

Резервное копирование ваших файлов, таких как личные документы, фото и видео, защитит их от утраты в результате случайного удаления, сбоя в операционной системе, действия вирусов или повреждения жесткого диска.

Помните! Если вы не будете выполнять резервное копирование ваших файлов, то рано или поздно вы их потеряете!

Другой целью резервного копирования может быть синхронизация ваших файлов между несколькими компьютерами. Например, вы можете работать с одними и теми же файлами дома и на работе и вам нужно, чтобы на домашнем и рабочем компьютере файлы обновлялись по мере их изменения, создания или удаления.

Также регулярное резервное копирование файлов значительно упростит восстановление компьютера в случае сбоя. Вам достаточно будет восстановить образ операционной системы, а все файлы уже надежно сохранены в резервной копии и вам не придется тратить много времени и усилий для их восстановления.

2. Установка программы FreeFileSync

Скачать программу FreeFileSync вы можете в разделе « ».

При установке можно выбрать «Локальную» либо «Переносную» версию, которую можно носить на флэшке в случае, если вы, например, не можете установить «Локальную» на рабочем ПК.

После установки создается два ярлыка: «FreeFileSync» – это основная программа и «RealTimeSync» – утилита для синхронизации в реальном времени.

3. Где лучше хранить резервные копии

Прежде чем приступить к описанию программы FreeFileSync я хочу немного сказать о том, где лучше хранить резервные копии.

Наиболее надежным и удобным будет хранение резервных копий на внешнем жестком диске.

Внешний диск также можно использовать для хранения . Вы не только сохраните ваши ценные документы, фото и видео, но и сможете быстро восстановить систему в случае сбоя.

Недостатками хранения резервных копий на флэшке является то, что её объем весьма ограничен, флэшку легко потерять и часто на ней может потребоваться много места для переноса файлов. Кроме того, флэшки сильно подвержены сбоям и заражению вирусами.

CD/DVD-диски так же являются ненадежным носителем, так как они подвержены повреждениям и, даже если просто лежат на месте, со временем перестают читаться. Кроме того, на дисках проблематично регулярно обновлять файлы.

Можно хранить резервную копию файлов на другом жестком диске компьютера. Но, если произойдет пробой по питанию, то могут выйти из строя все жесткие диски. Поэтому это также не рекомендуется.

Хранить резервную копию на другом разделе того же жесткого диска недопустимо, так как в случае выхода диска из строя, резервная копия также будет утрачена.

В общем не поскупитесь и приобретите внешний жесткий диск, подключаемый через USB (желательно USB 3), по локальной сети (Ethernet) или храните резервную копию на другом компьютере или ноутбуке.

Если ваши файлы являются очень ценными и их утрата приведет к неприемлемому ущербу, то храните резервную копию в другом помещении или на сервере в интернете (облачном хранилище). Таким образом, в случае пожара или другого стихийного бедствия, ваши данные останутся целыми.

Важные конфиденциальные данные лучше хранить в зашифрованном с помощью пароля виде, чтобы кража или утеря носителя не повлекла за собой разглашения или противоправного использования конфиденциальной информации.

Главным условием сохранности файлов является постоянное наличие их копий. Как только одна из копий утрачена, как можно быстрее восстановите её.

4. Резервное копирование папок

Первую резервную копию можно создать путем простого копирования папок с файлами на внешний диск, в сетевую папку или другой выбранный носитель. Но лучше сразу же использовать программу FreeFileSync, так как она создает свою базу данных для отслеживания изменений файлов.

4.1. Выбор папок для резервного копирования

Откройте программу, в левой панели добавьте папки с вашими файлами, а в правой панели выберите папки, в которые вы хотите сохранять резервные копии.

Чтобы добавить еще одну пару папок используйте значок плюс «+», для поиска папки в проводнике используйте кнопку «Обзор». Также пути к папкам полностью или частично можно вводить вручную, копировать и вставлять пути и имена папок в нужные поля. Если папка в которую вы хотите сделать резервную копию еще не существует, то она будет создана во время первого создания резервной копии.

Я, например, создал папку «Backup» на диске второго домашнего компьютера «HOME-2» и открыл к ней доступ по сети на чтение и запись. В ней и хранятся резервные копии моих файлов.

Выбирайте для резервного копирования наиболее важные файлы. Делать резервные копии папок с фильмами и музыкой, которые всегда можно скачать из интернета, можно, но если они занимают большой объем, это обычно не целесообразно.

4.2. Выбор режима резервного копирования

Выберите режим резервного копирования «Зеркало» и нажмите «ОК».

Убедитесь, что на кнопке «Синхронизировать» установился режим «Зеркало».

В этом режиме при резервном копировании папки, находящиеся справа, будут приводиться в точное соответствие к папкам, находящимся слева. Измененные файлы будут заменяться, новые – добавляться, удаленные – удаляться.

4.3. Сравнение резервируемых папок

Перед началом резервного копирования необходимо сначала сравнить ваши папки с папками резервной копии. Для этого нажмите кнопку «Сравнить».

Если это ваше первое резервное копирование и вы не создавали пустые папки для резервных копий, то появится сообщение с указанием папок, которые не были найдены.

Учтите, что эти ошибки могут быть вызваны ошибкой в пути к основной папке с резервными копиями (в данном примере «Backup») или отсутствием доступа к другому компьютеру по сети (в данном примере «HOME-2»).

После сравнения папок вы увидите список копируемых, обновляемых и удаляемых файлов и их общий объем.

При первом резервном копировании у вас будут только добавляемые файлы, при следующих копиях появятся обновляемые и удаляемые, в зависимости от сделанных вами изменений. Переименованные файлы будут удалены из резервной копии и на их место скопируются файлы с новым именем.

4.4. Создание резервной копии

Убедитесь, что результат сравнения, ожидаемых действий и объем копируемых файлов выглядят правдоподобно и нажмите ставшую активной кнопку «Синхронизировать».

Появится сообщение еще раз предупреждающие о выполняемых действиях, в котором нужно подтвердить начало резервного копирования кнопкой «Start».

В зависимости от объема файлов, скорости внешнего диска или локальной сети, процесс резервного копирования может занять разное время. Но сама программа делает это так быстро на сколько это только возможно.

Жесткий диск A-Data Ultimate SU650 120GB

Первое резервное копирование при большом объеме файлов может занять длительное время. Все последующие обновления резервной копии занимают значительно меньше времени. Резервное копирование завершается сообщением об успешном завершении.

В процессе резервного копирования могут возникать различные ошибки и предупреждения. Большинство из них не существенны (например, не может скопироваться какой-то служебный или временный файл). Убедитесь, что ошибка действительно не существенна и нажмите кнопку «Игнорировать».

5. Синхронизация папок

Синхронизация папок может потребоваться если вы работаете с одними и теми же файлами на нескольких компьютерах, например, дома и на работе. В таком случае, для того, чтобы файлы были везде одинаковыми, для синхронизации можно использовать внешний диск или флешку.
Transcend JetFlash 790 8Gb

5.1. Выбор папок для синхронизации

Откройте программу на компьютере с последней версией ваших файлов. В левой панели добавьте папки с вашими файлами, а в правой панели выберите папки на внешнем диске или флэшке, которые будут использоваться для синхронизации.

При синхронизации файлов между несколькими компьютерами не имеет значения какие папки находятся справа, а какие слева. Но, чтобы избежать путаницы, рекомендую слева всегда выбирать файлы, которые на компьютере, а справа – которые на внешнем диске или флэшке.

Чтобы добавить еще одну пару папок используйте значок плюс «+», для поиска папки в проводнике используйте кнопку «Обзор». Также пути к папкам полностью или частично можно вводить вручную, копировать и вставлять пути и имена папок в нужные поля. Если папка, которую вы хотите использовать для синхронизации не существует, то она будет создана во время первой синхронизации.

Храните часто изменяемые файлы в отдельных папках (например, «Документы»), чтобы они не перемешивались с большими неизменяемыми файлами (например, фильмами). Тогда для синхронизации понадобится значительно меньше времени и места на внешнем диске или флэшке.

5.2. Выбор режима синхронизации

Теперь зайдите в настройки синхронизации с помощью значка шестеренки возле кнопки «Синхронизировать».

Выберите режим синхронизации «В обе стороны» и нажмите «ОК».

Убедитесь, что на кнопке «Синхронизировать» установился режим «В обе стороны».

В этом режиме при синхронизации папки, находящиеся слева и справа, будут приводиться в точное соответствие. При этом будут учтены все изменения как с одной, так и с другой стороны. Измененные файлы заменятся, новые – добавятся, удаленные – удаляться. Для этого используется база данных, состоящая из специальных служебных файлов, которые программа создает в каждой синхронизируемой папке.

Благодаря базе данных вы можете производить изменения на нескольких компьютерах независимо друг от друга и даже на самом внешнем диске или флэшке, использую какой-то другой компьютер, не участвующий в синхронизации. При следующих синхронизациях программа сама определит какие изменения являются последними и грациозно приведет папки с файлами к конечному варианту, даже если вы пропустили предыдущую синхронизацию и уже забыли на каком компьютере и какие файлы изменяли. Программа точно определит это сама, используя базу данных.

5.3. Сравнение синхронизируемых папок

Перед началом синхронизации необходимо сначала сравнить папки на диске компьютера с папками на внешнем диске или флэшке. Для этого нажмите кнопку «Сравнить».

Если это ваша первая синхронизация и вы не создавали пустые папки для синхронизации на внешнем диске или флэшке, то появится сообщение с указанием папок, которые не были найдены.

Нажмите кнопку «Игнорировать».

Учтите, что эти ошибки могут быть вызваны неправильной буквой диска (в данном примере «F»), так как буквы иногда могут меняться, или проблемами с подключением внешнего диска или флэшки (например, плохой кабель или нехватка питания).

После сравнения папок вы увидите список копируемых, обновляемых и удаляемых файлов с обеих сторон и их общий объем.

При первой синхронизации у вас будут только добавляемые файлы, при следующих синхронизациях появятся обновляемые и удаляемые, в зависимости от сделанных вами изменений. Переименованные файлы будут удалены и на их место скопируются файлы с новым именем.

5.4. Запуск синхронизации

Убедитесь, что результат сравнения, ожидаемых действий и объем синхронизируемых файлов выглядят правдоподобно и нажмите ставшую активной кнопку «Синхронизировать».

Появится сообщение еще раз предупреждающие о выполняемых действиях, в котором нужно подтвердить начало синхронизации кнопкой «Start».

В зависимости от объема файлов, скорости внешнего диска или флэшки, процесс синхронизации может занять разное время. Но сама программа делает это так быстро на сколько это только возможно.

Первая синхронизация при большом объеме файлов может занять длительное время. Все последующие синхронизации занимают значительно меньше времени. Синхронизация завершается сообщением об успешном завершении.

В процессе синхронизации могут возникать различные ошибки и предупреждения. Большинство из них не существенны (например, не может скопироваться какой-то служебный или временный файл). Убедитесь, что ошибка действительно не существенна и нажмите кнопку «Игнорировать».

5.5. Синхронизация на другом компьютере

Для синхронизации папок на другом компьютере с внешним диском или флэшкой нужно установить на него программу FreeFileSync, точно также настроить и выполнить синхронизацию на нем (п.5.1-5.4).

Так же, при установке программы, можно выбрать «Переносную» версию и установить программу на внешний диск или флэшку, который будет использоваться для синхронизации. Рекомендуется использовать этот способ, если установить программу на другом компьютере (например, на работе) нет возможности.

6. Настройки программы FreeFileSync

Программа имеет немного настроек и все они довольно понятные и полезные.

Программа запоминает последние папки для синхронизации. Но всё же лучше сохранить настройки синхронизации в файл с помощью меню «Файл/Сохранить».

С помощью меню «Файл» можно создать новую конфигурацию или открыть уже существующую. Таким образом, можно создать несколько различных конфигураций, например, отдельно для резервного копирования файлов на второй домашний компьютер и отдельно для синхронизации документов с помощью флэшки с рабочим компьютером.

Если выбрать пункт «Сохранить как пакетное задание», то этот файл можно будет использовать для ручного запуска резервного копирования, синхронизации папок или указать его в планировщике для автоматического резервного копирования по расписанию.

Если вы планируете запуск пакетного задания автоматически по расписанию, то при сохранении можно установить обработку ошибок в значение «Игнорировать», галочку «Запустить свернутым», а также действие по завершению «Закрыть окно процесса» или «Выключить компьютер» (для резервного копирования в конце дня).

Файл настроек и пакетное задание имеют соответствующие значки и их можно запускать не открывая основную программу.

6.2. Настройки сравнения, фильтра и синхронизации

Из меню «Действия» можно зайти в «Настройки сравнения», «Настройки фильтра» и «Настройки синхронизации».

В настройках сравнения можно вместо режима «Дата и размер файла» установить «Содержимое файла», но это не рекомендуется, так как сильно замедлит скорость работы программы.

В левой панели можно выбирать папки и устанавливать настройки сравнения для каждой из них индивидуально. Так же есть возможность включить копирование символьных ссылок, если вы знаете зачем это нужно.

В настройках фильтра можно исключать отдельные файлы и папки из резервного копирования.

Например, если ваша папка «D:\Документы» содержит папку «Видео» с большими файлами, которые вы уже куда-то скопировали, то для её исключения из синхронизации нужно дописать в раздел «Исключить» строку «D:\Документы\Видео\». Если вы хотите исключить из резервной копии все инсталляторы программ, которые можно скачать из интернета, то допишите в раздел «Исключить» строку «*.exe».

В левой панели можно выбирать папки и устанавливать настройки фильтра для каждой из них индивидуально.

С помощью полей справа можно отфильтровывать ненужные для синхронизации файлы по промежутку времени от их последнего изменения и размеру. Таким образом можно отсеять, например, слишком старые и слишком большие файлы.

Настройки синхронизации

Настройки синхронизации являются самыми важными, наиболее полезными и позволяют гибко управлять процессом создания резервных копий или синхронизации папок.

Доступны следующие варианты синхронизации.

В обе стороны Используется для синхронизации папок между несколькими компьютерами. Папки слева и справа приводятся в полное соответствие с помощью базы данных изменений. Файлы копируются и удаляются в обе стороны.
Зеркало Используется для резервного копирования. Папки справа приводятся в полное соответствие папкам слева. Файлы копируются только слева направо, удаленные слева файлы удаляются и справа.
Обновить Новые и измененные файлы из папок слева копируются в папки справа, но удаленные в папках слева файлы не удаляются из папок справа. Это может понадобиться в случае когда необходимо сохранять старые файлы в резервной копии.
Выборочно Позволяет настроить свои собственные правила синхронизации при обнаружении новых, измененных и удаленных файлов как слева так и справа. Может использоваться для решения каких-то специфических задач.

Во всех режимах, кроме синхронизации «В обе стороны», можно задать свои правила для новых, обновленных и удаленных файлов.

Также есть опция «Обнаруживать перемещенные файлы», что полезно если вы часто наводите порядок в папках. В этом случае файлы заново копироваться не будут, а просто переместятся в копии.

Чуть ниже можно настроить параметры удаления файлов – «Удалять безвозвратно», «В корзину» или «Архивировать».

По умолчанию файлы, находящиеся на жестких дисках, удаляются в корзину. Если вы ошибетесь с настройками синхронизации и удалятся какие-то нужные файлы, то их можно будет восстановить.

Файлы на флешках и в сетевых папках не удаляются в корзину. Восстановить их можно только с помощью специальных программ для восстановления файлов. Если вы допустили ошибку, то ничего не делайте с флэшкой или диском пока не восстановите с них нужные файлы.

При выборе опции «Архивировать» файлы не будут удаляться, а переместятся в указанную пользователем папку.

Если вам нужно синхронизировать большой объем данных и нет возможности проконтролировать процесс, то рекомендуется установить опцию «Обработка ошибок» в значение «Игнорировать». Также можно выбрать желаемое действие по завершению синхронизации, например, выключить компьютер.

Настройки синхронизации также можно задать для каждой отдельной папки, выбрав её в левой панели.

6.3. Другие настройки и инструменты

Из меню «Инструменты» можно зайти в «Настройки» самой программы, сменить «Язык» интерфейса, «Найти» файлы и папки в результатах сравнения, «Сбросить расположение» всех папок и «Экспортировать список файлов» в текстовый документ.

По умолчанию в настройках программы включено «Отказоустойчивое копирование файлов», которое делает резервное копирование или синхронизацию более надежным.

Можно включить «Копирование заблокированных файлов», если возникают такие проблемы. Опция «Копировать DACL, SACL, владелец, группа» позволяет копировать права доступа к файлам, если вы устанавливали такие ограничения и хотите сохранить их в резервной копии для ограничения доступа к ним или последующего восстановления файлов вместе с параметрами безопасности.

Не рекомендую экспериментировать с параметрами безопасности, особенно шифрованием файлов, неопытным пользователям. Это может привести к безвозвратной потери доступа к файлам в случае сбоя в системе или ошибки пользователя.

«Автоматическое повторение при ошибках» позволяет задать количество попыток копирования файлов и промежуток между попытками в случае временных проблем с сетью или носителем.

Ниже находятся правила кастомизации контекстного меню для опытных пользователей со ссылкой на примеры их использования.

Кнопка «Показать скрытые окна снова» восстанавливает показ, которые вы прежде отключили с помощью галочки «Игнорировать последующие ошибки».

Кнопка «По умолчанию» возвращает все настройки программы в исходное состояние. Используйте её в случае, когда не уверены в том, что вы все настроили правильно.

Ну и не забывайте подтверждать все сделанные изменения кнопкой «ОК».

7. Резервное копирование в реальном времени

Здесь мы рассмотрим дополнительную утилиту RealTimeSync, которая устанавливается вместе с основной программой и используется для автоматической синхронизации.

Откройте утилиту с помощью ярлыка RealTimeSync на рабочем столе или в меню «ПУСК», зайдите в меню «Файл» и выберите «Открыть».

Оставьте в разделе «Папки для наблюдения» только папки с файлами на диске компьютера, а папки с резервной копией на внешнем диске, флэшке или в локальной сети удалите.

Установите время в секундах, через которое вы хотели бы проверять папки на наличие измененных файлов. Например, установив 3600 секунд, папки будут проверяться через каждый час с момента начала наблюдения. Осталось только нажать кнопку «Start», программа свернется в системный трей (в значок рядом с часами) и начнет наблюдение за папками.

Если во время очередной проверки в указанных папках произойдут изменения файлов, программа запустит процесс синхронизации, который завершится выводом соответствующего окна.

Если в настройках пакетного задания установлена галочка «Запустить свернутым», то это сообщение отображаться не будет и синхронизация будет производиться в тихом режиме.

Если в момент обнаружения изменений в папках утилита не сможет получить доступ к внешнему диску, флэшке или сетевой папке с резервными копиями, то появится соответствующее сообщение.

Если в настройках пакетного задания опция «Обработка ошибок» будет установлена в значение «Игнорировать», то это сообщения выводиться не будет и синхронизация произойдет при возобновлении доступа к устройству с резервными копиями.

Из преимуществ утилиты RealTimeSync можно отметить простоту её настройки и использования, но она имеет и несколько недостатков. Во-первых, её нужно запускать вручную или самому настроить автозагрузку вместе с Windows (например, скопировав ярлык в папку «Автозагрузка» в меню «ПУСК»). Во-вторых, она не позволяет задать гибкое расписание для синхронизации. И в-третьих, иногда синхронизация не срабатывает.

8. Резервное копирование по расписанию

В качестве альтернативы утилите RealTimeSync можно использовать «Планировщик заданий Windows», который не имеет всех перечисленных недостатков и обладает более гибкими возможностями.

Зайдите в «Панель управления\Система и безопасность\Администрирование» и выберите «Планировщик заданий» или «Расписание выполнения задач».

Выберите «Создать простую задачу».

Введите осмысленное имя задачи и кликните на кнопку «Далее».

Выберите как часто вы хотели бы производить резервное копирование.

Затем определите более точно день и время, в которые компьютер с большой вероятностью будет включен для выполнения синхронизации. Например, каждую пятницу в 17:00.

Выберите действие для задачи «Запустить программу».

Нажмите кнопку «Обзор».

Выберите файл пакетного задания, созданный в программе FreeFileSync.

Нажмите кнопку «Готово».

Теперь резервное копирование файлов будет выполняться чётко в назначенный день и время. Если компьютер в это время окажется выключен, то задание будет выполнено при следующем его включении. Позаботьтесь только о том, чтобы носитель резервных копий был доступен в нужное время.

Удалить или изменить настройки резервного копирования можно в любое время в «Библиотеке планировщика заданий».

Сам файл пакетного задания также можно менять в любое время независимо от планировщика с помощью программы FreeFileSync.

Вы также можете создавать неограниченное количество пакетных заданий синхронизации и заданий в планировщике с самыми различными настройками и планами резервного копирования.

На этом всё, храните ваши файлы на надежных носителях и не пренебрегайте резервным копированием.

9. Ссылки

Ниже вы можете скачать полную версию программы для резервного копирования и синхронизации файлов.

Жесткий диск Transcend StoreJet 25H3 2 TB
Жесткий диск Transcend StoreJet 25M3 1 TB
Жесткий диск Transcend StoreJet 25M TS500GSJ25M 500 GB

Яндекс.Диск - один из немногих сервисов Яндекса, частью которого является программное обеспечение для десктопа. И одна из самых важных его составляющих - алгоритм синхронизации локальных файлов с их копией в облаке. Недавно нам пришлось его полностью поменять. Если старая версия с трудом переваривала даже несколько десятков тысяч файлов и к тому же не достаточно быстро реагировала на некоторые «сложные» действия пользователя, то новая, используя те же ресурсы, справляется с сотнями тысяч файлов.

В этом посте я расскажу, почему так получилось: чего мы не смогли предвидеть, когда придумывали первую версию ПО Яндекс.Диска, и как создавали новую.

Прежде всего, о самой задаче синхронизации. Технически говоря, она состоит в том, чтобы в папке Яндекс.Диска на компьютере пользователя и в облаке был один и тот же набор файлов. То есть такие действия пользователя, как переименование, удаление, копирование, добавление и изменение файлов, должны синхронизироваться с облаком автоматически.

Почему это не так просто, как кажется на первый взгляд?

Теоретически задача может показаться достаточно простой, но в реальности мы сталкиваемся с разными сложными ситуациями. Например, человек переименовал папку на своем компьютере, мы это детектировали и послали команду на бекенд. Однако никто из пользователей не ждет, пока бекенд подтвердит успешность переименования. Человек сразу открывает свою локально переименованную папку, создает в ней подпапку, и, к примеру, переносит в нее часть файлов. Мы попали в ситуацию, в которой невозможно сразу выполнить все необходимые операции синхронизации в облаке. Сначала надо дождаться завершения первой операции и только потом можно продолжать.

Ситуация может стать еще сложнее, если с одним аккаунтом одновременно работают несколько пользователей или у них есть общая папка. А это случается достаточно часто в организациях, использующих Яндекс.Диск. Представьте себе, что в предыдущем примере в тот момент, когда мы получили от бекенда подтверждение первого переименования, другой пользователь берет и переименовывает эту папку еще раз. В этом случае опять нельзя сразу выполнить действия, которые уже совершил первый пользователь у себя на компьютере. Папка, в которой он работал локально, на бекенде в это время уже называется по-другому.

Бывают случаи, когда файл на компьютере пользователя нельзя назвать так же, как он называется в облаке. Это может произойти, если в имени есть символ, который не может использоваться локальной файловой системой, или в том случае, когда пользователя приглашают в общую папку, а у него есть своя папка с таким именем. В таких случаях нам приходится использовать локальные псевдонимы и отслеживать их связь с объектами в облаке.

Прошлая версия алгоритма

В прошлой версии десктопного ПО Яндекс.Диска для поиска изменений использовался алгоритм сравнения деревьев. Любое другое решение на тот момент не позволяло реализовать поиск перемещений и переименований, так как бэкэнд не имел уникальных идентификаторов объектов.

В этой версии алгоритма мы использовали три основных дерева: локальное (Local Index), облачное (Remote Index) и последнее синхронизированное (Stable Index). Кроме этого, чтобы предотвратить повторную генерацию уже поставленных в очередь операций синхронизации, использовались ещё два вспомогательных дерева: локальное ожидаемое и облачное ожидаемое (Expected Remote Index и Expected Local Index). В этих вспомогательных деревьях хранилось ожидаемое состояние локальной файловой системы и облака, после выполнения всех операций синхронизации, которые уже поставлены в очередь.


Процедура сравнения деревьев в старом алгоритме выглядела следующим образом:
  1. Если локальное ожидаемое дерево и облачное ожидаемое дерево пусты, инициализируем их, копируя последнее синхронизированное дерево;
  2. Сравниваем локальное дерево с облачным ожидаемым и по результатам сравнения отдельных узлов добавляем в очередь операции синхронизации в облаке (создание коллекций, передача файлов в облако, перемещение и удаление в облаке);
  3. Для всех операций, которые поставлены в очередь на предыдущем шаге, фиксируем их будущий эффект в ожидаемом облачном дереве;
  4. Сравниваем облачное дерево с локальным ожидаемым и по результатам сравнения отдельных узлов добавляем в очередь операции синхронизации с локальной файловой системой (создание директорий, скачивание файлов из облака, перемещение и удаление локальных файлов и директорий);
  5. Для всех операций, которые поставлены в очередь на предыдущем шаге, фиксируем их будущий эффект в ожидаемом локальном дереве;
  6. Если в очередь попадают одновременные операции с одним и тем же файлом или директорией (например, передача файла в облако и скачивание этого же файла из облака), то фиксируем конфликт - файл изменился в двух местах;
  7. После того, как операция синхронизации выполнена в облаке или с локальной файловой системой, заносим её результат в последнее синхронизированное дерево;
  8. Когда очередь операций синхронизации становится пустой, удаляем локальное ожидаемое и облачное ожидаемое дерево. Синхронизация закончена, и они нам больше не понадобятся.

Почему нам пришлось придумывать новый алгоритм

Главными проблемами алгоритма сравнения деревьев стали большое потребление памяти и необходимость сравнения деревьев целиком даже при небольших изменениях, что приводило к большой нагрузке на процессор. Во время обработки изменений даже одного файла использование оперативной памяти возрастало примерно на 35%. Допустим, у пользователя было 20 000 файлов. Тогда при простом переименовании одного файла размером 10Кб потребление памяти вырастало скачкообразно - со 116Мб до 167МБ.

Также мы хотели увеличить максимальное количество файлов, с которым без проблем может работать пользователь. Несколько десятков и даже сотен тысяч файлов может оказаться, к примеру, у фотографа, который хранит в Яндекс.Диске результаты фотосессий. Эта задача стала особенно актуальной, когда у людей появилась возможность купить дополнительное место на Яндекс.Диске.

В разработке тоже хотелось кое-что поменять. Отладка старой версии вызывала трудности, так как данные о состояниях одного элемента находились в разных деревьях.

К этому времени на бекенде появились id объектов, с помощью которых можно было более эффективно решить задачу обнаружения перемещений - ранее мы использовали пути.

Новый алгоритм

Мы решили изменить структуру хранения данных и заменить три дерева (Local Index, Remote Index, Stable Index) на одно, что должно было привести к снижению избыточности в главной структуре данных. Из-за того что ключом в дереве является путь к элементу файловой системы, в результате объединения значительно сократился объем используемой оперативной памяти.


Еще мы отказались от использования вспомогательных деревьев во время синхронизации, потому что каждый элемент дерева в новой версии хранит все нужные данные. Это изменение структуры сильно упростило отладку кода.

Так как мы понимали, что это серьезное изменение, то создали прототип, подтвердивший эффективность нового решения. Рассмотрим на примере, как меняются данные в дереве во время синхронизации нового файла.

  1. После того как пользователь добавил в папку Диска новый файл, программа обнаружила его и добавила в дерево новый элемент. У этого элемента известно только одно состояние – local. Так как stable и remote состояния отсутствуют, память под них не выделяется;
  2. Программа выполняет upload файла. Из облака приходит push, подтверждающий появление нового файла, и в дерево добавляется remote состояние;
  3. Состояния local и remote сравниваются. Так как они совпадают, добавляется stable состояние;
  4. Состояния local и remote удаляются. Они больше не нужны, так как вся информация есть в stable.


На этом примере видно, что в новом алгоритме синхронизации обрабатываются только те элементы и события, данные об изменениях в которых были получены от файловой системы или облака, а не всё дерево целиком, как это было ранее. При необходимости будут обработаны родительские или дочерние узлы (например, в случае перемещения папки).

Другие улучшения

В новой версии мы поработали и над другими улучшениями, повлиявшими на производительность. Сохранение дерева сделали инкрементальным, что позволяет записывать в файл только последние изменения.

Яндекс.Диск использует дайджесты sha256 и MD5 для проверки целостности файлов, обнаружения изменившихся фрагментов и дедупликации файлов на бекенде. Так как эта задача сильно нагружает CPU, в новой версии реализация расчетов дайджеста была существенно оптимизирована. Скорость получения дайджеста файла увеличена примерно в два раза.

Цифры

Синхронизация уникальных 20000 файлов по 10Кб

Вычисление дайджестов уникальных 20000 файлов по 10кб (индексация)

Запуск с 20000 синхронизированных файлов по 10Кб

Upload 1Gb. Соединение Wi-Fi 10 МБит
Время, сек

Что получилось

Из примеров видно, что новая версия ПО Яндекс.Диска использует примерно в 3 раза меньше оперативной памяти и примерно в 2 раза меньше нагружает CPU. Обработка мелких изменений не приводит к увеличению объема используемой памяти.

В результате проделанных изменений существенно увеличилось количество файлов, с которым без проблем справляется программа. В версии для Windows – 300 000, а на Mac OS X - 900 000 файлов.

Каждый раз, когда вы копируете файл в папку Яндекс.Диска, редактируете или удаляете файл, все изменения дублируются на сервере Диска: их можно видеть на . Если же вы загружаете файлы на странице сервиса, программа «Яндекс.Диск» на вашем компьютере автоматически отобразит их в программе Яндекс.Диск.

Таким образом со всех ваших устройств, подключенных к интернету, на Диске видны одни и те же файлы.

Примечание. Синхронизировать файлы на телефоне не получится. Скачивать и загружать файлы можно только вручную. Но вы можете включить безлимитную автозагрузку фото и видео .

Что происходит, когда файл изменяется одновременно на разных устройствах?

Допустим, вы нарисовали картинку kartinka.jpg на компьютере, отключенном от интернета, а затем загрузили на Диск фотографию с тем же именем с мобильного телефона.

Когда вы подключите компьютер к интернету, Яндекс.Диск начнет синхронизацию. Обнаружив разные файлы с одинаковыми именами, Диск переименует один из них: в результате файлы будут называться kartinka.jpg и kartinka (2).jpg .

Выборочная синхронизация папок

Программа Яндекс.Диск 3.0 позволяет синхронизировать с компьютером не все файлы с вашего Диска, чтобы сэкономить место на компьютере. Например, если вы часто работаете с папкой «Документы» , включите для нее синхронизацию - эта папка будет храниться на компьютере. Остальные папки будут храниться только в облаке, но будут также доступны в программе.

Подробные инструкции по настройке выборочной синхронизации:

  • в программе для Windows ;
  • в приложении для macOS .

Состояние синхронизации в программе

Как синхронизируются измененные файлы?

Яндекс.Диск определяет, какие именно части файла были изменены, и выгружает на сервер только измененные фрагменты, а не файл целиком.

На скольких устройствах можно использовать Яндекс.Диск?

Теоретически вы можете установить приложение и программу Яндекс.Диск на любое количество устройств, но мы не рекомендуем этого делать. Если работать с одними и теми же файлами на разных устройствах одновременно, могут возникнуть конфликты - файлы могут дублироваться или пропадать.

Можно ли использовать съемный носитель в качестве папки для синхронизации?

Я отключил синхронизацию, но файлы все равно попадают на диск

Чужие файлы могут попасть на ваш Яндекс.Диск, если вы авторизуетесь на чужом мобильном устройстве. В этом случае при включенной автозагрузке файлы с устройства будут загружены на Яндекс.Диск.

Вы можете прекратить загрузку чужих файлов на ваш Яндекс.Диск следующими способами:

Выйти на всех устройствах Чтобы на ваш Яндекс.Диск не попадали чужие файлы, выйдите из Яндекс.Диска на всех устройствах. Отозвать доступ программ

Также вы можете отозвать доступ программ и приложений Яндекс.Диска к вашим файлам на сервере:

  1. Откройте страницу .
  2. В списке найдите все строки с названием «Яндекс.Диск» .
  3. Нажмите на каждую строку и нажмите Удалить .

В этой статье мы рассмотрим что такое Google Диск , каковы его преимущества, процесс синхронизации ПК и облачного хранилища, и, наконец, как восстановить стертые данные.

Облачное хранилище — один из важнейших аспектов в работе с данными. Существует огромное количество всевозможных ошибок, способных привести к потере наших ценных файлов и мы, зачастую, упускаем объективно полезные инструменты в работе с ними. Они способны помочь не только восстановить стертые документы, но и обеспечат вам полное спокойствие, ведь теперь данные никуда не пропадут.

Если вам пока не доводилось работать с облачными хранилищами, рекомендуем задуматься над использованием Google Диск . Одна из причин тому — его привязка к Google-аккаунту, который у большинства пользователей является основным почтовым ящиком.

Google Диск и его конкуренты

Вы уже наверняка слышали или даже работали с Google Диск, OneDrive (облачное хранилище от Microsoft) и DropBox. Однако в чем же между ними разница? Давайте разберем.

Google Диск

Полезные статьи


Доступ к данному сервису вы всегда можете получить через собственный браузер, компьютерное или же мобильное приложение.

Установив клиент Google для рабочего стола, вы также сможете синхронизировать выбранные папки с облачным хранилищем, тем самым обеспечив резервное копирование всех важных документов.

Dropbox, аналогично инструменту Google Диск, всегда доступен как через веб-браузер, так и приложения, разработанные для ПК и смартфонов. Вы можете загружать файлы любого размера, совершая их моментальную синхронизацию, однако, в отличие от Google, теряете возможность загрузки целых папок.

Одной из важных особенностей Dropbox является работа с локальной сетью. Обычно скорость загрузки файлов ограничивается скоростью интернета и это логично.

Dropbox также отслеживает полную историю изменений файлов и если кто-то случайно удаляет документы, которыми вы поделились, вы всегда можете восстановить их — данные никогда не пропадут с серверов мгновенно.

Разработчики предвидели подобные ситуации и установили срок 30 дней на восстановление случайно удаленных из хранилища файлов.

Используя Dropbox, вы всегда можете обмениваться личными файлами и папками при помощи электронной почты или ссылками, а зарегистрированные пользователи получают возможность взаимодействия с Microsoft Office Online.

Другие файлы требуют иного подхода — вы сможете комментировать их, делиться, однако с одним отличием — не в режиме реального времени.

Dropbox по прежнему остается невероятно полезным облачным хранилищем, однако используя его можно столкнуться с путаницей, когда два человека одновременно пытаются внести изменения в один файл.

OneDrive

OneDrive является прямым ответом компании Apple на создание iCloud. Единственное отличие детища Microsoft — их хранилище способно работать сразу с несколькими платформами. Это означает, что OneDrive прекрасно подходит для всех, кто работает с технологиями, так или иначе связанными с продукцией Microsoft.

Как и в случае с другими облачными хранилищами, доступ к OneDrive вы можете получить следующими способами: через веб-браузер, приложение для рабочего стола Windows и мобильную версию.

Дополнительной особенностью работы с хранилищем от Microsoft можно назвать его полную синхронизацию с компьютером. Поэтому вы всегда можете получить доступ к облачному хранилищу просто открыв Проводник и перейдя в раздел OneDrive.

Вы можете загружать в облако любые файлы или папки размером до 10 Гб , а сервис, в свою очередь, тщательно отсортирует их по типу и формату.

Нельзя оставить незамеченной и синхронизацию OneDrive с Outlook. Это говорит о том, что вы всегда сможете прикрепить к электронному письму любой необходимый документ без необходимости дополнительной загрузки — просто укажите его расположение в облаке.

Интеграция Microsoft Office существенно облегчает обмен документами, таблицами и слайд-шоу. А подписчики Office 365 получают приятный бонус — возможность работы в режиме реального времени, что позволяет компании одновременно просматривать и корректировать важные документы.

Синхронизация компьютера и Google Диска

Мало что может быть важнее для пользователей, работающих с ценными документами, чем безопасность их данных. Именно по этой причине рекомендуем вам провести синхронизацию файлов с любым удобным облачным хранилищем.

В этой же статье, как пример, мы рассмотрим процесс работы с Google Docs . Давайте приступим!

1. Скачайте приложение с сайта Google.

2. Установите программу.

3. Нажмите клавишу Начать .

5. Выберите папки на компьютере для автоматического резервного копирования на Google Диск.

6. Запустите процесс синхронизации.

По завершению синхронизации, вы получите полную резервную копию указанных ранее папок. Теперь, в случае любой непредвиденной ошибки, затрагивающей важные данные, вы всегда сможете восстановить их.

Освобождение пространства Google Диска

Нередко, особенно для пользователей, которые на постоянной основе пользуются услугами резервного копирования, возникает важный вопрос относительно облачного пространства. Ведь время идет, некоторые файлы теряют свою актуальность, а память Google Диск медленно, но верно забивается.

В такой ситуации единственно верным решением может стать очистка облака. Как это сделать? Давайте рассмотрим процесс в инструкции ниже.

2. Выделите большие ненужные файлы и, зажав левую кнопку мыши, перенесите их в корзину, затем удалите.

Однако не только облачные файлы способны отнимать свободное пространство хранилища. Мы пользуемся одним аккаунтом Google , который привязан ко всем его сервисам. Это говорит нам о том, что даже почта Gmail может отнимать некоторую память.

Поэтому, если у вас возникла необходимость очистить свободное пространство, рекомендуем удалить ненужный спам в электронной почте.

Восстановление стертых данных

Чтобы восстановить удаленные файлы с Google Диска в облаке, выполните следующие действия:

  • 1. Перейдите на drive.google.com/drive/trash.
  • 2. Выделите и щелкните правой кнопкой мыши на удаленных файлах, которые вы хотите восстановить.
  • 3. Нажмите «Восстановить», чтобы вернуть их.

Вслучае удаления файлов или папок с Google Диска и очистки корзины в облаке, вернуть данные будет немного сложнее, но все же возможно!

Starus Partition Recovery — универсальное приложение, способное восстановить любой файл даже в условиях уничтоженной файловой системы путем применения полного форматирования.

Главным его отличием от упрощенных аналогов Starus NTFS Recovery и Starus FAT Recovery является неограниченная возможность работы со всеми файловыми системами, что обеспечивает надежность и долгосрочную эффективность в восстановлении файлов с любых носителей.

Надеемся, статья оказалась полезной и помогла найти ответы на поставленные вопросы!

Синхронизация файлов – это процесс, в результате которого две или более папок содержат . При добавлении, удалении или изменении какого-либо файла в одной папке, при синхронизации он будет добавлен, удален или изменен во всех остальных папках.

Другими словами, механизм синхронизации файлов рассчитан на работу с данными из различных рабочих мест синхронно, без использования сменных носителей – флэш-карт или дисков.

Фактическим результатом синхронизации файлов является синхронизация одной и той же версии файла с наиболее свежей датой его создания или изменения во всех синхронизируемых папках.

Как синхронизировать файлы и папки?

Суть синхронизации файлов сводится к регистрации на одном из так называемых облачных сервисов, позволяющих синхронизировать файлы, и последующим перемещением данных пользователя на сервер такого сервиса.

В настоящее время наблюдается бурное развитие облачных сервисов, которые в борьбе за пользователей предоставляют разнообразные дополнительные услуги. В среднем сервисы предлагают до 10 ГБ бесплатного облачного пространства для синхронизации файлов. Данного объема вполне достаточно для хранения наиболее важной информации.

Самыми популярными сервисами хранения данных являются Dropbox, SkyDrive, Яндекс Диск, SugarSync, Облако Mail.ru и Диск Google.
Для того, чтобы синхронизировать все устройства, необходимо установить на каждое их них специальную программу, которую можно скачать на одном из сервисов. Данная программа создаст папку пользователя, в которой будут храниться все документы. Они будут закачиваться в специальное хранилище в интернете, из которого будут доступны пользователю в любой точке мира.

С помощью синхронизации можно обеспечить идентичность файлов на разных устройствах, которые подключены к одному и тому же облачному сервису. Например, при изменениях информации в одном из файлов на сервере, этот файл автоматически обновится на всех компьютерах, подключенных к сервису синхронизации.

Выгоды синхронизации данных

Главная выгода синхронизации – защита данных. Даже при поломке компьютера или утере флэш-карты, документы будут находится в сохранности на сервере.

Также синхронизация открывает новые возможности для легкого обмена файлами между пользователями. Для этого необходимо отправить ссылку на необходимый документ, после чего по ней он будет доступен другому пользователю.

Еще одной ключевой выгодой синхронизации данных является возможность работы с одной и той же информацией на разных устройствах, не беспокоясь о ее постоянном переносе.