Gérer les volumes

Introduction

Pour pouvoir archiver des données sur le système de stockage Silent Cube, vous devez tout d’abord créer un volume. Il s’agit d’un espace de stockage réservé dans lequel des structures de répertoires et des partages quelconques peuvent être définis.

Le menu Administration répertorie tous les volumes déjà créés dans le logiciel Silent Cubes. Pour chaque volume, des informations actuelles sur la capacité ainsi que sur les quantités de fichiers déjà archivés et non encore archivés sont également affichées. En outre, le type de volume et des options spécifiques sont visibles. Certains paramètres d’un volume déjà créé peuvent également être adaptés ultérieurement, à l’aide d’un double-clic sur l’entrée de liste correspondante.

Les volumes et les partages sont indissociablement liés. Pour que les utilisateurs puissent accéder à un volume et y archiver des données, des partages doivent être mis à disposition pour les volumes créés. Les paramètres des partages se trouvent donc également dans le menu Administration.

Ajouter un volume

En cliquant sur le bouton Ajouter un volume, la fenêtre de dialogue permettant de créer un nouveau volume s’affiche.

Dans le champ de saisie Nom, vous devez tout d’abord saisir une désignation pour le volume. L’utilisation d’espaces et de certains caractères spéciaux n’est pas autorisée.

La capacité du volume est définie en MByte via le champ de saisie Quota [MB]. Le quota maximal correspond à l’espace de stockage disponible de toutes les unités de stockage Silent Cube intégrées. Le quota d’un volume peut être augmenté ultérieurement dans la limite de la capacité maximale disponible. Une réduction est également possible, jusqu’à la limite du volume de données déjà archivées.

Si la capacité de stockage disponible du volume est presque épuisée et qu’un autre fichier destiné à être archivé dépasse le quota du volume, le quota est automatiquement augmenté de la taille définie en MByte à l’aide de l’option Autoinkrement [MB]. Si la fonction de notification a déjà été configurée (voir chapitre 6.3), un message d’avertissement est envoyé par e-mail. Si la valeur 0 est saisie, aucune augmentation automatique du volume n’a lieu.

Selon l’application, il peut être nécessaire d’adapter le seuil d’augmentation automatique du quota. Le champ Seuil [%] permet de définir la valeur de seuil en pourcentage à partir de laquelle l’augmentation automatique doit être effectuée.

Type de volume

Le type de volume détermine de quelle manière les données sont archivées sur un volume. Le logiciel Silent Cubes propose plusieurs méthodes d’archivage via le menu déroulant Type de volume.

Type de volume et Compliance Option

Les types de volume disponibles dépendent d’une Compliance Option acquise et activée (pour plus d’informations sur l’activation, voir le chapitre 6.10). Sans Compliance Option activée, seul le type de volume WORM est disponible.

Remarque : si l’une des FAST LTA Approved Solutions (par exemple un système de gestion de documents ou d’images) est utilisée en amont, la Compliance Option est le plus souvent indispensable !

Type de volume WORM

Un volume créé avec le type de volume WORM se comporte comme un support WORM classique. Les fichiers qui y sont déposés sont archivés de manière permanente (période de rétention infinie) et ne peuvent jamais être supprimés. Le volume lui-même ne peut plus non plus être supprimé, dès que des données y ont été archivées. L’archivage s’effectue de manière planifiée et est configurable.

Type de volume WORM avec gestion des versions

Correspond au type de volume WORM, mais offre en plus des fonctionnalités de gestion des versions. Cela permet d’écraser virtuellement un fichier déjà archivé. Des révisions du fichier sont ainsi créées, auxquelles il est possible d’accéder à l’aide de méthodes spécifiques (Revert et Switch Revision). L’équipe de support FAST LTA met à disposition, sur demande, un document technique (Background Paper) spécifique sur le sujet de la gestion des versions.

Type de volume WORM avec période de rétention

Correspond au type de volume WORM, mais offre en plus la possibilité d’attribuer aux données à archiver une « période de rétention » (Retention Date) réglable. Une fois la date de rétention écoulée, les fichiers peuvent être supprimés manuellement ou via un système logiciel connecté.

La date de rétention d’un fichier est définie via son horodatage d’accès (Access-Timestamp, partie des métadonnées d’un fichier dans le système de fichiers). Le fichier archivé ne peut pas être supprimé avant l’expiration de la date définie comme horodatage d’accès.

Lors de la création d’un volume de type WORM avec période de rétention, il est possible de définir une valeur par défaut (années/jours) permettant de déterminer l’horodatage d’accès situé dans le futur.

Lorsqu’un fichier est transféré vers le système de stockage Silent Cube (mémoire cache), l’heure et la date de création de ce fichier dans le système de fichiers Silent Cube sont enregistrées dans le système de fichiers (Creation Date). Cette date de création (Creation Date), additionnée de la valeur par défaut définie, détermine ensuite l’horodatage d’accès (Access-Timestamp) inscrit dans le système de fichiers.

Les systèmes logiciels connectés peuvent certes encore modifier l’horodatage d’accès jusqu’au moment de l’archivage, mais uniquement si celui-ci se situe plus loin dans le futur que la valeur temporelle calculée par le système de stockage Silent Cube. La valeur par défaut représente ainsi également une valeur minimale de la durée d’archivage immuable. La valeur par défaut peut être augmentée ultérieurement, mais ne peut pas être réduite.

Si l’horodatage d’accès d’un fichier archivé se situe dans le passé (expiration de la date de rétention), ce fichier peut être supprimé. Un volume entier de type WORM avec période de rétention peut également être supprimé lorsque la date de rétention de tous les fichiers y archivés est écoulée.

Type de volume WORM avec période de rétention et gestion des versions

Correspond au type de volume WORM avec période de rétention, mais offre en plus des fonctionnalités de gestion des versions (voir chapitre 4.2.1.3).

Type de volume WORM avec période de rétention (déclenché par RWRO)

Correspond au type de volume WORM avec période de rétention, mais n’utilise pas d’archivage planifié et comporte un traitement différent de la période de rétention.

Le processus d’archivage (transfert de la mémoire cache vers la mémoire d’archivage) de ce type de volume ne débute que lorsque les droits d’accès d’un fichier passent de Read Write (RW) à Read Only (RO). Ce type de volume ne doit donc être choisi que si le système logiciel utilisé, placé en amont du Silent Cube, est en mesure d’initier le processus d’archivage en conséquence.

En ce qui concerne la période de rétention d’un fichier, ce type de volume reprend toujours un horodatage d’accès modifié par le système logiciel en amont, à condition que celui-ci se situe dans le futur. Ce n’est que pour les fichiers dont l’horodatage d’accès n’a pas été modifié qu’il est calculé et attribué à l’aide de la valeur par défaut réglable.

Type de volume WORM avec période de rétention et gestion des versions
(déclenché par RWRO)

Correspond au type de volume WORM avec période de rétention (déclenché par RWRO), mais offre en plus des fonctionnalités de gestion des versions (voir chapitre 4.2.1.3).

Type de volume WORM avec période de rétention
(déclenché par RWRO, Autosave)

Le type de volume WORM avec période de rétention (déclenché par RWRO, Autosave) tient compte du fait que certains systèmes ont besoin de fichiers temporaires, modifiés plus fréquemment, pour accéder aux données proprement dites. Ce n’est qu’après le passage de RW à RO que ces fichiers deviennent immuables.

Avec les types de volume précédents, ces fichiers temporaires n’étaient stockés, avant le passage à RO, que dans le cache de la Head Unit et non sur le Silent Cube sécurisé. En cas de panne ou de problème technique de la Head Unit, ces fichiers temporaires pouvaient être perdus, ce qui pouvait, selon le système, rendre les données proprement dites inutilisables.

Ce type de volume introduit désormais la fonction Auto-Save. Toutes les données sont alors toujours sauvegardées sur le Silent Cube. Les données encore marquées comme RW sont alors « modifiables » et « supprimables » - chacune de ces actions génère un nouveau fichier sur le Silent Cube. Ce n’est qu’au passage à RO que ces fichiers sont ensuite marqués comme immuables.

Options de type de volume

Lors de la création d’un nouveau type de volume, de nombreuses options sont disponibles en fonction du type de volume choisi et d’une Compliance Option activée ; elles sont réparties sur les onglets Archivage, Fichiers Safe et Divers.

Type de volume et options de type de volume disponibles

Chaque type de volume offre des possibilités de configuration individuelles. Le tableau suivant présente une vue d’ensemble de la relation entre le type de volume et les options de type de volume disponibles.

Un type de volume avec gestion des versions correspond ici en grande partie au type de volume correspondant sans gestion des versions.

Tableau : type de volume et options de type de volume disponibles

Archivage / Méthode

Les fichiers transférés vers le système de stockage Silent Cube sont tout d’abord écrits dans la mémoire cache. L’option Méthode permet désormais de transférer les fichiers présents dans la mémoire cache vers la mémoire d’archivage, soit Immédiatement (par défaut), soit Périodiquement selon un intervalle de temps réglable. L’utilisation de la méthode d’archivage périodique offre la possibilité de continuer à modifier ou supprimer des fichiers tant qu’ils se trouvent encore dans la mémoire cache et n’ont pas encore été archivés. L’inconvénient est qu’aucune sécurité des données ni des révisions n’est garantie jusqu’au moment de l’archivage. C’est pourquoi l’archivage périodique est le plus souvent utilisé à des fins de test.

L’intervalle de temps peut être choisi entre Quotidien, Hebdomadaire et Mensuel. En outre, l’heure, le jour de la semaine (pour les intervalles Quotidien et Hebdomadaire) ou le jour du mois (pour l’intervalle Mensuel) sont réglables.

Le choix de l’intervalle de temps doit être en adéquation avec le volume de données généré et la capacité de la mémoire cache. Si de grands volumes de données doivent être archivés, il convient donc de choisir un intervalle de temps plus court.

Illustration : méthode d’archivage

Archivage / Âge minimal avant archivage [s]

Le système de stockage Silent Cube n’archive un fichier que si le dernier accès à ce fichier (Modification Date) a eu lieu au moins 5 secondes auparavant (valeur par défaut = 60 secondes).

De nombreux systèmes logiciels en amont (y compris des gestionnaires de fichiers tels que Windows Explorer ou Mac OS X Finder) ne modifient les métadonnées d’un fichier qu’après un processus de copie effectué. Ce délai d’attente permet de garantir qu’un fichier copié dans la mémoire cache est disponible dans son intégralité pour l’archivage, évitant ainsi toute perte de données. La valeur par défaut ne doit être modifiée que dans des cas particuliers.

Illustration : âge minimal avant archivage

Archivage / Marquer les fichiers archivés en lecture seule

Si cette option est activée (par défaut = désactivée), le droit d’accès de chaque fichier de ce volume est défini sur Read Only (RO). Cela vaut également pour les fichiers se trouvant encore dans la mémoire cache. Ce droit d’accès est conservé même lorsque le fichier archivé est copié ou chargé depuis le système de stockage Silent Cube vers un répertoire externe.

Illustration : marquer les fichiers archivés en lecture seule

Archivage / Accès direct à l’intérieur des fichiers

Cette option (par défaut = activée) permet l’accès en stockage à une zone quelconque à l’intérieur de fichiers au format conteneur. Dans les formats conteneurs, plusieurs fichiers sont regroupés dans un seul fichier pour des raisons de performance. Les formats conteneurs sont fréquemment utilisés, par exemple, dans les applications d’archivage, d’image et de vidéo. L’accès direct garantit désormais qu’un système logiciel accédant au fichier ne doit pas d’abord lire l’intégralité du conteneur. Il est donc recommandé de laisser cette option activée (par défaut).

Illustration : accès direct à l’intérieur des fichiers

Archivage / Compresser les fichiers

Si cette option est activée (par défaut = désactivée), les fichiers sont compressés lors de l’archivage. Un algorithme de type ZIP est utilisé à cet effet, ce qui permet d’économiser de l’espace de stockage lorsque les fichiers archivés sont principalement compressibles (par exemple des documents).

Illustration : compresser les données

Archivage / Supprimer les fichiers du cache après archivage

Si cette option est désactivée (par défaut = activée), les fichiers sont conservés dans la mémoire cache après un archivage réussi. L’avantage est que les fichiers sont alors disponibles plus rapidement depuis la mémoire cache que s’ils avaient dû être chargés depuis la mémoire d’archivage. Toutefois, afin de conserver la mémoire cache « propre », il est recommandé de laisser cette option activée.

Illustration : supprimer les fichiers du cache après archivage

Archivage / Notification lorsque des fichiers non encore archivés sont plus anciens que

Si cette option est activée (par défaut = activée / 1 jour) et que la fonction de notification est configurée, un e-mail est envoyé dès que des fichiers qui auraient déjà dû être archivés se trouvent encore dans la mémoire cache. Il est possible de définir des jours, des heures et des minutes. Si la méthode d’archivage périodique a été choisie, le délai avant notification doit être plus long que l’intervalle de temps périodique défini.

Archivage - Notification lorsque des fichiers non encore déclenchés sont plus anciens que

Cette option n’est disponible que pour les volumes de type « déclenché par RWRO ». Si cette option est activée (par défaut = désactivée) et que la fonction de notification est configurée, un e-mail est envoyé dès que des fichiers se trouvent encore dans la mémoire cache alors qu’ils auraient déjà dû être déclenchés (RWRO), et donc archivés, après un certain âge minimal. Il est possible de définir des jours, des heures et des minutes.

Fichiers Safe

Pour obtenir des informations détaillées sur l’ensemble du processus d’archivage d’un fichier, il est possible de générer, en option (par défaut = désactivé), un fichier dit Safe. Ce fichier journal est créé automatiquement après un processus de copie réussi d’un fichier vers le système de stockage Silent Cube, et enregistré séparément. Le nom du fichier correspond au nom du fichier archivé, auquel s’ajoute une extension de fichier définissable par l’utilisateur (par défaut = *.safe).

Le fichier Safe peut être généré au format texte ou au format XML. Cela permet également à des systèmes logiciels externes de récupérer ou de traiter des informations sur le processus d’archivage. Cette option peut également être activée ultérieurement. L’équipe de support FAST LTA met à disposition, sur le sujet des fichiers Safe, un document technique (Background Paper) spécifique.

<?xml version="1.0" encoding="UTF-8"?>

<fileData>

<hash>4216475b55472f890aff212079ffa303b6f1cfb33e5fa5802882aa37968f78a4…

<lookupkey>64c26d29cf7ffce5333957539d8bbb04c7d2a556dad5ed967f3eb6dfea6…

<size>17210</size>

<stored>1</stored>

<safe>1</safe>

<ciphercode>0</ciphercode>

<compressioncode>12289</compressioncode>

<online>1</online>

<ingest_epoche>1250155996</size>

<ingest_iso8601>2009-08-13T11:33:16+0200</ingest_iso8601>

<creation_epoche>1250095987</creation_epoche>

<creation_iso8601>2009-08-12T18:53:07+0200</creation_iso8601>

</fileData>

Illustration : exemple de fichier Safe (format XML)

Divers / Prioriser l’archivage

Lorsque plusieurs volumes sont créés au sein d’un système Silent Cube, le logiciel Silent Cubes veille à ce que le stockage de tous les volumes dans la zone WORM suive une certaine logique. Celle-ci consiste à traiter, pour chaque volume, un certain nombre de fichiers à archiver, avant de traiter le même nombre pour le volume suivant. Ce processus se répète de manière cyclique jusqu’à ce que tous les fichiers en attente soient archivés.
Si l’on dispose d’un volume qui est constamment rempli de très gros fichiers (par exemple des données d’image) et d’un autre volume qui est constamment rempli de très petits fichiers (par exemple des documents texte compressés), un déséquilibre apparaît dans le stockage. Pour corriger ce déséquilibre, il est possible de prioriser l’archivage pour le volume contenant les petits fichiers.

Divers / Optimisations pour Robocopy

Les processus de copie via le réseau ne sont pas sans risque. Une panne réseau ou un timeout peuvent par exemple survenir pendant un processus de copie. Comme le système de stockage Silent Cube ne peut pas vérifier lui-même le processus de copie, il existe un risque que des fichiers incomplets, et donc corrompus, soient archivés. Pour parer à ce risque, il existe par exemple le programme Robocopy pour les systèmes d’exploitation Microsoft. Robocopy est capable de reprendre des transferts de fichiers interrompus ainsi que de vérifier un transfert.

Robocopy crée ainsi d’abord le fichier copié avec un horodatage de modification (Modification-Timestamp) précis et toujours identique (du 1er janvier 1980 00:00:00 GMT au 2 janvier 1980 00:00:00 GMT) sur le système de stockage Silent Cube (mémoire cache). Ce n’est qu’une fois le processus de copie vérifié que l’horodatage de modification d’origine est attribué au fichier copié.

Si l’option Optimisations pour Robocopy est activée (par défaut), le système de stockage Silent Cube détermine, à partir de l’horodatage de modification, si un fichier a été correctement transféré ou non. Si ce n’est pas le cas, le fichier est ignoré et n’est pas archivé. L’horodatage de modification permet également de repérer les fichiers résiduels, qui peuvent alors être supprimés de la mémoire cache du système de stockage Silent Cube.

Les processus de copie via le réseau ne sont pas sans risque. Une panne réseau ou un timeout peuvent par exemple survenir pendant un processus de copie. Comme le système de stockage Silent Cube ne peut pas vérifier lui-même le processus de copie, il existe un risque que des fichiers incomplets, et donc corrompus, soient archivés. Pour parer à ce risque, il existe par exemple le programme Robocopy pour les systèmes d’exploitation Microsoft. Robocopy est capable de reprendre des transferts de fichiers interrompus ainsi que de vérifier un transfert.

Robocopy crée ainsi d’abord le fichier copié avec un horodatage de modification (Modification-Timestamp) précis et toujours identique (du 1er janvier 1980 00:00:00 GMT au 2 janvier 1980 00:00:00 GMT) sur le système de stockage Silent Cube (mémoire cache). Ce n’est qu’une fois le processus de copie vérifié que l’horodatage de modification d’origine est attribué au fichier copié.

Si l’option Optimisations pour Robocopy est activée (par défaut), le système de stockage Silent Cube détermine, à partir de l’horodatage de modification, si un fichier a été correctement transféré ou non. Si ce n’est pas le cas, le fichier est ignoré et n’est pas archivé. L’horodatage de modification permet également de repérer les fichiers résiduels, qui peuvent alors être supprimés de la mémoire cache du système de stockage Silent Cube.

Divers / Optimisations pour Quantum StorNext

Quantum StorNext utilise des mécanismes spécifiques, pris en charge par l’activation de l’option Optimisations pour Quantum StorNext.

Pour toutes les autres connexions logicielles, cette option ne doit pas être activée.

Illustration : optimisations pour Quantum StorNext

Divers / Ne pas archiver les fichiers de 0 octet

Si l’option est activée (par défaut = désactivée), les fichiers temporaires de 0 octet sont filtrés lors du processus d’archivage et ne sont pas archivés. Il est recommandé de n’activer cette option que lorsqu’il est certain que ces fichiers ne sont réellement pas nécessaires et ne servent qu’à des fins temporaires.

Divers / Remplacement intelligent

Cette option (par défaut = désactivée) permet une pseudo-suppression d’un fichier : dès qu’une commande de suppression est reçue, un nouveau nom de fichier lui est automatiquement attribué. Cela permet d’archiver un fichier supplémentaire ou plus récent sous le nom de fichier d’origine. La sécurité des révisions reste garantie.

Divers / Interdire le renommage des répertoires vides / fichiers

Pour les volumes déclenchés par RWRO, cette option permet d’empêcher le logiciel en amont de renommer des répertoires vides et des fichiers.

Divers / Une erreur est renvoyée en cas de tentative de suppression de fichiers pendant la période de rétention

Pour les volumes de type « WORM avec période de rétention et gestion des versions », il est possible de définir si une erreur doit être renvoyée (par défaut) lors d’une tentative de suppression pendant la période de rétention. Si cette option est désactivée, aucun message d’erreur n’est renvoyé en cas de tentative de suppression, mais le fichier continue néanmoins d’exister.

Divers / Lecture avant ajout

Pour les volumes de type « WORM avec période de rétention et gestion des versions (déclenché par RWRO) », il est possible de définir si, lors de l’ajout de données à un fichier existant, le contenu doit d’abord être relu afin d’être ainsi disponible dans le cache.

Convertir le type de volume

Pour un volume déjà créé, le type de volume existant ne peut, à deux exceptions près, pas être converti en un autre type. Si le volume déjà créé est de type WORM ou WORM avec période de rétention (respectivement sans gestion des versions), il peut être converti vers le type de volume correspondant avec gestion des versions. Cette opération est unidirectionnelle et donc irréversible. Cette fonction se trouve dans le mode d’édition d’un volume, sous l’onglet Divers.

Les volumes de type WORM avec période de rétention (déclenché par RWRO) (voir chapitre 4.2.1.6) peuvent être convertis une seule fois et de manière irréversible vers le type WORM avec période de rétention (déclenché par RWRO, Auto-Save).

Illustration : convertir le type de volume WORM avec période de rétention (déclenché par RWRO)

Supprimer les volumes sélectionnés

Dans la vue d’ensemble Gérer les volumes, il est possible de supprimer un volume. Pour qu’un volume puisse être supprimé, il doit soit être inutilisé (0 octet utilisé et 0 fichier déjà archivé), soit tous les fichiers de ce volume doivent être supprimés. Veuillez noter que cela n’est possible que pour les volumes pour lesquels la date de rétention (uniquement pour les volumes avec période de rétention) de tous les fichiers du volume est écoulée.