Studenten Net Twente making the net wiki work

This is an old revision of the document!


Het Syscom-storage project!

Doel

Het opzetten van een betrouwbare centrale data opslag mogelijkheid voor SNT servers.

UT SAN

Er is een mogelijkheid om gebruik te maken van het UT SAN. Hiervoor zijn fiber channel adapters nodig. In de syscom is besloten hiervan af te zien. De hoofdreden hiervoor is dat we op dit vlak niet afhankelijk willen zijn van het ICTS, vooral met oog op onderhoud en reparaties. Daarnaast zijn de benodigde fiber channel adapters redelijk prijzig. Uiteraard wil de syscom ook zelf leuke dingen doen.

Algemene opzet

Het opzetten van twee storage servers, welke als mirror van elkaar data zullen functioneren. Een server zal in Seinhuis en de ander in Teehuis geplaatst worden, zodat er ruimtelijke onafhankelijkheid onstaat. De twee storage servers zullen onderling met een dedicated fiber aan elkaar verbonden worden.

Een server wordt de primary data source. Op moment dat deze uitvalt moet de ander het meteen overnemen. Bij normale werking van het gehele systeem zal zodoende slechts een enkele server “clients” voorzien van data.

Distributed File System

DRDB

Bij het stoppen van drbd zijn de disks in gebruik totdat je expliciet tegen lvm vertelt ze los te laten. Dat kan met: fudge:~# /sbin/vgchange -a n

0 logical volume(s) in volume group "storage" now active

Aankoppelen kan weer met: fudge:~# /sbin/vgchange -a y

1 logical volume(s) in volume group "storage" now active

Dit moet dus ook in de failoverscripts

Error recovery

Splitt-brain

Als het niet automatisch hersteld moet je zelf bepalen welke server de juiste data heeft.

Op de andere server moet dan verklaard worden dat deze inconsistent is met:

drbdadm down <disk>

drbdadm secondary <disk>

drbdadm invalidate <disk>

drbdadm up <disk>

Daarna op de nette server:

drbdadm connect <disk>

Soms werkt dit niet; de server blijft dan hangen op WFConnection. Split brain kan dan opgelost worden door de data op de secondary server volledig te discarden met:

drbdadm – –discard-my-data connect <disk>

Zie ook http://www.drbd.org/users-guide/s-split-brain-notification-and-recovery.html

Oud

DRBD: Userguide

Quick Guide naar iscsi: Guide

exporteerd block device als iscsi device: iscsitarget

Gebruik een iscsi device project page (initiator) linux-iscsi microsoft iscsi driver

lvm handleiding lvm howto lvm sharen met meerdere machines

Open Afs Homepage

Enterprise Volume Management System link

overview

de setup die tijdens de syscom naarvoren kwam die we dus in een test setup gaan proberen te bouwen

2 storage servers 1 master server

* de storage server moeten intern raid5 draaien * de master moet een mirror draaien over de 2 storage machines

uiteindelijk zal dus 1 storage machine in het teehuis draaien, en 1 in het seinhuis.

Het is de bedoeling dat de storage servers met een gbit link in verbinding staan met de master. De master staat met 2x 1gbit verbinding in contact met de storage servers en de SNT servers.

Het idee is verder om elke storage server uit te rusten met: * 64bit proc (zie info bits); * 1 GB ram; * 4 sata schijven; * 2u kast.

En de master: * 64bit proc (zie info bits); * 2 GB ram; * 2 sata schijven; * 1u/2u kast.

info bits

quote van een van de kernel.org maintainers: The second problem has to do with a hardware limitation, “master.kernel.org is still an i386 machine,” Peter explained. “It's constantly hurting for lowmem since the dentry and inode caches can only live in lowmem.” The solution for this problem is simpler, “we need a new master.kernel.org with a 64-bit CPU,” Peter stated. Efforts are currently underway to obtain the new 64-bit hardware.

Dit is evt wel een reden om deze machines meteen 64-bit te maken, zodat vooral de master die 2gb zal krijgen o.a. voor dentry/inode caches

Setup

Zie setup

Voor wat clientside dingen zie clientsetup

storageproject

Om dit storageproject netjes op te zetten, gebruiken we de opzet ScoutingNederlandNAS als bron.

projecten/storage/start.1245528808.txt.gz · Last modified: 2009/06/20 20:13 by robin