Serveur a tout faire...

[jfrag]

Bonjour tous le monde,

Depuis quelque mois je cherche a faire une installation multimédia/réseau performant pour chez moi a moindre coup.
Aujourd'hui j'ai un WD TV Live qui me sert a regarder mes medias depuis mon PC Fixe en UPnP, et a écouter la musique grace a l'integration de spotify.

Vue que la fibre arrive bientôt chez moi j'aimerais avoir une machine dédié au stockage, qui consomme peu et fanless de préférence.

Ce que je veux faire :
- Un serveur NAS capable d'accepter jusqu'a 4 HDD SATA / UPnP / Serveur Newsgroup

Ce que j'ai aujourd'hui :
- WD TV Live (décode quasiment tous les flux vidéos et spotify est integré (Gros plus))
- Mon PC FIXE que j'allume quand je veux regarder un film...


La Config :
carte mère => http://fr.asus.com/Motherboards/AMD_CPU_on_Board/E45M1M_PRO/#specifications (100€)
ram => 4Gb DDR3 (25€)
Disque dur => CAVIAR BLACK SATA III 6 GB/S - 1 TO * 2 (pour le moment) (200€)
boitier => http://www.chenbro.com/corporatesite/products_detail.php?sku=195 (100€)
carte reseau pour l'IPTV => http://www.materiel.net/carte-reseau/intel-pro-1000-ct-desktop-expi9301ct-oem-47691.html (30 €)

En tout je me monte un serveur complet pour 450 € environ disque dur compris

Maintenant le soucis est ce que je vais faire dessus...
- Installation d'une Debian sur clé USB pour l'OS ou une BSD mais je connais pas trop.
- Mise en place d'un RAID 5 logiciel car le controlleur SATA ne le supporte pas...
- Installation de Serviio UPnP Server pour streamer mes vidéos et les flux IPTV.
- Le probleme de l'IPTV : Serviio ne supporte pas l'UDP Multicast du coup j'ai peut etre trouvé une solution ca s'appel udpxy qui permet de transmettre un flux UDP Multicast en un flux TCP unicast, faut tester le bouzin maintenant.
- Pour les Newsgroup je vais utiliser SABNzbd+ pratique avec son interface web, je pourrais voir/ajouter des telechargement directement depuis ma tablette.

Maintenant je me pose la question, est-ce que la machine va supporter tout ca, si par exemple je regarde un film streamer depuis le serveur, que je telecharge sur les newsgroups, que quelqu'un regarde l'IPTV depuis une autre pièce. J'ai peur que ca rame un peu

J'attend vos retour

[vivien]

Pour un RAID 5 il faut un plus que deux disque dur 

Au niveau des débit, tu devrait pourvoir avoir de nombreux utilisateurs sur ton serveur et fournir un 50 Mo/s sans aucun souci a tes différents utilisateurs locaux (je pense même au-delà, mais je ne connais pas trop la chute de performance lié au RAID, perso je préfère faire des backup).

La seule chose qui peux poser problème est si tu regarde un film HD sur cette machine en même temps qu'il y a de nombreux accès disque. Lire une vidéo est temps réel et cela n'apprécie pas trop les temps d'attente lié a un disque fortement utilisé au niveau de I/O.

Sur l'OS, je verrais bien une Ubuntu serveur, c'est identique a Debian mais c'est mis a jour tous les 6 mois en stable.
=> Tu as accès aux nouveauté et a la stabilité (alors que sous Debian c'est l'un ou l'autre)

Quand tu auras monté ta machine, je serais intéressé par un MP pour me donner les capacités TCP Offload engine de ta carte réseau => Comment savoir ce que propose votre carte réseau pour décharger le CPU ?

[jfrag]

Le RAID 5 je le mettrais en place quand j'en aurais 4 de HDD
Hier j'ai un pote qui m'as dis t'embete pas fait un ZFS avec un RAID-Z mais la les 4Gb de RAM ne suffiront pas je pense, faudra passer a 8Gb.
Pour l'OS, je vais mettre une BSD, ou FreeNAS qui me parait plutôt pas mal car il gere un pas mal de chose et a une jolie interface et c'est une BSD

La machine n'auras pas d'écran on ne visionnera rien dessus.

Ce qui risque de pompé du CPU ca va etre la systeme de réparation des fichier PAR2, décompression d'archive RAR de quelques Giga.
Ce qui risque de pompé de la RAM le systeme ZFS + RAID-Z.

Tu connais le ZFS vivien ? aurais-tu des infos sur les perfs de ce système de fichier ?

[guizmos123]

Perso j'ai une carte Raid matériel Areca 1261ml pour mes Raid0 et 5, c'est franchement le jour et la nuit niveau performance par rapport à un Raid soft (surtout un Raid5 où ça plafonne souvent vers les 30-40Mo/s). L'avantage est que ça décharge complétement le processeur en cas de forte charge, très appréciable 

[jfrag]

Je viens de regarder la carte c'est quand meme 800$ piece ! ce n'est plus un serveur a moindre frais du coup

[guizmos123]

C'est sûr qu'elle est pas donnée, mais c'est la Rolls. Après tu en trouves des beaucoup plus accessible autour de 200-300€ ; après tout dépend du nombres de HDDs que tu désires.

[jfrag]

Un petit bench qui fait pencher mon coeur vers le ZFS + RAID-Z

http://www.krenger.ch/blog/raid-z-vs-hardware-raid-5/

[redge76]

Pour une serveur il y a aussi 2 choses a bien prendre en compte
- conso electrique: C'est pas la mort mais 1W représente environ 1€/an Donc un serveur de 150W te coutera 150€/an (je suppose qu'avec ton machin t'es dans les 50w)
- bruit: les disques 3.5 sont quand meme beaucoup plus bruyant que le 2.5 Si tu mets ton serveur a la cave c'est pas un pb. S'il est dans une piece a vivre c'est une paramètre tres important.

Le CPU est pas un foudre de guerre.... Donc compte pas decrompresser des .rar de 2To en 4 secondes... Perso j'ai un E350(a peine moins rapide) ca me suffit bien... Mais faut le savoir...
La ram... A 20€ les 4go.... Tu peux te faire plaisir :-)

Apres il reste a savoir pourquoi tu veux un RAID. Disponibilité ou backup ?
Pour le coté backup: https://www.google.com/search?q=raid+replace+backup
Pour la disponibilité, t'es sur d'en avoir besoin ? Je suppose que si tes films sont pas dispo 24h/24h avec une dispo de 99.99% ca doit pas etre un drame.
vivien disait: "perso je préfère faire des backup"
Perso c'est pareil... En cas de cambriolage, ton raid va pas de sauver. En cas de foudre pareil. En cas de fausse manip a cause de tes gros doigts, c'est pareil.... Pense y...
Enfin voila mon avis a 2€
Perso j'ai un mini serveur a base d'AMD 350 qui consomme 14W qui fait pas de bruit. Avec un disque interne de 640Go (meilleur rapport prix/Go quand j ai acheté)
Et après quand j'ai besoin de plus de place je peux connecter des disques externes en USB 3.0 (qui crachent allègrement 50Mo/S... Mais en fait j en ai pas besoin....)
C'est simple... .Ca marche.. C'est pas cher.... Et au pire que je peux meme deconnecter facilement les disques sur serveur pour les prendre avec moi...
Si t'as besoin de vitesse I/O, le mieux reste d'avoir un gros cache en SSD... (y a des projets http://bcache.evilpiepirate.org/ mais je sais pas si c'est fiable. Sous windows il y a SRT )

A+
redge

[laurentk]

Perso après avoir longtemps recyclé mes anciens HD et vielles config PC dans des serveurs multimédia je suis passé aux NAS depuis pas mal de temps... D'abord un QNAP TS-509 Pro (5 baies) puis maintenant un Synology DS1511 (3 * 5 baies possibles).
Pas d'OS a gérer, conso entre 30-60W, serveurs DLNA/UPNP, newsgroups (NZB), Itunes, Auto Station, Cloud, Photo Station,etc...

Perso je m'en sers comme vrai gros serveur multimédia donc images ISO dump collection DVD / BR  + audio en FLAC... Donc ça remplit vite plusieurs HD de 3 TO...
Suivant le processeur de ton NAS (Dual Core 1,8GHz sur le Syno par ex.) pas de soucis pour streamer une image ISO pendant qu'il fait autre chose de son coté (download, streaming musique sur un autre client, etc).

Par contre c'est clair que du RAID5 ou autre ne doit surtout pas être considéré comme un backup... Donc suivant la taille de ton NAS les backups sont vite gourmands en taille disque ... Perso le Syno se backup en partie sur le QNAP ;-)

Pas tout à fait le même prix que de se monter un serveur mais à qualité égale on doit s'y retrouver... Un NAS d'occase 4-5 baies tu en trouves sans trop de soucis autour de 400-450 euros à priori...
C'est surtout une config moins bricolo-bricolette que le recyclage dans un vieux PC... Dépend de l'utilisation que tu veux en faire... perso c'est vraiment pour m'en servir comme un serveur multimédia avec une dispo quasi garantie sans avoir besoin d'aller tripoter le PC pour que ça marche... là si ça déconne c'est plutôt du coté des clients (Dune pour la vidéo et Sonos pour l'audio) que ça coince.

[redge76]

+1 pour le NAS... C'est vraiment ce qu'il y a de mieux. Mais c'est moins flexible. Si effectivement c'est uniquement pour servir de NAS/DLNA/UPnP, alors le NAS deja tout fait est vraiment mieux.
Si j'ai pas choisi ca c'est pour pouvoir y installer ce que je veux et avoir toute la palette des softs linux dispo. (je suis encore un peu bidouilleur ... mais si je commence vraiment a me faire vieux...)

A+
redge

[vivien]

Un nas ne permet pas de faire des choses sympa qu'il est possible de faire sur un linux comme par exemple une courbe de la température (avec RRDTool et une sonde), enregistrer une émission TV (avec VLC) ou faire un graphe SmokePing. Pour la VoIP si tu met ton PC serveur en coupure (avec deux cartes réseau) tu peux enregistrer toutes les conversations avec un TCPDUmp qui filtre sur le bon port. Wireshark permet ensuite de les exporter au format wave !

Bref, j'aime bien l'idée d'un petit serveur Linux (ou BSD) par contre comme expliqué je préfère ne pas mettre de Raid et faire des sauvegardes régulières. Le RAID soft bouffe de la performance et le raid hard si les drivers ne sont pas bon ce n'est pas terrible (expérience avec un serveur Dell avec carte raid5 hard qui avait des piteuses performances sous FreeBSD)

Le NAS c'est bien pour ceux qui ne veulent pas s'embétrer avec un serveur et ce qui va avec (configuration, mises à jour,...)

[jfrag]

D'abord merci pour vos réponses et suggestions.

@redge76
J'ai des vieilles config à la maison (p4 HT, etc...), mais comme tu le dis le serveur va être allumé 24/24 donc il faut que je limite la consommation un maximum. Pour le bruit j'ai ce qu'il faut pour reduire celui des HDD, c'est pour ca aussi que j'opte pour le fanless.

Si je veux mettre en place un RAID c'est pour justement ne pas avoir a déployer une backup au cas ou un disque crash, juste a changer le disque, 2/3 clic et hop c'est reparti. Apres pour pas mettre en place un snapshot automatique des partitions, j'a de quoi stocké c'est pas le souci ca !
Le serveur va me servir pour du dev (nodejs principalement), comme je suis pas souvent chez moi j'aimerais que la machine soit dispo tout le temps, comme ca dans le train je pourrais bosser a distance avec un sshfs.

@laurentk
Je suis un bidouilleur donc je veux ma machine et puis j'aime bien monter mes propres machine, ça fait plaisir quand tu as passé 4h a tout assemblé et configuré?
Trop de limite je trouve avec les NAS tout fait, je trouve ça dommage...

@vivien
tu m'as l'air d'en connaitre un rayon sur l'enregistrement audio/video sous linux tu connais udpxy ? Quand tu regardes les features, tu peux enregistrer directement les flux avec udpxrec ! Mais je connais pas l'outil si tu as des infos la dessus je suis preneur.


Par contre je cherche encore pour le boitier car celui que j'ai mis dans le premier post coute certe environ 100 € mais au USA et sns les frais de ports...
Je galère à trouver un boitier avec 4 baies rackable en facade et une backplane SATA 6Gb/s je n'ai trouver que 3 boitier de ce type mais un seul en SATA 6Gb/s...
Si vous avez des refs ou une marque a me conseiller je suis preneur

[jfrag]

bon pour le boitier j'ai peut etre trouvé une solution pas trop cher

Je prends ce boitier => http://linitx.com/product/12789 (backplane SATA-II)

et je change la backplane par celle-la => http://www.corsair.com/obsidian-series-800d-sata-6gbps-upgrade-kit.html

Apres je pense qu'il faudra bidouiller un peu pour ca passe pile poil pour le hot-swap

La bidouille commence lol, c'est ce qui coute le moins cher du coup

[redge76]

> c'est pour ca aussi que j'opte pour le fanless.
Heu 4 disques bien rangé les un a coté des autres ca fait un peu de chaleur quand ca bosse un peu. Le CPU aussi il a besoin d'un peu d'air. Si il y a vraiment pas de ventilo... ca va chauffer quand tu décompacte tes .rar....

>Pour le bruit j'ai ce qu'il faut
...  Un disque qui bourrine un peu fait souvent du bruit.... Rien a voir avec les trucs sur roulement a billes d'il y a 10ans.. mais bon... (sniff .. larme de nostalgie.... :-P   )

> le RAID c'est pour justement ne pas avoir a déployer une backup au cas ou un disque crash
Et comme on disait avec vivien, le crash disque est une raison peu probable pas rapport aux autres de pertes de données.... Donc en 1er une bonne politique de backup et apres... le raid :-)
J'aime cette page : http://www.taobackup.com/

>  ça fait plaisir quand tu as passé 4h a tout assemblé et configuré?
Bon on va dire que c'est la principale raison d'installer du RAID chez un particulier... :-)

> Trop de limite je trouve avec les NAS tout fait, j
Il y en a ou tu peux installer des packages du style http://blog.bangbits.com/2011/05/optwareipkg-on-synology-ds211.html Tout n'est pas perdu... Mais donc comparé a un vrai linux :-/
On peut aussi cross compiler ce qui n'existe pas depuis un autre linux... mais c'est vraiment lourdingue...

> tu connais udpxy
Je l'utilises sur mon routeur (Un linksys, le meme que celui de k-net) pour "unifier" les réseaux. Tout passe par lui et ca marche plutot bien. On peut enregistrer avec udpxrec, mais franchement j'utilise plutot VLC directement sur mon PC. C"est plus simple. Il y  a aussi quelqu'un qui a fait un tuto pour faire ca avec ffmpeg.

Pour le boitier, j'en avais trouve plein chez http://www.caseking.de/shop/catalog/Gehaeuse:::29.html ... Depuis ils me spam c'est pour cela que je me souviens d'eux (comme quoi le spam ca marche :-P   )

Question conne... Ca sert a quoi un backplane SATA? Uniquement pour le hotswap non ?... T'es sur de vouloir te faire chier a trouver un backplane SATA3 pour le jour ou tu vas te retrouver avec un crash disque? En plus, il y a vraiment une différence avec le SATA2 dans le cas de disques mécaniques? (avec du SSD je dis pas.. mais du mecanique... ? )
A+