Retour d'experience Mikrotik Hex S

[halesk2k]

Je squate mon topic pour:

1/ Ma question a été validée par la modération sur le forum de Mikrotik ( https://forum.mikrotik.com/viewtopic.php?f=3&t=138946)

2/ Annoncer que Mikrotik a débuggé l'offload ipsec sur le RB3011 apparemment puisque c'est disponible dans la bêta de RouterOS 6.44 (https://forum.mikrotik.com/viewtopic.php?f=21&t=139057).

Ce routeur commence à devenir intéressant

Hugues, tu serais super sympa si tu pouvais faire un iperf sur ton RB3011 en IPv6 avec au moins une règle de FW pour valider le 1Gb/s.

[Hugues]

Je te fais ça demain, mon rb3011 à la maison est sur un FTTH 300Mbit/s, et ceux qui servent à la collecte ne portent que des tunnels

[Hugues]

Je sais pas si tu as vu l'annonce du rb4011, mais ça pourrait te plaire aussi !

PS : j'ai commandé un HAP AC2, je testerais a l'occasion.

[halesk2k]

Ça, c'est super sympa! Et même le "hAP ac²", je suis sûre qu'il en a dans le ventre avec son vrai CPU. Je pense que c'est comme le Edgerouter X, tellement puissant qu'il fait tout en software sans broncher.

J'avais vu le rb4011 mais il consomme 19W. Non pas que je suis super-écolo, mais ça m'embête un peu. "Le hEX S" tourne avec un peu plus de 3W, c'est impressionnant.

Mikrotik a mis à jour les tests de perf IPSec sur le rb3011 et il plafonne à 400Mb/s alors que le rb4011 monte à 2Gb/s.

Sincèrement, les spec du rb4011 sont énorme pour le prix du boîtier... Mais bon, pour mon besoin, 400Mb/s en IPSec suffiront largement. (BGP sur un lien GRE/IPIP over IPSec).

J'attend que l'acceleration IPSec sorte de bêta et/ou que le rb4011 sorte pour de vrai (amazon / eurodk) et je me déciderais pour l'un ou l'autre.

[Hugues]

Je pense que c'est comme le Edgerouter X, tellement puissant qu'il fait tout en software sans broncher.

Hum, l'ERX n'est pas puissant du tout. C'est un CPU de brouette dedans, a une époque il n'avait pas d'HW Offload et du coup tout était limité à 600Mbit/s.
L'ERL on peut plus en discuter déjà, même si pour moi ça reste du jouet !

Le truc vraiment cool pour s'éclater, c'est les CCR, ça coute un peu cher, mais c'est incroyablement polyvalent

J'avais vu le rb4011 mais il consomme 19W. Non pas que je suis super-écolo, mais ça m'embête un peu. "Le hEX S" tourne avec un peu plus de 3W, c'est impressionnant.

Je vais en acheter un pour tester (enfin je dis 'je', mais c'est pas moi en perso, on a des CPE Mikrotik au boulot donc je peux en acheter pour bench), je te ferais un REX conso a l'occase

Sincèrement, les spec du rb4011 sont énorme pour le prix du boîtier... Mais bon, pour mon besoin, 400Mb/s en IPSec suffiront largement. (BGP sur un lien GRE/IPIP over IPSec).

Fais gaffe aux PPS, c'est généralement ce qui te bloque chez Mikrotik.

Pour BGP et IPIP, tu devrais jeter un oeil à ce qu'on fait chez MilkyWan (https://lafibre.info/milkywan/milkywan-as57199), ça pourrait te plaire ;-)

[halesk2k]

Attention je suis un big fan d'Ubiquiti, gamme EdgeMax et Unifi

Pour avoir testé, l'ERX route et firewall en gigabit sans soucis en IPv4 sûre, et j'ai pas trop de doute qu'il le fasse aussi en IPv6. Et en IPSec, ça monte à plus de 350Mb/s. Quand on voit qu'il coute 50€ TTC sur Amazon, c'est plutôt un bon deal.

Bon maintenant, il sert de switch depuis que j'ai remplacer la livebox fibre 300/300 (ca me démangeait) par un "hAP Lite" qui s'occupe du routage/filtrage/nat. Au passage, c'est la que va aller le "Hex S" qui m'a bien déçu en IPv6.

Perso je suis repassé sur l'ERL qui est ce que j'ai de plus performant actuellement à mettre devant ma - récente - fibre K-Net, bref.

Si ca peut servir à toi ou d'autre, je peux donner mon ressenti avec un rapide mieux/pire par rapport avec Mikrotik sur les features que j'utilise ou que j'ai utilisé.

Gros + Edgerouter:
- Acceleration IPv4/IPv6 sans se poser de question autre que "enable". Simple et efficace, ca juste marche.
- tunnel IPSec (j'y tiens à mon IPSec ) en VTI. Ca permet d'avoir des interfaces tunnel pour faire du routage dessus. Ca evite d'avoir a monter un GRE ou IPIP pour faire du routage dynamique. Tu gagnes quelques octet sur la MTU. Et c'est accéléré en hardware.
- Kernel Linux plus récent, je connais la plupart des soft open source qui tournent derrière, on peut simplement tcpdump sur les interfaces, accès root, ...

Gros + Mikrotik:
- Beaucoup de documentation
- Features solides
- Conso électrique, intégration hardware au top, ca semble efficient
- Configuration possible plus fines. J'ai en tête le gestion de la /32 de K-Net, les options DHCP client pour le réseau Orange.

Moins Edgerouter:
- On ressent trop la stack de logiciel qui tourne derrière.
- Il m'est déjà arriver de devoir reboot le routeur pour que ca tombe en marche. Sur des confs tordu, il faut reboot pour que les softs se relance dans le bon ordre.

Moins Mikrotik:
- Bah pas de VTI, obligé de magouiller pour faire du routage sur l'IPSec.
- Implémentation OpenVPN juste risible. Même si en mode site to site, c'est un peu con de faire de l'OpenVPN, ca peut dépanner de temps en temps.
- Pas de VPN IPSec sur IP dynamique
- On sent que le code vieilli et qu'ils galèrent a rester dans la course. Ils réimplémentent tout, mais pas assez vite, le monde avance plus vite qu'eux.

Edgerouteur, c'est un Linux avec plein de truc dedans, plein de features, qui évoluent vite, c'est mis à jour régulièrement, c'est frais quoi Mais jamais j'utiliserais un Edgerouter dans l'état pour faire du "core routage" comme tu le fais sur MilkyWan par exemple.
Mikrotik, bah c'est pépère, mais quand ca fonctionne, ca fonctionne. Ca me fait plus penser à du Cisco, simple, efficace, robuste, on pose, ca marche.



Pour les autres points que tu énumères, CCR, trop cher et consomme trop pour un truc @home. Mais si j'en récupère un un jour, je me ferais un plaisir de jouer avec.

Pour les PPS, toujours pour @home, je n'ai pas de besoin particulier. Les cas ou le débit me sert, c'est sur des gros transfert bien large.

Et surtout, n'hésite pas à partager tes tests de matos! J'avais déjà lu ton post sur lafibre.fr, c'est un beau projet qui fait rencontrer pas mal de monde, c'est super cool pour toi!

Allez il est tard, bye

[Hugues]

Attention je suis un big fan d'Ubiquiti, gamme EdgeMax et Unifi

J'eu été, maintenant je suis plus mitigé...
(Unifi a fond par contre, c'est trop de la balle)

J'ai un ERX pour bypasser ma livebox @ home, derrière un rb3011 qui monte des tunnels l2tp, et encore derrière un ERL qui fait la GW et RA IPv6 (mais pas DHCP/DNS/Whatever)

Pour avoir testé, l'ERX route et firewall en gigabit sans soucis en IPv4 sûre, et j'ai pas trop de doute qu'il le fasse aussi en IPv6. Et en IPSec, ça monte à plus de 350Mb/s. Quand on voit qu'il coute 50€ TTC sur Amazon, c'est plutôt un bon deal.

Il le route en offloadé. Coupes l'offload, tu satureras à un peu moins de 100kpps, soit... pas le gigabit :p

AtBon maintenant, il sert de switch depuis que j'ai remplacer la livebox fibre 300/300 (ca me démangeait) par un "hAP Lite" qui s'occupe du routage/filtrage/nat. Au passage, c'est la que va aller le "Hex S" qui m'a bien déçu en IPv6.

C'est dommage, y'a des switchs sympa chez Mkt

Gros + Edgerouter:
- Acceleration IPv4/IPv6 sans se poser de question autre que "enable". Simple et efficace, ca juste marche.

Sauf si tu fais des tunnels en v6, que tu veux faire passer de l'IPv6 dans un tunnel... etc... Je suis parti de chez Ubiquiti pour cette raison.

- tunnel IPSec (j'y tiens à mon IPSec ) en VTI. Ca permet d'avoir des interfaces tunnel pour faire du routage dessus. Ca evite d'avoir a monter un GRE ou IPIP pour faire du routage dynamique. Tu gagnes quelques octet sur la MTU. Et c'est accéléré en hardware.

Il me semble que j'en fais au taf, t'es sur que c'est pas géré ? Après ça accélère, mais pas au gig quoi.

- Kernel Linux plus récent, je connais la plupart des soft open source qui tournent derrière, on peut simplement tcpdump sur les interfaces, accès root, ...

D'accord sur le principe. Après Mikrotik fournit tout les bons outils (MTR, TcpDump, etc...) en standard, du coup bof :p

Gros + Mikrotik:
- Beaucoup de documentation

... quand elle est à jour et qu'elle fait ce qu'elle dit c'est cool (coucou les filtres BGP)

- Features solides

Vraiment pas du tout. Mikrotik c'est pas frais. J'ai encore eu des bugs de cohérence LDP/OSPF, voir même OSPF qui crashe. Le démon BGP est méga lent et pas opti. Le démon de routage galère à converger RIB/FIB en moins de 3 minutes, MPLS est... hazardeux. IPv6 est codé n'importement (pas de routes récursives en IPv6 si ton nexthop est une link local, don c iBGP sur OSPF en IPv6, bah t'oublies, je suis obligé de faire du ROUTAGE STATIQUE dans mon backbone a cause de ça...), Ajoutes à ça les bonds pas offloadés (et qui te font même perdre des perfs sur des 10G), le manque de protocoles (mais où sont IS-IS, VxLAN, l2tpv3 ?)... Mikrotik c'est sympa mais pas robuste.

- Conso électrique, intégration hardware au top, ca semble efficient

Ça c'est du délire. L'intégralité du backbone MilkyWan sur 5 DC consomme moins que mon PC de bureau.

- Configuration possible plus fines. J'ai en tête le gestion de la /32 de K-Net, les options DHCP client pour le réseau Orange.

En soi ouais. Après l'exemple du /32, c'est le mauvais, ça marche avec une grosse bidouille

Moins Edgerouter:
- On ressent trop la stack de logiciel qui tourne derrière.

Ouep, surtout quagga, et c'est rageant quand tu sais qu'une conf marche sur Quagga mais pas sur vyatta...

- Il m'est déjà arriver de devoir reboot le routeur pour que ca tombe en marche. Sur des confs tordu, il faut reboot pour que les softs se relance dans le bon ordre.

Jamais eu ça, mais des fois mon ERX Crashe et ça me fallback la maison en 4G sans raison. Faut le reboot et ça repart.

Autre moins, ça manque d'offload. Sur les 100000 fonctions de la CLI, t'en as genre une dizaine qui sont vraiment offload. C'est énervant

Moins Mikrotik:
- Bah pas de VTI, obligé de magouiller pour faire du routage sur l'IPSec.

Je connais pas, mais voir au dessus

- Implémentation OpenVPN juste risible. Même si en mode site to site, c'est un peu con de faire de l'OpenVPN, ca peut dépanner de temps en temps.

Je ne sais pas si il faut en rire ou pleurer...

- Pas de VPN IPSec sur IP dynamique

Pareil, ipsec je connais pas

- On sent que le code vieilli et qu'ils galèrent a rester dans la course. Ils réimplémentent tout, mais pas assez vite, le monde avance plus vite qu'eux.

Clairement. Soit ils préparent un truc de fou et ils laissent le stagiaire sur ROS6, soit ça commence à puer chez eux.

Edgerouteur, c'est un Linux avec plein de truc dedans, plein de features, qui évoluent vite, c'est mis à jour régulièrement, c'est frais quoi Mais jamais j'utiliserais un Edgerouter dans l'état pour faire du "core routage" comme tu le fais sur MilkyWan par exemple.

Je vais bientôt déployer de l'EdgeRouter Infinity sur un AS, on verra ce que ça donne. Moi j'ai confiance, du Quagga + Debian, ça peut rien donner de mauvais

Mikrotik, bah c'est pépère, mais quand ca fonctionne, ca fonctionne. Ca me fait plus penser à du Cisco, simple, efficace, robuste, on pose, ca marche.

Non non noooooon. Mikrotik c'est a peu près stable, mais pas stable. Je suis en train de virer mes CCR1072 pour passer sur du Cisco ASR sur AS50628 (le boulot), bah je peux te dire que le gap, tu le vois trèèèèèèèèèèèèès bien. Tu redécouvres la stabilité.

Pour les autres points que tu énumères, CCR, trop cher et consomme trop pour un truc @home. Mais si j'en récupère un un jour, je me ferais un plaisir de jouer avec.

Pour le prix... j'ai jamais payé un CCR (on a des 1016-12S-1S+ d'occase a vendre @ work si un jour ça te tente)

Pour les PPS, toujours pour @home, je n'ai pas de besoin particulier. Les cas ou le débit me sert, c'est sur des gros transfert bien large.

Ben disons qu'en burst c'est sympa de taper le débit max

Et surtout, n'hésite pas à partager tes tests de matos! J'avais déjà lu ton post sur lafibre.fr, c'est un beau projet qui fait rencontrer pas mal de monde, c'est super cool pour toi!

Yes j'y penserais ! Merci

Allez il est tard, bye

@+ !

[halesk2k]

Merde, moi qui commencait à bien aimer Mikrotik...

Par contre ta remplacer ta livebox par un ERX, c'est magouille-land. Sur une ligne Orange 300/300, avec un Mkt, y a juste à mettre la règle de QOS et les options dhcp-client pour que ca marche tout seul.

Sinon, j'ai fait quelques tests de tunneling hier entre le Hex S et l'ERL. MAIS C'EST LENTTTT... IPIP ou GRE, c'est la même, ca dépasse pas les 70Mb/s, je ne sais pas encore qui est la fautif et moi qui voulais mettre ca dans de l'ipsec transport... Bref...

[Hugues]

Oula, perso j'ai le gbit/s en tunnel gre, t'as du oublier du fastpath.

[domodial]

C'est marrant, ma box vient de recevoir le firmware pour qu'enfin je puisse bénéficier d'IPV6 (SFR pour ne pas les citer).
Je configure la bouzin, après quelques tests je me rend compte que je passe de 800 a 500mb/s péniblement.

Me concernant j'ai 5-6 règles de FW pour test en ipv6, que je laisse ou désactive ça ne change pas grand chose.
J'avais été à la pêche sur le forum mkt ou les gens râlent depuis 2019 lol et je suis tombé sur ce forum juste après.

Fasttrack ne sera jamais dispo sur ROS7. Enfin c'est ma vision, et il n'y a qu'a voir les releases de la béta, ils sont effectivement très lent à rattraper la course c'est juste incroyable.
J'avais quitté Unifi pour mkt mais je me rends compte que c'est kifkif quand on merde depuis le départ à vouloir acheter un routeur sans cpu parce qu'il est pas cher.
Je ne m'attendais pas à ce que IPV6 ai un comportement différent (manque de connaissances) que IPV4 sur mkt.

Les retours sur le RB4011+RM sont bon et les gars arrivent à faire du 1Gb en IPV6 c'est certain (j'ai lu plusieurs posts).
Du coup mon prochain routeur sera probablement celui là. Fasttrack n'étant qu'un patch/contournement les gars gueulent tous que si Mkt ne veulent pas implémenter Fasttrack sur l'ipv6 c'est juste pour vendre leur routeurs plus cher sans ajouter un contournement ou se faire ch...

C'est vrais que mon HEX S est vraiment top niveau conso et reboot contrairement à un Unifi ou tu as le temps d'aller faire ta douche.
Et mon unifi (le petit) me souviens même plus comment il s'appele, c'est la même chose niveau cpu. Il faut passer à gros dès le départ.

[halesk2k]

C'est marrant, ma box vient de recevoir le firmware pour qu'enfin je puisse bénéficier d'IPV6 (SFR pour ne pas les citer).
Je configure la bouzin, après quelques tests je me rend compte que je passe de 800 a 500mb/s péniblement.

Me concernant j'ai 5-6 règles de FW pour test en ipv6, que je laisse ou désactive ça ne change pas grand chose.
J'avais été à la pêche sur le forum mkt ou les gens râlent depuis 2019 lol et je suis tombé sur ce forum juste après.

Fasttrack ne sera jamais dispo sur ROS7. Enfin c'est ma vision, et il n'y a qu'a voir les releases de la béta, ils sont effectivement très lent à rattraper la course c'est juste incroyable.
J'avais quitté Unifi pour mkt mais je me rends compte que c'est kifkif quand on merde depuis le départ à vouloir acheter un routeur sans cpu parce qu'il est pas cher.
Je ne m'attendais pas à ce que IPV6 ai un comportement différent (manque de connaissances) que IPV4 sur mkt.

Les retours sur le RB4011+RM sont bon et les gars arrivent à faire du 1Gb en IPV6 c'est certain (j'ai lu plusieurs posts).
Du coup mon prochain routeur sera probablement celui là. Fasttrack n'étant qu'un patch/contournement les gars gueulent tous que si Mkt ne veulent pas implémenter Fasttrack sur l'ipv6 c'est juste pour vendre leur routeurs plus cher sans ajouter un contournement ou se faire ch...

C'est vrais que mon HEX S est vraiment top niveau conso et reboot contrairement à un Unifi ou tu as le temps d'aller faire ta douche.
Et mon unifi (le petit) me souviens même plus comment il s'appele, c'est la même chose niveau cpu. Il faut passer à gros dès le départ.

Sympa de déterrer mon sujet ca fait toujours plaisir de parler réseau.

Sur Mikrotik, il faut bien différencier le fastpath et le fasttrack, car ils n'ont pas le même effet en IPv4 et IPv6.

- Fastpath: c'est le fait de router (au niveau IP) via un ASIC, et donc sans passer par la couche OS, donc pas d'interruption matériel, et l'OS ne voit rien.
- Fasttrack: c'est l'accélération matériel de la conntrack linux. C'est comme fastpath, mais au niveau au dessus (TCP, UDP), l'OS ne voit que les SYN et les paquets que l'ASIC n'a pas réussi a gérer.

A noter que dans les deux cas, un module kernel fait la passerelle pour configurer l'ASIC, puis quasiment tout se passe au niveau matériel et l'OS ne voit quasiment plus rien.

Si on veut utiliser l'accélération hardware Fastpath, il faut configurer le routeur en mode routage uniquement, donc sans aucune règle de firewall, ni nat. A partir du moment où on ajoute 1 règle de firewall ou 1 règle de nat, le routeur va automatiquement faire du connection tracking et donc activer la conntrack. C'est là ou ça devient important car Mikrotik n'a pas implémenté l'accélération hardware Fasttrack pour l'IPv6...

Donc sur un petit routeur Hex S, dans le cas où on s'en sert de firewall, le traffic IPv4 sera bien géré au niveau hardware via le Fasttrack, alors qu'en IPv6, tout passera par le CPU. Et ce pauvre CPU anémique n'est pas capable de tirer plus de 500Mb/s.

Tu parles du RB4011, ça tombe bien car c'est ce que j'ai actuellement, le Hex S ayant migré chez mes parents pour remplacer une box Sosh 300/300. Je te confirme que le RB4011 sait router 1Gb/s IPv4/IPv6 sans aucun, mais alors aucun problème, même en full CPU.

A noter que:
- L'ASIC pour traiter le traffic réseau est intégré au CPU, ca n'est pas un composant dédié.
- Le Hex S partage le même CPU que le Edgerouter X de chez Ubiquiti, qui eux on fait le taff pour que l'IPv6 profite de l'accélération hardware. C'est donc un manque de volonté de la part de Mikrotik et non une limitation hardware.

Pour avoir du 1Gb/s en IPv4 et IPv6 avec du matériel correct, les options sont Edgerouter X (50€) ou RB4011 (200€). J'ai aussi un Edgerouter Lite (80€ je dirais), qui permet d'avoir 3 vrais interfaces réseau (au lieu d'une seule partagé sur le X) et qui est aussi très performant et un peu plus sérieux que le Edgerouteur X.

[domodial]

Fastpath n'existe que pour certains modèles, pas le miens 

[domodial]

Je suis bien content que tu confirmes que ton nouveau routeur supporte un débit de 1gbs 
Je vais l'acheter le mois prochain car je viens de découvrir ce manque de pêche ipv6 aujourd'hui.
Ca fou la rage quelque part de ne pas tirer la patate de la ligne.

Mais bon c'est comme ça...

[Hugues]

Alors il y'a bien du fastpath en IPv6 sur les Mikrotik, mais si tu as une seule règle, même en v4, ça fait sauter le fastpath en v6 aussi.

Par contre, tu peux mettre une règle, ça n'activera pas le conntrack, seulement le slowpath (cf https://help.mikrotik.com/docs/display/ROS/Packet+Flow+in+RouterOS)

[halesk2k]

Je rejoins Hugues, le Hex S a du fastpath/fasttrack, c'est juste que comme tu utilises la conntrack, ça désactive l'accélération hardware en IPv6.