Retour d'experience Mikrotik Hex S

[halesk2k]

Si ça peut intéresser du monde, sachez que K-Net fonctionne avec le 'Mikrotik Hex S' en remplacement de la box Icotera (Je suis sur Covage 1Gbps symétrique). On le trouve pour 60€ sur Amazon ou chez EuroDK.

Pour ceux qui ne veulent pas s'embêter, pour l'IPv4, ça fonctionne directement sans configuration (je parle entre autre de la gestion de l'IP en /32). Voilà, on branche, ça fonctionne.
Pour l'IPv6, il faut faire la configuration manuellement, mais ça fonctionne également.

Côté débit, l'offload hardware fait son boulot et permet de router/nater l'IPv4 au débit de ma ligne sans aucun soucis (CPU à 14%).
Pour l'IPv6, il n'y a pas d'offload hardware à partir du moment où on filtre (ce qui me semble indispensable de nos jours pour un accès particulier), c'est donc le CPU du routeur qui s'occupe du routage. Ça plafonne à ~500Mb/s avec le CPU étant à ~40% d'utilisation pendant le test.

Code Sélectionner Étendre


#---- Mikrotik Hex S ---------------------------------------------#
| IPv4 DL | ~950 Mb/s                                             |
| IPv4 UL | ~750 Mb/s (même débit avec le PC en direct sur l'ONT) |
| IPv6 DL | ~500 Mb/s                                             |
| IPv6 UL | ~400 Mb/s                                             |
#-----------------------------------------------------------------#


Je suis un peu déçu du Mikrotik, comparé à mon "vieux" Ubiquiti EdgeRouter Lite (95€ sur Amazon). Le EdgeRouteur, il faut ajouter un script manuellement pour la gestion de l'IPv4 en /32, mais ensuite, l'offload IPv6 fonctionne et permet d'être au maximum de la bande passante fourni par K-Net.

Code Sélectionner Étendre


#---- Ubiquiti EdgeRouter Lite -----------------------------------#
| IPv4 DL | ~950 Mb/s                                             |
| IPv4 UL | ~750 Mb/s (même débit avec le PC en direct sur l'ONT) |
| IPv6 DL | ~950 Mb/s                                             |
| IPv6 UL | ~750 Mb/s (même débit avec le PC en direct sur l'ONT) |
#-----------------------------------------------------------------#


Je peux coller des morceaux de conf si besoin. Suffit de demander.

edit: Update avec le test de TheDark
edit: Feedback vs EdgeRouter Lite + Tableau bande passante

[thedark]

Salut,
Tu as essayé le serveur Bouygues Telecom(40 Gb/s)  sur nperf.com ?
Cordialement

[halesk2k]

Merci de l'info, alors:

IPv4:
- DL:~950Mb/s / CPU 13%
- UL: ~750Mb/s / CPU 13%

IPv6:
- DL: ~500Mb/s / CPU ~35%
- UL: ~400Mb/s / CPU ~40%

Pas terrible en IPv6 étant donné qu'il n'y a pas d'accélération hardware. Faudrait que je ressaye avec mon EdgeRouter Lite pour comparer.

[Eototo]

Quels sont les avantages de cette box par rapport à celle de Knet ?

[halesk2k]

Quels sont les avantages de cette box par rapport à celle de Knet ?

Le routeur Mikrotik n'est pas vraiment une "Box". C'est à dire qu'elle n'a pas de prise téléphone par exemple, ni même de WiFi. C'est juste un routeur.

Alors c'est quoi l'avantage?

Si, comme moi, on n'a pas besoin du téléphone fixe, ni du WiFi, ca permet par exemple:
- De faire des vlan sur ton réseau interne pour créer des zones de sécurité différentes: lan, guest, dmz, ...
- Pouvoir monter des VPN avec d'autres routeurs. Dans mon cas, je m'en sers pour protéger une réplication de NAS distante, et centraliser une console Ubiquiti Unifi pour gérer des AP WiFi distant.
- Baisser le niveau de paranoïa en ne laissant pas de "Box" que je ne maîtrise pas, accéder à mes équipements sur mon réseau interne.
- Et bien d'autre suivant ton niveau de Geekitude...

[Eototo]

OK merci !

[ShovelHead]

Le routeur Mikrotik n'est pas vraiment une "Box". C'est à dire qu'elle n'a pas de prise téléphone par exemple, ni même de WiFi. C'est juste un routeur.

Alors c'est quoi l'avantage?

Si, comme moi, on n'a pas besoin du téléphone fixe, ni du WiFi, ca permet par exemple:
- De faire des vlan sur ton réseau interne pour créer des zones de sécurité différentes: lan, guest, dmz, ...
- Pouvoir monter des VPN avec d'autres routeurs. Dans mon cas, je m'en sers pour protéger une réplication de NAS distante, et centraliser une console Ubiquiti Unifi pour gérer des AP WiFi distant.
- Baisser le niveau de paranoïa en ne laissant pas de "Box" que je ne maîtrise pas, accéder à mes équipements sur mon réseau interne.
- Et bien d'autre suivant ton niveau de Geekitude...

👍👍👍

[Hugues]

T'es sur que l'offload ne marche pas en v6 ? J'ai bien le Gig sur un Hex normal moi...

[halesk2k]

T'es sur que l'offload ne marche pas en v6 ? J'ai bien le Gig sur un Hex normal moi...

Je me suis peut être planté quelque part... Je fais mumuse sérieusement avec Mikrotik que depuis quelques jours.
Pour moi l'offload, il est implicite dans l'action du firewall filter. Sauf qu'en IPv6, il n'y a que "action=accept". Alors qu'en IPv4, il y a "action=fasttrack-connection".

Pour être sûre que ça ne soit pas un problème coté Internet, j'ai fait un iperf entre deux PC dans deux vlan locaux séparés avec en première règle firewall "action=accept chain=forward".

Le hEX et le hEX S sont quasi identique à part le port SFP et le POE 802.3af/at (la raison pour laquelle j'ai pris un hEX S), ca devrait donc être assez similaire. Etant donné que j'ai bien du Gigabit en IPv4, c'est que je respecte bien le "cable interne" du routeur (https://i.mt.lv/cdn/rb_files/RB760iGS-dsw-180517144423.png).

T'es bien sûre d'avoir 1 Gb/s en IPv6 ?

Du coup, si a une idée, ou si tu peux me poster quelques lignes de conf de ton routeur, je veux bien

[Hugues]

Le fasttrack c'est pour le fastpath en conntrack, pas de conntrack en IPv6 vu que pas de NAT !

Je ressortirais un Hex du placard et j'irais tester ça dans la semaine, tous ceux que j'ai en prod en ce moment sont derrière des tunnels.

[halesk2k]

Bien vu, je n'avais pas vu qu'il une différence entre fastpath et fasttrack.

Je suis un peu perdu du coup. Dans le monde linux (l'OS sous-jacent à RouterOS), la conntrack sert surtout pour faire du firewall statefull (new, related, established), en plus de servir à tenir la table de mapping de NAT/PAT. Pour moi, ce n'est pas parce qu'il n'y a pas de NAT qu'il n'y a pas de conntrack. Du coup, comme je suis un peu borné, je suis parti sur cette hypothèse.

Du coup, j'ai fait quelques recherche sur fastpath/fasttrack sur IPv6 chez Mikrotik et je suis tombé sur cette prez: https://mum.mikrotik.com/presentations/UA15/presentation_3077_1449654925.pdf

Apparemment, fastpath fonctionne en IPv4 et IPv6, mais fasttrack ne fonctionne qu'en IPv4.

Test en réel donc. Et effectivement, ca semble être le cas. En IPv6, tant qu'il n'y a pas de règle de firewall (routage simple), le fastpath semble s'activer pour l'IPv6.

Code Sélectionner Étendre


[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-1.00   sec  99.9 MBytes   838 Mbits/sec                 
[  5]   1.00-2.00   sec   110 MBytes   921 Mbits/sec                 
[  5]   2.00-3.00   sec   102 MBytes   855 Mbits/sec                 
[  5]   3.00-4.00   sec   110 MBytes   921 Mbits/sec                 
[  5]   4.00-5.00   sec   108 MBytes   907 Mbits/sec                 
[  5]   5.00-6.00   sec   108 MBytes   905 Mbits/sec                 
[  5]   6.00-7.00   sec   109 MBytes   914 Mbits/sec                 
[  5]   7.00-8.00   sec   110 MBytes   919 Mbits/sec                 
[  5]   8.00-9.00   sec   110 MBytes   921 Mbits/sec                 
[  5]   9.00-10.00  sec   110 MBytes   918 Mbits/sec                 
[  5]  10.00-10.04  sec  4.16 MBytes   913 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-10.04  sec  0.00 Bytes  0.00 bits/sec                  sender
[  5]   0.00-10.04  sec  1.05 GBytes   902 Mbits/sec                  receiver


Je met le coup des légère fluctuation au fait qu'un des peers est une VM. Mais on est bien au quasi gigabit là.

Par contre, dès que j'active la moindre règle de firewall.

Code Sélectionner Étendre

/ipv6 firewall filter> add chain=forward action=accept

- Je suppose que - le fastpath se désactive, et on tombe à 500 Mb/s.

Code Sélectionner Étendre


[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-1.00   sec  57.1 MBytes   479 Mbits/sec                 
[  5]   1.00-2.00   sec  62.8 MBytes   527 Mbits/sec                 
[  5]   2.00-3.00   sec  62.6 MBytes   525 Mbits/sec                 
[  5]   3.00-4.00   sec  63.1 MBytes   529 Mbits/sec                 
[  5]   4.00-5.00   sec  63.2 MBytes   530 Mbits/sec                 
[  5]   5.00-6.00   sec  63.3 MBytes   531 Mbits/sec                 
[  5]   6.00-7.00   sec  63.9 MBytes   536 Mbits/sec                 
[  5]   7.00-8.00   sec  63.2 MBytes   530 Mbits/sec                 
[  5]   8.00-9.00   sec  61.6 MBytes   517 Mbits/sec                 
[  5]   9.00-10.00  sec  64.1 MBytes   538 Mbits/sec                 
[  5]  10.00-10.04  sec  2.33 MBytes   530 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-10.04  sec  0.00 Bytes  0.00 bits/sec                  sender
[  5]   0.00-10.04  sec   627 MBytes   524 Mbits/sec                  receiver


[Hugues]

étonnant pour la règle accept sur forward, mais effectivement ne n'en mets pas sur mes routeurs...
Bienvenue chez Mikrotik et leurs bug bizarres...

[halesk2k]

Ma conclusion à 2cts.

C'est super frustrant

- Malgré les kilomètres de docs sur le site de Mikrotik, ainsi que leur forum qui compte des millers de messages, ca n'est jamais clairement expliqué comment fonctionne le fastpath et ses limitations. J'ai du trouver l'info dans une prez...
- J'ai posté une question sur le forum de Mikrotik il y a 3 jours. C'est toujours en attente de modération... A croire que ca les déranges d'afficher des questions sans réponse (mode complotiste)
- J'aime bien le form factor du Hex S, avec l'alimentation en 802.3af par le switch auquel il est raccordé.
- N'ajoute que 3.4 W sur le switch en POE, au lieu des 8 W via le transfo de mon EdgeRouter Lite. Et donc chauffe moins...

Alternative ?

- Est-ce que le "hAP ac²", avec son vrai CPU ferait mieux? Apparement c'est similaire au EdgeRouter X, donc ca devrait gérer du gigabit sans offload normalement. Sauf qu'apparement, il chauffe pas mal, j'aime pas le form factor, et d'après la doc, il consomerait 15W, mais est-ce que c'est le max avec un équipement POE sur le port 5? mystère, impossible de trouver la réponse, sauf a en acheter un et tester soit-même. Frustrant...

- Apparement, le RB3011 ferait l'affaire coté débit IPv4/IPv6. Mais il manque l'accélération IPSec...

Frustrant, y a toujours un truc qui cloche, sauf à aller taper dans les CCR, mais ca n'est pas le même prix.

Donc en attendant, j'ai remis mon EdgeRouteur Lite, avec son offload IPv4, IPv6 et IPsec. En esperant que l'offload IPv6 en fasttrack fonctionne dans une future release de RouterOS (je suis sûre que le controlleur sait le gérer en plus, c'est juste pas implémenté)

Le Hex S va aller remplacer un hAP Lite limité à 100Mb/s actuelement sur une fibre Sosh 300/300.

[Hugues]

En esperant que l'offload IPv6 en fasttrack

Toujours pas ! Fastpath. Tu n'auras jamais de fasttrack en IPv6.

Sinon, le rb3011 fait le boulot oui. C'est ce que j'ai @ home et pour l'infra de collecte de MilkyWan.

[halesk2k]

Sur ce coup la, c'est bien ce que j'ai voulu dire. Pourquoi je n'aurais jamais de fasttrack en IPv6 ?

D'après la doc (https://wiki.mikrotik.com/wiki/Manual:IP/Fasttrack), le fasttrack en IPv4 ne sert pas que pour le NAT, donc pourquoi pas en IPv6 aussi ?

IPv4 FastTrack handler is automatically used for marked connections. Use firewall action "fasttrack-connection" to mark connections for fasttrack. Currently only TCP and UDP connections can be actually fasttracked (even though any connection can be marked for fasttrack). IPv4 FastTrack handler supports NAT (SNAT, DNAT or both).

SI j'en crois ce qui est écrit, une fois qu'une connexion a été taggué fasttrack par l'OS, tous les paquets suivant de la même connexion seront traité par le micro controlleur sans passer par la stack OS.

Et en bonus, le fasttrack gère aussi le NAT, mais ce n'est pas sa fonction principale.

Du coup, j'ai remis le Hex S pour tester (heureusement que le Hex et l'ERL ont la même conf )

J'ai deux vlan locaux sans NAT entre les deux (192.168.50.0/24 et 192.168.70.0/24). Sur le Hex, les IP dans ces deux vlans sont sur la même interface physique, l'un en natif, l'autre en tagué, ce qui explique, je pense, qu'on plafone à 870Mb/s, mais ca suffira pour le test)

Avec le fasttrack (conf par défaut):

Code Sélectionner Étendre


alex@d630:~$ iperf3 -c 192.168.50.195
Connecting to host 192.168.50.195, port 5201
[  4] local 192.168.70.146 port 57114 connected to 192.168.50.195 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec   105 MBytes   881 Mbits/sec    0    383 KBytes       
[  4]   1.00-2.00   sec   102 MBytes   857 Mbits/sec    0    407 KBytes       
[  4]   2.00-3.00   sec   103 MBytes   864 Mbits/sec    0    430 KBytes       
[  4]   3.00-4.00   sec   104 MBytes   874 Mbits/sec    0    450 KBytes       
[  4]   4.00-5.00   sec   103 MBytes   868 Mbits/sec    0    450 KBytes       
[  4]   5.00-6.00   sec   104 MBytes   875 Mbits/sec    0    450 KBytes       
[  4]   6.00-7.00   sec   105 MBytes   880 Mbits/sec    0    450 KBytes       
[  4]   7.00-8.00   sec   104 MBytes   871 Mbits/sec    0    484 KBytes       
[  4]   8.00-9.00   sec   104 MBytes   873 Mbits/sec    0    508 KBytes       
[  4]   9.00-10.00  sec   104 MBytes   870 Mbits/sec    0    508 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  1.01 GBytes   871 Mbits/sec    0             sender
[  4]   0.00-10.00  sec  1.01 GBytes   870 Mbits/sec                  receiver

iperf Done.


Je désactive la règle de marquage fasttrack:

Code Sélectionner Étendre


#  8    ;;; defconf: fasttrack
#      chain=forward action=fasttrack-connection connection-state=established,related

[alex@bty-gw] /ip firewall filter> set disabled=yes 8


iperf:

Code Sélectionner Étendre


alex@d630:~$ iperf3 -c 192.168.50.195
Connecting to host 192.168.50.195, port 5201
[  4] local 192.168.70.146 port 57118 connected to 192.168.50.195 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  50.5 MBytes   424 Mbits/sec   20    170 KBytes       
[  4]   1.00-2.00   sec  49.5 MBytes   415 Mbits/sec   12    154 KBytes       
[  4]   2.00-3.00   sec  49.8 MBytes   418 Mbits/sec    7    163 KBytes       
[  4]   3.00-4.00   sec  50.1 MBytes   420 Mbits/sec   11    134 KBytes       
[  4]   4.00-5.00   sec  49.8 MBytes   418 Mbits/sec    7    177 KBytes       
[  4]   5.00-6.00   sec  51.6 MBytes   433 Mbits/sec   20    132 KBytes       
[  4]   6.00-7.00   sec  51.1 MBytes   429 Mbits/sec   17    174 KBytes       
[  4]   7.00-8.00   sec  51.5 MBytes   432 Mbits/sec   10    154 KBytes       
[  4]   8.00-9.00   sec  51.7 MBytes   434 Mbits/sec    8    163 KBytes       
[  4]   9.00-10.00  sec  51.3 MBytes   431 Mbits/sec   10    198 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec   507 MBytes   425 Mbits/sec  122             sender
[  4]   0.00-10.00  sec   506 MBytes   425 Mbits/sec                  receiver

iperf Done.


50% de perf en moins sans le fasttrack IPv4. On peut conclure que le fasttrack ne sert donc pas qu'au NAT, mais bien à n'importe quelle session TCP (et UDP, d'après la doc, mais je n'aime pas dire "session udp" ). Donc pourqoi pas de fasttrack en IPv6 ? surtout que sur la page du controller (https://www.mediatek.com/products/homeNetworking/mt7621n-a), c'est bien spécifié "Network Accelerator: 2Gbps IPv4/6 routing". Je pense que c'est simplement que Mikrotik ne l'a pas implémenté.

Donc je persiste sur ce coup:
Fastpath (routage sans règle de FW): IPv4 et IPv6
Fasttrack: IPv4 uniquement

Et j'epère que Mikrotik va sortir le fasttrack pour IPv6 dans un prochain RouterOS.

Sinon, j'ai un Edgerouter X dans la famille, même plateforme que les Hex/Hex S (mt7621a) et je suis persuadé que l'IPv6 est bien accéléré, même avec quelques règles de firewall, je testerais dès que j'aurais la main dessus

Et pour le RB3011, tu me confirmes qu'il peut router l'IPv6 en 1Gb/s avec quelques filter basiques ? Mon besoin, c'est juste de bloquer les connexions entrantes.