# Accès direct à la mémoire à distance (RDMA) pour les périphériques Ethernet Intel®

L’accès direct à la mémoire à distance, ou RDMA (Remote Direct Memory Access), permet à un périphérique réseau de transférer des données directement depuis et vers une mémoire d’application sur un autre système, ce qui augmente le débit tout en réduisant la latence dans certains environnements réseau.

- Les périphériques Ethernet Intel® série 800 prennent en charge iWARP et RoCEv2.
- Les périphériques Ethernet Intel® série X722 prennent uniquement en charge iWARP.

La principale différence est que le protocole iWARP exécute RDMA sur TCP, alors que le protocole RoCEv2 utilise UDP.

Sur les périphériques dotés de capacités RDMA, le RDMA est pris en charge sur les systèmes d'exploitation suivants :

- Linux*
- FreeBSD*
- VMware* ESXi*
- Microsoft* Windows Server*

Pour éviter une dégradation des performances due aux pertes de paquets, activez le contrôle de flux au niveau du lien ou le contrôle de flux prioritaire (PFC) sur tous les commutateurs et interfaces réseau.

| REMARQUES : Sur les systèmes utilisant un système d'exploitation Microsoft Windows Server, l'activation du *QoS/contrôle de flux prioritaire désactivera le contrôle de flux au niveau du lien. Les périphériques basés sur Ethernet Intel® série 800 ne prennent pas en charge RDMA lorsqu’ils fonctionnent en mode multiport avec plus de quatre ports. Sur les systèmes Linux, RDMA et l'agrégation de liens (LAG, également appelée liaison) ne sont pas compatibles sur la plupart des appareils. Si la fonctionnalité RDMA est activée, la liaison ne sera pas fonctionnelle. Sur les périphériques Ethernet Intel série 810, RDMA et LAG sont compatibles lorsque toutes les conditions suivantes sont réunies : La technologie RDMA est réglée sur RoCEv2. La configuration LAG est réglée sur la sauvegarde active. La liaison (ou agrégation) se fait entre deux ports sur le même appareil. La configuration de la qualité de service (QoS) des deux ports est la même avant la liaison des périphériques.

## RDMA sur Linux ou FreeBSD

Pour les périphériques Ethernet Intel® qui prennent en charge le RDMA sur Linux ou FreeBSD, utilisez les pilotes indiqués dans le tableau suivant.

Périphérique | Linux | FreeBSD | Protocoles pris en charge
--- | --- | --- | ---
Pilote de base | Pilote RDMA | Pilote de base | Pilote RDMA
Ethernet Intel® série 800 | ice | irdma | ice | irdma | RoCEv2, iWARP
Ethernet Intel® série X722 | i40e | irdma | ixl | iw_ixl | iWARP

##### Instructions d'installation de base

À un niveau élevé, voici les étapes suivantes pour l'installation et la configuration de RDMA sur Linux ou FreeBSD. Consultez le fichier README dans le fichier .tar du pilote RDMA approprié pour plus d'informations.

1. Installez le pilote de base.
2. Installez le pilote RDMA.
3. Installez et corrigez n'importe quelle bibliothèque RDMA pour mode utilisateur. Les étapes précises varient selon le système d'exploitation ; reportez-vous au fichier Readme du pilote RDMA pour plus détails.
4. Activez le contrôle de flux sur votre appareil. Reportez-vous au fichier README du pilote de base pour plus d'informations et pour les modes pris en charge.
5. Si vous utilisez un RoCe, activez le contrôle de flux (PFC ou LFC) sur l'appareil et le point de terminaison auquel votre système est connecté. Consultez la documentation de votre commutateur et, pour Linux, le guide Intel® Ethernet 800 Series Linux Flow Control Configuration Guide for RDMA Use Cases pour plus d'informations.

### RDMA pour les environnements virtualisés sous Linux

Les périphériques basés sur la gamme Intel Ethernet série 800 prennent en charge le RDMA sous une FV Linux sur les hôtes Windows ou Linux pris en charge. Reportez-vous au fichier README contenu dans l'archive tar du pilote RDMA Linux pour en savoir plus sur le chargement et la configuration de RDMA sous une FV Linux.

## RDMA sur Microsoft Windows

### RDMA pour les applications Network Direct (ND) en mode utilisateur

Network Direct (ND) permet aux applications en mode utilisateur d’utiliser les fonctionnalités RDMA.

| REMARQUE : les applications en mode utilisateur peuvent avoir des conditions requises telles que Microsoft HPC Pack ou la bibliothèque Intel MPI. Reportez-vous à la documentation de votre application pour plus de détails.

#### Installation du mode utilisateur RDMA

Intel® Ethernet User Mode RDMA Provider est pris en charge sur Microsoft Windows Server 2012 R2 et versions ultérieures.

Suivez les étapes ci-dessous pour installer les fonctionnalités Network Direct (ND) en mode utilisateur.

1. Exécutez Autorun.exe depuis le support d’installation pour lancer le programme d’installation, puis choisissez « Installer les pilotes et le logiciel » et acceptez le contrat de licence.
2. Dans l’écran des options d’installation, sélectionnez « Intel® Ethernet User Mode RDMA Provider ».
3. Dans l’écran des options de configuration RDMA, sélectionnez « Activer le routage RDMA sur les sous-réseaux IP » si vous le souhaitez. Notez que cette option s’affiche lors de l’installation du pilote de base même si l’option RDMA en mode utilisateur (User Mode) n’a pas été sélectionnée, car cette option s’applique également à la fonctionnalité Network Direct Kernel.
4. Si le Pare-feu Windows est installé et activé, sélectionnez « Créer une règle de service de mappage de port RDMA Ethernet Intel® dans le Pare-feu Windows » et les réseaux auxquels appliquer la règle.

   | REMARQUE : si le Pare-feu Windows est désactivé ou que vous utilisez un pare-feu tiers, vous devrez ajouter cette règle manuellement.

5. Poursuivez l’installation des pilotes et logiciels.

### RDMA Network Direct Kernel (NDK)

La fonctionnalité RDMA Network Direct Kernel (NDK) est incluse dans les pilotes réseau de base Intel et aucune autre fonctionnalité ne doit être installée.

#### Routage RDMA sur les sous-réseaux IP

Si vous souhaitez autoriser la fonctionnalité RDMA NDK sur les sous-réseaux, vous devez sélectionner « Activer le routage RDMA sur les sous-réseaux IP » dans l’écran des options de configuration RDMA lors de l’installation des pilotes de base.

### Activation du contrôle de flux prioritaire (PFC) sur un système d'exploitation Microsoft Windows Server

Pour éviter une dégradation des performances due aux pertes de paquets, activez le contrôle de flux prioritaire (PFC) ou le contrôle de flux au niveau du lien sur tous les commutateurs et interfaces réseau.

| REMARQUE : sur les systèmes utilisant un système d'exploitation Microsoft Windows Server, l'activation du *QoS/contrôle de flux prioritaire désactivera le contrôle de flux au niveau du lien.

Utilisez les commandes PowerShell* suivantes pour activer le contrôle de flux prioritaire (PFC) sur Microsoft Windows Server :

`Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"`

### Vérification du fonctionnement de RDMA avec Microsoft PowerShell

Vous pouvez confirmer l'activation du RDMA sur toutes les interfaces réseau en utilisant la commande Microsoft PowerShell suivante :

`Get-NetAdapterRDMA`

Utilisez la commande PowerShell suivante pour confirmer que les interfaces réseau sont compatibles avec RDMA et que la fonctionnalité multicanale est activée :

`Get-SmbClientNetworkInterface`

Utilisez la commande PowerShell suivante pour confirmer que la fonctionnalité Network Direct est activée dans le système d'exploitation :

`Get-NetOffloadGlobalSetting | Sélectionnez NetworkDirect`

Utilisez netstat pour confirmer que chaque interface réseau compatible avec RDMA a un écouteur sur le port 445 (les SE des clients Windows prenant en charge l’accès RDMA ne doivent pas configurer d’écouteur). Par exemple :

`netstat.exe -xan | ? {$_ -match "445"}`

### RDMA pour les environnements virtualisés sous Windows

Pour activer la fonctionnalité RDMA sur l'/les adaptateur(s) virtuel(s) connecté(s) à un commutateur VMSwitch, vous devez :

- Activez les propriétés avancées SR-IOV (Single Root IO Virtualization) et VMQ (Virtual Machine Queues) sur chaque port.
- Définissez le nombre de FV à activer avec les capacités RDMA. Vous pouvez activer jusqu'à 32 FV avec des capacités RDMA.

Dans certaines circonstances, vous pouvez désactiver ces paramètres par défaut. Vous pouvez configurer manuellement ces options dans le volet Paramètres de la carte de l'ACU Intel PROset dans l'onglet Avancé de la boîte de dialogue des propriétés de la carte, ou à l'aide des commandes PowerShell suivantes :

`Set-NetAdapterAdvancedProperty -Name <nom_carte_interface_réseau> -RegistryKeyword *SRIOV -RegistryValue 1`

`Set-NetAdapterAdvancedProperty -Name <nom_carte_interface_réseau> -RegistryKeyword *VMQ -RegistryValue 1`

`Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <1-32>`

### Configuration de RDMA pour la prise en charge d'invités (mode NDK 3)

Le mode NDK 3 permet aux composants Windows en mode noyau d'utiliser les fonctionnalités RDMA dans les partitions invitées Hyper-V. Pour activer le mode NDK 3 sur un périphérique Ethernet Intel, procédez comme suit :

1. Activez SR-IOV dans le BIOS/UEFI de votre système.
2. Activez le paramètre avancé SR-IOV sur le périphérique.
3. Activez SR-IOV sur le commutateur VMSwitch lié au périphérique en exécutant la commande suivante pour toutes les fonctions physiques de ce même périphérique :
   `New-VMSwitch -Name <nom_du_commutateur> -NetAdapterName <nom_du_périphérique>`
   `-EnableIov $true`
4. Configurez le nombre de fonctions virtuelles (FV) RDMA sur le périphérique en définissant le paramètre avancé « RdmaMaxVfsEnabled ». Toutes les fonctions physiques doivent avoir la même valeur. La valeur est le nombre maximum de FV compatibles RDMA en une fois pour le périphérique tout entier. L’activation d’un plus grand nombre de FV va limiter les ressources RDMA au niveau des fonctions physiques (FP) et d’autres FV.
   `Set-NetAdapterAdvancedProperty -Name <nom_du_périphérique> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <valeur : 0 - 32>`
5. Désactivez toutes les cartes FP sur l’hôte et réactivez-les. Cette opération est exigée lorsque la clé de registre « RdmaMaxVfsEnabled » est modifiée ou lors de la destruction d’un VMSwitch.
   `Get-NetAdapterRdma | Disable-NetAdapter`
   `Get-NetAdapterRdma | Enable-NetAdapter`
6. Créez les cartes réseau MV pour les machines virtuelles qui requièrent la prise en charge des FV RDMA.
   `Add-VMNetworkAdapter -VMName <nom_de_la_MV> -VMNetworkAdapterName <nom_du_périphérique> -SwitchName <nom_du_commutateur>`
7. Si vous comptez utiliser la mise à jour Microsoft Windows 10 Creators (RS2) ou une version ultérieure sur une partition invitée, configurez la pondération RDMA sur la carte réseau MV en saisissant la commande suivante sur l’hôte :
   `Set-VMNetworkAdapterRdma -VMName <nom_de_la_MV> -VMNetworkAdapterName <nom_du_périphérique> -RdmaWeight 100`
8. Définissez le poids SR-IOV sur la carte réseau MV (remarque : le poids SR-IOV doit être défini sur 0 avant de définir RdmaWeight sur 0) :
   `Set-VMNetworkAdapter -VMName <nom_de_la_MV> -VMNetworkAdapterName <nom_du_périphérique> -IovWeight 100`
9. Installez la carte réseau FV avec le programme d’installation PROSET sur la MV.
10. Activez RDMA sur le pilote FV et la carte réseau Hyper-V en utilisant PowerShell sur la MV :
    `Set-NetAdapterAdvancedProperty -Name <nom_du_périphérique> -RegistryKeyword RdmaVfEnabled -RegistryValue 1`
    `Get-NetAdapterRdma | Enable-NetAdapterRdma`

### Accès RDMA pour les fonctionnalités NDK telles que SMB Direct (Server Message Block)

NDK permet aux composants Windows (le stockage SMB Direct, par exemple) d’utiliser les fonctionnalités RDMA.

#### Test NDK : Microsoft Windows SMB Direct avec DiskSPD

Cette section recommande une méthode pour tester l’accès RDMA pour la fonctionnalité Ethernet Intel® et les performances sur les systèmes d’exploitation Microsoft Windows.

Remarque : SMB Direct étant une charge de travail de stockage, les performances du banc d’essai peuvent être limitées à la vitesse du périphérique de stockage plutôt qu’à l’interface réseau testée. Intel recommande d’utiliser le stockage le plus rapide possible afin de tester les vraies capacités du ou des périphériques réseau testés.

Instructions de test :

1. Configurez et connectez au moins deux serveurs exécutant un système d'exploitation Microsoft Windows Server pris en charge, avec au moins un périphérique Ethernet Intel® compatible avec RDMA par serveur.
2. Sur le système désigné comme étant le serveur SMB, configurez un partage SMB. Remarque : les performances du banc d’essai peuvent être limitées à la vitesse du périphérique de stockage plutôt qu’à l’interface réseau testée. La configuration du stockage n'entre pas dans le cadre de ce document. Vous pouvez utiliser la commande PowerShell suivante :
   `New-SmbShare -Name <nom_du_partage_SMB> -Path <chemin_du_fichier_de_partage_SMB> -FullAccess <nom_du_domaine>\Administrator,Everyone`
   Par exemple :
   `New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone`
3. Téléchargez et installez l’utilitaire Diskspd Microsoft à l’adresse suivante : https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
4. En utilisant CMD ou Powershell, exécutez la commande cd dans le dossier DiskSpd et lancez les tests. (Reportez-vous à la documentation de Diskspd pour plus de détails sur les paramètres.)
   Par exemple : configurer la taille de bloc sur 4K, exécuter le test pendant 60 secondes, désactiver toutes les mises en cache matérielles et logicielles, mesurer et afficher les statistiques de latence, exploiter 16 E/S se chevauchant et 16 threads par cible, 0 % d’écritures et 100 % de lectures aléatoires, et créer un fichier test de 10 Go sous « \\<SMBserverTestIP>\<SMBsharename>\test.dat » :
   `.\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverTestIP>\<SMBsharename>\test.dat`
5. Vérifiez que le trafic RDMA est exécuté à l’aide de compteurs perfmon tels que « RDMA Activity » et « SMB Direct Connection ». Reportez-vous à la documentation pour plus de détails.

## Assistance à la clientèle

- Site Web principal d'assistance Intel : http://www.intel.fr/content/www/fr/fr/support.html
- Informations sur les produits réseau : https://www-ssl.intel.com/content/www/fr/fr/communications/network-transformation.html

## Mentions légales / Exclusions de responsabilité

Copyright (C) 2019 - 2022, Intel Corporation. Tous droits réservés.

Ce logiciel et les documents connexes sont des documents soumis à des droits d'auteur et l'utilisation que vous en faites est régie par la licence expresse en vertu de laquelle ils vous ont été fournis (« Licence »). Sauf si la Licence en dispose autrement, vous de ne devez pas utiliser, modifier, copier, publier, distribuer, divulguer ou transmettre ce logiciel ou les documents associés sans l'autorisation écrite préalable d'Intel.

Ce logiciel et les documents connexes sont fournis tels quels, sans garanties expresses ou implicites, en dehors de celles qui sont expressément stipulées dans la Licence.

Les technologies Intel peuvent nécessiter du matériel, des logiciels ou l'activation de services compatibles.

Aucun produit ou composant ne saurait être totalement sécurisé.

Vos coûts et résultats peuvent varier.

Intel, le logo Intel et les autres marques Intel sont des marques commerciales d'Intel Corporation ou de ses filiales.

*Les autres marques et noms de produits sont des marques commerciales appartenant à leurs propriétaires respectifs.