Version 0.1 Auteurs : Frederic Ayrault Joel Marchand D'autres personnes de asr@services.cnrs.fr =================================================== Outils conseillés d'administration d'un serveur HPE =================================================== */ Vérification de la garantie ------------------------------ - 1ere vue - via https://support.hpe.com/hpsc/wc/public/find - juste après installation : 3 ans, mais cela va passer à 7 ans dixit le commercial ;-) - au bout de 3 semaines, la garantie 7 ans est désormais apparue en l'état "A venir" ;-) - peu de temps après, tout est passé à "Active" - le site peut ne pas répondre ; réessayer plus tard - plusieurs collègues témoignent qu'il faut souvent beaucoup de demandes et de mois avant que cela évolue - au besoin, écrire à feedback-matinfo@hpe.com avec cc: matinfo5-lot4@groupes.renater.fr avec tous les éléments nécessaires (dates, destinataires, numéro de devis, etc) pour faire avancer - 2eme vue - via https://support.hpe.com/connect/s/assets - 3eme vue - via https://infosight.hpe.com/ - 4eme vue - dans Oneview / Servers / Server Hardware / choisir "Remote Support" -> les 4 vues sont cohérentes :-) Il doit aussi exister un accès par API. */ Configuration iLO -------------------- - tous les serveurs vendus via Matinfo-5 disposent d'une licence payante 'advanced' où toutes les fonctions sont disponibles - sur Apollo 4200, il y a 2 ports ILO physiques réponse du SAV : "Il y a 2 ports iLO sur la machine afin de pouvoir créer un chaînage de plusieurs iLO. Cela a pour but dans un environnement rackable de permettre au client d'économiser des ports switch au niveau de l'infra / d'économiser des couts d'infra si la machine est hébergée dans un datacenter." - configuration réseau IP / DNS / FQDN / NTP / loghost / relai SMTP / SNMP via menu ILO Dedicated Network Port : General / IPv4 / SNTP menu Management : SNMP Setting / AlertMail / Remote syslog - "Si vous voulez configurer les iLOs dans un VLAN qu'il faut tagguer, le seul moyen de faire cette configuration est d'utiliser Redfish. Les outils délivrés par HPe (hponcfg notamment) ne le permettent pas." Cf aussi https://support.hpe.com/hpesc/public/docDisplay?docId=sd00001068en_us&page=s_config_vlan_config.html - configuration IPMI cela permet d'interroger le serveur à distance, via par exemple check_ipmi_sensor - FIXME : installation du pack FR menu Firmware -> pas compris comment faire - comptes menu Administration : User Administration changement du pw Administrator ajout d'un compte "ijmadmin" chargement d'une clef SSH pour accès CLI -> FIXME : ne semble pas exister - FIXME alarmes/notifications envoi de tout par SMTP et SNMP : pas compris si on peut choisir ce qui remonte (par type ou niveau de criticité) - Boot order menu Administration / Boot order -> choisir ce que l'on veut rem : il existe une méthode "UEFI sur HTTP", proposée avant PXE Cf https://support.hpe.com/hpesc/public/docDisplay?docId=sd00001068en_us&docLocale=en_US&page=s_setting_http_sup.html et https://documentation.suse.com/sles/15-SP2/html/SLES-all/cha-deployment-prep-uefi-httpboot.html ainsi que https://www.dell.com/support/kbdoc/en-us/000138011/http-boot-in-sles-15 ATTENTION : une fois qu'on a booté en PXE et installé un OS, cela modifie le Boot Order du serveur, en insérant en premier une nouvelle entrée avec le nom de la famille de l'OS (debian, ubuntu, ...) Aussi la fois suivante on ne reboote PAS en PXE, mais forcément sur le disque - Remote Support pour remontée des informations vers "InfoSight for servers" IMPORTANT : il existe en fait 2 lieux de remontée de son parc chez HPE https://support.hpe.com/connect/s/assets https://infosight.hpe.com/ Il convient de privilégier comme serveur l'outil OneView (cf plus bas) : c'est *depuis* Oneview que ce lien s'établit vers iLO on dispose alors de 2 fonctions d'envoi d'informations à HPE Data Collection Information Active Health System Reporting - utilisation de la console HTML 5 - "possibilité de configurer Remote Console 6 HotKeys (Ctrl-T->Y) de 5 touches ex : crtl-alt-F1 F2 F3, ctrl-alt-backspace, alt-printscr-k -> besoin d'utiliser Chrome en pleine écran" - reset la fonction reset dans "Information/Diagnostics" */ Gestion du stockage ---------------------- - iLO a besoin d'un Agentless Management Service pour tout afficher mais il faut installer ce logiciel dans l'OS du serveur - cf paragraphe ci-dessous - une piste pas explorée jusqu'au bout : Lifecycle Management > Intelligent Provisioning cliquer sur Always On (qui pour moi ressemble plus à un état...) on tombe sur un assistant avec plein de pages et d'options de configuration. - par défaut : besoin d'utiliser HPE Smart Storage Administrator (SSACLI) : https://support.hpe.com/connect/s/softwaredetails?language=fr&softwareId=MTX_521fc533ba8f468f9ad9db20e4 https://gist.github.com/mrpeardotnet/a9ce41da99936c0175600f484fa20d03 https://gitea.evolix.org/evolix/ansible-roles/raw/commit/073f2b5b09f7d80c2c33a9b7d269b7618259fcd3/nagios-nrpe/files/plugins/check_hpraid - au boot-time, on peut taper sur F9 - on peut aussi booter sur l'image ISO du SPP qui comporte SSA - une fois l'OS installé "on peut installer le logiciel SSACLI et Firefox pour y accéder à distance ssh -X root@ -C 'ssa -local' car il n'écoute que sur localhost et le port change à chaque fois" - on devrait pouvoir voir la construction des LUN RAID via l'outil 'ssacli' */ Mise à jour des firmwares ---------------------------- - informations - présentation des outils https://www.hpe.com/fr/fr/servers/smart-update.html - autres articles intéressants https://developer.hpe.com/blog/hpe-firmware-updates-part-1-file-types-and-smart-components/ https://developer.hpe.com/blog/hpe-firmware-updates-part-2-interaction-in-operating-modes/ -> il existe plusieurs formats de MAJ : .rpm , .exe , .fwpkg , .zip - Service Pack for ProLiant (SPP) - a priori HPE produit 2 fois par an une compilation des firmwares pour la gamme des serveurs Proliant - c'est ce SPP livré sous forme d'image ISO qu'il faut charger dans les outils Oneview et iLO Amplifier Pack - mars 2023 : pour les Proliant Gen10, le dernier est 2022.09.01.02 accessible en https://techlibrary.hpe.com/us/en/enterprise/servers/products/service_pack/spp/index.aspx?version=gen10.2022.09.01.00#!&tab=TAB4 - dans iLO / Firmware & OS Software / Installation queue , on voit les MAJ pretes à être appliquées : en cliquant dessus, on peut avoir plus de détails sur chaque MAJ - le format via le "File name" - quel outil peut l'appliquer : - par iLO : - par le serveur : UEFI/BIOS - par des logiciels dans l'OS : Smart Update Manager, Smart Update Tool - l'indication "Start Time: Immediately after the associated updater checks" semble indiquer que c'est le premier qui sera appliqué -> s'il bloque, le supprimer de la queue permet aux autres d'être appliquées lors du prochain reboot du serveur (1 MAJ appliquée à chaque boot) - méthode 1 : via iLO - besoin de les faire une recherche sur https://support.hpe.com/ par Product ID - puis de les télécharger préalablement et les passer un par un - méthode 2 : via Oneview et Software Bundle Pack (SBP) - à charger depuis Oneview - permet de voir les MAJ disponibles pour chaque serveur - permet de les lancer sur les serveurs, après les avoir éteints (feature récente) - méthode 3 : boot depuis l'image ISO d'un Service Pack for ProLiant (SPP) : - inconvénient : méthode off-line -> interruption de service - méthode 4 : iLO Amplifier Pack - cf autre document -> plus conseillé - avantage : méthode on-line -> pas d'interruption de service - sans doute la moins mauvaise solution gratuite, mais ne permet pas de passer tous les types de MAJ - méthode 5 : depuis l'OS - dixit un intervenant HPE, on doit pouvoir monter dans l'OS du serveur l'image ISO du SPP et lancer les MAJ avec interface graphique et choix - outils logiciels dans l'OS du serveur ou de l'image de boot - Smart Update Tool (SUT) : - n'existe que sous Redhat - cf plus bas - Smart Update Manager (SUM) : - à utiliser depuis l'OS du serveur (Windows/Redhat/SUSE ?) https://buy.hpe.com/fr/fr/software/infrastructure-management-software/system-server-management-software/system-server-software-management-software/smart-update-manager-sum/p/5182020 - remarque : rien trouvé pour Proliant Gen10 - remarque : inclus dans l'image ISO du SPP */ Oneview : appliance livrée aux formats VMware, Hyper-V, KVM et applications Windows -------------------------------------------------------------------------------------- - anciennement System Insight Manager (SIM) anciennement (CIM) Compaq Insight Manager - 248 euros HT / serveur pour avoir le mode administration, et pas que le mode supervision - http://www.hpe.com/info/oneview - informations et téléchargements en https://www.hpe.com/us/en/integrated-systems/software.html https://myenterpriselicense.hpe.com/ https://myenterpriselicense.hpe.com/cwp-ui/product-download-info/Z7550-63180/-/sw_free?& rem : difficile de tomber sur ce dernier lien - NB : lors de la création de la VM KVM, ne pas mettre comme OS "CentOS 7" (cela ne boote pas), mais "Generic OS" - logiciel visiblement énorme - il faut au moins 8 coeurs + 24 Go de mémoire + 300 Go de stockage - lors du premier lancement, cela a consommé plusieurs dizaines de minutes de CPU - au lancement suivant, il faut encore plus de 4 minutes de CPU pour avoir la mire - récupération et chargement du Firmware Bundle pour Proliant G10 https://myenterpriselicense.hpe.com/cwp-ui/product-download-info/bZTVJ4WlystHBAX2TIYnWo3G%2FyEtc%2BmNuX9q84lS5jQ%3D/-/support_center?saAuth=NcwVj3wWEWeEfEmu6Z2HaeW7ypXM%2BPULIxdHuvVoS09zkdfPRTrfOAVO95dWj9t8%2BkUbsJrhbewBzBHCA40u%2F3%2F1%2FLiNP4wfnGvrBKgE%2F5uawzFUvtdM%2BLcW1P0f9HvK2PuiVBj48qlhaNOBqmTHgtnlKZfn942dWWMgnkFfozXCeP1qdUJfUyU5Ji1swRyFu7ZWenzF11%2Bh%2Fk3aPH9HDuPSfIhxqt8H6pszfNjaicJWmvjqyQ6m5UG7lzmq3pyse%2FLCEn1mF%2Fu1EaNcrgYixXBVhtPYYO4gO2y5yupgb2NbuOJaQQD3%2BkDH772y8SUX7n18qp1XMznfAQnkXd7AqgrGluxSJzwGvBqv2uqG0nV9MFE0pRivO7DtOgmCDF1dCbb6MPFl7MEawZ5JZOuK24MS9CxGbk4PtSEcmOEp7tPocCyR76GfxHVG%2BphyvLzVuqEmLlq3KxxHxibDQTPlqO0oUVMn87AH0TGMRAsx%2F7E%3D - "Firmware Compliance" dit : 7 Updates proposés : 1 heure estimée - dixit le SAV HPE : "lire https://support.hpe.com/hpesc/public/docDisplay?docId=sd00002015en_us&page=s_fw-compliance-view.html https://support.hpe.com/hpesc/public/docDisplay?docId=sd00002015en_us&page=s_fw-compliance-display.html " - dixit un webinaire il y a plusieurs mois - OneView est mis à jour à peu près tous les 2 mois - il devrait y avoir les méthodes de mises à jour - firmware and OS Drivers using SUT - firmware only using SUT - firmware only (quid des rpms?) - dixit entretien fin 2022 avec un spécialiste HPE au fur et à mesure de l'évolution de OneView, les fonctions de mises à jour des firmwares seront intégrées dans la version gratuite - mars 2023 : en version 8.2, oui, on peut lancer les MAJ des firmwares vers les serveurs */ Logiciels à installer dans l'OS du serveur --------------------------------------------- - Ils sont prévus surtout pour VMware Microsoft RedHat/SUSE/Oracle - Il existe différentes versions du Management Component Pack qui regroupent en une image ISO plusieurs logiciels sous forme de paquets - Debian 11 - Mise de Debian 11 via PXE comme OS dans le serveur - Pour Debian, il y a "Management Component Pack for Ubuntu 16.04/Debian9 - version 11.21-2" https://support.hpe.com/connect/s/softwaredetails?softwareId=MTX_f8f30da26d6749499adec36f8b cela contient amsd_1.3.2-3001.1ubuntu16_amd64.deb hponcfg_5.3.0.0-4_amd64.deb ssa-3.30-13.0_amd64.deb ssacli-3.30-13.0_amd64.deb ssaducli-3.30-13.0_amd64.deb cela date de 21/09/2018 -> abandonné - Pour Ubuntu, il y a un paquet pour Ubuntu 20.04 et un pour 22.04 (19/07/2022) la version pour 22.04 contient amsd_2.6.0-1701.3-ubuntu22_amd64.deb hponcfg-5.7.0-0.deb ssa-5.30-6.0_amd64.deb ssacli-5.30-6.0_amd64.deb ssaducli-5.30-6.0_amd64.deb storcli-007.1616.0000.0000-1_amd64.deb installation apt-get install xsltproc mount -t iso9660 /tmp/HPE_ProLiant_Value_Add_Software-ubuntu-22.04-12.40-1.iso /mnt cd /mnt/pool/non-free dpkg -i *.deb - Souci avec le paquet AMS (AgentLess Management Service) qui ne s'installe pas : dpkg-deb: erreur: l'archive « amsd_2.6.0-1701.3-ubuntu22_amd64.deb » utilise un procédé de compression inconnu pour le membre « control.tar.zst ». Abandon. dpkg: erreur de traitement de l'archive amsd_2.6.0-1701.3-ubuntu22_amd64.deb (--install) : dpkg-deb --control subprocess returned error exit status 2 -> c'est lié à un nouveau format de paquet introduit par Ubuntu et n'existant pas encore sur Debian. Il convient de transposer ce qui suit << ar x indicator-sound-switcher_2.3.7-1_all.deb zstd -d < control.tar.zst | xz > control.tar.xz zstd -d < data.tar.zst | xz > data.tar.xz ar -m -c -a sdsd indicator-sound-switcher_repacked.deb debian-binary control.tar.xz data.tar.xz rm debian-binary control.tar.xz data.tar.xz control.tar.zst data.tar.zst >> Mais cela ne suffit pas : problèmes de dépendance Et autre problème de dépendance avec l'image ISO pour 20.04 - Ubuntu 20.04 - Réinstallation du serveur sous Ubuntu 20.04 et utilisation de HPE_ProLiant_Value_Add_Software-ubuntu-20.04-12.40-2.iso - Cela permet d'installer sans souci les *.deb ; les services tournent - Alors 1/ dans l'interface iLO / System Information / Storage, on n'a plus de message indiquant qu'il manque qqch 2/ dans l'interface iLO / Firmware & OS Software / Software au lieu d'avoir "pas de logiciels installés", mais au bout d'un certain temps, on obtient HPE Software amsd 2.6.0-1701.2-ubuntu20 Agentless Management Service for servers with iLO5 hponcfg 5.6.0-0 Hponcfg - HP Lights-Out Online Configuration Utility FIXME : pourquoi ne voit-on pas les autres logiciels ci-dessous ? - Les autres outils dont on dispose depuis l'OS du serveur sont donc HPoncfg : HP Lights-Out Online Configuration utility binaire : /usr/sbin/hponcfg usages : SSA : Smart Storage Administration Utility binaire : /usr/sbin/ssa usages : comme dit plus haut, accès depuis l'extérieur du serveur du genre ssh -X root@ -C 'ssa -local' -> cela lance un Firefox interne au serveur et on récupère l'outil SSA de gestion du stockage NB : attention, si on n'a pas installé Firefox, on n'a pas de message d'erreur, et le binaire ssaclient mange le CPU ad-vitam SSACLI : Command Line Smart Storage Administration Utility binaires : /usr/sbin/ssacli et /usr/sbin/ssascripting usages : ssacli controller all show controller slot=2 physicaldrive all show controller slot=0 physicaldrive all show rem : est-ce le cousin de "omconfig" de Dell OMSA ? SSADUCLI : Smart Storage Diagnostics binaire : /usr/sbin/ssaducli produit des fichiers .zip contenant des rapports en HTML/TXT/XML usages : ssaducli -adu : ADU Report Generation ssaducli -ssd : Smart SSD Wear Gauge Report Generation ssaducli -val : les deux ssaducli -logs : Capturing Serial/Basecode Logs - essai d'obtenir SUT : Integrated Smart Update Tools for Linux x64 https://support.hpe.com/connect/s/softwaredetails?softwareId=MTX_b2f084b259814062b04969ee98 https://downloads.linux.hpe.com/SDR/project/sut/ Integrated Smart Update Tools (iSUT) is an application which enables firmware and software deployment via the iLO management network using the server’s local administrator credentials. iSUT can run as a service when working with HPE OneView managed servers or iLO Amplifier Pack or in an On Demand mode. iSUT requires a Service Pack for ProLiant-based ISO containing Smart Update Manager version 8.0.0 or later and an iLO Advanced Pack license for deployment.  mais le seul fichier proposé est au format RPM */ CentOS 7 - réinstallation du serveur sous CentOS 7 - récupération du Management Component Pack pour CentOS 7 : hp-mcp-10.50-2-CentOS7.tar.gz - installation cd /tmp tar zxvf hp-mcp-10.50-2-CentOS7.tar.gz cd mcp/CentOS/7/x86_64/current ls montre hp-ams-2.5.2-2297.2.rhel7.x86_64.rpm hponcfg-4.6.0-0.x86_64.rpm hp-snmp-agents-10.50-2926.49.rhel7.x86_64.rpm ssaducli-2.60-18.0.x86_64.rpm hpdiags-10.60.2109-2176.linux.x86_64.rpm hpsmh-7.6.0-11.x86_64.rpm ssa-2.60-18.0.x86_64.rpm hp-health-10.50-1826.40.rhel7.x86_64.rpm hp-smh-templates-10.5.0-1462.26.noarch.rpm ssacli-2.60-18.0.x86_64.rpm yum install *.rpm rem1 : il y a une phase où rien ne se passe durant plusieurs minutes -> patience rem2 : des choses affichées durant l'installation ********************************************************** * System Management Homepage installed successfully with * * default configuration values. To change the default * * configuration values, type the following command at * * the root prompt: * * * * /opt/hp/hpsmh/sbin/smhconfig * * * ********************************************************** Job for hp-health.service failed because a timeout was exceeded. See "systemctl status hp-health.service" and "journalctl -xe" for details. ============================================================================== NOTE: In order to activate the software contained in this package, you must type '/sbin/hpsnmpconfig' as 'root' user. Once configuration is completed start the agents by typing /etc/init.d/hp-snmp-agents start ============================================================================== ======================================================================== NOTE: To activate the software contained in this package, you must type: /etc/init.d/hpsmhd restart or service hpsmhd restart as 'root' user. ========================================================================= Job for hp-ams.service failed because the control process exited with error code. See "systemctl status hp-ams.service" and "journalctl -xe" for details. - actions de post-install /sbin/hpsnmpconfig : pas mal de réponses à donner systemctl restart hp-snmp-agents -> grande attente pour finir sur Job for hp-snmp-agents.service failed because a timeout was exceeded. See "systemctl status hp-snmp-agents.service" and "journalctl -xe" for details. de meme, echec avec systemctl restart hp-ams.service idem avec un reboot -> FIXME : échec d'obtenir une configuration fonctionnelle pour AMS :-( - SUT : rpm -i sut-3.0.0-18.linux.x86_64.rpm