Enseignement interactif sans contact de robots mous grâce à des interfaces sensorielles bimodales flexibles

Nature Communications volume 13, Numéro d'article : 5030 (2022) Citer cet article

9527 accès

15 Citations

15 Altmétrique

Détails des métriques

Dans cet article, nous proposons une interface sensorielle flexible multimodale pour apprendre de manière interactive aux robots mous à effectuer une locomotion qualifiée à l'aide de mains humaines nues. Premièrement, nous développons une peau intelligente bimodale flexible (FBSS) basée sur un nanogénérateur triboélectrique et une détection de métal liquide qui peut effectuer une détection tactile et sans contact simultanée et distinguer ces deux modes en temps réel. Avec le FBSS, les robots mous peuvent réagir seuls aux stimuli tactiles et sans contact. Nous proposons ensuite une méthode de contrôle à distance permettant aux humains d'apprendre les mouvements de robots mous via une coordination œil-main nue. Les résultats ont montré que les participants peuvent efficacement enseigner à un manipulateur de continuum souple auto-réactif des mouvements complexes dans un espace tridimensionnel grâce à une méthode de "déplacement de capteurs et d'enseignement" en quelques minutes seulement. Le manipulateur doux peut répéter les mouvements enseignés par l'homme et les rejouer à différentes vitesses. Enfin, nous démontrons que les humains peuvent facilement apprendre au manipulateur doux à accomplir des tâches spécifiques telles que remplir un labyrinthe de stylo et de papier, prendre un prélèvement de gorge et franchir une barrière pour saisir un objet. Nous envisageons que cette méthode d'enseignement conviviale et non programmable basée sur des interfaces sensorielles multimodales flexibles pourrait élargir largement les domaines dans lesquels les humains interagissent avec et utilisent des robots mous.

Les robots mous ont attiré une attention croissante pour leur énorme potentiel dans les applications du monde réel1,2,3,4,5,6,7,8. Parce qu'ils sont hautement conformables, les robots mous présentent des avantages extraordinaires par rapport aux robots rigides pour interagir en toute sécurité avec les humains dans un large éventail d'environnements9,10,11,12,13. Cependant, comme les robots mous sont difficiles à modéliser et à programmer, les non-spécialistes sont souvent confrontés à des obstacles non négligeables lorsqu'ils travaillent avec des robots mous pour réaliser des mouvements spécifiques et effectuer certaines tâches14,15,16,17,18. Une méthode d'enseignement interactive, qui pourrait "enseigner" de manière efficace et flexible les schémas de mouvement des robots mous, bénéficierait considérablement aux utilisateurs humains à la maison, sur les chaînes de production et dans d'autres environnements non structurés (Fig. 1). Contrairement aux robots rigides19,20,21, il existe très peu d'études démontrant l'enseignement des robots mous par l'interaction humaine. En effet, il existe deux principaux défis pour parvenir à un enseignement robotique doux par l'interaction humaine : le processus nécessite (1) un dispositif de détection flexible multimodal, polyvalent et robuste pour les interactions entre un robot doux et un démonstrateur humain ; et (2) une méthode d'enseignement conviviale et non programmable pour transférer les instructions d'un démonstrateur humain aux robots mous.

Les humains peuvent "apprendre" au robot à accomplir diverses tâches en manipulant le robot sans contact.

En ce qui concerne le premier défi, la plupart des études précédentes se sont concentrées sur la détection tactile pour les robots mous qui ne peuvent répondre qu'au toucher physique et non aux stimuli sans contact. Le nanogénérateur triboélectrique (TENG), qui exploite l'effet couplé de l'électrification par contact et de l'induction électrostatique, peut transformer des stimuli tactiles et sans contact en signaux électriques22,23,24,25,26. Les capteurs triboélectriques basés sur les TENG présentent des avantages uniques pour les robots mous en raison de leur composition matérielle étendue (par exemple, du module de Young faible à élevé), d'une structure simple facilement fabriquée, d'une sensibilité élevée et de temps de réponse rapides27,28,29,30,31,32. Des études antérieures utilisant des matériaux et des structures triboélectriques flexibles ont fait des progrès remarquables dans la détection de pression et de contrainte33,34,35,36,37,38. Des travaux préliminaires qui explorent la détection sans contact ont également vu le jour39,40,41,42. Cependant, étant donné que les stimulations tactiles et sans contact entraînent des tendances identiques dans la variation électrique, il est difficile pour les capteurs triboélectriques de faire la distinction entre les signaux tactiles et sans contact avec précision en temps réel43,44 (Figures supplémentaires 1A, B et Film supplémentaire 1). Ainsi, des capteurs triboélectriques flexibles capables de détection tactile et sans contact en temps réel restent à rechercher, ce qui pourrait jeter les bases de la recherche pour un nouveau paradigme d'enseignement interactif robotique doux.

En ce qui concerne le deuxième défi, l'enseignement interactif des robots mous (par exemple, le manipulateur de continuum souple) est peu compris. Traditionnellement, le principe principal était basé sur l'enseignement par contact pour les manipulateurs robotiques rigides avec peu de degrés de liberté45,46. Ce principe était généralement réalisé en déplaçant manuellement les manipulateurs dans des modes contrôlés à faible impédance tandis que les encodeurs des manipulateurs enregistraient la cinématique du processus d'apprentissage pour rejouer le mouvement. Cependant, ce type d'apprentissage par contact n'est pas applicable aux robots mous pour deux raisons. Premièrement, les degrés de liberté infinis et la nature conforme d'un manipulateur de continuum souple rendent difficile pour un utilisateur le contrôle explicite, contrairement aux configurations discrètes d'un manipulateur rigide47. Deuxièmement, la méthode d'enseignement basée sur le contact pour les robots à continuum souple produit une déformation passive, et la mesure de ces configurations déformées nécessite un grand nombre de capteurs souples (soit intégrés dans, soit sur la surface du robot) pour reconstruire la cinématique tridimensionnelle du robot48,49. Compte tenu de ces défis, est-il possible d'enseigner de manière interactive des robots mous via une interface sensorielle flexible ? Des utilisateurs non spécialistes peuvent-ils demander à des robots logiciels de réaliser des tâches opérationnelles dans des environnements non structurés sans programmation ?

Ici, nous développons une peau intelligente bimodale flexible (FBSS) avec une détection tactile et sans contact en intégrant un capteur triboélectrique avec un capteur de métal liquide. Le capteur triboélectrique peut répondre à une stimulation sans contact, et le capteur de métal liquide peut répondre à une stimulation tactile. Sur cette base, le FBSS mis en œuvre peut distinguer sans ambiguïté les modes tactile et sans contact en temps réel. Nous caractérisons ensuite les performances de détection du FBSS pour la détection tactile et sans contact. Enfin, nous construisons un cadre de contrôle pour l'enseignement interactif avec le FBSS. Nous proposons également une méthode "déplacement des capteurs et enseignement" pour l'enseignement de la locomotion complexe, qui consiste à déplacer le FBSS à différents endroits sur un manipulateur au cours d'une session d'enseignement. Nous montrons qu'un non-spécialiste peut enseigner de manière efficace et interactive à un manipulateur doux continuum le choix et le placement, la peinture, le prélèvement de la gorge et le franchissement d'une barrière pour saisir un objet. De plus, nous testons également les performances interactives du FBSS sur d'autres robots mous, notamment un robot origami doux et un préhenseur robotique.

La structure flexible bimodal smart skin (FBSS) contient cinq couches flexibles (Fig. 2a et section "Méthodes"). La couche diélectrique souple a été fabriquée en coulant du caoutchouc de silicone (Smooth-on, Dragon skin 00-20) dans le moule avec des microstructures en forme de pyramide. La couche d'électrode flexible a été fabriquée avec des réseaux de nanofils Ag (NW) à motifs et a été transférée en mélangeant une base de polydiméthylsiloxane (PDMS) avec un agent de durcissement (Dow Corning, Sylgard184) à un rapport pondéral typique de 10:1. La couche de stimulation, sous la couche d'électrode, a été fabriquée selon un procédé similaire à celui de la couche diélectrique flexible. Les surfaces de la couche diélectrique flexible, de la couche d'électrode flexible et de la couche de stimulation ont formé des liaisons chimiques après avoir été traitées au plasma (plasma OPS, CY-DT01). La couche de métal liquide a d'abord été imprimée avec une imprimante à métal liquide (DREAM Ink, DP-1), puis la couche d'emballage (Smooth-on, Dragon skin 00-20) a été utilisée pour transférer et contenir le métal liquide. La couche de stimulation a été collée à la couche d'emballage via un adhésif en caoutchouc de silicone (Smooth-on, Sil-Poxy). L'image au microscope électronique a été prise pour les microstructures en forme de pyramide fabriquées, la hauteur et la largeur des microstructures en forme de pyramide sont respectivement de 320 μm et 500 μm (Fig. 2b). La photo optique a été prise pour le motif de métal liquide imprimé et la largeur de la ligne de métal liquide est d'environ 300 μm (Fig. 2c). Le FBSS peut être plié et étiré (le taux d'étirement maximal est de 58,4 %), ce qui démontre son excellente flexibilité et extensibilité (Fig. 2d, e).

une conception de capteur souple avec différentes couches fonctionnelles empilées. Ces couches comprennent une couche diélectrique flexible (cyan), une couche d'électrode flexible (gris), une couche de stimulation (jaune pâle), le matériau métallique liquide (noir) et une couche d'emballage (orange). b Image au microscope électronique des structures micro-pyramidales sur la face supérieure de la couche diélectrique flexible. c Une image au microscope optique du matériau métallique liquide imprimé sur la couche de matériau silicone. d Une photographie en flexion du prototype FBSS démontre sa flexibilité. e Une photographie d'étirement (le taux d'étirement maximal est de 58,4 %) du prototype démontre sa capacité d'étirement. f Le mécanisme de détection tactile/sans contact du prototype : (i) La densité égale de charges négatives et positives a été générée sur la couche diélectrique flexible (gris) et l'objet externe (rouge) en raison des différentes affinités électroniques après quelques contacts. (ii) Les électrons libres ont été amenés à s'écouler du sol vers l'électrode flexible lorsque l'objet externe s'est approché de la couche diélectrique flexible. (iii) L'objet externe (rouge) commence à entrer en contact avec le FBSS, augmentant le transfert d'électrons, et la résistance du métal liquide augmente. (iv) L'objet externe (rouge) est entièrement en contact avec le FBSS ; la neutralisation de la charge se produit et les électrons libres cessent de se déplacer et la résistance du métal liquide atteint le maximum. (v) Au fur et à mesure que la pression externe était relâchée, les électrons refluaient de l'électrode flexible (gris) vers le sol, et la résistance du métal liquide diminuait à mesure que le canal revenait à son état initial. (vi) Lorsque l'objet externe (rouge) a été séparé du FBSS, les électrons de reflux ont augmenté et la résistance du métal liquide reste stable.

Le principe complet de perception tactile et sans contact du FBSS est divisé en plusieurs étapes (Fig. 2f). Au cours de l'étape initiale (i), des charges négatives et positives égales sont générées sur la couche diélectrique flexible et l'objet externe à partir de différentes affinités électroniques après quelques contacts répétés. Ces charges de surface peuvent rester pendant un temps suffisant (plus de 1 h) pour le processus d'enseignement interactif (Fig. 2 supplémentaire). À l'étape (ii), à mesure que l'objet externe s'approche de la couche diélectrique flexible, le potentiel électrique entre les électrodes et la masse sera modifié, ce qui entraînera la circulation d'électrons libres de la masse vers l'électrode flexible, générant ainsi un courant dans le circuit. Notez que la résistance du capteur de métal liquide reste stable car aucune force de pression de contact n'agit sur le FBSS pendant cette étape. À l'étape (iii), le FBSS commence à se déformer avec la pression de contact de la force externe qui agit sur le caoutchouc de silicone. L'objet externe est plus proche de l'électrode flexible au cours de cette étape, de sorte que les électrons libres s'écoulent plus loin du sol vers l'électrode flexible et génèrent un courant dans la même direction. La couche de métal liquide est comprimée et la section transversale du canal de métal liquide diminue, provoquant une augmentation de sa résistance. Lors de l'étape (iv), lorsque l'objet externe est entièrement en contact avec le FBSS, la distance entre l'objet et la couche diélectrique souple est comprimée au minimum. La neutralisation de la charge se produit et les électrons libres cessent de se déplacer et la résistance du métal liquide atteint son maximum. Dans l'étape (v), lorsque la pression externe est relâchée, les électrons libres refluent de l'électrode flexible vers la masse et génèrent un courant dans le sens opposé. La résistance du métal liquide diminue avec la reprise de la forme du canal. A l'étape (vi), lorsque l'objet externe se sépare de la couche diélectrique souple, le nombre d'électrons augmente celui refluant vers la masse, et génère un courant dans le même sens que l'état précédent. La résistance du métal liquide reste stable au fur et à mesure de la disparition du contact physique entre l'objet extérieur et le FBSS. Enfin, lorsque l'objet extérieur est éloigné du FBSS, un nouvel équilibre électrique s'établit.

Nous avons mis en place un système de mesure pour étudier les performances du FBSS (Fig. 3 supplémentaire). Le FBSS était fixé sur une plaque plane montée sur un dynamomètre (ATI Industrial Automation, mini40). L'objet externe était attaché à l'extrémité de l'actionneur de moteur linéaire (LinMot, E1100), qui peut approcher et appuyer cycliquement sur le FBSS. Un morceau de verre, placé à 20 mm du FBSS, a été utilisé comme objet externe pour les tests de détection tactile et sans contact. L'effet de la distance d'approche sur les signaux de sortie du FBSS a d'abord été testé (Fig. 3a). Le signal de sortie sans contact ΔU a diminué de façon exponentielle de 11,35 à 0 V lorsque la distance a augmenté de 0 à 20 mm. Le signal de sortie tactile ΔR du FBSS est resté stable sans variation. L'induction électrostatique s'affaiblissait régulièrement à mesure que la distance augmentait entre l'objet externe et le FBSS, et la tension de sortie diminuait progressivement. Nous avons également étudié la relation entre les signaux de sortie et la pression verticale agissant sur le FBSS (Fig. 3b). Lorsque la pression a augmenté de 0 à 30 kPa, le signal de sortie tactile ΔR du FBSS est passé de 0 à 17,24 Ω et le signal sans contact ΔU est passé de 0 à 3,2 V. La section transversale du canal de métal liquide a diminué avec l'augmentation de la pression externe, ce qui a entraîné une augmentation de sa résistance. Avec l'augmentation de la pression, l'objet externe se rapproche du FBSS. Cela améliore également l'induction électrostatique entre l'objet externe et le FBSS. Étant donné que différents matériaux ont des affinités électroniques différentes, les types de matériaux peuvent affecter la densité de charge de surface de la couche diélectrique flexible. Par conséquent, le FBSS peut être utilisé pour l'identification des matériaux (Fig. 3c). Le signal tactile ΔR est toujours resté à 0 kPa, tandis que le signal sans contact variait selon le matériau avec une distance de test de 20 mm. Cela permet au FBSS de distinguer les matériaux en temps réel. La réponse dynamique de la détection tactile du FBSS est d'environ 120 ms, ce qui est proche de celle de la peau humaine (Fig. 4A, B supplémentaire). Les bruits de signal tactile et sans contact sont respectivement de 0, 04 Ω et 0, 12 V (Fig. 5A, B supplémentaires). Le rapport signal sur bruit (SNR) maximal du signal sans contact et du signal tactile est respectivement de 94,58 et 431,03 (Fig. 5C, D supplémentaires). Les résolutions maximales mesurées dans les expériences sans contact et tactiles sont respectivement de 0, 05 mm et 0, 35 kPa (Fig. 6A, B supplémentaires).

a Les signaux de sortie tactiles (cyan) et sans contact (orange) ont été testés à différentes distances entre une surface (verre) et le FBSS. b Signaux de sortie tactiles et sans contact sous différentes pressions de charge. Les matériaux et méthodes supplémentaires ont fourni plus de détails sur les expériences de chargement. c Signaux de sortie du FBSS sur des surfaces avec différents matériaux (avec une distance supérieure à 20 mm). Les réactions du FBSS aux changements environnementaux, y compris d la température, e l'humidité et f les interférences électromagnétiques. g Les tests de stabilité et de durabilité du prototype montrent que le FBSS peut supporter plus de 1200 cycles de chargement-déchargement d'essais de compression avec une distance de 20 mm et une pression de 10 kPa. h, i Images à grande vitesse et signaux de sortie du FBSS lorsqu'une balle de tennis tombe dessus (distance de chute : 200 mm). j, k Signaux d'image et de sortie du FBSS lorsqu'un doigt humain appuie dessus. Une diode électroluminescente (DEL) rouge a été programmée pour s'allumer lorsque le signal sans contact induit dépassait une valeur seuil ; la LED bleue s'est allumée lorsque le doigt a touché le FBSS. Les barres d'erreur représentent l'écart type, n = 5 répétitions indépendantes.

Pour évaluer comment les facteurs environnementaux affectent les performances de détection du FBSS, nous avons testé expérimentalement les effets de la température, de l'humidité et des interférences électromagnétiques sur le FBSS. Le signal de sortie sans contact augmente à mesure que la température augmente de 15 à 30 ° C, puis reste stable avec de nouvelles augmentations de température (Fig. 3d). Le signal tactile de sortie reste quasiment invariant avec une augmentation de température. Nous avons étudié l'effet de l'humidité sur les signaux de sortie du FBSS (Fig. 3e). Le signal sans contact diminue progressivement à mesure que l'humidité augmente de 31,4 à 71,4 %. Le signal tactile de sortie reste quasiment invariant avec une augmentation de l'humidité. Les signaux sans contact et tactiles restent inchangés avec une augmentation des interférences électromagnétiques (Fig. 3f). La stabilité à long terme du FBSS est également validée sous une pression externe de 10 kPa et une distance de 20 mm. Nous avons mesuré les sorties du FBSS sur 1200 cycles dans les mêmes conditions (Fig. 3g). Les résultats ne montrent aucun changement de forme d'onde évident, ce qui indique l'utilisation à long terme du FBSS.

Nous avons effectué une série de tests pour vérifier la capacité de détection du FBSS lors de l'interaction avec les humains et l'environnement extérieur. Premièrement, le FBSS a été utilisé pour détecter le processus de chute d'une balle de tennis, qui a été placée au-dessus du FBSS à une hauteur initiale de 200 mm (Fig. 3h). Une caméra à grande vitesse (Photron Ltd, FASTCAM Mini UX100) a enregistré l'ensemble du processus à une fréquence d'échantillonnage de 250 ips, tandis que le FBSS a enregistré des signaux tactiles et sans contact. Le processus de chute a été divisé en trois étapes (Fig. 3i et Film supplémentaire 2). À l'étape (i), la balle de tennis commence à tomber de la hauteur initiale et s'approche du FBSS. Cependant, la balle de tennis n'est pas encore entrée dans la plage de détection du FBSS, ses signaux de sortie restent donc stables. À l'étape (ii), la balle de tennis continue de tomber et entre dans la zone de détection du FBSS. Le signal sans contact ΔU décroît de 0 à -4,56 V et le signal tactile ΔR reste à 0 Ω car la balle de tennis n'est pas encore entrée en contact avec le FBSS. À l'étape (iii), la balle de tennis entre en contact avec le FBSS. Le signal sans contact ΔU diminue encore de -4,56 à -5,81 V et le signal tactile ΔR augmente drastiquement de 0 à 0,83 Ω. De plus, nous montrons également que le FBSS peut percevoir et distinguer la distance sans contact d'une plume tombant dans l'air (film supplémentaire 3).

Nous avons testé la capacité de détection tactile et sans contact du FBSS sur un doigt humain. Le FBSS était connecté à un exemple de circuit qui contrôle deux LED en fonction de la rétroaction sensorielle tactile (LED bleue) et sans contact (LED rouge) (Fig. 3j). Nous avons enregistré tout le processus d'approche d'un doigt et d'appui sur le FBSS (Fig. 3k et Film supplémentaire 4). Pendant l'étape (i), le doigt était à 50 mm de la surface du FBSS, les deux LED étaient éteintes. Au cours de l'étape (ii), lorsque le doigt s'est approché du FBSS, la LED rouge s'est allumée tandis que la LED bleue est restée éteinte. Les données sensorielles enregistrées ont montré que le signal de sortie sans contact ΔU augmentait de 0 à 0,56 V tandis que le signal de sortie tactile ΔR restait inchangé. Pendant l'étape (iii), le doigt appuyé sur le FBSS, la LED bleue s'est allumée et la luminosité de la LED rouge a augmenté. Ce résultat démontre intuitivement que le FBSS peut percevoir des informations tactiles et sans contact à partir d'un doigt humain.

Pour équiper un robot souple avec le FBSS, nous avons intégré le FBSS avec un segment de manipulateur souple qui pouvait être plié et raccourci. Une main humaine pourrait contrôler sans contact les mouvements de flexion et de raccourcissement du segment du manipulateur souple (Fig. 4a, b et Film supplémentaire 5). Le segment du manipulateur souple a été programmé pour se déformer lorsque le signal de sortie sans contact du FBSS a atteint une valeur de seuil prédéterminée (l'organigramme de contrôle est fourni dans le tableau supplémentaire 1). Un robot en origami souple équipé d'un FBSS enfoui dans le sable pourrait percevoir l'approche d'un bogue robotique et saisir le bogue en gonflant son actionneur (Fig. 4c et Film supplémentaire 6).

Commande sans contact d'un manipulateur souple à 3 degrés de liberté actionné pneumatiquement pour une flexion et un raccourcissement b en réponse à l'approche d'une main humaine. c Un robot origami souple actionné pneumatiquement avec le FBSS détecte et saisit avec succès un insecte jouet. d Démonstration d'un préhenseur robotique souple équipé du FBSS recherchant, détectant et saisissant de manière autonome un objet cylindrique en plastique. e Les sorties sensorielles tactiles et sans contact au cours de ce processus sont tracées en fonction du temps. Les processus de recherche (ombrage cyan), de détection (ombrage vert) et de saisie (ombrage orange) peuvent être distingués en temps réel.

En intégrant le FBSS à la pointe d'une pince robotique souple, nous lui avons donné la capacité de "rechercher et saisir" des objets grâce à une détection tactile et sans contact (Fig. 7A, B et Film supplémentaire 7). L'ensemble du processus peut être divisé en différentes étapes (Fig. 4d, e). Initialement, le signal tactile ΔR et le signal sans contact ΔU étaient négligeables. Lorsque le bras robotique rigide se déplace horizontalement et que la pince s'approche du cylindre en plastique, le signal sans contact ΔU commence à augmenter et le signal tactile ΔR reste faible. Le seuil du signal sans contact pour "identifier" un objet cible a été fixé à 0,1 V. Une fois que le signal a dépassé ce niveau, le robot mou a commencé à saisir la cible. Le signal tactile ΔR a augmenté et le signal sans contact ΔU a encore augmenté jusqu'à ce qu'une prise stable soit atteinte. Ces scénarios expérimentaux illustrent que le FBSS peut effectivement permettre des interactions robotiques douces grâce à la perception tactile et sans contact.

Pour explorer davantage l'interaction plus intelligente entre le robot mou et les humains, nous avons présenté une interface flexible et une méthode interactive avec le FBSS (Fig. 5 et section "Méthodes"). Grâce à l'interface flexible et à la méthode interactive, nous avons démontré que les humains pouvaient apprendre de manière interactive à un manipulateur souple à se déplacer dans un espace bidimensionnel (2D) et tridimensionnel (3D).

a Une vue schématique du manipulateur souple, composé de trois segments, contenant chacun trois chambres qui s'actionnent pneumatiquement. Le FBSS est placé sur un patch flexible en forme d'arc avec trois aimants à l'arrière. De petits aimants ont également été placés autour du bas de chaque segment du manipulateur souple, de sorte que la position du FBSS peut être rapidement déplacée. b Fonctions géométriques dans le segment de flexion, où φi est l'angle de déviation du segment autour de l'axe z ; θi est l'angle de courbure du segment autour de l'axe y ; ri est le rayon de courbure du segment ; li est la longueur d'arc du segment ; rij est le rayon de courbure de chaque actionneur ; lij est la longueur d'arc de chaque actionneur. c Les espaces d'actionnement, d'articulation et de configuration et leur correspondance définissent la cinématique inverse (finv). d Le cadre de contrôle en boucle fermée pour l'enseignement interactif, où V représente la tension mesurée du FBSS, Sout est le signal de tension normalisé, θh est la longueur de pas calculée et pij représente la pression pneumatique de chaque actionneur souple. e Le mappage de la longueur de pas θh et du signal de tension normalisé Sout. f Résultats expérimentaux d'enseignement interactif : temps d'exécution et erreur de position du manipulateur souple en fonction de la longueur du pas. Les boîtes à moustaches indiquent la médiane (ligne médiane), les 25e, 75e centiles (boîte) et les valeurs maximales et minimales (moustaches) ainsi que les valeurs moyennes (points uniques). g L'espace de travail simulé du manipulateur souple avec enseignement interactif. Les barres d'erreur représentent l'écart type, n = 5 répétitions indépendantes.

Sur la base de la méthode d'enseignement interactive, un utilisateur a appris au manipulateur souple à saisir un objet dans l'espace 2D (Fig. 6a et Film supplémentaire 8). Pour une explication plus simple, nous divisons le processus d'enseignement en quatre étapes. À l'étape (i), nous avons montré la capacité de l'utilisateur à contrôler la longueur initiale du manipulateur souple en modifiant la distance entre la main de l'utilisateur et le FBSS. Cette étape a permis à l'utilisateur de sélectionner une longueur efficace du manipulateur souple dans les 5 premières s. À l'étape (ii), l'utilisateur "plie" sans contact le manipulateur souple en approchant le capteur FBSS avec une main. Plus précisément, l'utilisateur a choisi d'appliquer une stratégie d'actions multiples d'approche et de départ pour "plier" le manipulateur souple en plusieurs grandes étapes discrètes pour le déplacer vers l'objet cible. Au cours de ce processus, la plage de fluctuation du signal sans contact normalisé ΔU variait de 0 à presque 1. En revanche, le signal tactile de sortie ΔR est resté inchangé à près de 0. À l'étape (iii), lorsque le manipulateur souple s'est approché de la position cible, l'utilisateur est passé de grands pas à de petits pas pour déplacer le manipulateur doux jusqu'aux derniers centimètres. Ici, la sortie sensorielle sans contact normalisée a fluctué entre 0,2 et 0,5. À l'étape (iv), lorsque la pince souple a atteint l'objet cible, l'utilisateur a appuyé sur le FBSS pour déclencher le mouvement de préhension. Les augmentations drastiques des signaux sans contact et tactiles normalisés peuvent être observées. Grâce à notre algorithme logique, le manipulateur souple met fin à la tâche d'enseignement et ferme la pince lorsque la sortie du signal tactile dépasse une valeur seuil (tableau supplémentaire 2). Enfin, le manipulateur souple a saisi avec succès l'objet cible et est automatiquement revenu à sa position initiale.

a Signaux tactiles et sans contact du FBSS pendant le processus d'apprentissage bidimensionnel, et les instants d'un utilisateur apprenant au manipulateur souple à saisir un objet sans contact. i Avant de plier et de saisir le manipulateur souple, l'utilisateur a choisi une longueur adéquate du manipulateur souple en contrôlant la distance entre la main et le FBSS (ombrage orange). ii L'utilisateur a d'abord appliqué une grande taille de pas en plaçant une main très près du FBSS (ombrage bleu), puis à l'étape iii a appliqué une petite commande de pas en gardant une courte distance du FBSS (ombrage vert). iv Lorsque la pince souple atteint l'objet, l'utilisateur a appuyé sur le "bouton" FBSS pour saisir l'objet (ombrage violet). b–d Comparaison des trajectoires d'enseignement et de répétition tout en saisissant des objets dans trois positions différentes. e Signaux tactiles et sans contact des FBSS I et II pendant l'apprentissage en trois dimensions, et instants temporels d'un utilisateur apprenant sans contact au manipulateur souple à saisir un objet dans un espace en trois dimensions. i L'utilisateur contrôlant la flexion plane par grandes étapes avec des approches à gauche vers le FBSS I (ombrage bleu). ii L'utilisateur contrôlant la flexion plane par petites étapes (également avec des approches à gauche vers FBSS I) (ombrage violet). iii L'utilisateur contrôlant la flexion hors plan avec des approches à droite vers FBSS II (ombrage vert). iv Lorsque la pince souple atteint l'objet, l'utilisateur appuie sur le "bouton" FBSS pour saisir l'objet (ombrage orange). f–h Comparaison des trajectoires d'enseignement et de répétition tout en saisissant des objets dans trois positions différentes. Les trajectoires sont illustrées dans un espace tridimensionnel (plans x–y, y–z et x–z).

Comme le système enregistre simultanément la séquence de taille de pas d'entraînement du manipulateur souple dans le processus d'apprentissage, on peut actionner le manipulateur souple pour répéter les mouvements et "rejouer" l'intégralité des mouvements enseignés. Nous avons comparé la pression d'air entraînée en temps réel pendant les processus d'enseignement et de répétition (Fig. 8A, B supplémentaires). Les deux courbes de pression d'air montrent des changements presque identiques au cours des deux processus. Nous avons démontré les résultats de l'enseignement interactif en montrant le manipulateur souple saisissant des objets dans des positions basses, moyennes et hautes (film supplémentaire 9). Le processus d'apprentissage a pris respectivement 53, 53 et 59 s. Les trajectoires du manipulateur souple pendant les phases d'apprentissage et de relecture coïncidaient bien les unes avec les autres (Fig. 6b – d). On peut également rejouer les trajectoires d'enseignement de manière accélérée et ralentie (Film supplémentaire 10), ajoutant à la souplesse d'exécution des tâches du manipulateur.

Nous avons également effectué un enseignement interactif de la saisie d'objets dans un environnement contraint, où un obstacle était placé sur le chemin du manipulateur souple (Fig. 9A – E supplémentaire). Les résultats montrent que le manipulateur souple peut réussir à saisir un objet en 40 s tout en rencontrant un obstacle qui provoque une déformation de contact (Supplémentaire Film 11). Dans des situations typiques, permettre aux manipulateurs souples de travailler dans un environnement contraint nécessite beaucoup de travail de modélisation et de programmation. En revanche, aucune programmation supplémentaire n'était nécessaire avec la méthode interactive actuelle.

Nous avons réalisé un enseignement interactif dans l'espace 3D en intégrant deux FBSS sur le manipulateur souple (l'algorithme logique est présenté dans le tableau supplémentaire 3). L'utilisateur a appris de manière interactive au manipulateur souple à saisir un objet hors du plan de flexion avec les deux mains (Fig. 6e et Films supplémentaires 12, 13). L'ensemble du processus d'enseignement peut être divisé en quatre étapes. À l'étape (i), comme pour l'enseignement interactif dans l'espace planaire, l'utilisateur a appliqué une main gauche pour "plier" le manipulateur souple en plusieurs grandes étapes discrètes via plusieurs actions d'approche et de départ (appliquées au FBSS I). Le signal sans contact normalisé ΔU de FBSS I variait de 0 à environ 1. À l'étape (ii), l'utilisateur est passé d'une grande à une petite taille de pas pour déplacer le manipulateur souple plus lentement et positionner la pince souple au même niveau horizontal que l'objet cible. Le signal sans contact normalisé ΔU du FBSS I est resté autour de 0,5 pendant cette étape. À l'étape (iii), l'utilisateur a appliqué une main droite sur FBSS II, déplaçant le manipulateur souple hors du plan d'origine. L'effecteur final a atteint l'objet cible après quelques-unes de ces actions répétées d'approche et de départ à droite. Le signal sans contact normalisé ΔU du FBSS II variait également de 0 à environ 1. Enfin, à l'étape (iv), une fois que la pince souple a atteint l'objet cible, l'utilisateur a appuyé sur le FBSS I pour déclencher la saisie. Nous avons comparé la pression d'air entraînée en temps réel pendant les processus d'enseignement et de répétition (Fig. 10A, B supplémentaires). Les deux courbes de pression d'air montrent des changements presque identiques au cours des deux processus. Nous avons également démontré que l'enseignement interactif permet au manipulateur souple de saisir des objets dans des positions basses, moyennes et hautes, respectivement (Film supplémentaire 14). Ces processus d'enseignement ont pris respectivement 51, 56 et 61 s. Les trois trajectoires du manipulateur pendant l'enseignement et la répétition montrent un excellent accord (Fig. 6f – h). Ce résultat indique que les utilisateurs peuvent apprendre efficacement au manipulateur à se déplacer et à effectuer des actions dans l'espace 3D. Depuis l'expérience, plus de dix novices ont réussi à apprendre de manière interactive au manipulateur souple à saisir un objet cible dans l'espace 3D.

Pour démontrer une stratégie de placement FBSS intelligente, nous avons utilisé un FBSS pour contrôler plusieurs modes de mouvement pour le manipulateur doux. En modifiant la position de montage du FBSS sur le manipulateur souple, on peut lui apprendre à se déplacer vers la gauche, la droite et vers l'arrière (Fig. 11 supplémentaire et Film supplémentaire 15). Les trajectoires du manipulateur souple pendant les phases d'enseignement et de rejeu, comme dans la procédure expérimentale précédente, coïncidaient bien les unes avec les autres. Pour évaluer l'utilisabilité de la méthode d'enseignement interactive, nous avons réalisé une expérience d'enseignement avec plusieurs participants, dont deux experts sophistiqués (chercheurs de ce projet) et trois novices sans expérience avec un système robotique interactif. Nous avons attaché un pointeur laser à l'extrémité du manipulateur souple pour évaluer la précision du positionnement (Fig. 12A supplémentaire). Les participants pouvaient contrôler la position du pointeur laser sur une cible en enseignant sans contact le manipulateur souple. Nous avons mesuré dix fois l'erreur de positionnement après les séances d'enseignement de chaque participant. Les résultats ont montré que l'erreur de positionnement pour les experts était <10 mm pour les dix essais, tandis que l'erreur de positionnement pour les novices était relativement importante dans les premiers essais (Fig. 12B supplémentaire). Notamment, après au plus 8 tentatives, toutes les erreurs de positionnement des participants étaient inférieures à 10 mm. Ce résultat suggère que les non-spécialistes peuvent rapidement apprendre à positionner le manipulateur souple avec précision grâce à un enseignement interactif.

Pour permettre l'enseignement interactif du manipulateur souple avec une locomotion encore plus complexe, nous avons proposé la méthode "déplacement des capteurs et enseignement" (Fig. 5a et Supplémentaire Fig. 13). Plus précisément, le FBSS a été placé sur un patch flexible en forme d'arc avec trois aimants derrière lui. Plusieurs petits cylindres magnétiques ont été placés autour du bas de chaque segment du manipulateur souple. Avec la fixation magnétique, le FBSS peut être déplacé vers différentes positions sur le manipulateur souple de manière rapide et précise. Par conséquent, le démonstrateur humain peut sélectionner un segment pour l'interaction, déplacer facilement le patch FBSS vers le segment correspondant, puis enseigner le manipulateur souple sans contact. Ainsi, nous nommons cette méthode "déplacement des capteurs et apprentissage".

Avec la méthode proposée "déplacement des capteurs et enseignement", nous montrons l'enseignement interactif du manipulateur souple avec une locomotion complexe dans des espaces 2D et 3D. Les signaux sans contact et tactiles normalisés de FBSS I et FBSS II sont également tracés en fonction du temps (Fig. 7).

Les signaux sans contact et tactiles normalisés de FBSS I et FBSS II en fonction du temps. Les flèches rouges et bleues dans chaque panneau indiquent que l'utilisateur déplaçait le FBSS d'une position à une autre afin d'interagir différemment avec le manipulateur souple. a Le démonstrateur enseigne des mouvements bidimensionnels en utilisant la méthode "déplacement des capteurs et apprentissage". b Enseignement interactif de la locomotion tridimensionnelle complexe en appliquant la méthode "déplacement des capteurs et enseignement".

Avec la méthode "déplacement des capteurs et enseignement", un utilisateur a appris de manière interactive au manipulateur souple à obtenir une forme en "S" 2D (Fig. 7a et Film supplémentaire 16). À l'étape (i), deux FBSS ont été placés au bas du troisième segment du manipulateur souple. Lorsque les deux mains du démonstrateur se sont approchées simultanément des deux FBSS, les trois segments du manipulateur souple se sont raccourcis et sont entrés en mode apprentissage. À l'étape (ii), le démonstrateur a déplacé le FBSS I vers la droite du premier segment, puis a utilisé sa main droite pour plier le premier segment vers la gauche. Ensuite, le démonstrateur a appuyé sur le FBSS I pour verrouiller le premier segment (iii). À l'étape (iv), le démonstrateur a déplacé le FBSS II vers le côté gauche du deuxième segment, a utilisé sa main gauche pour plier le deuxième segment vers la droite, puis a appuyé sur le FBSS II pour verrouiller le deuxième segment. À l'étape (v), le FBSS I a été déplacé vers le côté droit du troisième segment. Le démonstrateur a utilisé la main droite pour plier le troisième segment vers la gauche, puis a appuyé sur FBSS I pour verrouiller le troisième segment et a terminé la session d'enseignement sans contact. Selon cette méthode, nous avons réalisé une configuration planaire en forme de "S" du manipulateur souple en utilisant la méthode "déplacement des capteurs et enseignement" en décalant trois fois les capteurs FBSS.

Nous montrons une session d'enseignement interactive impliquant une locomotion complexe dans l'espace 3D en appliquant la méthode "déplacement des capteurs et enseignement" (Fig. 7b et Films supplémentaires 17, 18). A l'étape (i), le manipulateur souple a été déclenché pour entrer dans le mode d'apprentissage. À l'étape (ii), le démonstrateur a déplacé le FBSS II vers la droite du premier segment, puis a utilisé la main droite pour plier le premier segment vers la gauche. Ensuite, le démonstrateur a appuyé sur le capteur FBSS II pour "verrouiller" le premier segment dans la direction du courant (iii). À l'étape (iv), FBSS I a été déplacé vers l'arrière du premier segment, et la main droite a "plié" le manipulateur souple pour se déplacer vers l'extérieur. Ensuite, le premier segment a été "verrouillé" en appuyant sur le FBSS I. À l'étape (v), le FBSS II a été déplacé vers le côté gauche du deuxième segment. Le démonstrateur a utilisé la main gauche pour plier le deuxième segment vers la droite et a "verrouillé" le deuxième segment dans la direction actuelle en appuyant sur le FBSS II. A l'étape (vi), le FBSS I a été décalé vers l'avant du deuxième segment. Ensuite, le démonstrateur a utilisé la main droite pour plier le deuxième segment vers l'intérieur et "verrouiller" le deuxième segment en appuyant sur le FBSS I. Dans l'étape finale (vii), le FBSS II a été déplacé vers le côté gauche du troisième segment. Le démonstrateur a utilisé la main gauche pour plier le troisième segment vers la droite, puis a appuyé sur FBSS II pour verrouiller le troisième segment et a terminé la session d'enseignement sans contact. Ainsi, nous avons réalisé une configuration 3D complexe (notez que les neuf chambres du manipulateur souple étaient impliquées) du manipulateur souple en utilisant la méthode "déplacement des capteurs et enseignement" en déplaçant cinq fois les capteurs FBSS. Ces processus d'apprentissage ont pris respectivement 197 et 350 s. Les résultats expérimentaux montrent que la méthode "déplacement des capteurs et enseignement" est simple et efficace pour permettre des configurations 3D complexes de robots à continuum souple.

Nous montrons qu'un humain peut interagir étroitement avec le manipulateur doux pour accomplir une autre tâche difficile. Le crayon aquarellable était installé à l'extrémité du manipulateur (Fig. 8a). Avec cette configuration, nous avons appris au manipulateur à exécuter des mouvements pour "naviguer" dans un labyrinthe sur papier (Fig. 8b et Film supplémentaire 19). Le manipulateur doux a répété le tracé après l'apprentissage (Fig. 8c). Les signaux de sortie de FBSS I et II ont été enregistrés sur la période d'enseignement d'environ 240 s (Fig. 8d).

a Photographie de la configuration expérimentale pour apprendre à un manipulateur souple à compléter un labyrinthe. b, c Le labyrinthe du manipulateur trace pendant les processus d'enseignement et de répétition. d Courbes de signal pendant le processus d'apprentissage de l'achèvement du labyrinthe. e Courbes de photographie et de signal f de l'apprentissage interactif du manipulateur souple pour prélever un prélèvement de gorge. g Enseigner de manière interactive au manipulateur souple comment franchir une barrière et saisir avec succès une fleur artificielle.

Nous montrons également la capacité du manipulateur à accomplir une tâche critique dans le cadre de la santé publique. Alors que la pandémie de coronavirus continue de se propager dans le monde entier, les prélèvements de gorge sont devenus une pratique courante pour les tests médicaux. Cependant, cela a sans aucun doute imposé un fardeau aux travailleurs médicaux qui risquent d'être infectés pendant le processus de collecte. Pour résoudre ce problème, nous avons utilisé le système interactif pour apprendre au manipulateur doux à prélever un prélèvement de gorge (Fig. 8e, f et Film supplémentaire 20). Tout d'abord, un coton-tige a été installé à l'extrémité du manipulateur souple. L'utilisateur pourrait alors plier sans contact les deux premiers segments du manipulateur souple à la main pour contrôler la position de l'écouvillon. Une fois que l'écouvillon a atteint la position cible, l'utilisateur allonge le troisième segment du manipulateur souple en appuyant sur le FBSS et prélève l'échantillon d'écouvillon de gorge. Le système interactif intelligent est suffisamment simple à utiliser pour les travailleurs médicaux sans formation approfondie, et le manipulateur souple peut répéter l'action de manière autonome après un seul processus d'enseignement. Comparés aux robots rigides traditionnels, les manipulateurs souples sont intrinsèquement plus sûrs pour l'interaction humaine, en raison de leurs matériaux souples et de leurs structures souples. La pression d'air entraînée en temps réel a été comparée pendant les processus d'apprentissage et de répétition (Fig. 14 supplémentaire). Les deux courbes de pression d'air montrent des changements presque identiques au cours des deux processus.

Enfin, nous montrons que le manipulateur doux peut être "enseigné" pour franchir une barrière et saisir avec succès une fleur artificielle en déplaçant cinq fois les FBSS (Fig. 8g et Films supplémentaires 21, 22). Pour franchir la barrière, nous avons commandé sans contact le troisième segment pour se plier vers l'extérieur (i) et le premier segment pour se raccourcir. Ensuite, le deuxième segment a été plié vers la droite (ii), et le troisième segment a été plié vers le haut (iii) et vers l'intérieur. Pour saisir la fleur, le troisième segment a été plié vers le bas (iv) et la pince a saisi la fleur en appuyant sur le FBSS II (v), et l'ensemble du processus a duré environ 318 s. Le résultat expérimental montre les avantages de la méthode "déplacement des capteurs et de l'enseignement" dans l'application pratique du contrôle à plusieurs degrés de liberté du robot mou, et fournit un nouveau schéma pour le contrôle à plusieurs degrés de liberté du robot mou.

Dans cet article, nous avons développé un prototype de peau intelligente bimodale flexible (FBSS) qui répond aux stimulations tactiles et sans contact et fait la distinction entre les deux modes en temps réel. Avec le FBSS comme interface, nous avons proposé une méthode d'enseignement interactif sans contact humain-robot mou et testé systématiquement cette méthode sur un manipulateur doux continuum. Cette méthode d'enseignement interactive pour l'exécution de mouvements complexes a été réalisée de manière intuitive via des approches sans contact à mains nues du FBSS. En utilisant cette méthode, nous avons réussi à apprendre à un manipulateur souple "naïf" à se déplacer dans l'espace 3D et à effectuer des tâches simples telles que peindre, prélever un prélèvement de gorge et franchir une barrière pour saisir un objet. Nous envisageons que cette méthode d'enseignement interactive puisse étendre les utilisations pratiques des robots mous, car elle permet aux non-spécialistes d'utiliser le robot doux pour diverses tâches sans connaissance d'expert.

En termes d'autres méthodes de détection pertinentes, il existe quelques autres capteurs capables de détecter des stimulations tactiles et sans contact. Par exemple, la peau bimodale magnétique repose sur l'effet de magnétorésistance géante (GMR) via un film magnétique avec une extrusion en forme de pyramide à sa surface supérieure50. Lorsque le capteur à magnétorésistance géant détecte un champ magnétique autour du film, sa résistance change. Cependant, ce capteur nécessite que les objets en contact avec le film soient magnétiques, de sorte que les propriétés matérielles des objets détectés sont assez limitées. En revanche, un capteur triboélectrique peut détecter une large gamme de matériaux.

La flexibilité et la sensibilité élevées de la peau électronique triboélectrique ont permis au robot souple d'avoir à la fois des capacités de détection et d'interaction. La peau triboélectrique flexible, qui comprend principalement des films électriques et diélectriques flexibles, peut convertir les stimulations tactiles et sans contact en signaux de tension par électrification par contact et induction électrostatique, respectivement. Il convient de noter que les stimulations tactiles et sans contact entraînent la même tendance de variation électrique, il est difficile pour les peaux triboélectriques de distinguer ces deux modes en temps réel43,44. En combinant des mécanismes sensoriels triboélectriques et à métaux liquides, notre FBSS peut détecter simultanément des informations tactiles et sans contact et peut distinguer les deux modes en temps réel. Étant donné que le FBSS est flexible et extensible, il convient aux grandes déformations et peut être utilisé pour la détection robotique douce. De plus, le FBSS peut détecter une large gamme de matériaux pendant l'interaction (Fig. 3c). Nous avons comparé le FBSS avec d'autres capteurs tactiles/sans contact (tableau supplémentaire 4). À l'avenir, la précision de détection du FBSS pourra être encore améliorée en optimisant la structure pyramidale microscopique et les canaux de métal liquide.

Il existe peu de rapports antérieurs sur l'enseignement interactif humain des robots mous. Notre méthodologie proposée présente les caractéristiques uniques suivantes pour l'enseignement du mouvement : (1) la méthode est basée sur un contrôle sans contact et à courte distance via la coordination œil-main naturelle des participants humains, ce qui la rend intuitive et simple ; et (2) le résultat pédagogique est assez efficace en termes de temps et de précision. Avec la méthode d'enseignement interactive sans contact, la plupart des mouvements 3D du manipulateur souple ont été terminés en quelques minutes.

L'approche d'enseignement par « contact » pour les manipulateurs robotiques rigides traditionnels (c'est-à-dire, obtenir un comportement conforme avec l'effecteur terminal d'un robot en réponse aux forces exercées par un opérateur humain) est problématique pour l'enseignement des robots mous46. Capturer la déformation passive des manipulateurs continuum souples, par exemple, lorsqu'ils sont manipulés par une main humaine, nécessite de nombreux capteurs souples, ce qui complique la reconstruction de la forme et de la configuration par la suite. En revanche, des sujets humains sans aucune compétence ou expérience en enseignement robotique ont validé la praticité et l'efficacité de cette méthode d'enseignement. De plus, l'enregistrement et l'analyse des informations sans contact/tactiles pendant le processus d'enseignement et la relecture des mouvements du robot logiciel peuvent aider à illustrer comment les humains préfèrent interagir sans contact avec les robots. Un enregistrement des mouvements de la main, en particulier à l'approche du robot, de différentes personnes aiderait encore à affiner le système interactif.

En ce qui concerne les limites de cette recherche, nous avons utilisé deux capteurs logiciels pour créer une interface interactive dans la présente étude. Dans les travaux futurs, nous intégrerons des capteurs souples plus interactifs dans le manipulateur souple pour permettre des contrôles plus complexes de la forme du robot et pour capturer plus de rétroaction. De plus, le développement de réseaux multi-capteurs avec FBSS et l'intégration d'outils d'apprentissage automatique émergents permettraient des mouvements robotiques plus complexes avec différentes morphologies établies par une interaction sans contact. Par exemple, collectez des données sensorielles massives pour la formation ML afin de reconnaître les gestes humains et les objets environnementaux pour les robots mous. De plus, la capacité de faire la distinction entre une main humaine et un objet ou un obstacle avec FBSS dans un environnement complexe compléterait davantage la méthode d'enseignement actuelle.

Dans cette étude, nous avons utilisé un robot souple actionné pneumatiquement, qui est simple, répétable et robuste. Les matériaux réactifs peuvent permettre aux robots mous de s'actionner à travers une variété de stimuli, tels que la lumière, les champs magnétiques, l'électricité et les produits chimiques53, et les structures de matériaux mous tels que l'origami et les métamatériaux peuvent permettre des mouvements complexes grâce à une méthode d'enseignement interactive sans contact54. Nous envisageons que les robots mous interactifs puissent travailler en collaboration avec un nombre croissant de participants humains dans une grande variété de disciplines.

Un film de Kapton à motifs a d'abord été fixé sur une plaquette de silicium propre en tant que masque d'ombre (Fig. 15A supplémentaire). La solution de réseau Ag NW a ensuite été pulvérisée sur la plaquette et le solvant évaporé à 60 ° C pendant 15 min. Une fine couche de caoutchouc de silicone a été coulée par centrifugation sur la plaquette et durcie à 60 ° C pendant 4 h. Le caoutchouc de silicone durci a ensuite été soigneusement décollé de la plaquette et le réseau Ag NW a été transféré sur le caoutchouc de silicone.

Le moule SLA avec des grottes micro-pyramides (profondeur = 320 μm; largeur = 500 μm) a d'abord été imprimé par une imprimante 3D de micro-précision (Fig. 15B supplémentaire). Le caoutchouc de silicone (Smooth-on, Dragon skin 00–20) a ensuite été coulé sur le moule et durci à température ambiante pendant 4 h. Le caoutchouc de silicone durci a été soigneusement décollé du moule et les structures de micro-pyramide ont été transférées dessus.

À l'aide d'une imprimante à métal liquide (DREAM Ink, DP-1), le métal liquide à motifs a été imprimé sur le substrat en plastique (Fig. 16 supplémentaire). Le caoutchouc de silicone (Smooth-on, Dragon skin 00-20) a été coulé en goutte sur le métal liquide à motifs, puis durci à température ambiante pendant 4 h. Pour transférer le métal liquide à motifs du substrat sur le caoutchouc de silicone, ils ont été placés au réfrigérateur à -140 ° C pendant 40 min. Le silicone durci a été soigneusement décollé du substrat et le métal liquide à motifs a été noyé dans le silicone. Du caoutchouc de silicone supplémentaire (Smooth-on, Dragon skin 00-20) a été coulé en goutte sur un autre côté du métal liquide à motifs et durci à température ambiante pendant 4 h.

Le manipulateur souple est conçu et fabriqué pour saisir des objets (Fig. 17 supplémentaire). Le manipulateur souple se compose principalement de trois modules d'actionneur souples et d'un préhenseur souple comme effecteur terminal (Fig. 5a). Le manipulateur souple a 10 chambres pneumatiques et chaque segment de flexion a 3 chambres (avec 3 segments de flexion au total). L'effecteur terminal, une pince souple à quatre doigts, est actionné par une seule entrée d'air.

Au cours du processus d'apprentissage, le mouvement du manipulateur souple suit un modèle cinématique sous l'hypothèse de courbure constante par morceaux (PCC). Nous considérons que la forme du manipulateur souple est composée d'un nombre fixe de segments à courbure constante. Le modèle cinématique passe de l'espace de configuration (paramètres d'arc κi, θi, φi) à l'espace d'actionnement (pression de la chambre pij). Plus précisément, les indices i = 1, 2, 3 et j = 1, 2, 3 se réfèrent respectivement au ième segment et à la jième chambre. Nous définissons le paramètre d'arc κi comme le rayon de courbure du ième segment, θi comme l'angle de courbure autour de l'axe y et φi comme l'angle de déviation autour de l'axe z (Fig. 5b, c). Le paramètre constant d pourrait être mesuré avant d'initier l'actionnement. Tout d'abord, nous résolvons la longueur de la chambre lij à partir des paramètres d'arc donnés κi, θi, φi (ri = κi−1), illustrés dans l'Eq. (1)

Ensuite, en ajoutant des relations pression-longueur calibrées (Fig. 18 supplémentaire), nous pouvons calculer la pression d'actionnement pij à partir de la longueur de la chambre lij pour compléter le contrôle basé sur le modèle.

Le processus d'enseignement commence par une main humaine s'approchant du FBSS, et le FBSS transforme les informations de distance en un signal de tension (Fig. 5d et Tableau supplémentaire 2). Tout d'abord, nous normalisons le signal de tension via Eq. (2), avec une fréquence d'échantillonnage de 100 Hz :

où Sout est le signal de tension normalisé, V est la tension mesurée du FBSS, Vmax est la sortie de tension maximale du FBSS et Vinit est la sortie de tension initiale du FBSS. Ensuite, nous utilisons un filtre moyen de fréquence d'échantillonnage de 10 fois pour éliminer le bruit du signal. Pour obtenir une longueur de pas variable à partir du signal de rétroaction FBSS, nous implémentons la fonction tangente hyperbolique en tant que cartographie de la longueur de pas (Fig. 5e), illustrée dans l'Eq. (3):

où θh est la longueur de pas calculée, hinit est la longueur de pas initiale et k1, k2 sont les paramètres de la fonction tangente hyperbolique. Ensuite, la longueur du pas est ajoutée à l'angle de flexion actuel θ0 dans l'équation. (4):

L'angle de flexion θ est substitué dans le modèle cinématique pour résoudre les pressions de chambre pij du manipulateur souple, et le système pneumatique multicanal exécute l'actionnement avec des pressions pij. Enfin, lorsque le FBSS enregistre un contact physique, le manipulateur souple déclenche la pince pour terminer le mouvement de préhension.

Au cours du processus d'interaction sans contact, l'effecteur terminal du manipulateur souple peut être guidé par le mouvement de la main humaine dans l'espace 3D. La position de l'effecteur terminal peut être déterminée par la vision de l'opérateur.

Nous avons évalué l'erreur d'enseignement sous différentes stratégies de contrôle de la longueur des pas. Nous avons monté un émetteur laser sur l'effecteur terminal du manipulateur souple pour suivre la position de l'effecteur terminal. Pendant tout le processus d'interaction, le coût du temps et l'erreur de position sont enregistrés et chaque test est répété 5 fois. Le temps d'exécution moyen et l'erreur de position de la stratégie de longueur de pas variable sont respectivement de 24,3 s et 4,6 mm (Fig. 5f). Ainsi, nous avons adopté la stratégie de longueur de pas variable pour l'enseignement interactif. L'espace de travail du manipulateur souple mesure 568 mm de longueur, 591 mm de largeur et 334 mm de hauteur (Fig. 5g). Cela garantit une large gamme de locomotion interactive pour un utilisateur humain.

La résistance du FBSS a été mesurée avec une carte d'acquisition de données synchrone (National Instruments, USB-6356). La tension, le courant et les charges de transfert ont été mesurés à l'aide d'un électromètre (Tektronix Inc., Keithley 6514).

Les données générées dans cette étude sont fournies dans le fichier de données source. Les données sources sont fournies avec ce document.

Hsiao, J.-H., Chang, JY & Cheng, CM Robotique médicale douce : applications cliniques et biomédicales, défis et orientations futures. Adv. Robot. 33, 1099-1111 (2019).

Article Google Scholar

Hu, W., Lum, GZ, Mastrangeli, M. & Sitti, M. Robot à corps mou à petite échelle avec locomotion multimodale. Nature 554, 81–85 (2018).

Article ADS CAS PubMed Google Scholar

Walsh, C. Développement humain dans la boucle de robots portables souples. Nat. Rév. Mater. 3, 78–80 (2018).

Annonces d'article Google Scholar

Kim, Y., Parada, GA, Liu, S. & Zhao, X. Robots continuum doux ferromagnétiques. Sci. Robot. 4, 1–16 (2019).

Article CAS Google Scholar

Li, G. et al. Robot mou auto-alimenté dans la fosse des Mariannes. Nature 591, 66–71 (2021).

Article ADS CAS PubMed Google Scholar

Thandiackal, R. et al. Émergence d'une nage ondulatoire auto-organisée robuste basée sur la détection de force hydrodynamique locale. Sci. Robot. 6, eabf6354 (2021).

Naclério, ND et al. Le contrôle des forces souterraines permet d'obtenir un robot souple rapide, orientable et fouisseur. Sci. Robot. 6, eabe2922 (2021).

Li, L. et al. Robots aéro-aquatiques capables de franchir la frontière air-eau et de faire de l'auto-stop sur les surfaces. Sci. Robot. 7, eabm6695 (2022).

Article PubMed Google Scholar

Xie, Z. et al. Actionneurs souples coniques inspirés du bras Octopus avec ventouses pour une meilleure préhension. Robot doux. 7, 639–648 (2020).

Article PubMed Google Scholar

Gu, G. et al. Une main neuroprothétique souple offrant un contrôle myoélectrique et un retour tactile simultanés. Nat. Biomédical. Ing. https://doi.org/10.1038/s41551-021-00767-0 (2021).

Wehner, M. et al. Une stratégie de conception et de fabrication intégrée pour des robots entièrement mous et autonomes. Nature 536, 451–455 (2016).

Article ADS CAS PubMed Google Scholar

Gong, Z. et al. Un manipulateur souple pour une préhension délicate efficace en eau peu profonde : modélisation, contrôle et expérimentations en situation réelle. Int. J. Rob. Rés. 40, 449–469 (2021).

Article Google Scholar

Kim, W. et al. Origami extensible à double morphing bio-inspiré. Sci. Robot. 4, eaay3493 (2019).

Coevoet, E. et al. Boîte à outils logicielle pour la modélisation, la simulation et le contrôle de robots mous. Adv. Robot. 31, 1208-1224 (2017).

Article Google Scholar

Rucker, DC & Webster, RJ dans Springer Tracts in Advanced Robotics Vol. 79, 645–654 (IEEE, 2014).

Rucker, DC, Jones, BA et Webster, RJ III Un modèle géométriquement exact pour les robots continus à tube concentrique à charge externe. IEEE Trans. Robot. 26, 769–780 (2010).

Article PubMed PubMed Central Google Scholar

Trivedi, D., Lotfi, A. & Rahn, CD Modèles géométriquement exacts pour les manipulateurs robotiques mous. IEEE Trans. Robot. 24, 773–780 (2008).

Article Google Scholar

Hannan, MW & Walker, ID Kinematics et la mise en œuvre d'un manipulateur de trompe d'éléphant et d'autres robots de style continu. J. Robot. Syst. 20, 45–63 (2003).

Article PubMed MATH Google Scholar

Pan, Y., Chen, C., Li, D., Zhao, Z. & Hong, J. Système de téléopération de robot basé sur la réalité augmentée utilisant un dispositif d'imagerie et d'enseignement d'attitude RVB-D. Robot. Calcul. Intégr. Fab. 71, 102167 (2021).

Article Google Scholar

Weng, C., Yuan, Q., Suarez-Ruiz, F. & Chen, I. Une méthode de collaboration homme-robot basée sur la télémanipulation pour enseigner les compétences de masquage aérospatial. IEEE Trans. Ind. Inform. 16, 3076–3084 (2020).

Article Google Scholar

Du, G., Yao, G., Li, C. & Liu, P. Une méthode d'enseignement de robot hors ligne-fusion-en ligne basée sur l'interaction naturelle homme-robot et l'algorithme d'aide visuelle. IEEE/ASME Trans. Mécatronique 1–12, https://doi.org/10.1109/TMECH.2021.3112722 (2021).

Fan, FR et al. Nanogénérateurs triboélectriques transparents et capteurs de pression auto-alimentés basés sur des films plastiques à micro-motifs. Nano Lett. 12, 3109–3114 (2012).

Article ADS CAS PubMed Google Scholar

Yang, Y. et al. Nanogénérateurs triboélectriques à base de peau humaine pour récolter l'énergie biomécanique et comme système de capteur tactile actif auto-alimenté. ACS Nano 7, 9213–9222 (2013).

Article CAS PubMed Google Scholar

Wang, ZL Nanogénérateurs triboélectriques comme nouvelle technologie énergétique pour les systèmes auto-alimentés et comme capteurs mécaniques et chimiques actifs. ACS Nano 7, 9533–9557 (2013).

Article CAS PubMed Google Scholar

Ren, Z. et al. Capteurs tactiles entièrement élastiques et sans métal pour détecter les forces normales et tangentielles basés sur des nanogénérateurs triboélectriques. Adv. Fonct. Mater. 28, 1802989 (2018).

Article CAS Google Scholar

Zhao, G. et al. Nanogénérateur triboélectrique transparent et extensible pour une détection tactile auto-alimentée. Nanoénergie 59, 302–310 (2019).

Article CAS Google Scholar

Wang, ZL Nanogénérateurs triboélectriques en tant que nouvelle technologie énergétique et capteurs auto-alimentés - principes, problèmes et perspectives. Discutez de Faraday. 176, 447–458 (2014).

Article ADS CAS PubMed Google Scholar

Wang, Z., Chen, J. & Lin, L. Progrès dans les nanogénérateurs triboélectriques en tant que nouvelle technologie énergétique et capteurs auto-alimentés. Énergie Environ. Sci. 8, 2250-2282 (2015).

Article CAS Google Scholar

Yao, G. et al. Nanogénérateurs triboélectriques bio-inspirés en tant que peau électronique auto-alimentée pour la détection tactile robotique. Adv. Fonct. Mater. 30, 1907312 (2020).

Article CAS Google Scholar

Jin, T. et al. Capteurs nanogénérateurs triboélectriques pour la robotique douce visant des applications de jumeaux numériques. Nat. Commun. 11, 1–12 (2020).

Article ADS CAS Google Scholar

Zhang, S. et al. Tri dimensionnel non destructif par des préhenseurs robotiques souples intégrés à un capteur triboélectrique. ACS Nano 16, 3008–3016 (2022).

Chen, J. et al. Robots souples avec détection de configuration auto-alimentée. Nanoénergie 77, 105171 (2020).

Article CAS Google Scholar

Luo, J. et al. Nanogénérateurs triboélectriques flexibles et durables à base de bois pour la détection autonome dans l'analyse de données volumineuses sportives. Nat. Commun. 10, 5147 (2019).

Article ADS PubMed PubMed Central CAS Google Scholar

Liu, Z. et al. Capteur de pression endocardique ultrasensible auto-alimenté par transcathéter. Adv. Fonct. Mater. 29, 1–10 (2019).

Annonces Google Scholar

Zou, Y. et al. Un nanogénérateur extensible bionique pour la détection sous-marine et la récupération d'énergie. Nat. Commun. 10, 1–10 (2019).

Article ADS CAS Google Scholar

Liu, Y. et al. Nanogénérateurs triboélectriques minces, intégrés à la peau et extensibles pour la détection tactile. Adv. Électron. Mater. 6, 1901174 (2020).

Article CAS Google Scholar

Lui, J. et al. Nanogénérateurs triboélectriques extensibles inspirés du trampoline comme capteurs tactiles pour l'électronique épidermique. Nano énergie 81, 105590 (2021).

Article CAS Google Scholar

Wu, M. et al. Nanogénérateurs triboélectriques à base de mousse minces, doux et intégrés à la peau pour la détection tactile et la récupération d'énergie. Mater. Aujourd'hui Énergie 20, 100657 (2021).

Article CAS Google Scholar

Zhao, J. et al. Transistor tribotronique organique flexible pour la détection de pression et magnétique. ACS Nano 11, 11566–11573 (2017).

Article CAS PubMed Google Scholar

Bu, T. et al. Peau intelligente triboélectrique-photonique extensible pour la détection tactile et gestuelle. Adv. Mater. 30, 1800066 (2018).

Article CAS Google Scholar

Wu, H. et al. Peau électronique sans contact auto-alimentée pour la détection de mouvement. Adv. Fonct. Mater. 28, 1–10 (2018).

Annonces CAS Google Scholar

Shi, M. et al. Peau intelligente analogique auto-alimentée. ACS Nano 10, 4083–4091 (2016).

Article CAS PubMed Google Scholar

Lai, Y.-C. et coll. Robots mous percevant activement et réactifs, activés par des peaux triboélectriques auto-alimentées, hautement extensibles et très sensibles à détection de proximité et de pression. Adv. Mater. 30, 1801114 (2018).

Article CAS Google Scholar

Chen, S., Pang, Y., Yuan, H., Tan, X. & Cao, C. Actionneurs et préhenseurs souples intelligents activés par des tribo-skins auto-alimentés. Adv. Mater. Technol. 5, 1901075 (2020).

Article Google Scholar

Du, G., Chen, M., Liu, C., Zhang, B. & Zhang, P. Enseignement robotique en ligne avec interaction naturelle homme-robot. IEEE Trans. Ind. Électron. 65, 9571–9581 (2018).

Article Google Scholar

Ficuciello, F., Villani, L. & Siciliano, B. Contrôle d'impédance variable de manipulateurs redondants pour une interaction physique intuitive homme-robot. IEEE Trans. Robot. 31, 850–863 (2015).

Article Google Scholar

Rus, D. & Tolley, MT Conception, fabrication et contrôle de robots mous. Nature 521, 467–475 (2015).

Article ADS CAS PubMed Google Scholar

Shah, D. et al. Robots à changement de forme : bioinspiration, simulation et réalisation physique. Adv. Mater. 33, 2002882 (2021).

Article CAS Google Scholar

Shih, B. et al. Skins électroniques et machine learning pour robots mous intelligents. Sci. Robot. 5, eaaz9239 (2020).

Article PubMed Google Scholar

Ge, J. et al. Une peau électronique douce bimodale pour une interaction tactile et sans contact en temps réel. Nat. Commun. 10, 4405 (2019).

Article ADS PubMed PubMed Central CAS Google Scholar

Guo, H. et al. Nanogénérateur triboélectrique à électrode unique flexible auto-stérilisé pour la récupération d'énergie et la détection de force dynamique. ACS Nano 11, 856–864 (2017).

Article CAS PubMed Google Scholar

Lu, X. et al. Nanogénérateur triboélectrique extensible et transparent en tant que capteur auto-alimenté très sensible pour la surveillance de la fatigue et de la distraction du conducteur. Nano énergie https://doi.org/10.1016/j.nanoen.2020.105359 (2020).

Rich, SI, Wood, RJ & Majidi, C. Robotique douce sans attache. Nat. Électron. 1, 102–112 (2018).

Article Google Scholar

Laschi, C., Mazzolai, B. & Cianchetti, M. Robotique douce : technologies et systèmes repoussant les limites des capacités des robots. Sci. Robot. 1, 1–12 (2016).

Article Google Scholar

Télécharger les références

Ce travail a été soutenu par les projets de soutien de la National Science Foundation, Chine (Grant Nos. 91848206, 92048302, T2121003 reçus par LW) et le National Key R&D Program of China (Grant Nos. 2018YFB1304600, 2019YFB1309600, 2020YFB1313003 reçu par LW). Nous tenons à remercier Zhexin Xie, Shiqiang Wang, Shanshan Du et Chuqian Wang pour leur aide dans ce travail.

Ces auteurs ont contribué à parts égales : Wenbo Liu, Youning Duo, Jiaqi Liu, Feiyang Yuan.

École de génie mécanique et d'automatisation, Université Beihang, Pékin, 100191, Chine

Wenbo Liu, Youning Duo, Jiaqi Liu, Feiyang Yuan, Lei Li, Luchen Li, Gang Wang, Bohan Chen, Siqi Wang, Yun Wang, Xilun Ding et Li Wen

Institut des semi-conducteurs, Académie des sciences du Guangdong, Guangdong, 510075, Chine

Hui Yang

École d'ingénierie générale, Université Beihang, Pékin, 100191, Chine

Yuchen Liu et Yanru Mo

Laboratoire national de Tsinghua pour les sciences et technologies de l'information, Département d'informatique et de technologie, Université Tsinghua, Pékin, 100084, Chine

Bin Fang et Fuchun Sun

CAS Center for Excellence in Nanoscience, Beijing Key Laboratory of Micro-Nano Energy and Sensor, Beijing Institute of Nanoenergy and Nanosystems, Chinese Academy of Sciences, Beijing, 101400, Chine

Chi Zhang

École des nanosciences et de la technologie, Université de l'Académie chinoise des sciences, Pékin, 100049, Chine

Chi Zhang

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

WL et LW ont conçu l'idée, WL, YD, JL, FY, CZ, YW, BF, FS, XD et LW ont analysé les données et rédigé l'article. WL a conçu et fabriqué le FBSS. YD et JL ont conçu et fabriqué le manipulateur souple. WL, YD, JL et HY ont mis en œuvre le système d'enseignement interactif. Lei L., GW, BC, SW, Luchen L., HY et YL ont mené les expériences. Lei L., YM et WL dessinent et optimisent les figures, tableaux et vidéos.

Correspondance à Li Wen.

Les auteurs ne déclarent aucun intérêt concurrent.

Nature Communications remercie Huichan Zhao et les autres examinateurs anonymes pour leur contribution à l'examen par les pairs de ce travail. Les rapports des pairs examinateurs sont disponibles.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Liu, W., Duo, Y., Liu, J. et al. Enseignement interactif sans contact de robots mous via des interfaces sensorielles bimodales flexibles. Nat Commun 13, 5030 (2022). https://doi.org/10.1038/s41467-022-32702-5

Télécharger la citation

Reçu : 20 mars 2022

Accepté : 12 août 2022

Publié: 26 août 2022

DOI : https://doi.org/10.1038/s41467-022-32702-5

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

Communication Nature (2023)

Nanorecherche (2023)

Science Sciences technologiques chinoises (2023)

En soumettant un commentaire, vous acceptez de respecter nos conditions d'utilisation et nos directives communautaires. Si vous trouvez quelque chose d'abusif ou qui ne respecte pas nos conditions ou directives, veuillez le signaler comme inapproprié.