Détection et correction généralisables des erreurs d'impression 3D via plusieurs

Nature Communications volume 13, Numéro d'article : 4654 (2022) Citer cet article

11 000 accès

3 Citations

188 Altmétrique

Détails des métriques

L'extrusion de matériaux est la méthode de fabrication additive la plus répandue, mais son application dans les produits d'utilisation finale est limitée par la vulnérabilité aux erreurs. Les humains peuvent détecter les erreurs mais ne peuvent pas assurer une surveillance continue ou une correction en temps réel. Les approches automatisées existantes ne sont pas généralisables à différentes pièces, matériaux et systèmes d'impression. Nous entraînons un réseau de neurones multi-têtes en utilisant des images automatiquement étiquetées par écart par rapport aux paramètres d'impression optimaux. L'automatisation de l'acquisition de données et de l'étiquetage permet la génération d'un ensemble de données d'impression 3D par extrusion vaste et varié, contenant 1,2 million d'images de 192 pièces différentes étiquetées avec des paramètres d'impression. Le réseau de neurones ainsi entraîné, associé à une boucle de contrôle, permet une détection en temps réel et une correction rapide de diverses erreurs qui sont efficaces sur de nombreuses géométries 2D et 3D, matériaux, imprimantes, trajectoires d'outils et même méthodes d'extrusion. Nous créons en outre des visualisations des prédictions du réseau pour faire la lumière sur la façon dont il prend ses décisions.

L'extrusion de matériaux est la méthode de fabrication additive (AM) la plus courante pour des raisons telles que son coût relativement faible, son faible post-traitement, sa compatibilité avec de nombreux matériaux et sa capacité multi-matériaux1. Celles-ci ont rendu l'extrusion AM prometteuse dans de nombreux domaines2, notamment les soins de santé3, les dispositifs médicaux4, l'aérospatiale5 et la robotique6. Cependant, l'une des principales raisons pour lesquelles bon nombre de ces applications restent au stade de la recherche est que l'extrusion AM est vulnérable à diverses erreurs de production. Celles-ci vont des inexactitudes dimensionnelles à petite échelle et des faiblesses mécaniques aux échecs de construction totaux1,7,8,9,10. Pour contrer les erreurs, un travailleur qualifié doit généralement observer le processus AM, reconnaître une erreur, arrêter l'impression, retirer la pièce, puis ajuster de manière appropriée les paramètres d'une nouvelle pièce. Si un nouveau matériau ou une nouvelle imprimante est utilisé, ce processus prend plus de temps à mesure que le travailleur acquiert de l'expérience avec la nouvelle configuration11,12. Même dans ce cas, des erreurs peuvent être manquées, surtout si le travailleur n'observe pas en permanence chaque processus. Cela peut être difficile si plusieurs imprimantes fonctionnent simultanément ou, comme l'a mis en évidence la pandémie de COVID-19, le personnel est limité en raison de l'éloignement social ou de la maladie. Non seulement cela coûte du matériel, de l'énergie et du temps, mais cela limite également à la fois l'utilisation de pièces AM dans les produits d'utilisation finale, en particulier ceux dont la sécurité est essentielle comme les dispositifs médicaux, et la résilience des chaînes d'approvisionnement basées sur la FA. Ces défis sont appelés à devenir plus pressants à mesure que la FA s'étend aux matériaux vivants et fonctionnels, aux structures complexes en treillis multi-matériaux et aux environnements difficiles tels que les chantiers de construction extérieurs éloignés ou sur le corps humain.

Cela a motivé des recherches diverses et intéressantes sur la surveillance de l'extrusion AM13. Des capteurs de courant14,15, inertiels16,17 et acoustiques18,19,20,21,22 ont souvent été utilisés pour surveiller l'extrusion AM. Bien que ces approches conduisent à la détection fiable de certaines modalités d'erreur, généralement à grande échelle, lors de l'impression, de nombreuses erreurs restent indétectables. Ces méthodologies doivent également être utilisées dans la plupart des imprimantes 3D, car le coût des capteurs et des amplificateurs pour de telles approches est souvent élevé. De plus, ils ne sont pas suffisamment riches en données pour permettre une rétroaction et une correction en ligne.

Les approches basées sur la caméra sont potentiellement polyvalentes et riches en données. Des caméras uniques montées sur le châssis de l'imprimante avec une vue de dessus ou de côté, associées à des techniques traditionnelles de vision par ordinateur et de traitement d'image, ont été utilisées pour détecter diverses erreurs AM d'extrusion23,24,25,26,27,28,29,30,31,32. Cette approche présente les avantages d'être relativement peu coûteuse, plus facile à mettre en place et que la caméra peut souvent voir à tout moment une grande partie de la pièce fabriquée. Cela permet de détecter de nombreuses erreurs, telles que la déformation du remplissage ou la présence de « gouttes » de matériau. Cependant, l'utilisation d'une seule caméra peut limiter la quantité d'informations obtenues sur le processus de fabrication et donc la gamme d'erreurs et de types d'erreurs identifiés. Les approches multi-caméras sont plus coûteuses et complexes à mettre en œuvre, mais potentiellement plus performantes. Plusieurs vues de la pièce, ou l'ajout de caméras infrarouges, peuvent permettre de voir des défauts, tels que des impressions incomplètes, qui peuvent ne pas être apparents d'un seul point de vue33,34,35. Les reconstructions 3D de pièces imprimées, par exemple, générées par un balayage de lumière structurée 3D multi-caméras et une corrélation d'images numériques, peuvent être comparées au modèle de pièce numérique 3D pour détecter les inexactitudes dimensionnelles35,36,37,38,39,40,41,42,43. Cependant, ces systèmes plus sophistiqués sont souvent coûteux, sensibles aux conditions d'éclairage et aux propriétés de surface de la pièce, plus lents en raison du temps de numérisation et de calcul, nécessitent un positionnement et un étalonnage précis et se limitent à détecter des erreurs suffisamment importantes pour voir les limites de résolution du scanner données.

Les approches à une ou plusieurs caméras montées sur cadre, comme ci-dessus, ont également souvent du mal à voir le matériau lorsqu'il est déposé à partir de la buse car la tête d'impression peut obscurcir la vue. En règle générale, les impressions doivent être interrompues pour permettre l'imagerie d'une couche, ce qui empêche la correction en temps réel, ralentit les taux de production et peut lui-même provoquer des erreurs dues à une extrusion incohérente. Cela a motivé le travail sur le montage de caméras uniques et multiples sur la buse ou l'extrudeuse, qui peuvent visualiser le processus d'impression en cours et ont permis un retour en temps réel pour corriger la sur ou la sous-extrusion pendant l'impression44,45 ainsi que l'estimation de la forme du matériau extrudé de la buse46. Les approches traditionnelles de vision par ordinateur sont très prometteuses pour cibler explicitement des erreurs spécifiques dans des parties spécifiques des systèmes d'impression 3D pour lesquels elles ont été calibrées. Cependant, il est très difficile de créer des algorithmes d'extraction de caractéristiques qui peuvent être généralisés à différentes pièces, imprimantes, matériaux et configurations. Par conséquent, la plupart des exemples ne montrent qu'une seule combinaison d'imprimante, de géométrie de pièce, de matériau et de condition d'impression, et aucun ne démontre la correction d'erreurs dans plusieurs pièces ou configurations.

L'apprentissage automatique et en particulier les techniques d'apprentissage en profondeur ont atteint des performances de pointe dans de nombreuses applications, y compris la vision47, en exprimant des représentations complexes en termes d'autres représentations plus simples48. Cela a conduit à plusieurs démonstrations récentes passionnantes d'apprentissage automatique dans la détection d'erreurs d'extrusion AM49,50,51,52,53,54,55,56. Cependant, les travaux existants n'ont démontré que la détection d'erreurs dans une seule pièce et, par conséquent, l'efficacité des techniques existantes pour d'autres pièces, en particulier les pièces non vues dans les données de formation, est inconnue. De plus, la plupart des approches existantes ne peuvent détecter qu'une seule modalité d'erreur : un faible débit49, des défauts intercouches50, une déformation en chaîne53 et de grands défauts de surface supérieure52,54. Souvent, les méthodes existantes exigent également qu'un objet ait déjà été imprimé avec succès pour fournir des comparaisons pour la détection d'erreurs51,54,55. Cela peut être particulièrement limitant pour les pièces personnalisées. L'apprentissage automatique est le plus excitant dans la détection d'erreurs car il pourrait potentiellement être plus robuste et généralisable à de nouveaux matériaux, géométries et imprimantes que les fonctionnalités artisanales. Cependant, le potentiel des algorithmes d'apprentissage automatique pour découvrir des caractéristiques d'erreur généralisables reste largement inexploré.

Pour que la détection des erreurs atteigne son plein potentiel en réduisant les déchets d'impression 3D et en améliorant la durabilité, le coût et la fiabilité, elle doit être associée à la correction des erreurs. Des travaux ont été menés pour détecter et corriger certains types d'erreurs entre des impressions ultérieures du même objet51,55. Cependant, de nombreuses impressions de cet objet sont nécessaires pour créer l'ensemble de données, ce qui permet de corriger les erreurs dans cet objet. De plus, ces méthodes ne sont pas capables de correction en temps réel, ce qui signifie que si une erreur est détectée, cette partie ne peut pas être récupérée. Une étude précédente a examiné la correction et le contrôle en temps réel de l'extrusion AM49. Cependant, la mise en œuvre ne démontre que la correction du paramètre d'impression du débit et uniquement dans une géométrie utilisée à la fois pour la formation et le test du système. Il existe également un délai important entre la détection et la correction des erreurs. Comme c'est le cas avec la détection d'erreurs, les performances des méthodes de correction d'erreurs existantes dans les objets invisibles ne sont pas claires, ce qui limite leur applicabilité industrielle.

Nous rapportons ici une méthode facilement déployable utilisant des webcams peu coûteuses et un seul réseau de neurones à convolution profonde multi-têtes pour augmenter toute imprimante 3D basée sur l'extrusion avec détection d'erreur, correction et découverte de paramètres pour de nouveaux matériaux (Fig. 1). Cela a été réalisé dans ce travail grâce au développement de CAXTON : le réseau d'extrusion autonome collaboratif, qui connecte et contrôle les imprimantes 3D d'apprentissage, permettant la collecte de données de flotte et l'apprentissage collaboratif de bout en bout. Chaque imprimante du réseau peut imprimer et collecter des données en continu, à l'aide d'un système de retrait de pièces. Contrairement au travail de surveillance AM d'apprentissage en profondeur existant, qui utilise souvent l'étiquetage humain des erreurs pour former des algorithmes, CAXTON étiquette automatiquement les erreurs en termes d'écart par rapport aux paramètres d'impression optimaux. De manière unique, CAXTON sait ainsi non seulement identifier mais aussi corriger diverses erreurs car, pour chaque image, il sait à quel point les paramètres d'impression sont éloignés de leurs valeurs optimales. Cette génération autonome de données de formation permet la création d'ensembles de données plus vastes et plus diversifiés, ce qui améliore la précision et la généralisation. Le système final est capable de détecter et de corriger plusieurs paramètres simultanément et en temps réel. Le réseau de neurones multi-têtes peut auto-apprendre l'interaction entre les paramètres de fabrication grâce à l'épine dorsale d'extraction de caractéristiques partagée unique, rendant même le système capable de reconnaître plusieurs solutions pour résoudre la même erreur. Dans le cadre de ce travail, un ensemble de données de surveillance de processus optiques in situ à grande échelle pour l'extrusion AM a été organisé et sera publié. Il contient plus d'un million d'images d'échantillons de dépôt de matériau de la buse de l'imprimante étiquetées avec leurs paramètres d'impression respectifs à partir de 192 impressions de différentes géométries 2D et 3D. Le système est hautement évolutif, utilise un micrologiciel couramment utilisé et peut évoluer grâce à l'ajout à distance d'autres imprimantes pour des ensembles de données futurs plus grands et plus diversifiés. Bien qu'elles aient été formées uniquement sur des pièces d'acide polylactique thermoplastique extrudées, ces capacités se généralisent à des imprimantes, des positions de caméra, des matériaux et une extrusion d'écriture directe à l'encre inédites. Nous décrivons également plusieurs innovations telles que la division des trajectoires d'outils et les mises à jour des paramètres proportionnels qui permettent d'améliorer les vitesses de correction d'un ordre de grandeur par rapport aux travaux de correction d'erreurs d'impression 3D en temps réel actuellement publiés. Ceci est possible avec un équipement à faible coût ne nécessitant qu'une connexion réseau, une webcam grand public standard et un ordinateur monocarte à faible coût (par exemple, Raspberry Pi). Enfin, l'utilisation de couches d'attention au sein du réseau permet aux opérateurs humains d'interpréter les fonctionnalités sur lesquelles le réseau se concentre. Des méthodes de visualisation sont ensuite utilisées pour mieux comprendre comment le réseau neuronal formé fait des prédictions à la fois pour faciliter la compréhension fondamentale et pour aider à établir la confiance ou permettre la traçabilité.

un flux de travail pour collecter des ensembles de données variés à partir d'imprimantes 3D d'extrusion avec l'étiquetage automatique des images avec des paramètres d'impression. b Parc de huit imprimantes 3D d'extrusion thermoplastique (Creality CR-20 Pro) équipées de caméras focalisées sur la pointe de la buse pour surveiller le dépôt de matière. c Rendus des parcours d'outil générés pour une seule géométrie d'entrée, avec des paramètres de découpage sélectionnés au hasard. d Instantané des données recueillies lors d'un exemple d'impression montrant des images avec différentes combinaisons de paramètres. e Conception d'un extracteur de lit et d'un quai utilisant le système de mouvement existant ainsi que des photographies prises pendant le fonctionnement. f Distributions des paramètres normalisés dans l'ensemble de données complet collecté par CAXTON contenant plus de 1,2 million d'échantillons.

Nous avons généré un nouvel ensemble de données d'impression 3D contenant des pièces imprimées à l'aide d'acide polylactique (PLA), étiquetées avec leurs paramètres d'impression associés, pour une large gamme de géométries et de couleurs à l'aide d'imprimantes 3D de modélisation par dépôt fondu. Notre pipeline de génération de données CAXTON automatise l'ensemble du processus, de la sélection des fichiers STL à la planification des parcours d'outils, à la collecte et au stockage des données (Fig. 1a). Les géométries des modèles sont automatiquement téléchargées à partir du référentiel en ligne, Thingiverse. Les géométries sont ensuite découpées avec des paramètres échantillonnés au hasard (par exemple, échelle, rotation, densité de remplissage, motif de remplissage et épaisseur de paroi). Les trajectoires d'outil générées sont ensuite converties pour avoir des déplacements maximum de 2,5 mm par un script Python personnalisé, afin d'éviter des déplacements excessivement longs exécutant un seul jeu de paramètres et de réduire le temps de réponse du micrologiciel. Pendant l'impression, les images sont capturées toutes les 0,4 secondes. Chaque image capturée est horodatée et étiquetée avec les paramètres d'impression actuels : températures réelles et cibles pour le hotend et le lit, débit, vitesse latérale et décalage Z. Ces paramètres sont connus avec précision soit en récupérant les valeurs du micrologiciel en temps réel, soit en définissant la valeur avec une commande G-code. De plus, pour chaque image, les coordonnées de la pointe de la buse sur chaque imprimante sont enregistrées pour permettre un recadrage automatisé autour de la région d'intérêt pendant la formation. Une fois que 150 images ont été collectées, une nouvelle combinaison de paramètres d'impression est générée pour chaque imprimante en échantillonnant des distributions uniformes de chaque paramètre. Les nouvelles combinaisons de paramètres sont envoyées à chaque imprimante sur le réseau sous forme de commandes de code G qui sont ensuite exécutées avec un délai minimal en raison de la conversion de la trajectoire d'outil. Lors de l'exécution, 150 autres images étiquetées sont rassemblées avant que le processus de mise à jour des paramètres ne se reproduise. Cela continue jusqu'à la fin de l'impression et aboutit à des ensembles d'images chacune avec des paramètres d'impression très différents (Fig. 1d). Cette procédure d'étiquetage automatisée pour chaque image offre une résolution supérieure à l'étiquetage humain, car aucun opérateur humain ne peut étiqueter les paramètres avec le même niveau de précision (par exemple, que le débit actuel est de 56 %), et aucun humain ne peut étiqueter une image avec une combinaison exacte de plusieurs paramètres d'impression car ils interagissent fortement les uns avec les autres (par exemple, la buse est-elle trop élevée, le débit trop faible et la température trop basse ou une combinaison pondérée de ceux-ci).

En raison de l'échantillonnage de combinaisons de paramètres sous-optimales, certaines impressions se transforment en échecs complets, qui après un certain point fournissent peu d'informations sur les paramètres associés. Ces images sont supprimées manuellement, laissant 1 166 552 images étiquetées (91,7 % des 1 272 273 d'origine). L'ensemble de données restant contient des étiquettes bruyantes en raison des temps de réponse plus longs constatés lors de la mise à jour des paramètres d'impression, tels que le débit avant qu'un changement notable ne soit présent dans l'image. Le temps de réponse se compose d'un délai d'exécution de la commande et d'un délai mécanique. Le premier délai est principalement géré en ne capturant des images qu'après réception d'un accusé de réception de la commande de mise à jour des paramètres de l'imprimante. Pour le retard mécanique, des expériences dans le pire des cas ont été exécutées pour déterminer le temps de réponse pour changer chaque paramètre de la valeur minimale à la valeur maximale dans l'ensemble de données. Il a été constaté que les modifications sont principalement visibles dans les 6 s suivant l'application d'une mise à jour et, par conséquent, 15 images sont supprimées après les mises à jour des paramètres. Cela laisse 1 072 500 échantillons où le système a atteint son état souhaité. Les valeurs aberrantes de paramètres irréalistes causées par des imprimantes qui n'exécutent pas correctement les commandes de code G ou des problèmes dans les capteurs tels que les thermistances sont filtrées, laissant 991 103 échantillons. Enfin, les images très sombres avec une valeur moyenne de pixel sur les canaux RVB inférieure à 10 sont supprimées. Il en résulte un ensemble de données nettoyées de 946 283 images étiquetées (74,4 % de l'original). Les valeurs de paramètre actuellement continues sont ensuite regroupées en trois catégories pour chaque paramètre : faible, bon et élevé. Les limites supérieures et inférieures de ces bacs sont sélectionnées en fonction de notre expérience de AM avec PLA. Cela crée 81 combinaisons de classes différentes possibles pour le réseau de neurones à prédire (trois catégories pour quatre paramètres).

Nous utilisons l'augmentation des données pour augmenter la taille et la qualité de notre ensemble de données filtré et ainsi éviter le surajustement et améliorer la généralisabilité de notre modèle57. L'emplacement et la forme du matériau déposé dans les images capturées varient considérablement en fonction de la géométrie de la pièce en cours d'impression. De plus, il a été constaté que la couleur, la réflectance et les ombres différaient toutes selon la position de la caméra, le choix du matériau et la conception de l'imprimante. Pour simuler une plus grande variété de géométries, d'emplacements de caméras et de matériaux, chaque image de l'ensemble de données est soumise à un large éventail de techniques d'augmentation de données (Fig. 2e). Tout d'abord, l'image pleine grandeur capturée par l'appareil photo est pivotée de manière aléatoire jusqu'à 10 degrés dans les deux sens. Ensuite, une transformation de perspective mineure est appliquée avec une probabilité de 0,1. L'image est ensuite automatiquement recadrée en une région carrée de 320 × 320 pixels focalisée sur la pointe de la buse à l'aide des coordonnées de la pointe de la buse enregistrées lors de la collecte des données. Les transformations de rotation et de perspective sont appliquées avant le recadrage pour supprimer pratiquement le besoin de remplissage dans la région recadrée. Une portion carrée aléatoire avec une surface comprise entre 0,9 et 1,0 de l'image 320 × 320 est ensuite recadrée et redimensionnée à 224 × 224 pixels, la taille d'entrée pour le réseau neuronal profond. Par la suite, un retournement horizontal peut être appliqué à l'image avec une probabilité de 0,5, suivi de l'application d'une gigue de couleur de ± 10 % à la luminosité, au contraste, à la teinte et à la saturation de l'image. Cette utilisation de l'augmentation des données synthétiques est plus économe en temps et en ressources que le repositionnement des caméras sur les imprimantes et la modification des conditions d'éclairage environnementales pendant la collecte de l'ensemble de données. Cela permet également un ensemble de données brutes plus petit avec des augmentations appliquées de manière fonctionnelle au moment de l'exécution pendant la formation au lieu d'augmenter la taille de l'ensemble de données avec plus d'échantillons. Enfin, les canaux de l'image transformée sont normalisés à l'aide de la moyenne des pixels et de l'écart type de chaque canal pour toutes les images de l'ensemble de données filtré.

a L'architecture de réseau multi-têtes consiste en une seule dorsale de réseau Attention-56 partagée58, qui contient des modules d'attention empilés et des blocs résiduels, suivis de quatre têtes de sortie entièrement connectées après la couche d'aplatissement, une pour chaque paramètre. Chacune de ces têtes classe son paramètre associé comme faible, bon ou élevé. Les modules d'attention se composent d'une branche de tronc contenant des blocs résiduels et d'une branche de masque qui effectue un sous-échantillonnage et un suréchantillonnage. b Exemples de masques d'attention à chaque module pour les images d'entrée données. Chaque sortie de module se compose de plusieurs canaux de masques, un seul échantillon est représenté ici. Les masques montrent les régions sur lesquelles le réseau se concentre, comme l'extrusion la plus récente comme le montre la sortie du module 2. c Matrices de confusion du réseau final après les trois étapes de formation sur notre ensemble de données de test pour chaque paramètre. d Tracés de précision de formation et de validation à partir de la formation du réseau sur trois graines, lissées avec une moyenne mobile exponentielle, sur trois ensembles de données : une seule couche, complète et équilibrée. e Exemple d'augmentations de données utilisées pendant la formation pour rendre le modèle plus généralisable.

La prédiction précise des paramètres d'impression actuels dans le processus d'extrusion à partir d'une image d'entrée est obtenue à l'aide d'un réseau d'attention résiduelle profonde à plusieurs têtes58 avec une seule colonne vertébrale et quatre têtes de sortie, une pour chaque paramètre. Dans l'apprentissage en profondeur, la classification à étiquette unique est très courante et ne nécessite qu'une seule tête de sortie pour classer l'entrée dans l'une des N classes possibles. Cependant, ce travail nécessite une classification multi-étiquettes pour classer l'entrée dans l'une des trois classes possibles (faible, bonne et élevée) pour chacune des quatre étiquettes (débit, vitesse latérale, décalage Z et température de la tête d'impression). Pour ce faire, plusieurs têtes de sortie sont utilisées avec une dorsale partagée pour l'extraction de caractéristiques. Les poids de la dorsale partagée sont mis à jour pendant le passage en arrière dans l'apprentissage par une somme des pertes de chacune des têtes de sortie séparées. Cela permet au backbone d'apprendre sa propre interprétation des relations entre chacun des paramètres et de l'importance de certaines caractéristiques partagées entre les paramètres. L'approche alternative consiste à utiliser plusieurs réseaux séparés, chacun avec une seule tête de sortie et à traiter le problème comme quatre problèmes de classification distincts à étiquette unique. Ceci, cependant, examine chaque paramètre isolément et, en tant que tel, ne parvient pas à apprendre l'interaction et les relations. De plus, cela nécessite beaucoup plus de calcul pendant la formation et dans le déploiement dans le monde réel, car quatre réseaux distincts doivent être formés indépendamment (au lieu d'un), puis ces réseaux doivent être exécutés en parallèle pendant le fonctionnement.

L'utilisation de l'attention dans le réseau peut réduire le nombre de paramètres réseau nécessaires pour obtenir les mêmes performances pour notre application, tout en rendant le réseau plus robuste aux étiquettes bruyantes. Les cartes d'attention peuvent également aider à inspecter les erreurs et à expliquer les prédictions. L'épine dorsale unique permet de partager l'extraction de caractéristiques pour chaque paramètre et, en tant que tel, réduit le temps d'inférence par rapport à des réseaux séparés. De plus, cela permet au réseau unique de modéliser l'interaction entre différents paramètres. Chaque tête a trois neurones de sortie pour classer un paramètre comme faible, bon ou élevé. Avec cette structure, le réseau prédit l'état du débit, de la vitesse latérale, du décalage Z et de la température de la hotend simultanément en un seul passage à partir d'une seule image d'entrée RVB (Fig. 2a). Cette structure multi-têtes et la connaissance de plusieurs paramètres peuvent conduire à une amélioration de la prédiction des paramètres individuels. Fait intéressant, il a été constaté qu'un réseau formé uniquement pour prédire la classe de débit atteignait une précision inférieure dans la classification du débit qu'un réseau formé avec la connaissance des quatre paramètres. Cependant, d'autres expériences sont nécessaires pour examiner ce résultat et déterminer si un contexte supplémentaire peut être utilisé pour augmenter les performances du réseau.

L'épine dorsale du réseau partagé se compose de trois modules d'attention et de six blocs résiduels et est basée sur le modèle Attention-5658. Les modules d'attention sont composés de deux branches : le masque et le tronc. La branche principale effectue le traitement des caractéristiques d'un réseau traditionnel et est construite à partir de blocs résiduels. La branche de masque entreprend un sous-échantillonnage suivi d'un suréchantillonnage pour apprendre un masque d'attention avec lequel pondérer les caractéristiques de sortie du module. Ce masque peut non seulement être utilisé lors de la passe avant pour l'inférence, mais également comme masque lors de la passe arrière lors de la rétropropagation. C'était l'une des raisons du choix de cette architecture réseau, car on pense que ces branches de masque peuvent rendre le réseau plus robuste aux étiquettes bruyantes, que notre ensemble de données contient en raison de changements de paramètres et d'incohérences subtiles lors de l'impression. Après ces blocs, l'épine dorsale du réseau est aplatie en une couche entièrement connectée qui relie chacune des quatre têtes distinctes. Les têtes doivent être des sorties séparées du réseau. Ce travail nécessite une classification multi-étiquettes, car chaque prédiction complète nécessite que chaque tête ait toujours une prédiction unique distincte. Une autre approche consisterait à utiliser quatre réseaux de neurones complets distincts ; cependant, cela nécessiterait beaucoup plus de calcul et de mémoire en plus de ne pas pouvoir modéliser les relations entre les paramètres de fabrication. L'approche de dorsale partagée multi-têtes utilisée dans ce travail se traduit par l'utilisation de la dorsale comme extracteur de caractéristiques pour compresser la dimensionnalité de l'image d'entrée dans une représentation d'espace latent apprise à partir de la somme des pertes pour chaque paramètre de fabrication. On peut alors penser que chaque tête agit comme une cartographie de cet espace latent à la classification du niveau de paramètre.

Pour visualiser les fonctionnalités sur lesquelles le réseau se concentre à chaque étape, des images des cartes d'attention après chaque module ont été créées (Fig. 2b). Ici, le même masque d'attention de chaque module est appliqué à chacune des 3 images d'entrée avec les zones sans intérêt assombries (remarque : ces masques sont des exemples illustratifs car chaque module contient de nombreuses cartes d'attention différentes). Le réseau semble se concentrer sur les régions imprimées dans l'exemple de sortie de masque pour le module d'attention 1, puis uniquement sur l'extrusion la plus récente pour le module 2. Le module 3 applique l'inverse du précédent, en se concentrant sur tout sauf la pointe de la buse.

Il a été constaté que la division du processus de formation en trois étapes distinctes et l'utilisation de l'apprentissage par transfert étaient les plus robustes. Pour chaque étape, trois réseaux semés différemment ont été formés. Dans la première étape, le réseau est formé sur un sous-ensemble de données contenant uniquement des images des premières couches avec un remplissage à 100 %. Les caractéristiques sont plus visibles pour chaque paramètre dans ces impressions et par un premier apprentissage, avec ce sous-ensemble, le réseau peut apprendre plus rapidement à détecter les caractéristiques importantes. Il a été constaté que cette séparation accélérait le processus d'apprentissage car les caractéristiques étaient plus faciles à apprendre pour la couche unique et pouvaient ensuite être ajustées sur l'ensemble de données complet, rendant le réseau généralisable à des géométries 3D complexes. Une précision d'entraînement de 98,1 % et une précision de validation de 96,6 % ont été obtenues par la meilleure graine. Une approche d'apprentissage par transfert a ensuite été utilisée pour recycler le modèle de la meilleure graine sur l'ensemble de données complet contenant des images pour toutes les géométries 3D. Cela a été fait trois fois, la meilleure graine atteignant une précision de formation et de validation de 91,1 et 85,4 %, respectivement. Les réseaux de neurones peuvent apprendre des biais inhérents aux données qui leur sont fournies ; par conséquent, en raison de déséquilibres dans notre ensemble de données complet (par exemple, le décalage Z peut avoir beaucoup plus de valeurs qui sont trop élevées que trop basses car la buse s'écraserait sur le lit d'impression), l'apprentissage par transfert a été utilisé une dernière fois. Cette fois, cependant, seule la dernière couche entièrement connectée à chacune des quatre têtes a été formée sur un sous-ensemble de données équilibré contenant un nombre égal d'échantillons pour chacune des 81 combinaisons possibles (quatre paramètres, chacun pouvant être faible, bon ou élevé). Les pondérations dans le réseau fédérateur pour l'extraction de caractéristiques ont été gelées. Cela a permis d'obtenir une précision d'entraînement de 89,2 % et une validation de 90,2 %. Ensuite, le réseau formé final a été testé sur notre ensemble de test, où il a atteint une précision globale de 84,3 %. Pour chaque paramètre, les précisions de classification sur notre ensemble de test étaient : débit 87,1 %, vitesse latérale 86,4 %, décalage Z 85,5 % et température hotend 78,3 %. Vous trouverez plus d'informations sur le processus de formation dans la Fig. S1 supplémentaire. Non seulement cette tâche serait très difficile pour un opérateur humain expert, compte tenu de la diversité des tests multicouches, mais cette précision sous-estime également l'efficacité du réseau pour la correction des erreurs. Les paramètres sont interdépendants et donc, pour de nombreux types d'erreurs, il y aura plusieurs combinaisons de modifications de paramètres qui pourraient les corriger. Par exemple, un décalage Z plus élevé avec la buse éloignée du lit d'impression peut facilement être confondu avec un faible débit - les deux apparaissent comme sous extrusion - et peut être corrigé en modifiant l'un ou l'autre paramètre. Cependant, une seule de ces combinaisons de paramètres sera considérée comme "correcte" dans le calcul de la précision compte tenu des étiquettes dans les données d'apprentissage.

Pour tester la capacité du réseau à corriger les erreurs d'impression et découvrir les paramètres optimaux pour les nouveaux matériaux, des modèles 3D aléatoires ont de nouveau été téléchargés, mais cette fois pour tester la correction. Chaque modèle 3D a été tranché avec différents paramètres d'échelle, de rotation, de densité de remplissage, de nombre de périmètres et de nombre de couches solides par échantillonnage aléatoire à partir de distributions uniformes. Le motif de remplissage a été choisi au hasard parmi une liste donnée de motifs communs. L'ensemble de trajectoires d'outil générées a ensuite été converti pour avoir des déplacements maximum de 1 mm à l'aide d'un script personnalisé pour permettre des temps de réponse du micrologiciel nettement plus rapides pour les modifications de paramètres pendant l'impression tout en gardant la taille des fichiers d'impression gérable et en évitant les instabilités dues à l'incapacité de l'imprimante à lire et traiter les lignes de code G assez rapidement.

Pendant le processus d'impression, des images de la pointe de la buse et du dépôt de matériau sont prises à 2,5 Hz et envoyées à un serveur local pour inférence (Fig. 3a). Chaque image reçue est automatiquement recadrée en une région de 320 × 320 pixels focalisée sur la pointe de la buse. L'utilisateur doit spécifier les coordonnées en pixels de la buse une fois lors du montage de la caméra lors de la configuration. En outre, les utilisateurs peuvent souhaiter modifier la taille de la zone recadrée en fonction de la position de l'appareil photo, de la distance focale et de la taille de la buse de l'imprimante. Le choix d'une région appropriée autour de la buse affecte les performances du réseau et le meilleur équilibre entre précision et temps de réponse est observé lorsque ~ 5 largeurs d'extrusion sont visibles de chaque côté de la pointe de la buse.

a Les six étapes principales du pipeline de rétroaction permettent des mises à jour en ligne des paramètres à partir d'images du processus d'extrusion. b Tableau contenant θmode (seuil de mode), L (longueur de séquence), Imin (minimum d'interpolation), A+ (augmentation la plus importante), A− (diminution la plus importante) pour chaque paramètre d'impression ainsi que les niveaux possibles de quantités de mise à jour. c Exemple simple de géométrie à couche unique illustrant la division de la trajectoire d'outil en segments égaux plus petits. Des longueurs de 1 mm sont utilisées dans le processus de rétroaction pour permettre une correction rapide et réduire le temps de réponse.

L'image recadrée est ensuite redimensionnée à 224 × 224 pixels et normalisée sur les canaux RVB. Ensuite, le réseau de classification produit une prédiction (trop élevée, trop faible, bonne) pour chaque paramètre ayant cette image en entrée. Ces paramètres prédits sont stockés dans des listes séparées de différentes longueurs d'ensemble, L, pour chaque paramètre. Si une prédiction particulière est faite assez fréquemment pour constituer une proportion d'une liste complète supérieure ou égale au seuil de mode (θmode), alors un mode est trouvé et cette prédiction est acceptée. Si aucun mode n'est trouvé, aucune mise à jour n'est effectuée et le paramètre d'impression est considéré comme acceptable, tout comme dans le cas où la prédiction de mode est "bonne". Si un mode s'avère 'trop élevé' ou 'trop bas', la proportion de la longueur de liste constituée par la valeur de mode est utilisée pour mettre à l'échelle l'ajustement au paramètre facilitant la correction proportionnelle. Plus précisément, une interpolation linéaire unidimensionnelle est appliquée pour mapper la plage entre un seuil de paramètre (θmode) et 1 à un nouveau minimum (Imin) et 1. La valeur interpolée est ensuite utilisée pour mettre à l'échelle linéairement la quantité de mise à jour maximale (A+ pour les augmentations de paramètres et A− pour les diminutions). Les valeurs spécifiques de θmode, L, Imin, A + et A− ont été obtenues de manière itérative par expérimentation pour chaque paramètre individuellement (Fig. 3b) afin d'équilibrer le temps de réponse avec précision et d'éviter les dépassements. La longueur de la liste hotend et le seuil de mode sont particulièrement conservateurs en raison du long temps de réponse de ce paramètre et également du risque de sécurité en cas de dépassement.

Une fois les montants de mise à jour finaux calculés pour les paramètres d'impression, ils sont envoyés à un Raspberry Pi attaché à chaque imprimante. Le Pi récupère la valeur actuelle de chaque paramètre et crée une commande G-code pour mettre à jour le paramètre. Le Pi recherche ensuite l'accusé de réception de l'exécution de la commande par le micrologiciel via série. Une fois que toutes les commandes ont été exécutées par le firmware, le Pi envoie un accusé de réception au serveur. Lorsque le serveur reçoit un accusé de réception indiquant que toutes les mises à jour ont été exécutées, il recommence à faire des prédictions. L'attente de cet accusé de réception de toutes les mises à jour des paramètres est cruciale pour arrêter les oscillations causées par le dépassement et le sous-dépassement de la cible.

Pour démontrer la capacité de correction du système, un pipeline d'expérimentation a été construit pour prendre un fichier STL d'entrée, le découper avec de bons paramètres d'impression, insérer une commande de code G pour modifier un paramètre à une valeur médiocre, puis analyser le code G généré et diviser le modèle en sections de 1 mm (Fig. 4). Le même modèle d'imprimante a été utilisé que lors de la formation mais avec une position de caméra modifiée (légèrement tournée et translatée par rapport à la buse), une nouvelle buse de 0,4 mm avec une géométrie externe différente et un échantillon d'impression monocouche invisible. Pour comparer les réponses entre les paramètres, chacun a été imprimé en utilisant la même bobine de filament PLA (Fig. 4a). Ces impressions monocouches sont utilisées comme une référence clairement interprétable pour tester chacun des paramètres individuels et des combinaisons de paramètres sur différentes imprimantes, configurations et matériaux. Les défauts de débit, de décalage Z et de paramètre de température de la hotend sont clairement visibles, tandis que le défaut de vitesse latérale peut être observé sous la forme d'une ligne plus sombre où la vitesse d'impression a été ralentie. Le délai entre l'envoi de la commande (flèches noires sur la Fig. 4a) et la mise à jour des paramètres est observable, démontrant l'importance d'attendre les accusés de réception de l'imprimante. Dans chaque cas, le réseau, en combinaison avec le seuillage de mode, est rapidement capable de récupérer de bons paramètres d'impression (voir Film supplémentaire S1).

a Correction rapide d'un seul paramètre erroné induit manuellement à l'aide du réseau neuronal multi-tête formé. Imprimé avec une matière première PLA sur une imprimante connue avec une buse invisible de 0,4 mm non utilisée dans les données de formation. b Optimisation simultanée en ligne de plusieurs paramètres incorrects sur des polymères thermoplastiques invisibles. Démontre que le pipeline de contrôle est robuste à une large gamme de matières premières avec des propriétés de matériaux, des couleurs et des conditions initiales différentes. c Tout comme un opérateur humain, le système utilise des relations de paramètres autodidactes pour les prédictions correctives. Un décalage Z élevé peut être corrigé en réduisant le décalage Z et/ou en augmentant le débit de matière. d Correction de plusieurs paramètres d'impression incorrects introduits à mi-impression. Les deux tours ont été imprimées dans les mêmes conditions, la seule différence étant la correction. e Correction des impressions démarrées avec des combinaisons de paramètres incorrectes. Les six clés ont été imprimées dans les mêmes conditions.

Bien qu'il ait été formé uniquement à l'aide de PLA thermoplastique extrudé, le pipeline de contrôle se généralise à divers matériaux, couleurs et configurations. La figure 4b montre une correction en ligne pour quatre thermoplastiques différents imprimés avec différentes combinaisons de paramètres d'impression aléatoires multiples incorrects sur des repères monocouches interprétables similaires à ceux de la figure 4a. Dans chaque cas, le réseau met à jour avec succès plusieurs paramètres résultant en une bonne extrusion (voir le film supplémentaire S2). Les échantillons remplis de TPU et de fibre de carbone n'ont pas de périmètre imprimé en raison de mauvaises conditions initiales. Non seulement cela est utile pour la découverte automatisée des paramètres, aidant les utilisateurs à régler leurs imprimantes pour de nouveaux matériaux en obtenant rapidement les meilleures combinaisons de paramètres, mais cela montre également que les systèmes de contrôle peuvent améliorer la productivité en sauvant les impressions défaillantes là où les parcours d'outil initiaux n'adhèrent pas au lit.

Grâce à la présence de toutes les prédictions de paramètres dans une structure de réseau, le modèle formé apprend les interactions entre plusieurs paramètres et peut proposer des solutions créatives aux paramètres incorrects comme un opérateur humain. Nous avons imprimé un échantillon en utilisant la configuration de la boucle de contrôle mais sans apporter de corrections en ligne. Cet échantillon contenait une région avec un décalage Z élevé. Un décalage Z élevé entraîne des chemins séparés de matériau extrudé - le même résultat peut se produire à partir d'un faible débit. La figure 4c montre que le réseau détermine que l'augmentation du débit tout en abaissant le Z se traduira par une bonne extrusion. Comme le modèle formé peut trouver plusieurs façons de résoudre le même problème, il peut être plus robuste aux prédictions incorrectes pour un seul paramètre et permettre une rétroaction plus rapide en combinant des mises à jour sur plusieurs paramètres. Les tracés de prédiction démontrent également la vitesse à laquelle le réseau remarque que les paramètres sont maintenant bons, ce qui est essentiel pour garantir que le système de contrôle ne dépasse pas lors des corrections en ligne.

La figure 4d applique le pipeline de contrôle en utilisant le même modèle d'imprimante que celui utilisé dans la formation (Creality CR-20 Pro) sur une géométrie de tour invisible pour démontrer que notre méthodologie pourrait être utilisée dans un cadre de production pour des géométries 3D complètes. Plusieurs paramètres d'impression aléatoires incorrects ont été introduits à mi-chemin de l'impression, en particulier un débit très élevé, une vitesse latérale et une température de hotend et un faible décalage Z. La tour imprimée sans correction a dramatiquement échoué, tandis que la tour imprimée avec les mêmes conditions avec la correction activée a été complétée avec succès. La figure 4e montre six copies de la même géométrie de clé 3D, chacune commençant avec la même combinaison de paramètres d'impression incorrects : faible débit et vitesse latérale, décalage Z élevé et bonne température de hotend. Sur les six clés, trois ont été imprimées sans correction, ce qui a entraîné un échec complet en raison d'un détachement du lit d'impression et d'un très mauvais état de surface sur les deux autres. Ces erreurs sont dues à la mauvaise couche initiale causée par les paramètres d'impression sous-optimaux. Les trois imprimés avec correction ont tous été réalisés avec succès et présentent le même état de surface amélioré, notamment sur la couche initiale. Il est à noter que ces impressions corrigées ne correspondent pas à une pièce parfaitement imprimée. Les imperfections sont présentes jusqu'à ce que toutes les corrections nécessaires aient été appliquées, et en tant que telles, une partie de la couche initiale est imprimée avec de mauvais paramètres de départ. Bien que rare, une correction peut également être appliquée lorsqu'elle n'est pas nécessaire, entraînant une imperfection.

Pour démontrer la généralité du système, un appareil photo et un objectif différents ont été fixés à un nouvel emplacement sur une imprimante invisible (Lulzbot Taz 6) avec une buse de forme et une largeur de buse différentes - 0,6 mm au lieu de 0,4 mm comme utilisé dans la formation (Fig. 5a). Cette imprimante utilise un système d'extrusion qui prend un filament de 2,85 mm de diamètre en entrée sur 1,75 mm tel qu'utilisé dans les imprimantes de formation. La figure 5b montre le même système de contrôle appliqué à une géométrie d'évêque invisible. Des paramètres d'impression aléatoires incorrects ont été introduits au début de l'impression, en particulier au cours de la couche 7. Ces paramètres incorrects étaient une vitesse latérale faible et un débit élevé, un décalage Z et une température de hotend. L'évêque erroné imprimé sans correction a échoué, tandis que l'évêque imprimé avec exactement les mêmes conditions avec le pipeline de contrôle activé a été complété avec succès avec plus de détails. Des impressions de référence à une seule couche ont été complétées avec chaque paramètre erroné introduit à l'aide de PLA blanc (Fig. 5c). Ceux-ci démontrent que le réseau neuronal multi-têtes et le pipeline de contrôle se généralisent pour corriger les paramètres sur les imprimantes de modélisation par dépôt de fusion. La taille de la région mal imprimée dans ces échantillons semble plus grande que dans celles imprimées pour la figure 4a, car la buse plus grande sur le Lulzbot Taz six entraîne une largeur d'extrusion beaucoup plus grande pour chaque ligne. Le nombre de lignes est approximativement le même entre les imprimantes.

a Photos d'une imprimante 3D inédite testée avec une buse de 0,6 mm de diamètre intérieur (Lulzbot Taz 6). Un modèle de caméra (Raspberry Pi Camera v1) et un objectif différents ont été utilisés par rapport à la collecte de données d'entraînement, ainsi qu'une nouvelle position de caméra par rapport au dépôt de matériau. b Une pièce d'échecs fou avec des paramètres erronés introduits et la même impression erronée avec correction activée. Les deux ont été imprimés avec du PLA de 2,85 mm sur la configuration invisible Lulzbot Taz 6. c Correction rapide d'un seul paramètre erroné induit manuellement à l'aide du réseau neuronal multi-tête formé. Imprimé avec une matière première PLA blanche sur une imprimante invisible avec une buse invisible de 0,6 mm non utilisée dans les données de formation. d Imprimante à seringue pour écriture directe à l'encre (DIW) modifiée à partir d'une Creality Ender 3 Pro. Un modèle de caméra invisible (Raspberry Pi Camera v1) et un objectif ont été utilisés avec une position de caméra différente. e Correction automatisée et découverte des paramètres montrées pour le PDMS avec une buse de 0,21 mm (calibre 27), aux côtés de la mayonnaise et du ketchup avec une buse de 0,84 mm (calibre 18).

Le pipeline de contrôle a ensuite été testé sur une configuration d'écriture directe à l'encre à l'aide d'un moteur pas à pas avec une tige filetée pour déplacer un piston dans une seringue (Fig. 5d). Cela utilisait un modèle de caméra et un objectif différents montés à un angle et à une distance différents de la buse avec un lit d'impression en verre transparent et réfléchissant au lieu du lit noir utilisé lors des tests thermoplastiques. Avec cette configuration, le PDMS, la mayonnaise et le ketchup ont été imprimés à l'aide d'une variété de buses -0,21 mm pour le PDMS et 0,84 mm pour les condiments (Fig. 5e). Tous les échantillons ont été imprimés à température ambiante sans correction hotend. Pour l'impression PDMS, le réseau ne corrigeait que le débit. La figure 5e montre que pour le PDMS, le réseau apprend à augmenter le débit en augmentant la pression appliquée à la seringue. Une fois la pression requise atteinte, le réseau réduit le débit pour arrêter l'extrusion. Cependant, lors de longues impressions, le débit dépasse parfois en raison d'une forte montée en pression dans la seringue, en particulier lorsque le réseau ne réduit pas le débit assez rapidement. L'équilibrage de cette pression est particulièrement difficile dans cette configuration spécifique en raison du matériau visqueux et du petit diamètre de la buse nécessitant des pressions élevées pour l'impression, créant un intervalle de temps entre le mouvement du piston et l'extrusion. Lors de l'impression de matériaux moins visqueux, ce dépassement et ce retard de pression posent moins de problèmes, en particulier avec des diamètres de buse plus grands. Pour les exemples de mayonnaise et de ketchup, le réseau a principalement ajusté le débit et le décalage Z. Nous avons constaté que les deux condiments avaient tendance à trop extruder, et le réseau réduisait souvent le débit et, pour la première couche, abaissait le décalage Z. Lors de l'impression de structures multicouches, le réseau avait tendance à augmenter le décalage Z à chaque couche et à réduire le débit pour empêcher la pointe de la buse d'être immergée dans la couche précédente.

Il est utile de rechercher des explications possibles pour expliquer pourquoi les modèles prennent certaines décisions, en particulier lors du déploiement de réseaux de neurones profonds en production pour des applications critiques pour la sécurité. Deux méthodes de visualisation populaires qui peuvent aider les utilisateurs à comprendre pourquoi les réseaux de neurones font leurs prédictions sont la rétropropagation guidée59 et la cartographie d'activation de classe pondérée par gradient (GradCAM)60. Le premier aide à montrer des caractéristiques de résolution plus fines apprises par le réseau lors de la réalisation de prédictions et le second fournit une localisation plus grossière montrant des régions importantes dans l'image (cela peut être considéré comme une attention post hoc). Pour les deux approches, la catégorie cible (faible, bonne et élevée) pour chacun des quatre paramètres est fournie afin de déterminer quelles caractéristiques ou régions sont particulièrement importantes pour cette catégorie. En plus de cela, une méthode a été développée pour appliquer les techniques pour chaque paramètre séparément dans l'ensemble du réseau nous permettant de produire jusqu'à 12 visualisations personnalisées pour une image d'entrée (les trois classes pour chacun des quatre paramètres, par exemple faible débit, vitesse latérale élevée, bon décalage Z).

De multiples combinaisons de paramètres erronés peuvent entraîner soit des chemins séparés de matériau extrudé (sous extrusion), soit des chemins de matériau qui se chevauchent (sur extrusion). La rétropropagation guidée a été utilisée pour essayer de déterminer si le réseau utilise des caractéristiques similaires à travers les paramètres pour détecter ces propriétés physiques d'extrusion. Des exemples représentatifs d'images pour une sous-extrusion, une bonne et une sur-extrusion causées par différents paramètres sont illustrés à la Fig. 6a. Il semble que des caractéristiques similaires soient partagées entre les paramètres d'une même classification d'extrusion : chemins séparés pour la sous-extrusion, un contour du chemin actuel pour une bonne extrusion et autour de la buse pour la sur-extrusion.

a Une sous-extrusion, une bonne ou une sur-extrusion peut être obtenue par plusieurs paramètres incorrects. La rétropropagation guidée59 est appliquée pour mettre en évidence les caractéristiques importantes de l'image utilisée pour la classification. Des exemples représentatifs d'images invisibles suggèrent que le réseau utilise des caractéristiques similaires à travers les paramètres pour identifier la même propriété physique. b Gradient-weighted Class Activation Mapping (GradCAM)60 montre qu'à travers les paramètres et les entrées invisibles, les premières étapes du réseau font la différence entre le matériau déposé et le lit d'impression. c GradCAM appliqué aux étapes finales montre que le réseau dans son ensemble se concentre sur la pointe de la buse à travers les paramètres et les entrées invisibles. d Les tendances montrées dans la rétropropagation guidée et GradCAM à différentes étapes s'appliquent également à différentes méthodologies d'extrusion invisibles, telles que l'écriture directe à l'encre.

GradCAM a été appliqué à chaque couche de la dorsale du réseau partagé pour chacun des paramètres séparément. Nous montrons sur les Fig. 6b, c les visualisations des première et dernière couches (blocs résiduels 1 et 6, respectivement). Les étapes antérieures du réseau semblent détecter de grandes caractéristiques structurelles dans l'image, telles que la différenciation entre le matériau déposé et le lit d'impression. À la dernière couche, le réseau se concentre principalement sur l'extrusion la plus récente de la buse, quel que soit le paramètre ou la classe cible. Ceci est souhaité car pour des temps de réponse et des corrections rapides, nous voulons que le réseau utilise les informations du matériel le plus récemment déposé pour sa prédiction. Sur la figure 6d, des exemples de visualisations sont représentés par des images provenant de tests d'écriture directe à l'encre. Ces images démontrent que le réseau formé peut utiliser des caractéristiques similaires à chaque étape de la prédiction, comme il l'utilise pour les prédictions thermoplastiques. D'autres visualisations peuvent être trouvées dans la Fig. S2 supplémentaire et le film supplémentaire S3.

Nous démontrons que la formation d'un réseau de neurones multi-têtes à l'aide d'images étiquetées en termes d'écart par rapport aux paramètres d'impression optimaux permet une détection d'erreur AM d'extrusion robuste et généralisable en temps réel et une correction rapide. L'automatisation de l'acquisition de données et de l'étiquetage permet la génération d'un ensemble de données basé sur l'image de formation suffisamment vaste et diversifié pour permettre la détection et la correction des erreurs qui se généralise à des géométries 2D et 3D réalistes, des matériaux, des imprimantes, des parcours d'outils et même des méthodes d'extrusion. Le réseau de neurones multi-têtes profonds a pu prédire simultanément avec une grande précision les quatre paramètres d'impression clés : débit, vitesse latérale, décalage Z et température de la tête d'impression à partir d'images de la buse pendant l'impression. Il a été constaté que ce contexte supplémentaire et la connaissance de plusieurs paramètres peuvent même conduire à une amélioration de la prédiction des paramètres individuels, bien que des recherches supplémentaires soient nécessaires pour étayer cette découverte. Comme un humain, le système était capable de proposer de manière créative plusieurs solutions à une erreur et pouvait même découvrir de nouvelles combinaisons de paramètres et apprendre à imprimer de nouveaux matériaux. Contrairement aux humains, cependant, le système fonctionnait en continu et apportait des corrections instantanément. Parallèlement à ce réseau, nous présentons de nombreuses avancées dans la boucle de contrôle de rétroaction avec de nouveaux ajouts tels que les mises à jour des paramètres proportionnels, la division des trajectoires d'outil et le seuillage de prédiction optimisé, qui, combinés, fournissent une amélioration d'un ordre de grandeur de la vitesse de correction et du temps de réponse par rapport aux travaux précédents.

Tout en faisant progresser de manière significative les capacités de rétroaction AM grâce au contrôle généralisé de plus de paramètres avec des temps de réponse plus rapides, ce travail réduit également le coût et la complexité des approches existantes. L'utilisation de caméras standard, de petits ordinateurs à carte unique (par exemple, Raspberry Pi) et la mise en réseau permettent d'ajouter facilement le système à des imprimantes nouvelles et existantes. Le système s'étend et se connecte aux progiciels et micrologiciels populaires, ce qui signifie que les flux de travail des utilisateurs existants sont peu affectés. De plus, la mise en réseau entièrement intégrée permet à chaque imprimante ajoutée d'augmenter les données de formation disponibles et permet également au système d'être déployé dans des environnements plus éloignés où seule une connexion Internet est requise.

Il y a place à l'amélioration de la méthodologie. Par exemple, tester le réseau sur une gamme plus large d'imprimantes et de matériaux et ajouter des données recueillies à l'ensemble de données de formation pourrait rendre le système plus généralisable et plus robuste. Plus de données pour les faibles valeurs de décalage Z peuvent également être bénéfiques car de petites différences de valeur peuvent avoir un impact important sur la qualité d'impression. De plus, il existe une plus petite plage de valeurs que les décalages Z faibles peuvent remplacer les valeurs élevées avant de toucher le lit, ce qui provoque un biais dans l'ensemble de données car davantage de valeurs sont présentes dans la classification élevée. De plus, nous pensons que les petits mouvements dans le décalage Z peuvent être la principale faiblesse de l'ensemble de données actuel et l'amélioration de la mise au point de la caméra, de la résolution et de l'attention au positionnement améliorerait considérablement la prochaine itération des grands ensembles de données AM. Il est également important de souligner le rôle que le biais peut jouer dans les performances du modèle entraîné compte tenu de l'ensemble de données fourni. Les travaux futurs seraient améliorés en utilisant un ensemble de données encore plus grand et plus équilibré avec un nombre égal d'échantillons à des niveaux de classification plus granulaires. Par exemple, à l'heure actuelle, dans l'ensemble de données, il peut y avoir certaines combinaisons de paramètres qui n'apparaissent que lors d'une impression spécifique ou avec une seule couleur de filament, et ainsi le réseau a appris ces caractéristiques incorrectes en tant que mappages. De plus, bien que les modèles 3D, les paramètres de découpage et les valeurs des paramètres aient été échantillonnés de manière aléatoire, il existe encore un certain biais, notamment dans les plages données, les paramètres de découpage supplémentaires et le choix des matières premières.

L'efficacité de notre méthodologie peut être encore améliorée en ajustant les nombreuses variables utilisées pendant le pipeline de retour de correction en ligne, ainsi que le taux d'échantillonnage et la longueur de la trajectoire d'outil. Des tests plus approfondis avec une recherche plus large et plus approfondie des valeurs peuvent améliorer les performances. De meilleures valeurs pour ces variables de correction aideraient à réduire le risque d'oscillations de correction pendant la rétroaction que nous avons connues lors des tests en améliorant les prédictions sur les listes ou en réduisant le temps de réponse. Des oscillations de paramètres peuvent se produire si le réseau peut toujours voir une région auparavant mauvaise et dépasse sa correction ou sur une série de prédictions incorrectes du réseau neuronal.

De plus, nous réalisons que si cette approche aide à résoudre de nombreuses erreurs d'impression courantes basées sur l'extrusion, il en reste encore beaucoup. Les pannes mécaniques sur l'imprimante causées par des étapes sautées, le glissement de la courroie ou des interférences externes restent non résolues et l'ajout d'un contrôle en boucle fermée pour les erreurs de positionnement augmenterait le nombre de modalités d'erreur couvertes. Les problèmes électriques causés par des capteurs défectueux ou des alimentations électriques peu performantes peuvent être détectables dans certains cas, mais ne peuvent pas être corrigés de manière autonome. De plus, les erreurs importantes telles que la fissuration, la déformation en chaîne et les problèmes d'adhérence au lit entraînant le détachement de la pièce ne sont pas entièrement résolues. Bien que le contrôle précis en temps réel des paramètres d'impression puisse aider à réduire la probabilité que ces erreurs se produisent, il n'est pas en mesure de détecter ou de résoudre bon nombre d'entre elles une fois qu'elles se sont formées en raison de son approche localisée de la surveillance. La combinaison de cette imagerie locale avec un système de caméra global peut apporter des améliorations significatives dans la détection d'un plus grand nombre d'erreurs et pourrait fournir un lien entre les problèmes d'extrusion locaux et les défauts à l'échelle mondiale.

Les cartes de saillance basées sur les gradients que nous avons utilisées pour examiner comment le réseau prend ses décisions suggèrent que le réseau apprend à se concentrer sur l'extrusion la plus récente lors de la réalisation de prédictions, ce qui facilite la réponse rapide aux erreurs. Ceci, combiné à la capacité du réseau à prédire avec précision différents paramètres sur différentes géométries, matériaux et configurations, suggère que le réseau identifie les caractéristiques visuelles universelles des processus d'extrusion, telles que la forme de l'extrudat. La méthodologie développée dans cet article est, dans une large mesure, indépendante des capteurs et du processus de fabrication auxquels elle est appliquée. Cela met en évidence une série de domaines d'investigation future. Par exemple, en intégrant de nouveaux capteurs infrarouges ou autres dans le système ou en l'appliquant à d'autres processus de fabrication complexes61,62. L'appliquer aux méthodes de fabrication additive métallique est particulièrement excitant compte tenu de la complexité de ces processus et du besoin d'assurance qualité63. Les techniques optiques sont les méthodes les plus couramment utilisées jusqu'à présent dans la FA métallique pour surveiller des caractéristiques telles que la surface du lit de poudre et le bain de fusion64,65. Ceux-ci seraient appropriés pour une utilisation avec notre méthodologie et peuvent être particulièrement bénéfiques pour la fabrication additive de métaux avec lesquels il peut être difficile de travailler66. Cela pourrait être facilité en affinant le modèle sur des configurations spécifiques avec un apprentissage par transfert sur de petits ensembles de données spécialisés (avec un éclairage uniformément bon), pour améliorer les performances dans des environnements connus.

Un réseau de huit imprimantes 3D FDM a été utilisé pour la collecte de données. Les imprimantes Creality CR-20 Pro ont été choisies en raison de leur faible coût, de leur chargeur de démarrage préinstallé et de leur sonde Z incluse. Le micrologiciel de chaque imprimante a été flashé sur Marlin 1.1.9 pour garantir l'activation de la protection contre l'emballement thermique. Chaque imprimante était alors équipée d'un Raspberry Pi 4 modèle B faisant office de passerelle réseau pour envoyer/recevoir des données vers/depuis l'imprimante via série. Le Pi exécute une distribution Linux basée sur Raspbian et un serveur OctoPrint avec un plugin développé sur mesure. Une webcam USB grand public à faible coût (Logitech C270) a été connectée au Pi pour prendre des instantanés. La caméra a été montée face à la pointe de la buse à l'aide d'une seule pièce imprimée en 3D. Ces composants peuvent facilement être installés sur des imprimantes nouvelles et existantes à faible coût ; facilitant la calabilité et la déployabilité.

L'imprimante utilisée pour l'écriture directe à l'encre était une Creality Ender 3 Pro modifiée. La configuration de l'extrudeuse a été conçue et construite en interne et a utilisé une seringue à moteur pas à pas avec une buse Luer Lock. L'imprimante est équipée d'un modèle Raspberry Pi 4, d'une sonde Z et d'une caméra Raspberry Pi v1 avec un objectif zoom. Le firmware est une version configurée de Marlin 2.0. Pour d'autres expériences, un Lulzbot Taz 6 avec son firmware flashé sur Marlin 1.1.9 a été utilisé. La buse par défaut a été remplacée par une buse E3D de 0,6 mm de diamètre intérieur.

Les fichiers STL ont été téléchargés à partir du référentiel de modèles Thingiverse 3D à l'aide d'un script Python. Cet outil a permis de rechercher facilement des modèles dans le référentiel par plusieurs moyens, tels que le mot-clé, la popularité, l'heure, le créateur et la licence. Avec cet outil, les fichiers populaires (pour augmenter la probabilité qu'ils soient imprimables) avec les licences appropriées ont été sélectionnés et téléchargés de manière pseudo-aléatoire. De plus, certains des fichiers de référence d'impression 3D standard ont été ajoutés manuellement à cet ensemble de STL.

Pour trancher des pièces afin de créer des parcours d'outils variés, les STL ont été tournées de manière aléatoire (angle échantillonné à partir d'une distribution uniforme allant de 0° à 360°) et mises à l'échelle avant d'être centrées sur la plaque de construction (facteur d'échelle échantillonné à partir d'une distribution uniforme allant de 0,8 à 2 - pour certains modèles déjà volumineux, le facteur d'échelle a été coupé pour réduire le temps d'impression). Ensuite, le nombre de couches solides supérieures et inférieures a été échantillonné au hasard à partir d'une distribution uniforme allant de 2 à 4 avec le motif de remplissage, la densité de remplissage (0 % à 40 %) et le nombre de murs de périmètre externes (2 à 4). La gamme suivante de motifs de remplissage a été utilisée : rectiligne, grille, triangles, étoiles, cubique, ligne, concentrique, nid d'abeille, nid d'abeille 3D, gyroïde, courbe de Hilbert, accords d'Archimède et spirale octagramme. Les lignes de la sortie de code G de la trancheuse ont ensuite été découpées en segments plus petits avec une longueur de déplacement maximale de 2,5 mm pour réduire les temps de réponse du micrologiciel. Pour les démonstrations de correction en ligne avec une longueur de déplacement maximale de 1 mm, elles ont été utilisées à la place pour réduire davantage le temps de réponse du micrologiciel.

Pendant l'impression, les images sont capturées à une résolution de 1280 × 720 pixels à partir de la caméra orientée vers la buse à un taux d'échantillonnage de 2,5 Hz. Chaque image est étiquetée avec les températures réelles et cibles de la tête d'impression et du lit à ce moment précis, ainsi que le débit relatif et la vitesse latérale actuels de l'imprimante (les deux pourcentages) ainsi que le décalage Z (en mm). Une fois que 150 de ces images étiquetées ont été collectées et stockées (~ 1 min d'impression), les nouvelles valeurs de débit, de vitesse latérale, de décalage Z et de température cible hotend sont échantillonnées de manière aléatoire à partir de distributions uniformes des plages respectives suivantes de débit : 20 à 200 %, vitesse latérale : 20 à 200 %, décalage Z : -0,08 à 0,32 mm et hotend : 180 à 230 °C. Il a été constaté que certains débits supplémentaires à des niveaux plus élevés devaient être ajoutés à l'ensemble d'apprentissage car ils étaient suffisamment hors de la distribution pour que les modèles entraînés prédisent incorrectement la classification. Ce n'était pas nécessaire pour les autres paramètres. Après échantillonnage, les nouvelles valeurs sont envoyées à l'imprimante. L'imprimante commence à capturer 150 autres images pour cette nouvelle combinaison de paramètres. Ce processus peut se produire en parallèle sur les huit imprimantes que nous avons utilisées, chacune utilisant une couleur de matière première différente, ce qui permet de couvrir le grand espace de paramètres.

La sélection aléatoire de valeurs de paramètres a été choisie plutôt que la sélection systématique de paramètres pour fournir différents contextes environnants dans les images capturées. Plus précisément, en choisissant une approche aléatoire, la région externe de l'image peut contenir une extrusion pour une combinaison de paramètres précédente significativement différente, ce qui peut aider à entraîner le réseau à utiliser des caractéristiques locales autour de la pointe de la buse. Une approche systématique peut plutôt introduire des modèles dans les niveaux de paramètres pour le matériel précédemment déposé qui peuvent être appris par le réseau en réduisant la localité des données utilisées pour les prédictions et en introduisant une faiblesse lors de l'impression en ligne dans des conditions invisibles où le contexte environnant ne sera pas systématique et peut être hors de distribution.

Pour réduire le besoin d'intervention humaine dans le processus d'impression et faciliter l'impression continue, une nouvelle méthode simple pour supprimer les impressions terminées a été développée. De nombreuses méthodes ont déjà été mises en œuvre pour supprimer automatiquement les pièces à la fin67,68 ; cependant, les implémentations précédentes nécessitent des modifications matérielles importantes, sont coûteuses ou ne peuvent supprimer qu'une gamme relativement limitée de pièces. Notre système de retrait de lit ne nécessite aucun élément électronique, moteur ou pièce mécanique complexe supplémentaire. La solution proposée peut être adaptée à n'importe quelle imprimante d'extrusion et se compose principalement de pièces imprimées qui peuvent être produites par l'imprimante en question. La tête d'impression déjà mobile se déplace et s'arrime à un grattoir situé à l'arrière de la plate-forme de fabrication. Par la suite, les moteurs intégrés de l'imprimante sont utilisés pour déplacer la tête d'impression et le grattoir sur la surface de fabrication en enlevant l'objet imprimé. Après le retrait, la tête d'impression ramène le grattoir à son emplacement d'origine et se détache (voir Film supplémentaire S4). Pour s'assurer que le grattoir reste toujours dans la même position, un grattoir avec des aimants est fixé au lit d'impression pour maintenir le grattoir en place jusqu'à ce que l'objet suivant doive être retiré. De plus amples détails sur ce système peuvent être trouvés dans la Fig. S3 supplémentaire et la note supplémentaire 1 dans les informations supplémentaires, ainsi que dans un référentiel GitHub contenant les fichiers CAD STEP modifiables, les fichiers STL pour l'impression et des exemples de scripts de code G pour la suppression de pièces (https://github.com/cam-cambridge/creality-part-remover).

Pour former le réseau, nous déterminons la perte d'entropie croisée à chacune des têtes, puis additionnons ces pertes avant la rétropropagation. Il en résulte que la dorsale partagée du réseau est mise à jour pour s'adapter à la perte de chaque tête, les couches entièrement connectées à chaque tête n'étant mises à jour que par la perte de cette tête. Le taux d'apprentissage initial a été sélectionné à chacune des 3 étapes d'apprentissage en balayant une plage de valeurs et en sélectionnant un taux d'apprentissage avec une forte baisse de perte69. Les taux d'apprentissage pour chacune des étapes peuvent être vus dans les informations supplémentaires. La sélection du taux d'apprentissage correct était d'une importance capitale - un taux d'apprentissage élevé entraînait de mauvaises cartes d'attention, tandis que des taux d'apprentissage trop faibles prenaient plus de temps à s'entraîner ou restaient bloqués dans les minima locaux précoces. Un optimiseur AdamW70,71 a été utilisé pendant la formation avec un ordonnanceur de taux d'apprentissage réduit sur plateau pour réduire le taux d'apprentissage d'un facteur de 10 lorsque 3 époques consécutives n'amélioraient pas la perte de plus de 1 %. Des tracés du taux d'apprentissage pendant la formation peuvent être trouvés dans les informations supplémentaires. Une répartition de formation, de validation et de test de 0,7, 0,2 et 0,1, respectivement, a été utilisée avec une taille de lot de 32. Les trois étapes de formation ont été formées pour 50, 65 et 10 époques, respectivement. Chaque étape a été entraînée trois fois avec trois graines différentes. Pendant l'apprentissage du transfert, la meilleure graine de l'étape précédente a été choisie comme base pour continuer l'entraînement.

Pour déterminer l'importance de cette formation en plusieurs étapes et l'utilisation de l'attention, quatre ResNets47 différents ont été formés en utilisant la même configuration, sauf qu'avec une seule graine et une seule étape sur l'ensemble de données complet. Les précisions des tests peuvent être vues dans le tableau 1 aux côtés de la précision de notre réseau d'attention choisi formé à l'aide des trois étapes. Il a été constaté que les modèles plus grands avec ces ajouts diminuent en fait la précision des tests. L'application d'une formation préalable supplémentaire sur chaque modèle sur d'autres ensembles de données améliorerait probablement la précision à tous les niveaux.

L'utilisation de plusieurs paramètres dans un seul réseau multi-têtes pour fournir un contexte supplémentaire peut conduire à des performances améliorées par rapport à la formation de paramètres uniques dans des réseaux séparés. Après 50 époques de formation, un modèle ResNet18 avec une seule sortie de tête pour prédire le débit a atteint une précision de 77,5 %. Le même modèle avec plusieurs têtes (une pour chacun des quatre paramètres) après 50 époques d'entraînement a atteint une précision finale de 82,1 % pour prédire le débit.

Les modèles finaux ont été formés à l'aide du format à virgule flottante demi-précision (FP16) sur deux GPU Nvidia Quadro RTX 5000 avec un processeur i9-9900K (huit cœurs et 16 threads) et 64 Go de RAM. Cette configuration a également été utilisée pour la correction en ligne. Certains travaux de prototypage ont eu lieu sur un cluster GPU HPC équipé de GPU Nvidia Tesla P100. Les réseaux de neurones ont été développés avec PyTorch v1.7.1 (https://github.com/pytorch/pytorch), Torchvision v0.8.2 (https://github.com/pytorch/vision), Tensorboard v2.4.1 (https://github.com/tensorflow/tensorboard). L'analyse des données a utilisé Python v3.6.9 (https://www.python.org/), NumPy v1.19.5 (https://github.com/numpy/numpy), Pandas v1.1.5 (https://github.com/pandas-dev/pandas), SciPy v1.5.4 (https://www.scipy.org/), Seaborn v0.11.1 (https://github.com/mwaskom/seaborn), Matplot lib v3.3.3 (https://github.com/matplotlib/matplotlib), Jupyter v1.0.0 (https://jupyter.org/), JupyterLab v.2.2.9 (https://github.com/jupyterlab/jupyterlab) et Pillow v8.1.0 (https://github.com/python-pillow/Pillow). Les serveurs de collecte de données et de correction de paramètres ont été développés avec Flask v1.1.1 (https://github.com/pallets/flask), Flask–SocketIO v5.1.0 (https://github.com/miguelgrinberg/Flask–SocketIO), OctoPrint v1.6.1 (https://octoprint.org/), Marlin 1.1.9 (https://marlinfw.org/). Le découpage et la préparation de l'impression ont utilisé PrusaSlicer v2.3.3 (https://github.com/prusa3d/PrusaSlicer) et Simplify3D v4.1.2 (https://www.simplify3d.com/).

Les données d'image étiquetées générées dans cette étude et utilisées pour former le modèle ont été déposées dans le référentiel de données de l'Université de Cambridge (https://doi.org/10.17863/CAM.84082). Les données sources pour les graphiques en figures sont fournies avec cet article. Les données sources sont fournies avec ce document.

Le code utilisé pour générer les résultats dans le document est disponible dans un référentiel GitHub (https://github.com/cam-cambridge/caxton). De plus amples détails sur le dissolvant de lit peuvent également être trouvés dans un référentiel GitHub (https://github.com/cam-cambridge/creality-part-remover).

Ngo, TD, Kashani, A., Imbalzano, G., Nguyen, KTQ & Hui, D. Fabrication additive (impression 3D) : examen des matériaux, des méthodes, des applications et des défis. Compos. Partie B Ing. 143, 172-196 (2018).

Article CAS Google Scholar

MacDonald, E. & Wicker, R. Impression 3D multiprocessus pour augmenter la fonctionnalité des composants. Science 353, aaf2093 (2016).

Placone, JK & Engler, AJ Progrès récents dans l'impression 3D par extrusion pour les applications biomédicales. Adv. Santéc. Mater. 7, 1701161 (2018).

Article CAS Google Scholar

Haghiashtiani, G. et al. Modèles de racine aortique spécifiques au patient imprimés en 3D avec capteurs internes pour des applications peu invasives. Sci. Adv. 6, 4641–4669 (2020).

Article ADS CAS Google Scholar

Najmon, JC, Raeisi, S. & Tovar, A. dans la fabrication additive pour l'industrie aérospatiale (eds Froes, F. & Boyer, R.) Ch. 2 (Elsevier, 2019).

Lopez-Valdeolivas, M., Liu, D., Broer, DJ & Sanchez-Somolinos, C. Actionneurs imprimés en 4D avec fonctions robotiques douces. Macromol. Rapid Commun. 39, 3–9 (2018).

Article CAS Google Scholar

Searle, B. & Starkey, D. Une enquête sur l'effet de la modification de l'intervalle de reconstruction des tranches de tomodensitométrie sur la précision de la réplication spatiale des modèles anatomiques imprimés en trois dimensions construits par la modélisation des dépôts fusionnés. J. Med. Radiat. Sci. 67, 43–53 (2020).

Article PubMed PubMed Central Google Scholar

Song, R. & Telenko, C. Déchets matériels des imprimantes FDM commerciales dans des conditions réelles. In Proc 27th Annual International Solid Freeform Fabrication Symposium 1217–1229 (Université du Texas à Austin, Austin, Tex., 2016).

Colosimo, BM, Huang, Q., Dasgupta, T. & Tsung, F. Opportunités et défis de l'ingénierie de la qualité pour la fabrication additive. J.Qual. Technol. 50, 233-252 (2018).

Article Google Scholar

Baş, H., Elevli, S. & Yapıcı, F. Analyse de l'arbre de défaillances pour les imprimantes tridimensionnelles de type fabrication de filaments fusionnés. J. Échec. Anal. Préc. 19, 1389-1400 (2019).

Article Google Scholar

Medellin-Castillo, HI & Zaragoza-Siqueiros, J. Stratégies de conception et de fabrication pour la modélisation par dépôt de fusion dans la fabrication additive : un examen. Menton. J. Mech. Ing. 32, 53 (2019).

Article CAS Google Scholar

Mohamed, OA, Masood, SH & Bhowmik, JL Optimisation des paramètres du processus de modélisation des dépôts fondus : un examen des recherches actuelles et des perspectives d'avenir. Adv. Fab. 3, 42-53 (2015).

Article CAS Google Scholar

Fu, Y., Downey, A., Yuan, L., Pratt, A. et Balogun, Y. Surveillance in situ du processus de fabrication de filaments fondus : un examen. Ajouter. Fab. 38, 101749 (2021).

Google Scholar

Tlegenov, Y., Lu, WF & Hong, GS Un modèle dynamique pour la surveillance de l'état des buses basée sur le courant dans la modélisation des dépôts fondus. Programme. Ajouter. Fab. 4, 211-223 (2019).

Article Google Scholar

Kim, C. et al. Une étude pour détecter un état de dépôt de matériau dans la technologie de modélisation de dépôt en fusion. En 2015, Conférence internationale IEEE sur la mécatronique intelligente avancée (AIM) 779–783 (IEEE, 2015).

Guo, J., Wu, J., Sun, Z., Long, J. & Zhang, S. Diagnostic des pannes des imprimantes 3D delta utilisant une machine vectorielle de support de transfert avec des signaux d'attitude. Accès IEEE 7, 40359–40368 (2019).

Article Google Scholar

Zhang, S. et al. Réseau d'état hybride profond avec renforcement des fonctionnalités pour le diagnostic intelligent des pannes des imprimantes 3D delta. IEEE Trans. Ind. Inform. 16, 779–789 (2020).

Article Google Scholar

Rao, PK, Roberson, D., Liu, JP & Kong, ZJ Détection de défauts de processus en ligne basée sur des capteurs dans la fabrication additive. ASME 2015 Int. Fab. Sci. Ing. Conf. 2, 1–13 (2015).

Google Scholar

Tlegenov, Y., Hong, GS & Lu, WF Surveillance de l'état des buses dans l'impression 3D. Robot. Calcul. Intégr. Fab. 54, 45–55 (2018).

Article Google Scholar

Wu, H., Wang, Y. & Yu, Z. Surveillance in situ de l'état de la machine FDM par émission acoustique. Int. J. Adv. Fab. Technol. 84, 1483–1495 (2015).

Google Scholar

Wu, H., Yu, Z. & Wang, Y. Surveillance et diagnostic de l'état des machines FDM en temps réel basés sur l'émission acoustique et le modèle semi-Markov caché. Int. J. Adv. Fab. Technol. 90, 2027-2036 (2017).

Article Google Scholar

Liao, J. et al. Étude préliminaire sur le diagnostic de panne et l'apprentissage intelligent d'une imprimante 3D à modélisation par dépôt de fil fondu (FDM). En 2019, 14e conférence IEEE sur l'électronique et les applications industrielles (ICIEA) 2098–2102 (IEEE, 2019).

Baumann, F. & Roller, D. Détection d'erreur basée sur la vision pour les processus d'impression 3D. Conférence Web MATEC 59, 3–9 (2016).

Article Google Scholar

He, K., Zhang, Q. & Hong, Y. Méthode de contrôle de la qualité basée sur la surveillance du profil pour le processus de modélisation des dépôts en fusion. J. Intel. Fab. 30, 947–958 (2019).

Article Google Scholar

Huang, T., Wang, S., Yang, S. & Dai, W. Surveillance statistique du processus dans une période spécifiée pour les données d'image des pièces de modélisation par dépôt fondu avec des couches cohérentes. J. Intel. Fab. 32, 2181-2196 (2021).

Article Google Scholar

Petsiuk, AL & Pearce, JM Analyse d'impression 3D par couche basée sur la vision par ordinateur open source. Ajouter. Fab. 36, 101473 (2020).

Google Scholar

Tian, ​​X., Li, Y., Ma, D., Han, J. & Xia, L. Contrôle uniforme de la largeur des brins pour la fabrication additive par extrusion de silicone basée sur le traitement d'image. Int. J. Adv. Fab. Technol. 119, 3077–3090 (2022).

Article Google Scholar

Friedrich, L. & Begley, M. Caractérisation in situ de l'écriture à l'encre directe à faible viscosité : stabilité, mouillage et flux de rotation. J. Colloid Interface Sci. 529, 599–609 (2018).

Article ADS CAS PubMed Google Scholar

Wasserfall, F., Ahlers, D. & Hendrich, N. Vérification optique in situ de circuits électroniques imprimés en 3D. En 2019, 15e Conférence internationale de l'IEEE sur les sciences et l'ingénierie de l'automatisation (CASE) 1302–1307 (IEEE, 2019).

Zhao, X., Lian, Q., He, Z. & Zhang, S. Détection de défauts en ligne basée sur la région de l'impression 3D via la projection de franges. Mes. Sci. Technol. 31, 035011 (2020).

Article ADS CAS Google Scholar

Fastowicz, J. & Okarma, K. Évaluation rapide de la qualité des surfaces imprimées en 3D basée sur la similarité structurelle des régions d'image. En 2018, International Interdisciplinary PhD Workshop (IIPhDW) 401–406 (IEEE, 2018).

Okarma, K. & Fastowicz, J. Évaluation de la qualité sans référence des impressions 3D basée sur l'analyse GLCM. En 2016, 21e Conférence internationale sur les méthodes et modèles en automatisation et robotique (MMAR) 788–793 (IEEE, 2016).

Straub, J. Premiers travaux sur la caractérisation de la fabrication additive (impression 3D) à l'aide d'un logiciel d'analyse d'images. Machines 3, 55–71 (2015).

Article Google Scholar

Straub, J. Un système combiné pour la cybersécurité de l'impression 3D. in Dimensional Optical Metrology and Inspection for Practical Applications VI (eds. Harding, KG & Zhang, S.) (SPIE, 2017).

Cunha, FG, Santos, TG et Xavier, J. Surveillance in situ de la fabrication additive à l'aide de la corrélation d'images numériques : un examen. Matériaux 14, 1511 (2021).

Article ADS CAS PubMed PubMed Central Google Scholar

Charalampous, P., Kostavelis, I., Kopsacheilis, C. & Tzovaras, D. Surveillance en temps réel basée sur la vision des processus de fabrication additive par extrusion pour la détection automatique des erreurs de fabrication. Int. J. Adv. Fab. Technol. 115, 3859–3872 (2021).

Article Google Scholar

Holzmond, O. & Li, X. Détection in situ des défauts en temps réel des pièces imprimées en 3D. Ajouter. Fab. 17, 135-142 (2017).

Google Scholar

Fastowicz, J., Grudziński, M., Tecław, M. & Okarma, K. Évaluation objective de la qualité de la surface imprimée en 3D basée sur l'entropie des cartes de profondeur. Entropie 21, 97 (2019).

Article ADS CAS PubMed Central Google Scholar

Preissler, M., Zhang, C., Rosenberger, M. & Notni, G. Approche pour le contrôle de processus dans la fabrication additive grâce à une analyse par couche avec des informations de nuage de points tridimensionnelles. En 2018 Digital Image Computing: Techniques and Applications (DICTA) 1–6 (IEEE, 2018).

Preissler, M., Zhang, C., Rosenberger, M. & Notni, G. Plate-forme de contrôle de processus en ligne 3D dans la fabrication additive. Dans Optical Measurement Systems for Industrial Inspection X (eds. Lehmann, P., Osten, W. & Albertazzi Gonçalves, A.) (SPIE, 2017).

Nuchitprasitchai, S., Roggemann, M. & Pearce, J. Surveillance en temps réel à trois cent soixante degrés de l'impression 3D à l'aide de l'analyse informatique de deux vues de caméra. J. Manuf. Mater. Processus. 1, 2 (2017).

Google Scholar

Nuchitprasitchai, S., Roggemann, M. & Pearce, JM Facteurs effectuant la surveillance optique en temps réel de l'impression 3D à filament fusionné. Programme. Ajouter. Fab. 2, 133–149 (2017).

Article Google Scholar

Preissler, M., Zhang, C. & Notni, G. Approche pour l'acquisition de données volumétriques optiques en 3 dimensions. J.Phys. Conf. Ser. 1065, 032005 (2018).

Article Google Scholar

Liu, C., Law, ACC, Roberson, D. & Kong, Z. (James) Contrôle de la qualité en boucle fermée basé sur l'analyse d'images pour la fabrication additive avec fabrication de filaments fusionnés. J. Manuf. Syst. 51, 75–86 (2019).

Article Google Scholar

Greeff, GP & Schilling, M. Contrôle en boucle fermée du glissement pendant le transport du filament dans l'extrusion de matériau fondu. Ajouter. Fab. 14, 31-38 (2017).

Google Scholar

Kutzer, MD, DeVries, LD & Blas, CD Surveillance des pièces et évaluation de la qualité de la fabrication additive conforme à l'aide de la reconstruction d'image. Dans le volume 5B : 42nd Mechanisms and Robotics Conference (American Society of Mechanical Engineers, 2018).

He, K., Zhang, X., Ren, S. et Sun, J. Apprentissage résiduel profond pour la reconnaissance d'images. En 2016, Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes (CVPR) 770–778 (IEEE, 2016).

Goodfellow, I., Bengio, Y. & Courville, A. Deep Learning (MIT Press, 2016).

Jin, Z., Zhang, Z. & Gu, GX Correction autonome in situ d'imprimantes de modélisation de dépôt de fusion utilisant la vision par ordinateur et l'apprentissage en profondeur. Fab. Lett. 22, 11-15 (2019).

Article Google Scholar

Jin, Z., Zhang, Z. & Gu, GX Détection et prédiction automatisées en temps réel des imperfections intercouches dans les processus de fabrication additive à l'aide de l'intelligence artificielle. Adv. Renseignement. Syst. 2, 1900130 (2020).

Article Google Scholar

Johnson, MV et al. Un outil d'intelligence artificielle généralisable pour l'identification et la correction des structures autoportantes dans les procédés de fabrication additive. Ajouter. Fab. 46, 102191 (2021).

Google Scholar

Zhang, Z., Fidan, I. & Allen, M. Détection des défaillances en cours d'extrusion de matériaux via l'apprentissage en profondeur. Inventions 5, 25 (2020).

Article CAS Google Scholar

Saluja, A., Xie, J. & Fayazbakhsh, K. Un système de détection de déformation en cours de processus en boucle fermée pour la fabrication de filaments fusionnés à l'aide de réseaux de neurones convolutifs. J. Manuf. Processus. 58, 407–415 (2020).

Article Google Scholar

Delli, U. & Chang, S. Surveillance automatisée des processus d'impression 3D à l'aide de l'apprentissage automatique supervisé. Procedia Manuf. 26, 865–870 (2018).

Article Google Scholar

Gardner, JM et al. Machines en tant qu'artisans : optimisation du paramétrage localisé pour l'impression 3D de fabrication de filaments fondus. Adv. Mater. Technol. 4, 1800653 (2019).

Article Google Scholar

Wang, Y. et al. Un système de surveillance de surface adaptatif basé sur CNN pour la modélisation des dépôts en fusion. IEEE/ASME Trans. Mécatron. 25, 2287-2296 (2020).

Article Google Scholar

Shorten, C. & Khoshgoftaar, TM Une enquête sur l'augmentation des données d'image pour l'apprentissage en profondeur. J. Big Data 6, 60 (2019).

Article Google Scholar

Wang, F. et al. Réseau d'attention résiduelle pour la classification d'images. En 2017 Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes (CVPR) (IEEE, 2017).

Springenberg, JT, Dosovitskiy, A., Brox, T. & Riedmiller, M. En quête de simplicité : le réseau entièrement convolutif. In International Conference on Learning Representations (workshop track) (2015).

Selvaraju, RR et al. Grad-CAM : explications visuelles des réseaux profonds via la localisation basée sur les gradients. En 2017 Conférence internationale IEEE sur la vision par ordinateur (ICCV) (IEEE, 2017).

Tels, M., Ward, C., Hutabarat, W. & Tiwari, A. Stratification composite intelligente par l'application de technologies de suivi et de projection à faible coût. Procedia CIRP 25, 122–131 (2014).

Article Google Scholar

Ryu, H. et al. Mésostructures 3D transparentes et conformes pour une évaluation précise des caractéristiques mécaniques des organoïdes. Adv. Mater. 33, 2100026 (2021).

Article CAS Google Scholar

Grasso, M. & Colosimo, BM Défauts de processus et méthodes de surveillance in situ dans la fusion sur lit de poudre métallique : une revue. Mes. Sci. Technol. 28, 044005 (2017).

Article ADS CAS Google Scholar

Chen, Y. et al. Quantification in situ par rayons X du comportement du bain de fusion lors de la fabrication additive par dépôt d'énergie dirigée de l'acier inoxydable. Mater. Lett. 286, 129205 (2021).

Article CAS Google Scholar

Scime, L. & Beuth, J. Détection et classification des anomalies dans un processus de fabrication additive sur lit de poudre laser à l'aide d'un algorithme de vision par ordinateur formé. Ajouter. Fab. 19, 114-126 (2018).

Google Scholar

Silbernagel, C. et al. Résistivité électrique du cuivre pur traité par fabrication additive par fusion sur lit de poudre laser de puissance moyenne pour une utilisation dans des applications électromagnétiques. Ajouter. Fab. 29, 100831 (2019).

CAS Google Scholar

Aroca, RV, Ventura, CEH, de Mello, I. & Pazelli, TFPAT Fabrication additive séquentielle : manipulation automatique de pièces imprimées en 3D. Prototype rapide. J. 23, 653–659 (2017).

Article Google Scholar

Brockmeier, Ø., Westcott, C. & Bøhn, JH Chargement et déchargement automatisés des systèmes FDM. Dans Solid Freeform Fabrication Symposium 679–686 (Université du Texas à Austin, Austin, Texas, 1999).

Smith, LN Taux d'apprentissage cyclique pour la formation de réseaux de neurones. En 2017 Conférence d'hiver IEEE sur les applications de la vision par ordinateur (WACV) 464–472 (IEEE, 2017).

Kingma, DP & Ba, J. Adam : Une méthode d'optimisation stochastique. In 3rd International Conference on Learning Representations (ICLR) (Conference Track Proceedings) (2015).

Loshchilov, I. & Hutter, F. Régularisation de la décroissance du poids découplée. In 7th International Conference on Learning Representations (ICLR) (2019).

Télécharger les références

Ce travail a été financé par le Engineering and Physical Sciences Research Council, UK PhD. Bourse EP/N509620/1 à DAJB, prix RGS/R2/192433 de la Royal Society à SWP, prix SBF005/1014 de l'Académie des sciences médicales à SWP, prix EP/V062123/1 du Conseil de recherche en ingénierie et sciences physiques à SWP et prix Isaac Newton Trust à SWP

Département d'ingénierie, Université de Cambridge, Trumpington Street, Cambridge, CB2 1PZ, Royaume-Uni

Douglas AJ Brion et Sebastian W. Pattinson

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

DAJB et SWP ont conçu l'idée et conçu les expériences. DAJB a développé le pipeline de collecte de données et généré l'ensemble de données. DAJB a construit, formé et testé le modèle d'apprentissage en profondeur. DAJB a conçu la boucle de contrôle et réalisé des expériences. DAJB a généré les visualisations de prédiction du modèle. SWP a assuré la supervision et les conseils pendant le projet. DAJB a rédigé le projet original et préparé les figures. Le DAJB et le SWP ont contribué aux discussions sur l'expérience et ont édité et révisé le manuscrit.

Correspondance à Douglas AJ Brion ou Sebastian W. Pattinson.

DAJB est le fondateur de Matta Labs Ltd., une entreprise dans le domaine de la détection d'erreurs AM. DAJB et SWP sont les inventeurs d'un brevet déposé par Cambridge Enterprise auprès de l'Office britannique de la propriété intellectuelle (numéro de demande : 2204072.9) couvrant le contenu de ce rapport.

Nature Communications remercie Mohammad Farhan Khan et les autres examinateurs anonymes pour leur contribution à l'examen par les pairs de ce travail. Les rapports des pairs examinateurs sont disponibles.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Brion, DAJ, Pattinson, SW Détection et correction généralisables des erreurs d'impression 3D via des réseaux de neurones multi-têtes. Nat Commun 13, 4654 (2022). https://doi.org/10.1038/s41467-022-31985-y

Télécharger la citation

Reçu : 20 décembre 2021

Accepté : 08 juillet 2022

Publié: 15 août 2022

DOI : https://doi.org/10.1038/s41467-022-31985-y

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

En soumettant un commentaire, vous acceptez de respecter nos conditions d'utilisation et nos directives communautaires. Si vous trouvez quelque chose d'abusif ou qui ne respecte pas nos conditions ou directives, veuillez le signaler comme inapproprié.