Screenshots können sehr hilfreich sein.
In diesem Fall handelt es sich beim Alpha vermutlich um ein Schwarzweiss-JPG. Ein JPG hat keinen Alpha Kanal.
Der Color Output gehört in diesem Fall in den Alpha Input.
Bei einem anderen Format kann das auch anders sein.
Ich drück Dir alle Daumen 
Prima, Gut wenn man es funktioniert.
Eventuell wurde zwischen deiner Version und meiner Version der Umgang mit N-Gons geändert.
Ich persönlich würde NGon's generell nach Möglichkeit beim Export in andere Programme vermeiden. das macht immer wieder Ärger.
Kann er's laden?
Bei mir bringt Substance Painter eine Hinweismeldung im Log die besagt, dass er einige Faces nicht triangulieren kann.
Die Meldung taucht nicht mehr auftaucht, wenn ich dein FBX in Blender trianguliere.
Das ist dein FBX in trianguliert (nur mal zum Testen)
Kann dein Substance Painter das laden?
Bei mir läßt sich dein FBX mit den genannten Einstellungen laden.
Was mit auffällt ist, dass du ein ausgeblendetes Objekt mit exportiert hast - das Schlüsselloch-Boolean Objekt.
Aber grundsätzlich funktioniert es.
Welche Substance Version verwendest du?
Wenn sich andere Objekte importieren lassen und du dir Tür ohnehin neu machen möchtest, weiss ich nicht wieviel Aufwand für die Fehler-Suche noch lohnt.
Könntest du bitte mal dein exportiertes FBX hochladen?
Vielleicht kann man es damit reprodzieren?
Was benutzt du denn als Austauschformat? FBX?
Was meinst du damit, dass Substance es nicht öffnet?
Wenn ich es nach FBX exportiere und in Substance importiere, dann öffnet er es ganz normal, nur halt mit dem Shading Problem beim N-Gon.
unten hast du ein großes NGon produziert:
wenn du da wieder vernünftige Geometrie draus machst klappt's auch mit dem Rest:
oben einfach die betroffenen Vertices ein bisschen rausziehen, dann tritt das Problem nicht erst auf:
Eine Frage speziell zum Objekt lässt sich ohne Blend File schwer beantworten.
Vielleicht kannst du das File hochladen, damit man es sich ansehen kann?
Falls du ihn noch nicht verwendet hast - vielleicht hilft dir der X-Ray Modus weiter um schwer zugängliche Elemente zu selektieren.
Beim export habe ich nichts besonderes gemacht.
Mein test objekt war allerdings ein einfaches stück stoff und nicht sowas komplexes wie eine frisur.
Beim stoff fiel es mit scaling x 100 noch nicht ganz runter, mit 1000 dann schon.
Weiss ist das was sich bewegen soll, schwarz was gepinnt ist.
Sobald ich eine Maske in UE erstellt habe ich danach im Context Menü der Maske "copy from Vertex Color" zur Verfügung
Beim Scaling Factor musste ich hochdrehen, damit es sichtbar wurde:
Substance Share ist frei,
Substance Source nur mit Abo
Wie Butter Fly Games sagte liegt der Vorteil der Steam Version u.a. darin, dass du sie auch nach Ablauf des Jahres noch benutzen kannst, was nach meinem Kenntnisstand bei der Abo Version nicht der Fall ist (man korrigiere mich wenn ich falsch liege)
Vielleicht hilft das?
https://www.worldofleveldesign…tmap-bleeds-and-seams.php
Ist zwar alt aber gilt soweit ich weiss immer noch
