Albedo zu Mask ?

Das Maskieren geht über schwarzweiß am besten. Ich nehm mal an du arbeitest mit Opacity masks und Fill Layern...

Kleine Texturen und sehr feine Übergänge zusammen geht nicht.
Eine große Textur einfach herunterskalieren reicht nicht. Das ergibt nur ein verwaschenes Ergebnis.
Das heisst aber längst nicht, dass das nicht gut aussehen kann.
Bei kleineren Texturgrößen einfach entsprechend Planen.
Heisst...
Weniger Feinheiten in den Texturen selber,
Texturen mit möglichst wenigen Farben und möglichst einfachen Mustern bevorzugt verwenden,
schärfere Übergänge einplanen,
Texturen und Masken bei Bedarf nachschärfen.
Heigth sparsam einsetzen.
Mit Level und- oder Sharpen Textur und Maske nachjustieren.
Damit erzielst du auch mit kleinen Texturen ein so gutes Ergebnis, dass sich Texturgrößen extrem minimieren lassen ohne dass es wirklich auffällt.

Ich selber arbeite ausschließlich mit maskierten Fillayern.
Mit Opacity Mask und Fillayer erreiche ich auch bei filigranen Details auch bei kleinen Texturgrößen eine Schärfe, die wirklich erstaunlich ist.

Im Painter ist die Erstellung der Masken durch diverse Generatoren und Filter natürlich sehr einfach.
Das geht dann über Curvature und diverse andere Maps.
Ich weiß nicht, welche Werkzeuge PS zur verfügung stellt.

Ich Plane ausserdem meine Meshes und deren UVs schon im Vorfeld nach Texturen.
Das kostet zwar etwas mehr Verts, bringt aber ungeheuere Vorteile beim Texturieren und einen sehr effizienten Workflow.
So brauche ich mir über deren Übergänge schonmal keine Gedanken mehr zu machen. Eine UV gemappte Textur ist allein dadurch einer maskierten noch einmal um einiges überlegen.