AR Environment für ARcore möglich?

    Hi Leute,


    kämpfe gerade mit den Ar Environment Settings. Für AR-Kit konnte ich diesen schönen Beitrag von Joe Graf finden:

    https://medium.com/@joe.j.graf…-in-ue4-4-20-afda05bcc587


    Lässt sich das auch für einen Android Goolge ARCore Build übertragen?

    Bisher werden meine gespawnten Objekte leider nur schwarz angezeigt. Hab im Mat aber auch volle Reflection eingestellt.

    Sollte das Cubemapping drumrum schwarz sein, wird das Objekt dann wohl auch nur schwarz spiegeln....


    Alternativ müßte man dann ein eigenes HDRI als Cubemapping verwenden? Das würde dann natürlich nicht zum gefilmten AR-Background passen, oder man versucht es zu faken und unscharf zu zeichnen...Bin für Lösungsvorschläge und Eure Erfrahrungen damit dankbar. Dreh mich da grade etwas im Kreis....

    • Offizieller Beitrag

    Hi ein Screenshot wäre schön gewesen aber ich versuchs mal:


    In der Unreal gelten die selben Gesetze wie in der Realität auch:


    1. Bei Dunkelheit (ohne Licht) sieht man nichts und es kann auch nichts reflektieren´.

    2.Ohne Envoirement die sich spiegeln könnte, spiegelt sich auch nicht. (Interessant wäre wie eine chromfelge im Weltraum wohl aussieht)


    Was du meiner Meinung nach also braucht ist zum einen Licht und zum andere eine Umgebung die sich reflektieren könnte.


    Du könntest deine Umgebung in 3D Bauen und in die Unreal importieren und mit Cube Rendertarget ein Panaromabild erstellen, das du dann als HDR speichern kannst und wiederum als Cubemap verwenden könntest.


    (Das HDR einfach über Asset Action/Export exportieren und als HDR importieren)


    https://www.youtube.com/watch?v=MTwteqBlknI

    Hi Sleepy,


    vielen Dank - der Ansatz ist schon richtig > Unreal muss mir das Cubemap erstellen, so wie in dem Tut von Joe Graf. Da es aber AR ist soll es nicht die Unrealumgebung sein, sondern genau die Live-Echtzeitgefilmte Umgebung der Kamera, wo das AR-Objekt dann eingefügt wird.


    In seinem Tutorial beschreibt er ja sehr schön seine Vorgehensweie für ARkit / IOs. Daher hab ich auch keinen Screenshot eingefügt. ...aktuell bringt mir der ARkit-Lösungsweg leider nur sehr wenig für Android ARCore, was das selbe auf den Androidgeräten machen soll. Ich geh Deinen Tut-Link auf jeden Fall nochmal ganz in Ruhe durch (vielen Dank dafür). Das brauch ich bestimmt auch noch, bzw. komm dann noch auf andere Ideen was man machen kann.


    Ich bastel mir gearede ein eigene Cubemap für eine Fakeumgebung, aber das wäre nur notdürftig, könnte aber wenn Blurry evtl. auch echt aussehen, bleibt am Ende aber eben leider ein Fake...


    Auf jeden Fall möchte ich eben keine interne Cubemap Umgebung, sondern die reale Livegetrackte Filmumgebung als Reflection auf meinen 3D-Objekten > genau das macht AR ja letzendlich aus. Die nahtlose Integration von digitalem Material in die Echtzeitumgebung mit echten Reflections...

    • Offizieller Beitrag
    Zitat von kirby

    Da es aber AR ist soll es nicht die Unrealumgebung sein, sondern genau die Live-Echtzeitgefilmte Umgebung der Kamera, wo das AR-Objekt dann eingefügt wird.

    Bow okay du willst die Umgebung in Realtime abfilmen und das Ergebnis als HDR direkt in der reflection sphere verwenden ?

    Ob das performant und ohne Fake funktioniert...

    Ich hab mir AR leider keinerlei Erfahrungen aber die Idee ist auf jeden Fall intressant und für AR natürlich auch wichtig.

    Ich kenne nur die HDR export Variante ob man ein HDR onthefly verwenden kann, weiß ich nicht da muss ich passen.

    ...kuck mal bitte ganz kurz über den link von Joe Graf drüber - der hat 4 simple Steps dafür .. aber eben leider nur für Arkit. EVtl. kann man das genauso einfach auf ARcore übertragen...hört sich kompliziert an, aber so wie er das dort beschreibt, sieht das für ARKit ja nicht so aufwendig aus. Ich hab halt noch zu wenig Erfahrung um diese Technik auf Arcore umzudenken, aber du siehst darin evtl. eine einfach Möglichkeit. Evtl. kann man es genau so machen und muss nur einen Node austauschen, etc..


    Meine Unrealszene ist aktuell komplett leer - da wird nur auf touch ein Würfel gespawnt, den ich später durch mein 3D-Objekt austauschen möchte...


    ..aber umsoweiter ich mich da durchgoogle ist das wohl einfach das spezielle ARkit Skylight-Objekt das das wohl kann und was als ArCore Skylight Objekt einfach noch fehlt :(


    DAnn also über ein Cubemap:


    ..ich hab jetzt ein HDRI in eine Cubemap umgewandelt und diese dem Skylight zugewiesen.

    > leider ist mein Würfel immer noch komplett schwarz im gefilmten AR-Cam-Bild. Es scheint aktuell überhaupt keine Umgebung auf den Würfel zu reagieren.


    > Das Skylight liegt in der "HandheldARBlankMap" und hat als Textur das HDRI Cubemap was in Unreal cool und fehlerfrei aussieht. Das ist die Standard-Map vom AR Held Template.


    > Mein BP_Pawn wird da per Tocuh reingespawnt.


    In der ARsession Config gibt es noch diese Settings - evtl liegt es daran - hab die aber auch schon durchgetestet... - siehe screenshot - evtl. ist da was falsch eingestellt, dass nicht mal das cubemapping geht, oder es gibt irgendwo etwas in den Projectsettings, von dem ich noch nichts weiß ?


    • Offizieller Beitrag

    Ich hab hier Szene erstellt und einfach mal alles an Licht und Reflections ausgeballert



    Die Sitzbezüge haben keine Reflection deswegen werden die richtig angezeigt. Aber die Chrom Elemente werden komplett schwarz dargestellt. Ich vermute mal so sieht das bei dir auch aus ?


    So sieht es normalerweise aus:


    Ich vermute mal das dein Licht nicht auf deinem Objekt ankommt und deswegen deine Reflektionennicht korrekt funktionieren.


    Zitat von kirby

    > Mein BP_Pawn wird da per Tocuh reingespawnt.

    Bin mir nicht sicher, aber möglicherweise liegt das am Blueprint. Ich meine mich waage zu erinnern, das es beim Setzen von Objekten per Blueprint zu solchen Problemen kommen kann.

    Teste mal ob das klappt wenn du dein Objekt nicht als Blueprint spawnst.

    Hi Sleepy,


    vielen vielen Dank für Deinen Einsatz. Hab meine Lichtquellen jetzt angepassst und eigentlich sollte es jetzt funzen..immer noch black...Hab dan gegoogelt und gegoogelt und bin hierauf gestoßen:

    https://answers.unrealengine.c…s-on-mobileweb-black.html


    Das Problem scheint doch noch etwas heftiger wegen dem ganzen "Mobilekram und AR eben noch alles ganz neu" zu sein. Das einzige Erfolgserlebnis das ich jetzt nach Stunden hatte war dem Mat das HDRI-Cubemapping über den Reflection-Vector zu verpassen - jetzt spiegelt mein Würfel genau wie das HDRI

    und er ist endlich nicht mehr schwarz...



    Das ist der Fake überhaupt - in C4D gibt es auch so einen Environmentchannel, aber den würde ich nie benutzen. Wenn ich das HDRI jetzt aber noch mit meiner Farbe oder Textur abmische könnte das am Ende doch noch realistisch aussehen, solange da keine wolken drin sichtbar sind. Evtl. schön weichzeichnen und ein neutraleres HDRI verwenden.... ich teste mal...


    >> jetzt bin ich etwas weitergekommen (lichtquellen nur stationary - moveable mag er auf android wohl gar nicht...) und habe schonmal einen roten würfel, aber ganz ohne reflections, dafür aber auch ohne den reflection fake...ohne den geht´s wohl nicht...mal testen...

    ich glaub ich habs gefrunden, weiß aber nicht wie ich es umsetzten soll - der Thread ganz unten:

    https://answers.unrealengine.c…ering-in-mobile-mode.html


    .. da steht:

    You will want to make sure your 'Skylight' is set to 'Static' and 'Cast Shadows' is unchecked.

    > das geht


    Was meint er mit:

    Screen Space Reflections are unsupported on Mobile so that is expected no to work.



    > Geht also das Cubemapping nicht? Welche alternative gibt es dazu, oder ist das dirkete draufmappen, so wie ich es oben gemacht habe, die alternative Lösung dazu?


    Wie mach ich das über die Konsole?:


    Screen space reflections are active by default in Unreal Engine 4, but can be toggled using the console command r.SSR.Quality 3 or r.SSR.Quality 0 depending on the set.
    Below is the results of the reflection example scene both with (r.SSR set to 1) and without screen space reflections (r.SSR set to 0).


    • Offizieller Beitrag
    Zitat von kirby

    Screen Space Reflections are unsupported on Mobile so that is expected no to work.

    Ob etwas auf der CPU oder der GPU berechnet wird, ist ein riesen Unterschied. Zum Baken nutzen ich beispielsweise schon seit einiger Zeit Unreal GPU Renderer die allerdings nur als Plugin für die Unreal zur Verfügung stehen. Bestimmte Shader, Berechnungen müssen einfach auf der GPU stattfinden.

    Und ein Handy oder Tablett hat leider keine beonders gute GPU und deswegen werden bestimmte Shader für Mobile nicht unterstützt.



    Zitat von kirby

    > Geht also das Cubemapping nicht? Welche alternative gibt es dazu, oder ist das dirkete draufmappen, so wie ich es oben gemacht habe, die alternative Lösung dazu?


    Wie mach ich das über die Konsole?:


    Screen space reflections are active by default in Unreal Engine 4, but can be toggled using the console command r.SSR.Quality 3 or r.SSR.Quality 0 depending on the set.
    Below is the results of the reflection example scene both with (r.SSR set to 1) and without screen space reflections (r.SSR set to 0).

    Kann ich nichts dazu sagen ich hab VR Erfahrungen aber da im AR Bereich ja im Prinzip alles in Realtime berechnet werden soll, ist das komplett Neuland für mich.