Собрал себя в кучку и выяснил чем отличается dng от vuescan от raw’скана из которого его делают: dng это raw к которому применена гамма 2,2. То есть у меня при работе со сканами чб последовательность: картинка с гаммой 1 -> gamma 2.2 -> imvert -> gamma 0.5 (0.8-0.3) в чистом виде может быть можно наверное воспроизвести кривой, но если начинаю маскировать то опс, работа с картинкой теряет всякую систему.

То есть с одной стороны если мы сами инвертируем рав предварительно применив к нему гамму 2,2 имеем возможность просто маскируя применение гаммы вытягивать тени и соответственно сохранять контраст. Только надо придумать как корректнее делать flatten image в 32 битах, потому что invert по понятным причинам работает только в 8/16 битах, наверное слои до инвертирования надо оформлять как smart object.