Справочник по компьютерной графике и звуку
Векторная маска слоя
Векторная маска слоя
Когда в слое уже есть маска, кнопочка для добавления маски 
Можно добавлять векторную маску и через меню Layer Add Vector Mask командой Current Path (добавить текущий контур).
Но чтобы маска действительно добавилась, обычное выделение не годится. У вас должно быть что-то нарисовано одним из векторных инструментов Фотошопа в режиме создания контуров, о чем разговор еще впереди.
Векторная маска не попадает в палитру Channels, зато вы найдете ее в палитре Paths (контуры) под именем Layer I Vector Mask (в 6.0 - Layer 1 Clipping Path).
Тут я вынужден пока прервать объяснения по этой теме, чтобы позднее
к ним вернуться.
