Выбор написания зависит от значения слова.
 
Слово масленый имеет прямое и два переносных значения:
 
1. Прямое. Смазанный, пропитанный маслом; запачканный маслом (масленый блин; масленые руки).
 
2. Переносное. Как бы подернутый маслом; чувственный, сластолюбивый (о взгляде, глазах). Пример: Жевал он громко, противно ..., глаза его при этом становились маслеными и алчными (А. Чехов. Бабье царство).
 
3. Переносное. Льстивый, заискивающий (масленый голос; масленая улыбка).  
Пример: Они обнялись и так просидели молча, может, полчаса, может, час. Пока не очнулись от масленого голоска Степановны: — Ой, ну чистые голубки (Зверев. Она и он).
 
Слово масляный тоже многозначное, но все четыре его значения прямые:
 
1. Состоящий из масла; относящийся к маслу (масляное пятно; масляный чад).
 
2. Работающий на масле, с помощью масла; предназначенный для масла (масляный насос; масляная лампа; масляный бак).
 
3. Исполненный красками, растертыми на масле (масляная живопись).
Пример: [Райский] достал небольшой масляный портрет молодой белокурой женщины (И. Гончаров. Обрыв).
4. Содержащий масло (масляные лаки).
Пример: Стены выбелены известкой, а снизу выкрашены коричневой масляной краской (А. Куприн. Ночная смена).
 
В русском языке эти слова используются в омонимичных сочетаниях:
- масленая лампа (испачканная маслом) и масляная лампа (действующая с помощью масла); 
- масленая бумага (запачканная, пропитанная маслом) и масляная бумага (бумага из-под масла, предназначенная для завертывания масла).
В гнездо родственных слов входят также:
- причастие масленный (от глагола маслить); 
- наречие маслено («льстиво»); 
- существительные масленка, масленица,  маслице;
- прилагательное масленичный и другие слова.
Источник:
Дополнительные источники:
-  — статья «Правописание суффиксов прилагательных»;
-  — статья «Правописание имён прилагательных».
Дополнительно на Genon.ru: