1. Создать для них отдельную папку на рабочем столе.
2. Перетащить приложение на третий экран внутри папки и, не отрывая руки, нажать на кнопку «Домой»
3. Все, приложение исчезло. Найти его можно через Spotlight.
Не исключено, что этот баг будет закрыт в одном из последующих обновлений iOS 9.