robots.txt иногда игнорируется поискавиками, например если бот переходит по ссылке с другого сайта/форума. Если хотите наверняка закрыть профили от индексации, то лучше в профили добавить метатег robots <meta name=“robots” content=“noindex,nofollow”> его они не будут игнорировать при загрузке страницы