遗产非得留给法定继承人吗

不一定，具体分情况。
对继承人以外的依靠被继承人扶养的缺乏劳动能力又没有生活来源的人，或者继承人以外的对被继承人扶养较多的人，可以分给他们适当的遗产。
《民法典》第一千一百二十七条【法定继承人的范围及继承顺序】遗产按照下列顺序继承：
(一)第一顺序：配偶、子女、父母;
(二)第二顺序：兄弟姐妹、祖父母、外祖父母。
继承开始后，由第一顺序继承人继承，第二顺序继承人不继承;没有第一顺序继承人继承的，由第二顺序继承人继承。
本编所称子女，包括婚生子女、非婚生子女、养子女和有扶养关系的继子女。
本编所称父母，包括生父母、养父母和有扶养关系的继父母。
本编所称兄弟姐妹，包括同父母的兄弟姐妹、同父异母或者同母异父的兄弟姐妹、养兄弟姐妹、有扶养关系的继兄弟姐妹。
《民法典》第一千一百三十一条【酌情分得遗产权】对继承人以外的依靠被继承人扶养的人，或者继承人以外的对被继承人扶养较多的人，可以分给适当的遗产。