如果没有召集其他人员参加或不是非法集资活动的主管人员及其他直接责任人员，纯属受害者，没有法律责任。但根据相关法律规定，“因参与非法金融业务活动受到的损失，由参与者自行承担”。简单说，就是参与非法集资“责任自负、风险自担”。如果不能追缴非法集资款，那么受害人只能提起刑事附带民事诉讼。
非法集资的受害者最大的影响就是自己的资金被非法侵占，造成自己财产的损失，严重的情况下是有可能造成倾家荡产。
此外，在这里还需要注意共同犯罪的情形，为他人向社会公众非法吸收资金提供帮助，从中收取代理费、好处费、返点费、佣金、提成等费用，构成非法集资共同犯罪的，应当依法追究刑事责任。能够及时退缴上述费用的，可依法从轻处罚;其中情节轻微的，可以免除处罚;情节显著轻微、危害不大的，不作为犯罪处理。
法律依据：
《中华人民共和国刑法》第一百九十二条
【集资诈骗罪】以非法占有为目的，使用诈骗方法非法集资，数额较大的，处五年以下有期徒刑或者拘役，并处二万元以上二十万元以下罚金;数额巨大或者有其他严重情节的，处五年以上十年以下有期徒刑，并处五万元以上五十万元以下罚金;数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处五万元以上五十万元以下罚金或者没收财产。