不签署交通责任认定书可能会对以下几方造成不利影响：
1. 车主和驾驶员：如果拒绝签署，可能会被视为对事故责任的否认，从而可能导致法律诉讼。在法庭上，车主和驾驶员可能需要承担更多的举证责任和证明自己的清白，这可能会导致额外的费用和时间消耗。
2. 保险公司：保险公司通常会根据交通责任认定书来决定是否支付赔偿以及支付多少赔偿。如果不签署，可能会导致保险公司拒绝赔付或减少赔付金额。
3. 受害者：对于事故的受害者来说，如果无法获得足够的赔偿，可能会面临经济困难和生活压力。此外，如果车主和驾驶员因为拒绝承担责任而被判有罪，可能会影响他们的信用记录和未来的保险费用。