如果你拒绝签署责任认定书，可能会面临以下后果：
1. 无法获得保险赔偿：在交通事故中，保险公司通常要求责任认定书来确定赔偿金额。如果你拒绝签署，可能无法获得保险赔偿。
2. 法律纠纷：如果另一方当事人提起诉讼，你拒绝签署责任认定书可能会导致更长的诉讼过程和更高的律师费用。此外，如果你被判定对事故负有责任，你可能需要承担额外的费用，如修理对方的车辆、医疗费用等。
3. 影响信用记录：在某些情况下，拒绝签署责任认定书可能会导致你的信用记录受到影响。例如，如果你的驾驶执照与你的信用卡或贷款绑定，拒绝签署责任认定书可能会导致你的信用评分下降。
4. 影响保险费率：如果你被确定对事故负有责任，你的保险公司可能会提高你的保费。在某些情况下，你的保险公司甚至可能会取消你的保险合同。
总之，虽然拒绝签署责任认定书可能会让你暂时感到满意，但长期来看，这可能会导致更多的麻烦和费用。因此，最好在与警方和保险公司合作的基础上，根据事实和责任来签署责任认定书。