如果你拒绝在交通事故责任认定书上签字，并不会对事故处理产生直接影响。因为，交通事故责任认定书是公安机关交通管理部门根据现场勘查、技术分析和有关检验、鉴定结论，对交通事故基本事实、成因和当事人责任作出认定的文件。
即使你不签字，也不会改变其法律效力。如果你认为责任认定有误，可以在收到认定书的3日内向做出认定的上一级公安机关交通管理部门申请复核。
但是，如果你拒绝签字，可能会给后续的理赔带来一些麻烦，因为你没有留下书面记录表明你对责任的看法。这可能会导致与保险公司或对方就赔偿问题产生纠纷。所以，建议在签字前仔细核对内容，如果有异议可以提出并寻求解决方案。