如果你认为责任书的判定有误，或者对某些细节有异议，你应该在收到责任书后的三天内提出复议申请。如果超过这个时间限制，你可能就无法再对责任书的内容进行质疑了。
如果你对责任书的判定没有异议，但是拒绝签字，可能不会产生直接的法律效果，但可能会对你的保险理赔和事故处理造成一定的困扰。因为保险公司和其他相关方可能会将你的拒绝签字视为你对责任的否认，从而增加处理的难度和复杂性。
所以，最好的做法是仔细阅读责任书内容，如果有疑问或异议，及时提出并寻求解决方案。如果对责任书的判定完全认可，那么签字确认也是顺理成章的事情。