这要看具体的情况。一般来说，在红绿灯路口停车上下人是会被扣分的。但是，如果司机有特殊情况，比如老人、病人需要紧急就医等，可以向当地交通管理部门申请复议，可能会免于处罚。
在中国，根据《中华人民共和国道路交通安全法实施条例》第四十四条规定：“在道路同方向划有2条以上机动车道的，左侧为快速车道，右侧为慢速车道。在快速车道行驶的机动车应当按照快速车道规定的速度行驶，未达到快速车道规定的行驶速度的，应当在慢速车道行驶。” 所以，如果你在红绿灯路口停车，即使是为了让乘客下车，也可能被视为违章行为，被罚款或者扣分。