在红绿灯下上下人的行为属于违反交通规则的行为，可能会受到以下处罚：
1. 罚款：根据不同的国家和地区，罚款金额可能不同。在一些地方，罚款可能是几十元到几百元不等。
2. 扣分：如果是在驾驶过程中或者在停车等待红绿灯时上下人，可能会被扣除一定的驾驶分。
3. 吊销驾照：在某些情况下，如多次违反交通规则或者造成严重后果的，可能会被吊销驾照。
4. 刑事责任：如果因为这种行为导致交通事故发生，可能会承担刑事责任。
总之，在红绿灯下上下人是非常危险的行为，不仅可能导致交通拥堵，还可能导致交通事故的发生。因此，驾驶员应该遵守交通规则，避免在红绿灯下上下人。