对于寒冷的冬天，如果街店中的饮水机不安装加热灯，可以考虑以下几种方法进行加热：

1. 电热毯：在饮水机周围铺设电热毯，可以有效保持温度并避免水冻结。

2. 加热垫：在饮水机底部放置加热垫，通过电热加热保持水温。

3. 热水袋：在饮水机周围放置热水袋，定期更换热水袋来保持水温。

以上是一些简便易行的方法，可以帮助保持饮水机在冬天的温度。当然，在使用这些方法时，需要确保安全，避免发生火灾或其他意外。