贷款公司知道你的通讯录是因为你授权给对方了，在使用贷款公司的APP时，系统会提示你授权一些功能，比如获取位置信息、通知你等，获取通讯录信息也会提示你授权，你当时可能没注意就点击同意了。

另外，在APP上贷款，一般都要授权运营商信息的，需要你提供手机号和服务密码，贷款公司获得密码后就可以登录你的账号获取信息。