У нас поселились какие-то странные пчелы-дровосеки, точат бревно изнутри. Что делать?

Это могут быть осы. Стенные осы живут в стенах.
Еще есть бумажные осы. Они строят свое гнездо из гнилой (читаем, старой) древесины или коры. Они древесные волокна превращают в бумагу, размалывая их челюстями и смачивая в воде или слюне. На бумаге даже писать можно. Но сами в стенах не живут, только древесину забирают. Гнезда у них разные, форма зависит от вида ос.
Еще есть большеголовые осы. Им нужны гнилые пни. Однако, вдруг они переквалифицировались из-за отсутствия пней и наличия старых стен? 

А может это пчела — плотник. Редкий вид, почти или уже краснокнижный. Ну пчела не лошадь, много не съест. Наверное там и короеды, и древоточцы  работают. Если уж сильно мешают перебейте или примените инсектицид Севин. Или заделайте норы. Вид безобидный, сразу исчезнет. Но наверное проблема глубже в прямом и переносном смысле. Бревно разрушают жучки, и с ними нужно бороться. А пчела плотник просто использует и расширяет их норы. Вот мое виденье ситуации. Удачи.

Это пчелы-плотники, они гнездятся в гнилой древесине и в пустотах внутри (бамбук). Если Ваша банька из хороших бревен, пропитанных антисептиком, то ей ничего не грозит от них. Они мирные, пусть живут. Оставьте им для жизни немного гнилушек.Не бойтесь и будьте к маленьким добрей!)
Вот ссылки:
otvet.mail.ru/question/44290379
ru.wikipedia.org/wiki/Пчёлы-плотники
ru.wikipedia.org/wiki/Шмель-плотник_фиолетовый 

Проблема знакома. Эти «товарищи» действительно мирные, у нас они поселились в стене соседского сарайчика, но даже, когда мы подходили близко особо на человека не реагировали. Доставляло неудобство их количество. Вывести пытались два раза, сначала дихлофосом — помогло, но не на 100%, затем хим. препаратом для обработки картофеля от колорадского жука. Второй вариант эффективнее.